Resumen Técnico: La conciencia cultural está representada pero no decodificada

Declaración del problema

Los modelos de lenguaje de gran tamaño (LLM) exhiben un sesgo cultural bien documentado, recurriendo por defecto a marcos de referencia angloamericanos o occidentales en tareas que van desde el razonamiento moral hasta el reconocimiento de entidades nombradas. Si bien los estudios de comportamiento han establecido que los modelos fallan al recuperar conocimiento culturalmente específico (por ejemplo, al no poder nombrar al dios supremo del cielo en la mitología finlandesa o eslava mientras que nombran con fiabilidad a Zeus o Thor), no han identificado dónde dentro del modelo ocurre este fallo.

La pregunta central de investigación es si este sesgo proviene de un fallo de representación (el estado interno del modelo no distingue entre culturas) o de un fallo de decodificación (el modelo distingue las culturas internamente pero las colapsa sobre tokens de tradiciones dominantes durante la generación de la salida). Resolver esta distinción es crítico porque ambos regímenes requieren intervenciones opuestas: los fallos de representación requieren nueva información en el preentrenamiento, mientras que los fallos de decodificación requieren cambios en el mecanismo de lectura (readout).

Metodología

Los autores instrumentan 18 LLM de código abierto (que oscilan entre 1.2B y 34B de parámetros en 8 familias de arquitecturas, incluyendo Llama, Gemma, Phi, Qwen, Yi, OLMo y Aya) utilizando un sustrato transcultural paralelo y cuatro herramientas mecánicas.

1. Sustrato: Conjunto de Entidades Transculturales Paralelas

Para garantizar una comparación justa entre culturas, los autores construyeron un conjunto de datos basado en el Índice de Motivos de Folk-Literatura de Thompson.

• Estructura: 27 motivos mitológicos específicos (p. ej., "dios supremo del cielo", "robo del fuego") evaluados a través de 10 culturas (griega, romana, nórdica, finlandesa, ucraniana, india, egipcia, china, japonesa, mesopotámica).
• Verdad de referencia (Ground Truth): Cada par (motivo, cultura) tiene un único nombre de entidad canónico, anclado a textos primarios (p. ej., Kalevala, Rig Veda) o monografías académicas modernas.
• Prompting: Se utilizaron dos modos de prompt:
  • Contextual: "${name}` encarna el rol de `${description}." (Utilizado para la extracción de estados ocultos; la palabra de la cultura está ausente para evitar la copia trivial).
  • Chat: "En la mitología de ${culture}`, ¿cuál es el nombre del `${description}?" (Utilizado para la generación de la salida).

2. Instrumentos Mecanicistas

El estudio aplica cuatro mediciones complementarias a cada par (entidad, modelo):

• E1 Sonda Lineal (Linear Probing): Se entrena un clasificador de cresta (ridge classifier) en el flujo residual para predecir la etiqueta de cultura de 10 vías. Esto evale si la información cultural es linealmente decodificable desde la representación interna.
• E2 Lente de Logit (Logit Lens): Se aplica la norma final y el unembedding del modelo a los estados ocultos intermedios para determinar en qué profundidad el token de oro entra en las $k$ continuaciones principales.
• E3 Parcheo de Activación (Activation Patching): Los flujos residuales de un prompt de cultura de origen se intercambian en un prompt de cultura de destino para identificar la capa causal donde la preferencia del modelo cambia hacia el nombre de la cultura de origen.
• E4 Extracción de Salida (Output Extraction): Decodificación codiciosa (greedy decoding) de la plantilla de chat para medir la precisión real de la generación.

3. Marco de Descomposición

Al combinar el resultado de la sonda (E1) y el resultado de la generación (E4), los autores definen una descomposición de $2 \times 2$:

• Preservado: Sonda correcta, Salida correcta.
• Supresión por Decodificación (Decoding-Suppressed): Sonda correcta, Salida incorrecta (la hipótesis central).
• Representacionalmente Plano (Representationally Flat): Sonda incorrecta, Salida incorrecta.
• Suerte Superficial (Surface Luck): Sonda incorrecta, Salida correcta.

Resultados Clave

1. La supresión por decodificación es universal (RQ1)

En los 18 modelos, la celda de Supresión por Decodificación es el modo de fallo dominante, comprendiendo entre el 51% y el 76% de los casos (media del 65%).

• Evidencia: La sonda lineal logra consistentemente una alta precisión (0.61–0.88), significativamente por encima de la línea base de superficie de n-gramas de caracteres (0.60), lo que indica que el flujo residual distingue claramente las culturas.
• Contraste: Sin embargo, la precisión de la generación es drásticamente menor (0.09–0.43).
• Conclusión: La distinción cultural está presente en el estado interno del modelo, pero no es emitida por el decodificador. El fallo ocurre en la lectura (readout), no en la representación.

2. Decodificación Tardía y Localización Causal (RQ2 y RQ3)

• Emergencia por Capas: El logit lens muestra que el token de oro entra en las predicciones top-$k$ solo en el último 12% de las capas (mediana de profundidad 0.96).
• Límite Causal: El parcheo de activación confirma que el intercambio de flujos residuales solo cambia la preferencia del modelo en el último cuarto de la red (mediana de profundidad 0.89).
• Implicación: La red codifica la cultura tempranamente (la sonda alcanza su pico en la primera mitad), pero el vínculo causal con el token de salida se establece muy tarde, coincidiendo con la capa de unembedding.

3. Efectos de Escala (RQ4)

Aumentar el tamaño del modelo dentro de una familia (p. ej., Llama 1.2B $\to$ 8B) mejora tanto la precisión de la sonda como la precisión de la generación, pero no cierra la brecha.

• La brecha se reduce ligeramente (p. ej., de 0.70 a 0.63 en Llama 3.x) pero sigue siendo sustancial incluso a escalas mayores.
• Esto sugiere que el simple escalado de parámetros no resuelve el problema de la supresión por decodificación.

4. Lectura Condicionada por el Idioma (RQ5)

El fallo está condicionado por el idioma del prompt.

• Desacoplamiento: Las paráfrasis translingüísticas (consulta en inglés vs. consulta en lengua nativa) están aproximadamente 2 veces más desacopladas que las paráfrasis dentro del mismo idioma ($r_{cross} = 0.29$ vs $r_{within} = 0.57$).
• Asimetría: La dirección del sesgo (ventaja de inglés vs. lengua nativa) sigue al idioma en el que el canon cultural está documentado hoy en día (p. ej., griego/egipcio favorecen consultas en inglés; finlandés/chino favorecen consultas en lengua nativa), en lugar de a la eficiencia del tokenizador o la capacidad del modelo.
• Ensamble Bilingüe: Tomar la disyunción de las salidas en inglés y en lengua nativa (sin entrenamiento) recupera un +8% de precisión absoluta adicional (+36% relativa), confirmando que los dos modos acceden a subconjuntos parcialmente disjuntos de la misma representación.

Significado y Reivindicaciones

El artículo propone un reencuadre mecanicista del sesgo cultural en los LLM:

1. Representación vs. Lectura (Readout): El locus principal del aplanamiento cultural es la capa de unembedding, no el flujo residual. Los modelos "saben" las distinciones culturales (son linealmente separables) pero fallan al "decirlo".
2. Implicaciones para la Mitigación: Las intervenciones dirigidas al codificador (p. ej., preentrenamiento continuo en corpus subrepresentados) pueden ayudar en la minoría de casos "Representacionalmente Planos", pero no solucionarán directamente los casos dominantes de "Supresión por Decodificación". La mitigación efectiva debe dirigirse a la lectura (p. ej., generación aumentada por recuperación, ajuste de instrucciones sobre QA cultural, o ensambles bilingües).
3. Limitaciones: Los hallazgos se establecen en modelos de código abierto con acceso de caja blanca. Los autores señalan que la dominancia de la "Supresión por Decodificación" es una conjetura para los modelos de código cerrado, aunque la predicción de la lectura condicionada por el idioma (RQ5) se generaliza a ellos, ya que depende únicamente del comportamiento de la salida. El sustrato se limita al folclore (motivos de Thompson) donde se pueden construir etiquetas de oro paralelas; se propone la transferencia a otros dominios (p. ej., conceptos erróneos biomédicos) como una dirección futura, pero no se reclama como un resultado de este estudio.

En resumen, el artículo argumenta que la equidad cultural en lo que un modelo dice no puede leerse a partir de lo que sabe; ambos divergen en la etapa de lectura, y es ahí donde deben centrarse tanto el diagnóstico como la reparación.