Resumen Técnico: ¿Codifican los Modelos de Lenguaje de Gran Escala la Experiencia Institucional?

Planteamiento del Problema

Los modelos de lenguaje de gran escala (LLM) exhiben variaciones translingüísticas sistemáticas en el razonamiento moral, pero los mecanismos estructurales que impulsan estas diferencias permanecen sin especificar. Mientras que la literatura previa establece que los LLM, al ser instigados en diferentes idiomas, producen juicios éticos divergentes —alineándose a menudo con los valores protestantes europeos occidentales—, la cuestión de por qué ocurre esto sigue sin resolverse. La cultura se cita frecuentemente como una causa, pero funciona más como una etiqueta que como un mecanismo.

Este artículo investiga un candidato específico a mecanismo: la codificación de la prioridad institucional (institutional prior encoding). Basándose en la teoría de las instituciones informales de Douglass North y el teorema del segundo mejor de Lipsey-Lancaster, los autores hipotetizan que los lenguajes codifican los entornos institucionales de sus hablantes (por ejemplo, experiencias con la corrupción, el estado de derecho y la fiabilidad de la aplicación de la ley). En consecuencia, los LLM entrenados en estos corpus deberían heredar prioridades morales específicas de la institución, particularmente cuando se razona sobre dilemas donde la aceptabilidad moral depende del funcionamiento de las instituciones formales (por ejemplo, sobornos, evasión fiscal, denuncia de irregularidades).

Una brecha crítica en la investigación previa es la dependencia del encuadre institucional explícito (nombrar directamente el contexto institucional, por ejemplo, "soborno"). Los autores argumentan que dicho encuadre puede activar respuestas de entrenamiento de alineación que suprimen las prioridades lingüísticas específicas, haciendo que los diseños previos sean estructuralmente incapaces de detectar la codificación institucional incluso si esta existe.

Metodología

El estudio emplea dos experimentos pre-registrados (Estudio 1 y Estudio 2) que involucran a seis LLM de vanguardia (Claude, GPT-4o, Gemini, Llama 3.3, DeepSeek, Grok) y nueve idiomas que abarcan un amplio gradiente de calidad institucional (desde el danés, CPI 89, hasta el bengalí, CPI 23).

Diseño Experimental:
La innovación central es un diseño de tres condiciones utilizado en el Estudio 2 para aislar el efecto de las claves institucionales:

1. Condición Explícita: El fallo institucional se nombra directamente en el prompt (por ejemplo, "pagar un soborno a un funcionario corrupto"). Esto replica el Estudio 1 y la literatura previa.
2. Condición Ambigua: Se presentan los mismos escenarios institucionales, pero se retienen las palabras clave institucionales y el resultado se plantea como incierto (por ejemplo, "realizar un pago para resolver un problema burocrático" sin etiquetar al funcionario como corrupto). Los intereses institucionales están presentes estructuralmente pero ausentes léxicamente.
3. Condición de Control: Dilemas interpersonales institucionalmente inertes (por ejemplo, engaño privado, equidad distributiva) donde la valencia moral no depende del funcionamiento institucional.

Métricas y Análisis:

• Divergencia Translingüística: Operacionalizada como la desviación estándar de las calificaciones medias de aceptabilidad entre los nueve idiomas para cada viñeta.
• Distancia Institucional: Computada como la distancia euclidiana entre pares de idiomas basada en tres índices de gobernanza: el Índice de Percepción de la Corrupción (CPI), el Índice del Estado de Derecho del WJP y el Índice de Libertad de Prensa RSF.
• Pruebas Estadísticas:
  • H1: Pruebas t de muestras pareadas y pruebas U de Mann-Whitney comparando la divergencia entre condiciones (Ambigua vs. Explícita vs. Control).
  • H2/H3: Pruebas de permutación de Mantel para correlacionar la divergencia moral por pares con la distancia institucional por pares.
  • H4: Pruebas de chi-cuadrado sobre la codificación cualitativa de la "arquitectura del razonamiento" (desde lo filosófico liberal a lo diagnóstico institucional).
  • H5: Análisis comparativo de DeepSeek (de origen chino) frente a modelos entrenados en Occidente para detectar efectos de moderación de contenido.

Resultados Clave

Estudio 1: La Línea Base Nula
Bajo un encuadre institucional explícito, las cinco hipótesis pre-registradas arrojaron resultados nulos. La divergencia translingüística no aumentó en los escenarios institucionales en comparación con los controles, ni siguió la distancia institucional. Esto sugiere que las claves explícitas activan una respuesta de alineación uniforme que suprime las posibles prioridades institucionales.

Estudio 2: Disociación Dependiente de la Condición
El Estudio 2 reveló una interacción crítica entre el encuadre y la divergencia:

• La Ambigüedad Amplifica la Divergencia: La divergencia moral translingüística fue significativamente mayor en la condición ambigua en comparación con la condición de control ($d = 1.108, p = .007$). En contraste, la condición explícita no mostró una amplificación significativa respecto al control ($p = .142$).
• Supresión por Alineación: Los datos apoyan una "cuenta de supresión": cuando los intereses institucionales no están resueltos léxicamente (ambigüedad), las prioridades institucionales codificadas afloran, causando que los idiomas de diferentes entornos institucionales diverjan. Cuando las claves son explícitas, el entrenamiento de alineación anula estas prioridades, colapsando la divergencia.
• Seguimiento de la Distancia Institucional: En la muestra completa de nueve idiomas, la correlación entre la divergencia moral y la distancia institucional en la condición ambigua fue positiva pero no estadísticamente significativa ($r = 0.158, p = .206$). Sin embargo, un análisis de sensibilidad exploratorio excluyendo el chino (que mostraba anomalías estructurales) fortaleció significativamente esta correlación ($r = 0.517, p = .033$), proporcionando evidencia sólida de que la divergencia moral sigue la distancia institucional del mundo real cuando se excluye el chino.
• Arquitectura del Razonamiento: La codificación cualitativa (aunque por debajo del umbral de fiabilidad pre-registrado) reflejó los resultados de las calificaciones: los estilos de razonamiento variaron más entre los idiomas en la condición ambigua ($V = 0.105$) que en la condición explícita ($V = 0.059$), donde los modelos recurrieron por defecto a un estilo "filosófico liberal" uniforme.

La Anomalía China
El estudio identifica dos mecanismos que desacoplan las salidas en chino de su entorno institucional:

1. Dominancia de la Alineación: Todos los LLM de vanguardia, incluidos los de origen chino, producen resultados morales alineados con las bases occidentales cuando se les solicita en mandarín, suprimiendo la codificación institucional local (explicando la divergencia casi nula entre el danés y el chino).
2. Moderación de Contenido: DeepSeek específicamente mostró una moderación dirigida a escenarios: fue significativamente más restrictivo en el contenido institucional en mandarín que los modelos occidentales, pero no en el contenido de control. Esto produjo una divergencia alta y anómala entre el chino y el hindi (bajo CPI) en escenarios específicos.

Principales Contribuciones

1. Explicación Mecanicista: El artículo va más allá de documentar las diferencias translingüísticas para proponer y probar un mecanismo específico: la codificación de la prioridad institucional. Demuestra que el lenguaje codifica adaptaciones a los entornos institucionales (por ejemplo, navegar en un estado de derecho débil).
2. Perspectiva Metodológica (Supresión de Alineación): El estudio identifica el encuadre institucional explícito como un factor de confusión en la investigación de los LLM translingüísticos. Argumenta que nombrar los fallos institucionales activa los overrides de alineación, enmascarando las mismas variaciones culturales e institucionales que los investigadores buscan medir. La condición "ambigua" se propone como un elemento de diseño necesario para detectar las prioridades codificadas.
3. Vínculo Estructural con las Instituciones Reales: Al utilizar un test de Mantel pre-registrado con índices de gobernanza independientes, el estudio vincula formalmente el razonamiento moral de los LLM con la calidad institucional del mundo real, mostrando que la divergencia escala con la distancia institucional (excluyendo la anomalía china).
4. Diferenciación de Mecanismos: El documento distingue entre dominancia de la alineación (un cambio global hacia las normas occidentales) y moderación de contenido (supresión específica de escenarios), ofreciendo una visión matizada de cómo la IA multilingüe falla en representar las realidades institucionales locales.

Significado y Reivindicaciones

Los autores afirman que la experiencia institucional deja rastros detectables en el lenguaje que moldean el razonamiento moral de los LLM, pero estos rastros son frágiles y fácilmente suprimibles mediante claves explícitas.

• Para la Gobernanza de la IA: Los hallazgos sugieren que las políticas de despliegue multilingüe que dependen de la calibración específica de cada idioma pueden sobreestimar la preservación de la diversidad moral cultural. El "aplanamiento" de la variación bajo el encuadre explícito es una característica del diseño del entrenamiento de alineación, no un error, pero tiene la consecuencia secundaria de reducir la legitimidad local.
• Para las Ciencias Sociales: Los investigadores que utilizan los LLM como proxies de la cognición cultural deben tener en cuenta la construcción de los prompts. La variación observada puede reflejar la supresión por alineación en lugar de diferencias genuinas en los entornos institucionales. Los diseños que no manipulan el contenido institucional bajo encuadres ambiguos y explícitos no pueden distinguir entre la codificación institucional y la supresión por alineación.
• Modestia: Los autores reconocen limitaciones, incluyendo los modestos tamaños del efecto, la correlación primaria de Mantel no significativa en la muestra completa y el carácter exploratorio del análisis de exclusión de China. Encuadran los resultados de la exclusión de China como generadores de hipótesis, pendientes de replicación en un diseño que pre-especifique la exclusión de China. La codificación de la arquitectura del razonamiento se etiqueta explícitamente como exploratoria debido a problemas de fiabilidad entre evaluadores.

En resumen, el artículo sostiene que los LLM sí codifican la experiencia institucional, pero esta codificación solo es visible cuando el prompt no activa explícitamente los mecanismos de alineación diseñados para imponer la consistencia transcultural.