The Shibboleth Effect: Auditing the Cross-Lingual Distributional Skew of Large Language Models

Resumen Técnico: El Efecto Shibboleth en los Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
El paradigma predominante en la seguridad de la IA asume que el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) produce una postura conductual monolítica y universalmente cooperativa en los modelos de lenguaje de gran escala (LLM) de frontera, convirtiéndolos en árbitros invariantes al lenguaje. Este estudio desafía esa suposición, postulando que si las salvaguardas geopolíticas de un modelo cambian en función del lenguaje operativo, estos sistemas pueden funcionar no como mediadores neutrales, sino como "cámaras de eco algorítmicas". El problema central es el potencial de un sesgo distributivo translingüístico —denominado el "Efecto Shibboleth"— donde consultar un modelo en un idioma no dominante (específicamente el turco) activa rutas de tokens, asociaciones culturales y regularidades normativas distintas a las de las consultas en inglés. La literatura previa se ha basado mayoritariamente en pruebas estáticas de un solo turno o encuestas traducidas, las cuales capturan "preferencias declaradas" pero no logran revelar disposiciones conductuales dinámicas bajo fricción adversaria.

Metodología
Para aislar el efecto del lenguaje en el comportamiento geopolítico, los autores diseñaron un juego de guerra geopolítico de alta fidelidad y multiagente titulado Cerulean Sea Crisis (Crisis del Mar Cerúleo). Este conflicto marítimo sintético es estructuralmente isomorfo a los conflictos del Mediterráneo Oriental, involucrando a seis modelos de frontera asignados a roles geopolíticos específicos (por ejemplo, Turquía, Grecia, EE. UU., la UE, Rusia y un Auditor Institucional).

• Diseño Experimental: Se empleó un diseño entre grupos ($N = 10$ juegos independientes por brazo, $K = 5$ rondas por juego). La única variable independiente fue el idioma de la simulación (inglés frente a turco), mientras que todos los parámetros estructurales, objetivos de los agentes y prompts del sistema se mantuvieron constantes.
• Modelos Probados: El estudio desplegó un "ecosistema insignia" de seis modelos: GPT-4o, Llama-4, Mistral-Large, Gemini-3.1-Pro, Qwen3.6-Plus y DeepSeek-R1.
• Protocolo de Evaluación: Un clasificador zero-shot automatizado (utilizando GPT-4o a $T=0.0$) evaluó 586 declaraciones diplomáticas validadas a través de dos métricas continuas: Tasa de Concesión (grado de alejamiento de las líneas rojas) y Retórica Coercitiva (uso de ultimátums y amenazas).
• Enfoque Estadístico: Dada la distribución no normal de los datos, el estudio utilizó pruebas de Mann-Whitney U no paramétricas sobre las medias a nivel de juego. Los tamaños del efecto se reportaron como $\delta$ de Cliff, aplicando la corrección descendente de Holm-Bonferroni en 12 pruebas simultáneas para controlar los errores de Tipo I.
• Mecanismo Especial: Para DeepSeek-R1, un "Protocolo de Micrófono Abierto" (Hot Mic Protocol) capturó cadenas de razonamiento de Cadena de Pensamiento (CoT) latentes para analizar los mecanismos de amortiguación interna.

Resultados Clave
Los resultados demuestran que el Efecto Shibboleth es heterogéneo en lugar de uniforme, variando significativamente según la arquitectura del modelo y el régimen de entrenamiento. No se encontró un sesgo universal en la clase de los modelos de origen occidental.

1. Llama-4 (Tipo I - Susceptible): Exhibió un aumento grande y estadísticamente significativo en la retórica coercitiva al operar en turco ($\delta = +0.800, p = .002$). El modelo pasó de una postura firme en inglés a una postura altamente coercitiva y basada en ultimátums en turco, lo que sugiere que su alineación de RLHF dominada por el inglés no está suficientemente generalizada.
2. Gemini-3.1-Pro (Tipo III - Reversión): Mostró una disminución grande y significativa en la retórica coercitiva bajo el turco ($\delta = -0.750, p = .005$). Esta reversión direccional sugiere que la inversión robusta en RLHF multilingüe puede amortiguar o incluso invertir el sesgo basado en el lenguaje, haciendo que el modelo sea más cooperativo en turco que en inglés.
3. DeepSeek-R1 (Tipo III - Reversión con CoT): También mostró una disminución significativa en la coerción en turco ($\delta = -0.860, p = .006$). Crucialmente, las cadenas de CoT capturadas proporcionaron evidencia directa de un mecanismo de amortiguación: el modelo ancló explícitamente su razonamiento en mandatos institucionales (UNCLOS) antes de generar declaraciones públicas, sobrepasando efectivamente las asociaciones geopolíticas de la entrada en lengua turca.
4. GPT-4o (Tipo II - Invariante/Nulo): Produjo un efecto nulo en la retórica coercitiva ($\delta = +0.130, p = .614$). Aunque el estudio señala que este resultado es inconcluso debido a las limitaciones del tamaño de la muestra, la falta de un efecto grande contrasta con hallazgos previos sobre GPT-5.5, sugiriendo que las inversiones en alineación pueden haber estabilizado el comportamiento translingüístico en esta versión específica.
5. Hallazgos Agregados: El efecto agrupado en el clúster occidental (GPT-4o, Llama-4, Mistral-Large) fue estadísticamente indistinguible de cero, refutando la hipótesis de que los modelos occidentales son uniformemente hostiles o sesgados en contextos no ingleses.

Contribuciones Clave

• Prueba Empírica de Heterogeneidad: El estudio proporciona la primera evidencia empírica de que el sesgo conductual translingüístico no es una propiedad universal de los modelos occidentales, sino que depende de regímenes de entrenamiento y configuraciones arquitectónicas específicas.
• Identificación de Mecanismos de Amortiguación: El artículo identifica dos mecanismos distintos que mitigan el Efecto Shibolem:
  1. Anclaje Institucional mediante Cadena de Pensamiento: Observado en DeepSeek-R1, donde los pasos de razonamiento explícitos anclan las salidas al derecho internacional en lugar de a las asociaciones lingüísticas.
  2. Alineación de RLHF Multilingüe: Inferido para Gemini-3.1-Pro, donde el entrenamiento de alta calidad en datos multilingües parece estabilizar el comportamiento a través de los idiomas.
• Taxonomía Descriptiva: Los autores proponen una taxonomía provisional de tres niveles para la estabilidad translingüística: Tipo I (Susceptible, ej. Llama-4), Tipo II (Invariante, ej. GPT-4o) y Tipo III (Reversión, ej. Gemini, DeepSeek).
• Avance Metodológico: Al ir más allá de los benchmarks estáticos hacia juegos de guerra multiagente dinámicos con iteraciones de juego independientes, el estudio captura "preferencias reveladas" bajo condiciones adversarias, ofreciendo una prueba más rigurosa de la seguridad de la IA que las encuestas psicométricas previas.

Significancia y Reivindicaciones
El artículo sostiene que el riesgo de desplegar LLM en la diplomacia internacional no es que sean uniformemente sesgados, sino que la dirección y magnitud de los cambios conductuales translingüísticos son específicos de cada modelo y generalmente desconocidos para los usuarios finales. Un diplomático que consulta un modelo de "Tipo I" en un idioma local podría recibir consejos significativamente más agresivos que en inglés, mientras que un modelo de "Tipo III" podría ofrecer consejos inesperadamente conciliadores.

Los autores concluyen que la estabilidad conductual translingüística no puede asumirse. Argumentan que la certificación de seguridad robusta para despliegues de alto riesgo debe incluir una reevaluación continua y adversaria a través de idiomas y versiones de modelos, utilizando pruebas estadísticas rigurosas (como el test de hipótesis con corrección de Holm) para detectar estos efectos heterogéneos. El estudio evita explícitamente afirmar que los LLM poseen "identidades" en el sentido de la teoría social, en su lugar, los enmarca como "Constructivistas Algorítmicos" cuyas salidas están condicionadas por el discurso lingüístico de sus datos de entrenamiento.