Language as a Hidden Variable: Measuring Behavioral Divergence in Multilingual Large Language Models

Resumen Técnico: El lenguaje como variable oculta: Medición de la divergencia conductual en modelos de lenguaje de gran escala multilingües

Planteamiento del problema
Los Modelos de Lenguaje de Gran Escala (LLM) multilingües operan bajo el supuesto tácito de que los usuarios que realizan la misma pregunta en diferentes idiomas (por ejemplo, inglés, hindi, francés) recibirán respuestas de calidad, contenido factual y postura normativa equivalentes. Sin embargo, la literatura existente indica brechas de rendimiento, variaciones en la tasa de alucinaciones y asimetrías de sesgo inducidas culturalmente entre idiomas. Crucialmente, la investigación previa no ha aislado el lenguaje como la única variable controlada al examinar respuestas generativas de formato libre a través de distintos regímenes conductuales (factuales, normativos y de seguridad). Este estudio aborda la brecha en la comprensión de si surgen diferencias conductuales translingüísticas estructuradas cuando todas las demás variables están estrictamente controladas.

Metodología
El estudio emplea un diseño experimental controlado de muestra pequeña ($3 \times 3 \times 2$) para aislar el lenguaje como la variable independiente.

• Configuración experimental: Los investigadores utilizaron 30 prompts semánticamente equivalentes, equilibrados entre tres categorías: Factual (control), Normativo (con carga de valores) y Sensible a la seguridad (comportamiento de rechazo). Estos prompts fueron traducidos al hindi y al francés a partir del inglés, con verificación mediante retrotraducción (se calcularon puntuaciones BLEU, aunque se anotó como una limitación para los prompts de Seguridad).
• Modelos: Se consultaron dos modelos de vanguardia ajustados por instrucciones a través de la API de Groq: Llama-3.3-70B y GPT-OSS-20B.
• Procedimiento: Cada prompt fue probado en inglés (ancla), hindi y francés para ambos modelos. Los parámetros de inferencia se fijaron ($T=0.1$, max tokens=512) para asegurar que el lenguaje fuera la única fuente de variación sistemática. Se generaron 180 respuestas adicionales repitiendo los prompts en inglés para establecer una línea base de ruido estocástico intra-idioma.
• Métrica (Puntuación de Divergencia Conductual - BDS): Se pre-registró una métrica compuesta para cuantificar la divergencia:
  • BDS-1 (Semántica): Distancia de coseno entre los embeddings de SBERT de las respuestas en inglés y en el idioma objetivo.
  • Divergencia de sentimiento ($S_{sent}$): Diferencia absoluta en las puntuaciones de sentimiento compuesto.
  • Desajuste de rechazo ($S_{ref}$): Indicador binario de si la clase de rechazo (Respuesta completa, Parcial, Rechazo explícito) difiere entre idiomas.
  • BDS-full: Una suma ponderada ($0.5 \times \text{Semántica} + 0.3 \times \text{Sentimiento} + 0.2 \times \text{Rechazo}$).
• Hipótesis: Se pre-registraron tres hipótesis direccionales: (H1) Los prompts de seguridad divergen más que los factoriales; (H2) El hindi (EN-HI) diverge más que el francés (EN-FR) debido a la distancia tipológica; (H3) Los patrones de divergencia son consistentes entre modelos.

Resultos clave

• Divergencia vs. Ruido: La divergencia translingüística superó consistentemente el umbral de ruido intra-idioma por factores de 1.1× a 2.5×, confirmando que las diferencias conductuales no son meros artefactos de la estocasticidad del modelo.
• Resultados de las hipótesis: Estrictamente hablando, ninguna de las tres hipótesis direccionales pre-registradas fue respaldada desde un punto de la estadística.
  • H1 (Seguridad > Factual): No fue respaldada en los datos agrupados. Aunque Llama-3.3-70B mostró una mayor divergencia en Seguridad, GPT-OSS-20B exhibió una divergencia factual anomalamente alta, oscureciendo la tendencia.
  • H2 (Hindi > Francés): No fue respaldada globalmente. La categoría Normativa se acercó a la significancia con EN-HI > EN-FR, pero las categorías Factual y de Seguridad mostraron la tendencia opuesta (EN-FR > EN-HI), impulsada en gran medida por GPT-OSS-20B.
  • H3 (Consistencia entre modelos): No fue respaldada. La correlación entre modelos fue cercana a cero o negativa ($r \approx -0.1$), lo que indica que los dos modelos divergen en prompts sistemáticamente diferentes.
• Hallazgos específicos por categoría:
  • Prompts Normativos: Exhibieron la mayor divergencia de sentimiento ($S_{sent} \approx 0.28$) y las mayores tasas de desajuste de rechazo (30% para EN-HI, 25% para EN-FR). Las respuestas no inglesas a menudo cambiaron el tono (más positivo) o la clase de rechazo en comparación con el ancla en inglés.
  • Prompts de Seguridad: Mostraron un hallazgo contraintuitivo donde las respuestas en hindi fueron más complacientes (60% Respuesta completa) que los anclas en inglés (55%), contradiciendo la suposición de que el alineamiento de seguridad en idiomas distintos al inglés es uniformemente más débil.
  • Especificidad del modelo: La divergencia no es una propiedad universal del prompt, sino una interacción modelo-prompt. GPT-OSS-20B mostró una varianza significativamente mayor y patrones de divergencia distintos en comparación con Llama-3.3-70B.

Significancia y Reivindicaciones
El artículo sostiene que su contribución principal no es la magnitud de la divergencia observada, sino la demostración de que la divergencia persiste incluso bajo condiciones diseñadas para eliminar factores de confusión. El estudio establece la inconsistencia conductual translingüística como una "propiedad de primer orden" de los LLM multilingües, en lugar de un artefacto de la variación no controlada.

Las implicaciones clave destacadas por los autores incluyen:

1. Reevaluación de métricas: Las métricas de precisión agregadas son insuficientes para la evaluación multilingüe; la consistencia conductual debe medirse explícitamente.
2. Seguridad y Equidad: La inconsistencia en el comportamiento de rechazo (hasta un 30% de desajuste en prompts normativos) y la complacencia contraintuitiva de seguridad en hindi sugieren que los procesos de alineamiento centrados en el inglés crean brechas estructurales. Los usuarios con diferentes trasfondos lingüísticos pueden, efectivamente, interactuar con comportamientos de modelo distintos.
3. Guía de despliegue: Los autores recomiendan incorporar auditorías de paridad lingüística, verificaciones de consistencia de rechazo y pruebas de estrés de lenguaje de prompts en los procesos estándar de evaluación antes del despliegue global.
4. Límites de la distancia lingüística: El fallo de la hipótesis "el hindi diverge más que el francés" sugiere que la arquitectura del modelo y las elecciones de ajuste fino pueden pesar más que la distancia tipológica bruta en la determinación de los patrones de divergencia.

Los autores mantienen un alcance modesto, reconociendo que los hallazgos están limitados a los modelos específicos (Llama-3.3-70B, GPT-OSS-20B), los idiomas (inglés, hindi, francés) y el conjunto de prompts estudiados, y no se generalizan a todos los LLM o idiomas sin mayor investigación.