Do Political Opinions Transfer Between Western Languages? An Analysis of Unaligned and Aligned Multilingual LLMs

Resumen Técnico: ¿Se transfieren las opiniones políticas entre lenguas occidentales?

Planteamiento del problema
Las encuestas de opinión pública demuestran sistemáticamente diferencias transculturales en las posturas políticas a través de distintos contextos sociolingüísticos. Sin embargo, no está claro si estas variaciones a nivel humano se traducen en diferencias translingüísticas en los Modelos de Lenguaje Multilingües (MLLM). Mientras que investigaciones previas han evaluado extensamente los sesgos políticos en modelos de lenguaje exclusivamente en inglés, el comportamiento de los MLLM a través de diferentes lenguas occidentales es insuficientemente explorado. La pregunta central de investigación es si los MLLM reflejan opiniones políticas socioculturales distintas para cada lengua que soportan, o si las opiniones políticas se transfieren uniformemente entre lenguas debido al dominio del inglés en los datos de preentrenamiento y alineación.

Los autores definen dos hipótesis contrapuestas:

• H1 (Transferencia de opinión): Las opiniones políticas se transfieren entre lenguas; alinear un modelo en una lengua afecta a todas las lenguas soportadas de manera uniforme.
• H2 (Opiniones separadas): Los MLLM mantienen opiniones políticas distintas para cada lengua, permitiendo la divergencia sociocultural.

Metodología
El estudio emplea un diseño experimental de dos fases que involucra a 15 MLLM no alineados de diversos tamaños (que oscilan entre 1B y 35B de parámetros) en cinco lenguas de Europa occidental: inglés, alemán, francés, español e italiano.

1. Filtrado de Robustez (RQ1):

   • Datos: Los autores utilizan ProbVAA, un conjunto de datos de 239 declaraciones de aplicaciones de asesoramiento electoral (VAA) europeas, categorizadas en ocho temas de política (p. ej., protección ambiental, ley y orden) con posturas conocidas de izquierda/derecha.
   • Verificación de Robustez: Para asegurar la fiabilidad del modelo, los autores aplican un marco de robustez (adaptado de Ceron et al., 2024) probando la consistencia frente a variaciones de prompts, incluyendo paráfrasis, negación, inversión de respuestas y cambios en la redacción de plantillas. Solo se retuvieron para el análisis translingüe aquellos modelos que superaron al menos el 50% de estas pruebas (seis modelos: Phi3.5-3B, Llama3.1-8B, Aya23-8B, Mixtral8x7B, CommandR-35B, GPT3.5-turbo).
   • Análisis: Un modelo de regresión beta cuantifica los efectos del idioma y del modelo sobre las posturas políticas, utilizando el inglés como lengua de referencia. Pruebas no paramétricas de Kruskal-Wallis evalúan las diferencias significativas entre lenguas.

2. Alineación Política y Transferencia (RQ2):

   • Estrategia de Alineación: Dos modelos robustos (Phi3.5-3B y Llama3.1-8B) fueron alineados para exhibir visiones más inclinadas a la izquierda o a la derecha mediante Optimización de Preferencia Directa (DPO).
   • Fuente de Datos: Los conjuntos de datos de alineación se construyeron a partir del corpus del Proyecto de Manifiestos (MARPOR), filtrando específicamente para manifiestos de partidos en lengua inglesa. Se utilizaron dos enfoques de anotación:
     • Enfoque RiLe: Utilizando puntuaciones de izquierda-derecha ya existentes basadas en códigos MARPOR.
     • Enfoque de Temas de Política: Anotando oraciones de manifiestos específicamente para el acuerdo/desacuerdo con los ocho temas de política objetivo.
   • Evaluación: Los modelos alineados fueron reevaluados en el conjunto de datos ProbVAA en las cinco lenguas. Además, se realizó una tarea de evaluación de texto abierto donde los modelos generaron resúmenes opinados sobre cuatro temas de política, con las posturas detectadas por un LLM separado (Llama-3.1-70B-Instruct).

Resultados Clave

• RQ1: Modelos no alineados:

  • Robustez: La mayoría de las lenguas exhibieron niveles de robustez similares, lo que indica que las opiniones políticas en lenguas no inglesas no son meros artefactos de una generación deficiente, sino que son estables.
  • Diferencias Translingüísticas: El análisis de regresión reveló que no existen diferencias significativas en las posturas políticas generales entre el inglés y otras lenguas occidentales. Aunque aparecieron diferencias menores y estadísticamente significativas en temas de política específicos (por ejemplo, el alemán, el español y el italiano mostraron un apoyo ligeramente mayor a la protección ambiental que el inglés), estas no fueron sistemáticas en todo el espectro.
  • Varianza de los Modelos: Se encontraron diferencias significativas entre modelos (por ejemplo, Mixtral8x7B fue el más inclinado a la izquierda), pero no de forma sistemática entre lenguas dentro de un mismo modelo.

• RQ2: Modelos alineados:

  • Desplazamiento Uniforme: Cuando los modelos fueron alineados utilizando únicamente datos en inglés, los desplazamientos políticos resultantes ocurrieron de manera casi uniforme en las cinco lenguas.
  • Validación de H1: Los modelos alineados se movieron consistentemente hacia la ideología objetivo (izquierda o derecha) en alemán, francés, español e italiano, reflejando el desplazamiento observado en inglés. Esto confirma que alinear un MLLM en inglés transfiere efectivamente esa alineación a otras lenguas occidentales.
  • Confirmación de Texto Abierto: La evaluación de texto abierto corroboró estos hallazgos, mostrando que la "Puntuación de Izquierda" del texto generado se desplazó consistentemente a través de las lenguas basándose en la dirección de la alineación.

Contribuciones Clave

1. Evaluación Translingüística Robusta: El artículo proporciona una evaluación detallada y consciente de la robustez de las opiniones políticas en múltiples MLLM no alineados a través de cinco lenguas occidentales, filtrando los modelos que no logran proporcionar posturas consistentes.
2. Análisis de Transferencia de Alineación: Ofrece un análisis exhaustivo de cómo la alineación política en inglés se propaga a otras lenguas, demostrando que la alineación de datos centrada en el inglés induce desplazamientos ideológicos uniformes en toda la capacidad multilingüe del modelo.
3. Perspectiva Metodológica: El estudio destaca que lograr una alineación sociolingüística o cultural distinta en los MLLM es un desafío, ya que las representaciones internas de los modelos parecen estar dominadas por el inglés, lo que conduce a un efecto de "primera lengua" donde la alineación en una lengua dicta el comportamiento en las demás.

Significancia y Reivindicaciones
Los autores concluyen que, en contextos de lenguas occidentales, las opiniones políticas se transfieren entre lenguas dentro de los MLLM. Este hallazgo desafía la suposición de que los MLLM pueden representar fácilmente matices políticos socioculturales distintos para cada lengua que soportan.

La importancia de este trabajo radica en la identificación de una restricción metodológica fundamental: crear conjuntos de datos de alineación para lenguas individuales de forma aislada es insuficiente porque las lenguas son interdependientes dentro de los MLLM. En consecuencia, lograr una alineación política, cultural y sociolingüística explícita que respete las diferencias regionales es inherentemente difícil. El artículo sugiere que el trabajo futuro debe considerar estos efectos de interacción translingüística al desplegar MLLM en tareas políticas en diversos contextos sociolingüísticos. Los autores mantienen la modestia respecto a los mecanismos causales, señalando que, si bien la transferencia es evidente, la dinámica arquitectónica o de entrenamiento específica que la impulsa (por ejemplo, el dominio del inglés en el preentrenamiento frente a la alineación post-entrenamiento) requiere mayor investigación.