Large Language Models are Perplexed by some Political Parties

Resumen Técnico: Los Modelos de Lenguaje de Gran Escala están Perplejos por algunos Partidos Políticos

Planteamiento del Problema
Aunque los Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más en aplicaciones políticas, su equidad política sigue siendo poco estudiada. La literatura existente evalúa principalmente los "sesgos políticos" en los LLM con Ajuste de Instrucciones (IT-LLM) mediante métodos basados en encuestas (por ejemplo, pidiendo a los modelos que respondan preguntas de brújula política). Estos métodos suelen sufrir de fragilidad respecto al fraseo de los prompts y son generalmente inaplicables a los modelos base (base LLMs). Además, el trabajo previo sobre la equidad en la traducción (Lerner y Yvon, 2025) sugiere que la calidad de la traducción varía según la afiliación política del hablante, pero esto depende de corpus paralelos y métricas de rendimiento (downstream). Los autores postulan que un modelo justo debería asignar una probabilidad igual (perplejidad) a los textos independientemente de su contenido partidista, pero se desconoce si los LLM base exhiben una injusticia sistemática en sus distribuciones de preentrenamiento a través de diversos grupos políticos e idiomas.

Metodología
Los autores proponen un método para evaluar la equidad política utilizando la perplejidad (y métricas relacionadas con la información, como la Log-Verosimilitud Negativa, Bits por Carácter y Bits por Carácter Inglés) en corpus monolingües. La hipótesis central es que un modelo justo debe exhibir una perplejidad igual para textos de todos los grupos políticos.

• Conjuntos de Datos: El estudio utiliza tres conjuntos de datos que cubren 37 idiomas:
  1. Manifesto: Programas de partidos políticos (2018–presente).
  2. Parlamint: Debates parlamentarios nacionales (2022–presente).
  3. 21-EuroParl: Un corpus multi-paralelo de las actuaciones del Parlamento Europeo (2009–2011) alineado a nivel de oración en 21 idiomas.
• Modelos: Los experimentos cubren diez LLM de tres familias (Gemma-3, Qwen3, Llama-3.1) en dos tamaños (4B/8B y 8B/70B), evaluando tanto Modelos Base como sus contrapartes de Ajuste de Instrucciones (IT-LLM).
• Métricas y Análisis:
  • Evaluación de Equidad: Los autores computan la perplejidad (PPL), BPC y BPEC en textos estratificados por partido político. Para determinar si la perplejidad varía significamente por partido, emplean un análisis de Kruskal-Wallis (un ANOVA no paramétrico).
  • Agregación: Para la comparación translingüística, utilizan la agregación de conteo de Borda para clasificar partidos o familias políticas (por ejemplo, Socialdemócrata vs. Nacionalista) basándose en sus puntuaciones de perplejidad.
  • Correlación: Para vincular la equidad del preentrenamiento con el rendimiento posterior, computan la correlación de Spearman entre la perplejidad del modelo base y las métricas de traducción posteriores (sBLEU y COMET) de su correspondiente IT-LLM.

Resultos Clave

1. Injusticia Sistemática en el Preentrenamiento: A través de diez LLM y conjuntos de datos que cubren 37 idiomas, los LLM están consistentemente más perplejos por los textos de los partidos de extrema derecha y nacionalistas en comparación con los partidos socialdemócratas.
   • En el caso de estudio de Portugal, los partidos radical-izquierda y de extrema derecha tuvieron la NLL más alta (peor), mientras que el partido socialista de izquierda tuvo la NLL más baja (mejor).
   • Agregado en 10 idiomas en el conjunto de datos Manifesto, los partidos Nacionalistas/Radicales de Derecha recibieron consistentemente los peores puntajes de Borda (clasificación más baja), mientras que los Socialdemócratas recibieron los mejores.
2. Base vs. Ajuste de Instrucciones: La injusticia política observada en los modelos base está altamente correlacionada con la de sus contrapartes de ajuste de instrucciones (Pearson $r \approx 0.99$). El estudio encuentra que el ajuste de instrucciones no altera significativamente la equidad política subyacente establecida durante el preentrenamiento.
3. Correlación con la Traducción Posterior: Existe una fuerte correlación negativa entre la perplejidad del texto de un partido político en un modelo base y la calidad de la traducción (sBLEU/COMET) de ese texto cuando es generado por el IT-LLM.
   • Los partidos con mayor perplejidad (menor probabilidad asignada por el modelo) reciben puntuaciones de traducción más bajas.
   • Esta correlación se mantiene incluso cuando se usa la perplejidad no condicionada (sin contexto de texto fuente), lo que sugiere que la dificultad intrínseca del modelo para modelar el lenguaje de un grupo político específico impacta directamente en su capacidad para generar o traducir ese lenguaje posteriormente.

Contribuciones Clave

• La Perplejidad como Métrica de Equidad: El artículo introduce un método para evaluar la equidad política utilizando la perplejidad en corpus monolingües simples, aplicable tanto a modelos base como de instrucción sin requerir traducciones de referencia o prompts de encuesta.
• Origen de la Injusticia en el Preentrenamiento: Los autores demuestran que los problemas de equidad política surgen principalmente de la fase de preentrenamiento, ya que los modelos base y sus contrapartes de ajuste de instrucciones muestran perfiles de equidad casi idénticos.
• Consistencia Multilingüe: Los hallazgos se mantienen a través de 37 idiomas y 420 pares de idiomas, lo que sugiere que las características políticas son compartidas entre idiomas dentro de un mismo modelo en lugar de ser subespacios específicos de cada idioma.
• Predicción del Rendimiento Posterior: El estudio establece que la perplejidad del modelo base puede predecir la equidad de traducción, ofreciendo una forma de estimar el sesgo de traducción sin necesidad de datos paralelos.

Significancia y Reivindicaciones
El artículo afirma que la equidad política de los LLM no es un espectro gradual de izquierda-derecha, sino una desventaja específica para ciertos grupos (particularmente partidos de extrema derecha y nacionalistas) en comparación con los socialdemócratas. Los autores argumentan que, debido a que este sesgo se origina en el preentrenamiento, los métodos estándar de alineación de ajuste de instrucciones son insuficientes para corregirlo. En consecuencia, el trabajo hace un llamado a:

• Métodos alternativos de alineación post-entrenamiento.
• El diseño de métodos de preentrenamiento justos.
• Una reflexión más amplia sobre la integración de los LLM en aplicaciones políticas sensibles.

El estudio contrasta con la literatura previa basada en encuestas al centrarse en las distribuciones de probabilidad intrínsecas del modelo en lugar de en sus respuestas generadas a prompts, proporcionando evidencia de que el "sesgo político" es una propiedad fundamental de la distribución de entrenamiento del modelo.