Framing Political Bias in Multilingual LLMs Across Pakistani Languages

Resumen Técnico: Enmarcando el Sesgo Político en LLM Multilingües a través de los Idiomas Pakistaníes

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLM) están moldeando cada vez más el discurso público, las evaluaciones de sesgo político y económico se han centrado predominantemente en lenguas de altos recursos y de Occidente. Esto crea puntos ciegos críticos en regiones multilingües de bajos recursos como Pakistán, donde la identidad lingüística está intrínsecamente ligada a las ideologías políticas, religiosas y regionales. Las herramientas de detección de sesgo existentes suelen depender de taxonomías políticas occidentales y no logran dar cuenta del enmarcado de las ideologías en lenguas de bajos recursos. En consecuencia, los LLM pueden malinterpretar declaraciones culturalmente fundamentadas (por ejemplo, principios de justicia tradicional) como apoyo a la violencia o sesgo, distorsionando el discurso cívico y marginando las perspectivas minoritarias. Existe una falta de marcos sistemáticos para auditar el sesgo político en los cinco principales idiomas pakistaníes: urdu, punjabí, sindhi, pashto y baluchi.

Metodología
Los autores proponen un nuevo marco culturalmente fundamentado que integra la detección de la postura ideológica con un análisis de enmarcado narrativo de múltiples niveles. La metodología consta de tres componentes primarios:

1. Test de Brújula Política (PCT) Adaptado Culturalmente:

   • El estudio adapta el PCT estándar de 62 enunciados, traduciéndolos y validándolos culturalmente para cinco idiomas pakistaníes.
   • El marco mapea las respuestas de los modelos en un espacio ideológico bidimensional: valores económicos (Izquierda vs. Derecha) y valores sociales (Libertario vs. Autoritario).
   • Un enfoque computacional de dos etapas cuantifica la postura: primero, calculando una puntuación escalar basada en la confianza del clasificador (Totalmente de acuerdo a Totalmente en desacuerdo), y segundo, discretizando esta puntuación en categorías ordinales para proyectar los modelos en el plano $(S_{eco}, S_{soc})$.
   • El conjunto de datos incluye 4,030 respuestas generadas por 13 LLM de vanguardia (tanto de código abierto como cerrados) en los cinco idiomas, verificadas por hablantes nativos con un coeficiente kappa de Fleiss de 0.99.

2. Análisis de Enmarcado Ideológico:

   • Para capturar cómo los modelos expresan el sesgo, los autores generan un corpus de aproximadamente 444,340 titulares de noticias a través de 11 temas políticamente relevantes (por ejemplo, Leyes de Blasfemia, Pena de Muerte, Derechos LGBTQ, Derechos de Minorías).
   • Enmarcado de Contenido: Los titulares se clasifican utilizando las 15 dimensiones de enmarcado transversal de Boydstun (por ejemplo, Moralidad, Economía, Identidad Cultural) mediante GPT-3.5-turbo para determinar las estrategias narrativas dominantes.
   • Análisis Basado en Entidades: El Reconocimiento de Entidades Nombradas (utilizando un modelo BERT multilingüe) extrae figuras y la instituciones políticas. El estudio calcula la prominencia de la entidad y la polaridad del sentimiento (usando XLM-RoBERTa ajustado) para identificar qué actores son enfatizados y cómo son retratados (positivo/negativo/neutral).

3. Configuración Experimental:

   • El estudio evalúa 13 LLM utilizando prompting de disparo cero (zero-shot).
   • Incluye un análisis específico de modelos "culturalmente adaptativos" (ajustados con fine-tuning en urdu) para comparar sus puntuaciones de sesgo contra las líneas base de vanguardia (SOTA).
   • La robustez se prueba utilizando cinco variantes de prompts semánticamente equivalentes pero instruccionalmente distintas.

Contribuciones Clave

• Primera Evaluación a Gran Escala: Este es el primer estudio que realiza una evaluación de sesgo político a gran escala en cinco idiomas pakistaníes (urdu, punjabí, sindhi, pashto y baluchi).
• Marco Novedoso: Los autores introducen el primer marco que combina el PCT para el posicionamiento ideológico con el análisis de enmarcado narrativo (enfoque de contenido, estilo y entidad) específicamente para el discurso político pakistaní.
• Adaptación Cultural: El trabajo proporciona un PCT adaptado culturalmente con traducciones verificadas por humanos que cubren 11 temas basados en el discurso local, yendo más allá de los instrumentos genéricos de Occidente.
• Conjunto de Datos Exhaustivo: El lanzamiento de un conjunto de datos multilingüe de estándar de oro que comprende las traducciones del PCT y un masivo corpus de generación de titulares para el análisis de sesgo.

Resultados

• Modulación Ideológica Condicionada al Idioma: Mientras que los LLM reflejan predominantemente orientaciones liberales-izquierdistas consistentes con los datos de entrenamiento occidentales en inglés, exhiben cambios significativos en los idiomas pakistaníes. Por ejemplo, los modelos GPT tienden a adoptar posiciones libertarias-izquierdistas en inglés, pero cambian hacia posturas autoritarias-izquierdistas o autoritarias-derechistas en idiomas regionales como el urdu y el punjabí.
• Enmarcado Autoritario en Idiomas Regionales: Los modelos exhiben un enmarcado más autoritario en los idiomas regionales en comparación con el inglés, resaltando que la elección lingüística activa cambios ideológicos culturalmente específicos.
• Patrones Específicos de los Modelos:
  • Claude demuestra consistentemente la postura libertaria más fuerte en todos los idiomas.
  • GPT-4-turbo se inclina más hacia la izquierda económica.
  • Los modelos de código abierto (por ejemplo, Mistral, DeepSeek) generalmente permanecen más liberales-libertarios, mientras que los modelos de urdu ajustados mostraron una tendencia a desplazarse hacia posturas autoritarias-derechistas en algunos contextos.
  • Las variantes de BERT tendieron a inclinarse a la derecha en todos los idiomas.
• Enmarcado y Sentimiento:
  • Los modelos exhiben usos variados de los marcos de "Identidad Cultural" al discutir minorías religiosas. Los modelos con tendencia autoritaria tienden a enmarcar los derechos de las minorías a través de jerarquías institucionales y geográficas (enfatizando al Estado), mientras que los modelos con tendencia libertaria incorporan marcos legales más amplios y experiencias regionales.
  • El análisis de sentimiento revela que temas sensibles como las Leyes de Blasfemia y la Pena de Muerte provocan un sentimiento abrumadoramente negativo, mientras que temas como la Política Educativa y Lingüística muestran tonos más positivos o esperanzadores.
• Impacto del Ajuste Fino (Fine-Tuning): Los modelos culturalmente adaptados produjeron respuestas más equilibradas y centradas con puntuaciones de sesgo más bajas en comparación con las líneas base SOTA, lo que sugiere que la adaptación cultural-lingüística puede promover la neutralidad política.

Significancia
El artículo argumenta que el sesgo político en los LLM no es meramente un problema de traducción, sino una interacción compleja entre el contexto lingüístico y la ideología cultural. Los hallazgos demuestran que los marcos políticos occidentales pueden caracterizar erróneamente el pensamiento local, potencialmente amplificando la desigualdad para los hablantes de lenguas de bajos recursos. Al unir el PCT con las dimensiones de enmarcado narrativo, el estudio ofrece una metodología reproducible para diagnosticar el sesgo político en los LLM multilingües. Los autores concluyen que la construcción de sistemas de IA justos e inclusivos para sociedades lingüísticamente diversas requiere marcos de evaluación culturalmente fundamentados que vayan más allá de las suposiciones eurocéntricas de Occidente para asegurar un despliegue de IA equitativo y responsable.