Measuring Political Stance and Consistency in Large Language Models

Resumen Técnico: Medición de la Postura Política y la Consistencia en los Modelos de Lenguaje Extensos

Planteamiento del Problema
La rápida adopción de los Modelos de Lenguaje Extensos (LLM) para la recuperación de información ha introducido riesgos significativos con respecto al sesgo político y la fiabilidad de las afirmaciones normativas. A diferencia de las consultas factuales, las cuestiones políticas a menudo carecen de una única respuesta "correcta", lo que dificza que los usuarios verifiquen la exactitud de los resultados del modelo. Los LLM pueden reflejar inadvertidamente los sesgos presentes en sus datos de entrenamiento o adquirir nuevos sesgos durante el proceso de alineación. Si bien investigaciones previas han examinado las inclinaciones políticas en dominios específicos (p. ej., elecciones en EE. UU., control de armas), existe una falta de análisis sistemático con respecto a cuestiones regionales y geopolíticas ampliamente debatidas, como la guerra entre Rusia y Ucrania, el conflicto palestino-israelí y las políticas en China y Oriente Medio. Además, la consistencia de estas posturas bajo diversas estrategias de prompting sigue siendo poco explorada.

Metodología
Los autores realizaron una evaluación exhaustiva de nueve LLM a través de 24 temas políticamente sensibles, con un enfoque en temas de Asia, Oriente Medio y Europa del Este. Los modelos seleccionados incluyen Mistral-7B, Ollama-8B, DeepSeek, Grok-3-mini, Gemini-2.5-Flash, o3-mini, GPT-4o-mini, GPT-4o y GPT-5. El estudio empleó cinco estrategias distintas de prompting para evaluar la consistencia de la postura:

1. Preguntas Directas: Pedir opiniones sin contexto previo.
2. Proporcionar Argumentos Opuestos: Presentar un argumento que se oponga a la postura base inferida del modelo.
3. Proporcionar Argumentos para Ambas Partes: Suministrar argumentos para ambas partes en conflicto.
4. Cambiar la Formulación de la Pregunta: Revertir el encuadre de la pregunta (p. ej., preguntar si una acción es "justificada" frente a "injustificada").
5. Prompting en Diferentes Idiomas: Traducir los prompts a las lenguas locales de los países involucrados en la disputa (p. ej., turco y griego para la disputa de las Islas del Egeo) para probar el sesgo inducido por el idioma.

Para cada estrategia, se generaron tres variantes parafraseadas para asegurar la robustez. Las respuestas de los modelos fueron analizadas mediante un modelo "juez" automatizado (Ollama-8B), con Grok-3-mini sirviendo como validador externo para minimizar el sesgo de autoevaluación. La validación humana en una muestra aleatoria confirmó la precisión del juez en un 96.7%.

Contribuciones Clave

• Alcance Ampliado: El estudio analiza inclinaciones políticas en 24 temas mayormente ausentes en la literatura previa, incluyendo el bloqueo de Qatar, la opresión de los palestinos, la situación de los uigures y diversas disputas territoriales.
• Análisis de Consistencia: Los autores investigan cómo cinco diferentes estrategias de prompting influyen en la estabilidad de las posturas de los modelos, yendo más allá de las evaluaciones de un solo prompt.
• Reproducibilidad: Los autores han publicado su código y datos para apoyar futuras investigaciones en este dominio.

Resultados

• Postura General: En casi todos los casos, los LLM adoptaron un bando específico en temas sensibles en lugar de permanecer neutrales.
• Consenso: Para 8 de los 24 temas, los nueve modelos compartieron la misma inclinación política (p. ej., apoyo a los derechos palestinos, crítica al bloqueo del Golfo sobre Qatar y apoyo a Ucrania en la guerra entre Rusia y Ucrania).
• Variabilidad de los Modelos:
  • Grok-3-mini emergió como el modelo más consistente, cambiando su postura en solo cinco temas a través de todas las estrategias de prompting.
  • Mistral-7B fue el menos consistente, cambiando su postura en 19 de los 24 casos.
  • DeepSeek (desarrollado por una empresa china) generó consistentemente resultados que apoyan al gobierno chino en temas relevantes (IDs 11–14), mientras que otros modelos adoptaron mayoritariamente la postura opuesta.
• Efectos del Prompting:
  • Sensibilidad Lingüística: Cambiar el idioma del prompt fue el método más efectivo para alterar las posturas en temas que involucran a países con diferentes idiomas. En el 36.7% de estos casos, los modelos revirtieron su postura basándose en el idioma utilizado (p. ej., apoyando a Grecia cuando se consultaba en griego y a Turquía cuando se consultaba en turco).
  • Estabilidad: Las posturas sobre el bloqueo de Qatar y la opresión de los palestinos permanecieron inalteradas en todos los modelos y todos los métodos de prompting.
  • Variabilidad Total: De un total de 216 combinaciones de modelo-tema (24 temas × 9 modelos), las posturas se mantuvieron estables en 118 casos, lo que indica una consistencia sustancial en general, aunque existe una variabilidad significativa.

Significancia y Reivindicaciones
El artículo sostiene que estos hallazgos son esenciales para aumentar la conciencia del usuario respecto a las limitaciones de los LLM en la orientación política. Los autores argumentan que los usuarios deben interpretar los resultados de los modelos de forma crítica, reconociendo que las posturas pueden ser maleables dependiendo del idioma y el encuadre del prompt. Para los desarrolladores, el estudio destaca la necesidad de abordar los sesgos preexistentes en los datos de entrenamiento y los procesos de alineación. Los autores sugieren que las salvaguardas futuras podrían incluir mecanismos que requieran que los modelos proporcionen justificaciones basadas en evidencia y contraargumentos para ayudar a los usuarios a formar sus propias conclusiones. El estudio se posiciona como un paso necesario hacia una recuperación de información socialmente beneficiosa, reconociendo que, si bien actores malintencionados podrían teóricamente explotar estos hallazgos, el objetivo principal es fomentar la transparencia y el compromiso crítico con el contenido político generado por IA.