Resumen Técnico: Diagnóstico del Sesgo Político de Modelos de Lenguaje Grande (LLM) en Coreano mediante Simulación de Agentes Basada en Censo

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se utilizan cada vez más para simular el comportamiento político humano, pero exhiben sesgos políticos sistemáticos que comprometen su utilidad en las proyecciones electorales. Si bien investigaciones anteriores (por ejemplo, Feng et al. [4]) han documentado una inclinación liberal-izquierdista en los LLM de idioma inglés mediante sondeo intrínseco, sigue sin estar claro si estos sesgos se generalizan a electorados no anglófonos con estructuras políticas distintas, o qué mecanismos específicos impulsan la divergencia entre la simulación y la realidad.

La política coreana presenta un desafío único para la simulación debido a su regionalismo persistente (bastiones conservadores en Gyeongsang frente a progresistas en Jeolla), un gran bloque moderado (aproximadamente el 48% de los votantes), frecuentes cambios de nombre de partidos y divisiones generacionales. Los marcos de simulación basados en censos existentes se han desarrollado principalmente para EE. UU., dejando un vacío en la comprensión de cómo los LLM manejan las dinámicas políticas no anglófonas. Este artículo aborda dos preguntas centrales: (i) ¿Exhiben los LLM de idioma coreano los mismos patrones de sesgo direccional que los modelos de idioma inglés? y (ii) ¿Qué mecanismos de fallo específicos impulsan la brecha entre la simulación y los resultados electorales reales?

2. Metodología: El Marco Dynamo-K

Los autores introducen Dynamo-K, un marco de simulación de agentes LLM basado en censos diseñado como instrumento de diagnóstico. El proceso opera a través de seis capas:

1. Fundamentación en Censo: Los agentes se sintetizan mediante muestreo proporcional ponderado a partir de los microdatos del 2% del Censo de 2020 de MDIS (794,342 registros), cubriendo 5,790 celdas demográficas no vacías a través de edad, sexo, provincia, educación y estado civil.
2. Siembra de Creencias: Las orientaciones políticas se asignan basándose en probabilidades condicionales derivadas de los datos acumulados de la Encuesta General Social de Corea (KGSS) (2003–2023), mapeando la demografía hacia orientaciones progresistas, moderadas o conservadoras.
3. Calibración Gallup: Para corregir la tendencia metodológica de la KGSS a empujar a los encuestados ambiguos hacia los polos, un adaptador de calibración redistribuye las orientaciones de los agentes para coincidir con la referencia a largo plazo de Gallup Corea (26% conservador, 48% moderado, 26% progresista). Esto implica reasignar agentes "límite" y ajustar sus puntuaciones de creencia.
4. Simulación LLM (ORC): Cada agente recibe un escenario electoral y razona una decisión de voto utilizando un proceso de Observación–Razonamiento–Conclusión (ORC). El prompt del sistema codifica explícitamente la persona del agente, incluyendo la demografía y una descripción conductual diseñada para mitigar el sesgo (por ejemplo, instruyendo a los votantes moderados a razonar como un votante perfilado, no como una IA, y enfatizando la probabilidad igual de votar por cualquiera de los bandos).
5. Agregación: Los resultados se agregan a nivel nacional y subnacional (17 provincias), generando intervalos de confianza de bootstrap a partir de 1,000 remuestreos.
6. Evaluación: El rendimiento se mide frente a seis elecciones certificadas de Corea (2017–2025) utilizando el Error Absoluto Medio (MAE), la precisión en la predicción del ganador y la similitud de Wasserstein.

El estudio evalúa cuatro modelos entrenados independientemente: Qwen3-30B-A3B, EXAONE-4.0-32B, Llama-3.1-8B y DeepSeek-R1-8B.

3. Contribuciones y Hallazgos Clave

A. Modos de Fallo Sistemáticos

Los autores identifican tres modos de fallo reproducibles y un hallazgo dependiente del modelo:

1. Sesgo Progresista en Agentes Moderados: Sin mitigación, los agentes moderados votan por candidatos progresistas el 97% de las veces. Incluso solo con condicionamiento demográfico, esto se mantiene en el 82%. La mitigación explícita mediante prompts (descripciones equilibradas, instrucciones de perspectiva anti-IA) reduce esto al 59%, disminuyendo significativamente el MAE general de 36,8 puntos porcentuales a 7,1 puntos porcentuales. Esto confirma una inclinación progresista consistente con los hallazgos en inglés, pero destaca su impacto catastrófico en la simulación de un gran bloque moderado.
2. Colapso de la Relevancia de Terceros: Los LLM luchan por distribuir los votos entre candidatos viables de terceros partidos. En la elección de 2017, la simulación colapsó el campo, prediciendo al ganador eventual (Moon Jae-in) con una cuota del 71,3% mientras subestimaba al candidato centrista (Ahn Cheol-soo) en un 0,9% (real: 21,4%).
   • Descomposición del Mecanismo: El colapso es impulsado por dos mecanismos distintos: Fallo de Relevancia (modelos como EXAONE no mencionan al candidato en el texto de razonamiento) y Sesgo de Decisión (modelos como Qwen3 mencionan al candidato pero fallan al votar por él).
   • Solución de Reencuadre: El reencuadre del escenario (reordenar candidatos, ampliar promesas) por sí solo recuperó la cuota predicha de Ahn del 0,9% al 18,8%, reduciendo el MAE en un 62% sin cambios arquitectónicos ni reentrenamiento.
3. Colapso de la Polarización Regional: Lo que parece ser un sesgo conservador uniforme en las elecciones generales es en realidad una subestimación bidireccional de los bastiones tanto conservadores como progresistas. El error se concentra en regiones de balancín donde dominan los votantes moderados.
4. Sesgo de Modelo de Valencia Opuesta: En la carrera presidencial de 2025, Qwen3 exhibió un sesgo progresista de +11,8 puntos porcentuales, mientras que EXAONE exhibió un sesgo conservador de −17,2 puntos porcentuales. Esto demuestra que el sesgo direccional es altamente dependiente del modelo, incluso entre modelos de tamaño similar.

B. Calibración y Validación

• Adaptador OSLR: Para abordar el sesgo dependiente del modelo, los autores proponen el adaptador Reponderación Logística de Orientación × Sido (OSLR). Este mecanismo de reponderación aprendido no utiliza nombres de candidatos en tiempo de entrenamiento ni de prueba, confiando solo en características estables (orientación del partido, región).
• Prueba en Frío de Datos Retenidos: El adaptador OSLR se evaluó en la elección local de 2022 (retenida por completo). Aunque no predijo perfectamente al ganador debido a la división en las predicciones del modelo, redujo el MAE nacional de 2,29 puntos porcentuales (conjunto simple) a 1,57 puntos porcentuales, demostrando que la estructura de reponderación aprendida se transfiere a elecciones estructuralmente diferentes.
• Rendimiento: El sistema predijo correctamente al ganador en las tres elecciones presidenciales (3/3), con un MAE óptimo de 2,1 puntos porcentuales en la carrera de 2022 con un margen de 0,73 puntos porcentuales. Sin embargo, la predicción del ganador en elecciones generales fue de 0/2 correcta utilizando una abstracción de proxy de partido, aunque una prueba de concepto a nivel de distrito electoral para 2024 invirtió el resultado a correcto.

C. Costo y Escalabilidad

El proceso opera a aproximadamente 0,25 dólares por ejecución de 5,000 agentes, unas dos órdenes de magnitud más barato que las encuestas profesionales (50,000 dólares+). Los autores lo presentan no como un reemplazo de las encuestas, sino como una herramienta para "diagnóstico a escala", permitiendo una exploración rápida de escenarios (por ejemplo, "qué pasaría si" un candidato se retira) y análisis de sensibilidad que son económicamente inviables con métodos tradicionales.

4. Significado y Afirmaciones

El artículo afirma que Dynamo-K sirve como un instrumento de diagnóstico que pone de manifiesto modos de fallo específicos y reproducibles en el comportamiento político de los LLM que de otro modo permanecen ocultos detrás de resúmenes de precisión agregada.

• Validez Diagnóstica: El marco localiza con éxito los fallos en mecanismos específicos (por ejemplo, distinguiendo entre fallo de relevancia y sesgo de decisión), permitiendo intervenciones dirigidas como el reencuadre de prompts o la reponderación.
• Generalización No Anglófona: El estudio proporciona la primera caracterización empírica de cómo la "inclinación liberal" documentada para los LLM en inglés se manifiesta en la simulación de decisiones de votantes coreanos, confirmando que el sesgo está presente pero interactúa con las estructuras políticas locales (por ejemplo, el gran bloque moderado) de maneras únicas.
• Limitaciones: Los autores son modestos en sus afirmaciones, señalando que el tamaño de la muestra (seis elecciones) es pequeño para conclusiones estadísticas robustas. Reconocen limitaciones que incluyen la desincronización temporal del censo (uso de datos de 2020 para elecciones de 2017/2025), agentes estáticos (sin actualización dinámica de creencias) y la falta de efectos de interacción social. Afirman explícitamente que el sistema no es un reemplazo para las encuestas, sino una herramienta complementaria para el triaje rápido y el diagnóstico de mecanismos.

El trabajo concluye que, aunque los LLM pueden lograr una precisión competitiva en la predicción de ganadores para elecciones presidenciales, persisten desafíos significativos en la modelización de elecciones generales y dinámicas de terceros partidos, lo que requiere modelización a nivel de distrito electoral y más investigación transcultural.