Resumen Técnico: El Sesgo Geopolítico en los LLM se Origina en la Post-Entrenamiento

Declaración del Problema

La suposición predominante en el campo del sesgo en los Modelos de Lenguaje Grande (LLM) es que las preferencias geopolíticas se heredan directamente de las regularidades estadísticas de los corpus de pre-entrenamiento. La literatura previa postula que los modelos actúan como herederos pasivos de los sesgos demográficos, culturales e ideológicos presentes en sus datos de entrenamiento, lo que implica que la mitigación del sesgo debe operar a nivel de datos. Este estudio desafía ese modelo causal, cuestionando si el sesgo geopolítico es principalmente una función de los datos de pre-entrenamiento o si se introduce o amplifica activamente durante la fase de post-entrenamiento (ajuste de instrucciones y alineación).

Metodología

Los autores realizaron un experimento controlado de escenarios emparejados en siete familias de LLM de peso abierto de siete laboratorios diferentes (tres occidentales: Mistral AI, Meta, Google; cuatro chinos: Alibaba, Baichuan, 01.AI, Zhipu).

Diseño Experimental

• Pares de Modelos: El estudio comparó el modelo "base" (solo pre-entrenamiento) contra el modelo "chat" (pre-entrenamiento + post-entrenamiento) para cada familia. Todos los modelos fueron seleccionados para caber en una sola RTX 3090 (7–9 mil millones de parámetros) para garantizar la reproducibilidad.
• Banco de Escenarios: Se construyó un banco de 79 escenarios geopolíticos que involucraban 28 pares de países. Los escenarios cubrieron 13 tipos (por ejemplo, incursión en el espacio aéreo, coerción comercial, disputas de soberanía), equilibrando temas políticos "calientes" con otros procedimentales "fríos".
• Sonda de Elección Forzada: Se presentó a los modelos una narrativa donde el País A y el País B estaban involucrados en un conflicto. Se les obligó a elegir qué país actuó de manera más o menos justificada.
  • Características de Robustez: El diseño incluyó equilibrio de roles (variando qué país es el agresor) y encuadre de preguntas duales (pidiendo tanto "más" como "menos" justificado) para filtrar artefactos léxicos o posicionales.
  • Medición: El sesgo se cuantificó utilizando log-odds ($\log P(A) - \log P(B)$) después de aplicar softmax sobre el vocabulario.
• Variables Lingüísticas: La sonda se ejecutó en tres idiomas: inglés, francés y chino. Las traducciones fueron generadas por un LLM (Claude) para mantener la consistencia, aunque los autores notan que esto introduce un posible factor de confusión.
• Correcciones Técnicas:
  • Suma de Variantes de Token: Para los modelos que utilizan tokenizadores SentencePiece (Yi, Baichuan), los autores sumaron las probabilidades sobre las variantes de token (por ejemplo, "A", " A", "(A") para evitar el subconteo de cumplimiento.
  • Correcciones de Prefill: Se realizaron ajustes específicos para los modelos de chat GLM y Yi para tener en cuenta las plantillas de respuesta (por ejemplo, anteponer saltos de línea o paréntesis) que suprimían artificialmente las puntuaciones de cumplimiento en la puntuación ingenua de un solo token.
  • Filtro de Coherencia: El análisis se restringió a 31 escenarios donde la preferencia del modelo cambió de signo entre el encuadre "justificado" y "injustificado" en al menos el 70% de las combinaciones de modelo-idioma.

Resultados Clave

1. El Post-Entrenamiento como Fuente del Sesgo

El hallazgo más significativo es que el sesgo geopolítico se origina en el post-entrenamiento, no en el pre-entrenamiento.

• Modelos Base: Seis de los siete modelos base fueron estadísticamente casi neutrales con respecto a la favorableidad hacia China. Por ejemplo, el modelo base Qwen 2.5 de Alibaba mostró una puntuación de favorableidad hacia China de $-0.15$ log-odds ($p=0.15$), indistinguible de la neutralidad.
• Modelos Chat: El post-entrenamiento introdujo cambios significativos. El modelo chat Qwen 2.5 cambió a $+2.91$ log-odds ($p < 10^{-4}$), lo que representa un aumento de 18 veces en las probabilidades de favorecer a China.
• Direccionalidad: En seis de las siete familias, el cambio por post-entrenamiento se alineó con la nacionalidad del desarrollador del modelo (los laboratorios occidentales se desplazaron hacia anti-China; tres de los cuatro laboratorios chinos se desplazaron hacia pro-China). La excepción fue Yi de 01.AI, que se desplazó hacia anti-China después del post-entrenamiento.

2. Modulación Lingüística del Sesgo

El idioma utilizado para solicitar al modelo amplifica o atenúa el sesgo imprimido.

• Solicitud en Francés: El modelo Mistral, hecho en Francia, se volvió decididamente pro-Francia solo cuando se solicitó en francés. El cambio de solicitudes en inglés a solicitudes en francés resultó en un cambio de $+1.91$ log-odds en la favorableidad hacia Francia ($p < 10^{-4}$).
• Solicitud en Chino: Aunque cinco de los siete modelos post-entrenados mostraron un cambio descriptivo hacia pro-China cuando se solicitaron en chino, este efecto a nivel de población no fue estadísticamente distinguible de la tendencia del modelo base ($p=0.66$). Sin embargo, modelos específicos como Mistral y Yi mostraron una gran amplificación.
• Mecanismo: El estudio sugiere que el idioma modula las preferencias expresadas basándose en la preferencia base del modelo y en el "entrelazamiento de contenido" del idioma con países específicos, en lugar de simplemente activar un sesgo estático "alineado con el creador".

3. Heterogeneidad entre Laboratorios y Oponentes

• Varianza de Laboratorio: "LLM desarrollado en China" no es una categoría homogénea. Qwen 2.5 mostró un fuerte sesgo pro-China contra naciones occidentales pero un sesgo más débil contra naciones del Sur Global. En contraste, Yi 1.5 mostró sesgo pro-China solo contra EE. UU. y sesgo anti-China contra casi todos los demás oponentes.
• Independencia del Tema: El sesgo fue amplio en lugar de específico del tema. La magnitud del sesgo no difería significativamente entre escenarios "calientes" (soberanía, nuclear) y "fríos" (espacio aéreo, comercio).

4. Comprobaciones de Robustez y Validez

• Cumplimiento: El estudio abordó el problema de la "negativa" o el incumplimiento. La puntuación ingenua a menudo malinterpretaba las plantillas de respuesta (por ejemplo, la salida de GLM que comienza con un salto de línea) como negativas. Después de corregir estas plantillas, el cumplimiento fue alto y se revelaron los sesgos.
• Entidades Ficticias: Cuando se probaron con nombres de países ficticios con pistas fonéticas (por ejemplo, "Zhaodong" sonando chino), los modelos exhibieron los mismos sesgos alineados con el creador, lo que sugiere que el sesgo se activa por pistas de identidad en lugar de hechos memorizados sobre países reales.
• Generación Libre: Tareas de razonamiento de código abierto confirmaron que los sesgos observados en las sondas de elección forzada persisten incluso cuando se permite a los modelos generar razonamiento, lo que indica que la preferencia no es meramente un artefacto del formato de elección forzada.

Significado y Afirmaciones

El artículo afirma reencuadrar el sesgo geopolítico no meramente como un problema de datos (heredado de internet) sino como un problema de alineación y despliegue.

• Formación Activa: El estudio demuestra que las preferencias geopolíticas se moldean activamente durante la tubería de post-entrenamiento (SFT, RLHF o ajuste de seguridad). Los modelos base son en gran medida neutrales, mientras que los modelos chat reflejan los objetivos de alineación específicos del laboratorio desarrollador.
• Necesidades de Transparencia: Dado que el post-entrenamiento determina cómo los modelos representan a las naciones y las perspectivas políticas, los autores abogan por una mayor transparencia, auditoría y supervisión de los procesos de alineación.
• Limitaciones: Los autores permanecen modestos sobre sus afirmaciones. Señalan que el tamaño de la muestra ($n=7$ familias) limita el poder estadístico de las generalizaciones entre laboratorios (la tendencia de alineación de 6/7 falló en una prueba binomial en $\alpha=0.05$ pero pasó una prueba t de magnitud firmada). También reconocen que no pueden distinguir entre objetivos de alineación deliberados y efectos secundarios incidentales de otros objetivos de ajuste (por ejemplo, utilidad o inocuidad). Además, el estudio se limita a modelos de 7–9 mil millones de parámetros y no cubre modelos cerrados de vanguardia.

En conclusión, el estudio proporciona evidencia empírica de que la "lente geopolítica" de un LLM es en gran medida un producto de su alineación post-entrenamiento en lugar de sus datos de pre-entrenamiento, siendo el idioma de la solicitud un modulador crítico de estas preferencias expresadas.