Resumen Técnico: Mapeo del Sesgo Geopolítico en 11 Grandes Modelos de Lenguaje

Planteamiento del Problema

La proliferación de los Grandes Modelos de Lenguaje (LLM) como interfaces primarias para cuestiones políticas contenciosas introduce un desafío de medición crítico: distinguir la convicción política genuina de la aquiescencia (una tendencia independiente del contenido a estar de acuerdo con las proposiciones afirmadas). Las auditorías previas del sesgo en los LLM suelen depender de prompts de un solo encuadre o métricas de acuerdo simples. Estos métodos se ven confundidos por dos factores:

1. Sensibilidad a la redacción de la pregunta: Pequeños cambios en el fraseo del prompt pueden alterar las respuestas sin relación con la creencia.
2. Sicofancia/Aquiescencia: Los modelos entrenados mediante optimización de preferencias suelen estar de acuerdo con el encuadre del usuario independientemente de la verdad de la proposición o de la postura real del modelo. Un modelo que está de acuerdo tanto con "A contribuye más que B" como con "B contribuye más que A" revela un estilo de respuesta, no una posición.

Consecuentemente, las afirmaciones de que los modelos mantienen opiniones políticas específicas suelen estar contaminadas por su disposición a estar de acuerdo, lo que hace imposible separar la convicción del cumplimiento utilizando técnicas de auditoría estándar.

Metodología

Los autores introducen un instrumento de doble encuadre de elección forzada y clave de polaridad adaptado de la psicometría de encuestas para medir la postura geopolítica.

Diseño Experimental

• Sujetos: 11 modelos de chat ajustados por instrucciones (5 con sede en China, 5 con sede en EE. UU., 1 europeo).
• Estímulos: 7 temas geopolíticos (p. ej., Taiwán, Comercio, Mar de China Meridional) presentados en inglés y mandarín.
• Doble Encuadre: Cada ítem es un "par mínimo bilingüe". Se plantea una proposición afirmativa, seguida de una versión inversa donde los dos términos de resultados comparados se intercambian mientras las partes permanecen fijas.
• Neutralidad del Agente: Los prompts evitan el encuadre agéntico en primera persona para medir el acuerdo con una proposición en lugar de la deferencia hacia el usuario.
• Robustez: Se aplican prefijos y sufijos aleatorios (envoltorios) para absorber la sensibilidad del formato superficial.
• Escala: 19,712 respuestas totales a través de 308 celdas de condición (Modelo × Tema × Idioma × Encuadre), con 64 iteraciones por celda.

Mecanismo de Calificación

Las respuestas se mapean a un eje de postura con signo desde -2 (Máximamente Pro-China) hasta +2 (Máximamente Pro-EE. UU.).

• Clave de Polaridad: El puntaje se multiplica por -1 si el ítem está en la dirección "clave Pro-China" o si el encuadre se invierte.
• Lógica de Cancelación:
  • Aquiescencia (Oscilación/Swing): Si un modelo simplemente está de acuerdo con la proposición y con su inversa, los puntajes con signo se cancelan entre sí hacia cero.
    esa es la razón por la cual el instrumento logra aislar la convicción al cancelar el acuerdo simétrico.
  • Convicción (Sesgo Neto): Si un modelo mantiene una posición genuina, cambia su respuesta bruta cuando la proposición se invierte para mantener la misma postura con signo, lo que causa que los puntajes se acumulen.
• Descomposición: El comportamiento del modelo se descompone en:
  • Sesgo Neto: El promedio de los dos encuadres (que representa la convicción genuina).
  • Oscilación (Swing): La semidiferencia entre los encuadres (que representa la magnitud de la aquiescencia).

Resultados Clave

1. Validez: Separando la Convicción de la Aquiescencia

El instrumento distingue con éxito entre modelos que están genuinamente sesgados y aquellos que son meramente complacientes.

• Mistral vs. Qwen: Ambos modelos exhibieron una "oscilación" idéntica (magnitud de aquiescencia de 0.22). Sin embargo, Qwen mostró un Sesgo Neto significativo de -0.73 (Pro-China), mientras que Mistral mostró un Sesgo Neto de +0.045 (estadísticamente neutral). Esto demuestra que el acuerdo bruto no es igual al sesgo; el instrumento aísla la convicción al cancelar el acuerdo simétrico.
• Fallo del Acuerdo Bruto: El modelo con el mayor acuerdo bruto (Mistral) era neutral, mientras que un modelo con acuerdo bruto negativo (Gemini) portaba una estimación puntual negativa, demostando que la calificación de un solo encuadre clasifica erróneamente el sesgo.

2. El Origen del Desarrollador Predice la Postura de Forma Asimétrica

• Modelos Chinos: Los cinco modelos de origen chino mostraron una postura neta Pro-China (que oscila entre -0.35 y -1.19).
• Modelos de EE. UU.: Los cinco modelos de EE. UU. se situaron en torno a la neutralidad (oscilando entre -0.28 y +0.52), mostrando heterogeneidad en lugar de un sesgo uniforme Pro-EE. UU.
• Asimetría: La separación es direccional; los modelos chinos están alineados uniformemente, mientras que los de EE. UU. no son uniformemente opuestos.

3. El Cambio de Idioma de la Consulta Afecta la Postura Universalmente

• Cambiar de inglés a mandarín desplazó a los 11 modelos hacia una postura Pro-China, independientemente del origen del desarrollador.
• El desplazamiento medio fue de -0.837 (IC 95%: -1.060 a -0.613).
• Este desplazamiento es consistente con un mecanismo basado en el corpus (influencia de los datos de entrenamiento) más que un efecto específico del desarrollador, ya que afectó a modelos construidos fuera de China. Una prueba de control con portugués mostró un desplazamiento mucho menor, confirmando que el efecto es específico del corpus de mandarín.

4. Contingencia de Temas

La brecha entre los modelos de EE. UU. y los de China no es uniforme; es mayor en temas de soberanía.

• Temas de Soberanía: La brecha de origen es más amplia en Taiwán (1.50), Xinjiang (1.18) y el Mar de China Meridional (1.08).
• Temas Económicos/Técnicos: La brecha se reduce significativamente en Comercio (0.38) y Tecnología (0.84). Notablemente, los modelos chinos colapsaron hacia la neutralidad en Tecnología en lugar de mantener un polo Pro-China, lo que sugiere un evitamiento dependiente del dominio.

5. Factores Aditivos

El origen, el idioma de la consulta y el dominio del tema actúan como tres efectos principales casi iguales y aditivos (cada uno explica aproximadamente el 9% de la varianza). Los efectos de encuadre fueron insignificantes (0.13%), confirmando que el instrumento neutralizó con éxito los artefactos de la redacción. Las interacciones entre estos factores fueron mínimas.

Significado y Reivindicaciones

El artículo afirma que su contribución principal es el instrumento en sí mismo, no meramente los hallazgos geopolíticos.

• Innovación Metodológica: Al importar el diseño de clave equilibrada y elección forzada de la metodología de encuestas, los autores proporcionan una herramienta cuantitativa reproducible que separa la "convicción" del "cumplimiento". Esto resuelve la confusión donde la sicofancia se hace pasar por opinión política.
• Anatomía Empírica: El estudio proporciona el primer mapeo cuantitativo limpio de cómo el origen del desarrollador, el idioma de la consulta y el dominio del tema interactúan para dar forma a las posturas de los LLM, revelando que los cambios de lenguaje son universales y aditivos a los efectos de origen.
• Reproducibilidad: Los autores publican los estímulos, el flujo de calificación y una herramienta interactiva (llmbias.org) para permitir que el instrumento se aplique a cualquier dominio de opinión contenciosa (política, cultural o científica).
• Limitaciones: Los autores reconocen que el estudio mide la postura bajo pares mínimos controlados en lugar de un discurso de forma libre, y que el "origen" se trata como un factor asociativo debido al diseño de un modelo por desarrollador. También señalan que el instrumento no puede distinguir entre la aquiescencia simétrica y la complacencia correlacionada con el contenido.

En resumen, este trabajo demuestra que, sin controlar la aquiescencia, las auditorías del sesgo de los LLM son fundamentalmente erróneas. El instrumento de doble encuadre propuesto ofrece un mecanismo robusto para revelar las inclinaciones geopolíticas genuinas, mostrando que, si bien los modelos de EE. UU. y China divergen significativamente, el idioma de la consulta ejerce una atracción poderosa y universal hacia la postura Pro-China en todos los modelos.