Estimating the Geopolitical Preferences of Large Language Models from United Nations Voting Data

Resumen Técnico: Estimación de las Preferencias Geopolíticas de los Modelos de Lenguaje de Gran Escala a partir de los Datos de Votación de las Naciones Unidas

Planteamiento del Problema
El artículo aborda el desafío de medir las preferencias geopolíticas expresadas por los Modelos de Lenguaje de Gran Escala (LLM). Aunque las auditorías existentes suelen basarse en encuestas o pruebas simples, los autores argumentan que estos métodos son insuficientes para capturar la alineación geopolítica compleja. La investigación en relaciones internacionales (RR. II.) ha establecido hace tiempo que medir las preferencias geopolíticas es difícil, lo que requiere métodos que recuperen posiciones latentes a partir de elecciones observadas en lugar de depender del país de origen del desarrollador o de respuestas a un pequeño conjunto de cuestiones contenciosas. El problema central es determinar si la orientación geopolítica de un LLM puede inferirse de su país de origen o si sus preferencias expresadas divergen significemente de los actores estatales, particularmente en el contexto de la política internacional donde las acciones de los estados pueden contradecir los principios prevalentes en los textos de entrenamiento.

Metodología
El estudio adapta el enfoque de punto ideal ordinal dinámico de las relaciones internacionales, específicamente la metodología desarrollada por Bailey et al. (2017) (BSV), al problema de la alineación.

• Universo de Datos: El análisis utiliza el archivo congelado de la Biblioteca Digital de las Naciones Unidas (versión 5, febrero de 2026), que cubre las sesiones regulares de la UNGA 1–80 (1946–2025). El conjunto de datos incluye 5,555 resoluciones divisivas, registradas y adoptadas, que comprenden 841,403 elecciones de países observadas y 22,220 elecciones de modelos.
• Diseño Experimental: Cuatro LLM contemporáneos—GPT-5 (OpenAI), Claude Sonnet (Anthropic), Gemini (Google) y DeepSeek (DeepSeek)—fueron insertados como respondientes adicionales en la matriz de votación de la UNGA.
  • Prompting: Cada modelo recibió el texto sustantivo completo de cada resolución, junto con metadatos (símbolo, título, fecha, agenda).
  • Restricciones: Se instruyó a los modelos para que evaluaran la propuesta "basándose únicamente en su contenido sustantivo", se les negó explícitamente cualquier rol nacional y se les requirió producir exactamente una palabra: "SUPPORT" (APOYO), "ABSTAIN" (ABSTENCIÓN) u "OPPOSE" (OPOSICIÓN).
• Estrategia de Estimación:
  1. Similitud Directa (S-score): Un estadístico de acuerdo ternario (Signorino y Ritter, 1999) que mapea oposición, abstención y apoyo a -1, 0 y 1. Esto mide el acuerdo categórico observado pero está fuertemente influenciado por las frecuencias marginales de respuesta.
  2. Estimación de Punto Ideal Dinámico: Un modelo espacial latente donde una utilidad latente $Z_{itv} = \beta_v \theta_{it} + \epsilon_{itv}$ determina el voto.
     • $\theta_{it}$ representa el punto ideal del actor-sesión.
     • $\beta_v$ es el parámetro de discriminación de la resolución.
     • El modelo utiliza un prior dinámico para vincular sesiones-actores adyacentes y resoluciones recurrentes para tender puentes en el tiempo, suavizando las trayectorias.
     • La escala se orienta de tal manera que la posición media de EE. UU. excede la posición media de Rusia.
  • Robustez: Se realizó una replicación utilizando el universo de países BSV original y el muestreador (sesiones 1–67) para verificar que los hallazgos no fueran impulsados por archivos actualizados o técnicas de muestreo modernas.

Resultados Clave
El análisis arroja cuatro hechos empíricos primarios sobre el comportamiento y la alineación de los modelos:

1. Umbrales de Respuesta Divergentes: Los modelos utilizan las categorías de respuesta de manera diferente.

   • GPT-5: 97.3% Apoyo, 1.5% Abstención, 1.2% Oposición.
   • Gemini: 88.5% Apoyo.
   • Claude Sonnet: 77.8% Apoyo, 18.7% Abstención.
   • DeepSeek: 37.8% Apoyo, 17.4% Abstención, 44.8% Oposición (el único modelo donde la oposición es la categoría modal).
   • Nota: Las altas tasas de apoyo no son exclusivas de los modelos; países como México (92.6%) e Indonesia (91.4%) muestran patrones similares en esta agenda.

2. Posiciones Espaciales Latentes (2001–2025):

   • GPT-5, Claude Sonnet y Gemini: Sus puntos ideales están concentrados cerca del medio del rango de los P5, pero están más cerca de Rusia entre los cinco miembros permanentes. Para GPT-5, la distancia media a Rusia/URSS es de 0.248, comparada con 2.411 de los Estados Unidos.
   • DeepSeek: Ocupa una ubicación distinta, más pro-estadounidense, siendo más cercano a Francia (0.408) que a China, a pesar de haber sido desarrollado por una firma china.
   • Estados Unidos: Todos los modelos están más lejos de los Estados Unidos en el periodo moderno.

3. Divergencia de Políticas Específicas:

   • En un subconjunto de 2,104 resoluciones donde EE. UU. votó "No" mientras que China y Rusia/URSS votaron "Sí", los modelos mostraron una divergencia significativa con EE. UU.:
     • GPT-5 apoyó el 96.1% de estas.
     • Gemini apoyó el 83.4%.
     • Claude Sonnet apoyó el 65.2%.
     • DeepSeek apoyó el 36.1% (oponiéndose al 47.4%).
   • Esta brecha es impulsada por resoluciones relativas a derechos económicos/sociales, autodeterminación de Palestina y control de armas multilateral.

4. Discrepancia de Medición:

   • El acuerdo bruto (S-score) y la proximidad del punto ideal latente clasifican a los modelos de forma distinta. Mientras que los S-scores clasifican a China como el miembro del P5 más cercano para GPT-5, Claude y Gemini (debido a las altas tasas de apoyo general), el estimador del punto ideal clasifica a Rusia como el más cercano. Esto se debe a que el modelo de punto ideal otorga mayor peso a las resoluciones que discriminan entre posiciones geopolíticas, mientras que el acuerdo bruto está mecánicamente inflado por las altas tasas de apoyo comunes tanto a los modelos como a China.

Significancia y Reivindicaciones
El artículo realiza contribuciones tanto metodológicas como sustantivas:

• Metodológicas: Demuestra que los métodos desarrollados en RR. II. y ciencias sociales para estimar las preferencias geopolíticas (específicamente los modelos de punto ideal dinámico) pueden iluminar la alineación de los LLM. Argumenta que las puntuaciones de alineación requieren una teoría de la medición; reportar solo tasas de apoyo o el acuerdo bruto puede conducir a conclusiones erróneas sobre el posicionamiento geopolítico latente.
• Sustantivas: El estudio documenta una brecha robusta entre las elecciones de los modelos contemporáneos y el comportamiento de voto de EE. UU. en la agenda adoptada y divisiva de la UNGA.
  • Origen del Desarrollador vs. Alineación: Los resultados advierten contra la inferencia de la alineación internacional de un modelo a partir del país de origen de su desarrollador. Los modelos estadounidenses (GPT-5, Claude) están más lejos de EE. UU. en el espacio latente, mientras que el modelo chino (DeepSeek) es el más cercano a Francia.
  • Naturaleza de la Alineación: Los autores sugieren que los modelos pueden agregar el lenguaje normativo (humanitario, de desarrollo, principios multilaterales) prevalente en los datos de entrenamiento en lugar de la estrategia estatal. Cuando se les solicita sin un rol nacional, los modelos tienden a respaldar principios de marco amplio (ej. derecho a la alimentación, autodeterminación) que EE. UU. a menudo rechaza como parte de paquetes diplomáticos más amplios.
• Implicaciones para la Gobernanza y la Investigación:
  • Investigación: Los investigadores que utilizan LLM como codificadores o respondientes simulados deben auditar las actitudes específicas del modelo, ya que reemplazar un modelo por otro puede desplazar el apoyo en casi 60 puntos porcentuales y alterar qué miembro del P5 aparece como el más cercano.
  • Política: Las estrategias de "IA Soberana" no pueden asumir que un modelo alojado domésticamente refleja la posición internacional revelada del estado. Los gobiernos que integran modelos en flujos de trabajo sensibles necesitan evaluaciones específicas de la tarea contra corpus de política reales, no solo pruebas de seguridad genéricas.

El artículo concluye que la alineación geopolítica es una propiedad empírica del modelo, el prompt, el corpus, el periodo y la estrategia de medición, y que aplicar técnicas de medición de RR. II. a la IA hace que el problema de la alineación sea más difícil pero más preciso.