💬 NLP

TradeVerse: A Longitudinal Benchmark of Political Negotiation in International Trade

Este artículo presenta TradeVerse, el primer benchmark longitudinal derivado de los registros de reuniones de la OMC que evalúa las capacidades de los grandes modelos de lenguaje para comprender las negociaciones políticas comerciales de múltiples turnos a través de tres tareas: predecir códigos de productos, identificar países respondedores y generar declaraciones diplomáticas.

Autores originales: Debodeep Banerjee, Amitangshu Dasgupta

Publicado 2026-08-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Debodeep Banerjee, Amitangshu Dasgupta

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de alto riesgo del comercio internacional, los acuerdos rara vez se firman en un único momento de claridad. En cambio, surgen de un proceso de negociación lento y, a menudo, contencioso que puede extenderse a lo largo de años. Cuando una nación plantea una preocupación sobre los aranceles o las regulaciones de otra, la respuesta no es un simple sí o no. Es un diálogo, un intercambio de ida y vuelta donde las posiciones cambian, las alianzas se forman y los argumentos evolucionan a través de múltiples reuniones. Durante décadas, estas conversaciones se han registrado en las actas de la Organización Mundial del Comercio, creando un vasto archivo longitudinal de la diplomacia del mundo real. Hasta hace poco, los sistemas de inteligencia artificial diseñados para leer y comprender el lenguaje humano solo habían sido probados con documentos estáticos o preguntas aisladas. No se les había pedido que navegaran por el complejo y continuo drama de una disputa política de varios años.

Un nuevo estudio presenta una herramienta diseñada para probar si la inteligencia artificial moderna puede comprender verdaderamente este tipo de razonamiento político a largo plazo. Los investigadores construyeron un punto de referencia llamado TRADEVERSE, que reconstruye 1,170 preocupaciones comerciales específicas de los registros de la Organización Mundial del Comercio. Estas preocupaciones abarcan más de tres décadas, involucrando 6,933 reuniones separadas y 26,219 declaraciones individuales. El conjunto de datos cubre cinco comités diferentes y 89 categorías de productos distintas, que van desde bienes agrícolas hasta la electrónica. El objetivo no era ver si una computadora podía simplemente resumir un texto, sino ver si podía seguir el hilo de una conversación que podría haber comenzado hace cinco años, recordar quién dijo qué y comprender la posición estratégica de cada país involucrado.

Los investigadores establecieron tres desafíos distintos para probar la inteligencia de seis modelos de lenguaje líderes. La primera tarea pedía a los modelos que analizaran todo el historial de una disputa comercial e identificaran qué productos estaban siendo discutidos. En el mundo real, las preocupaciones comerciales suelen clasificarse mediante un sistema específico de códigos que categorizan las mercancías. Los modelos debían predecir estas categorías basándose únicamente en el texto de las negociaciones. Los resultados mostraron que, si bien los modelos eran buenos encontrando los productos correctos, también eran propensos a adivinar demasiadas posibilidades. Tendían a enumerar una amplia gama de artículos relacionados en lugar de señalar los exactos, lo que sugiere que estaban cubriéndose las espaldas cuando la evidencia no era perfectamente clara.

El segundo desafío fue una prueba de anonimato e inferencia. Los investigadores tomaron los registros de las reuniones y eliminaron los nombres de los países involucrados, reemplazándolos con marcadores de posición genéricos. Luego se pidió a los modelos que adivinaran qué país estaba respondiendo a las quejas. Esto se diseñó para ver si la IA podía deducir la respuesta basándose en la sustancia del argumento —las leyes específicas, la naturaleza de los productos y el estilo de la defensa— en lugar de solo reconocer el nombre de un país. Los modelos funcionaron con alta precisión, identificando correctamente al país que respondía en la mayoría de los casos. Sin embargo, surgió un patrón significativo: los modelos eran mucho mejores identificando a las naciones occidentales que a las no occidentales. Esta brecha de rendimiento persistió incluso cuando todos los nombres de los países estaban ocultos, lo que indica que los datos de entrenamiento de la IA contenían más ejemplos de lenguaje diplomático occidental, lo que facilitaba al sistema el reconocimiento de esos patrones.

La última tarea, y quizás la más difícil, consistía en actuar como participante en la negociación. Se les dio a los modelos el historial de una disputa y las declaraciones hechas por los países que se quejaban en la ronda final. Su trabajo era escribir la declaración de clausura para el país que responde. Los investigadores compararon estas declaraciones generadas con los registros históricos reales. Aunque la IA produjo un texto que sonaba fluido y diplomáticamente apropiado, a menudo carecía de los detalles específicos que se encuentran en las respuestas del mundo real. Los modelos podían imitar el tono de un diplomático, pero tenían dificultades para replicar los argumentos precisos y sustantivos que las naciones reales utilizan para defender sus políticas. Curiosamente, el estudio encontró que cuanto más rondas de negociación tenía una disputa, mejor desempeñaban los modelos la generación de la declaración final. Esto sugiere que cuanto más largo es el historial de la conversación, más contexto tiene la IA para comprender el papel que está desempeñando.

El estudio concluye que, si bien los sistemas actuales de inteligencia artificial son herramientas poderosas para leer texto, todavía enfrentan obstáculos significativos cuando se les pide que razonen a través de la dinámica larga y evolutiva de las negociaciones políticas del mundo real. Pueden identificar patrones e imitar estilos, pero a menudo pasan por alto los matices estratégicos específicos que definen las disputas comerciales internacionales. Los investigadores pusieron su conjunto de datos y las herramientas que utilizaron a disposición del público, con la esperanza de que este nuevo punto de referencia ayude a los sistemas futuros a aprender a navegar la naturaleza compleja y longitudinal de la diplomacia humana. El trabajo destaca que comprender una conversación no es solo leer las palabras en la página, sino rastrear la historia, las relaciones y las estrategias cambiantes que se desarrollan con el tiempo.

Resumen Técnico: TRADEVERSE

Planteamiento del Problema

Los benchmarks actuales para Modelos de Lenguaje de Gran Escala (LLMs) en los dominios legal y político evalúan predominantemente el rendimiento sobre documentos estáticos y aislados o tareas de toma de decisiones de un solo turno. Sin embargo, la toma de decisiones institucional en el mundo real, particularmente en el comercio internacional, es inherentemente longitudinal. Las negociaciones evolucionan a lo largo de múltiples iteraciones, que a menudo abarcan años, donde el resultado de cualquier turno específico depende de los argumentos, las alianzas y las posturas establecidas en las rondas anteriores. Los benchmarks existentes no logran capturar esta dinámica, la cual requiere que los modelos rastreen la cronología de diálogos multipartitos, comprendan el cambio en las posiciones geopolíticas y razonen sobre la estructura estratégica de las negociaciones en lugar de limitarse a la comprensión superficial del texto.

Metodología

Los autores presentan TRADEVERSE, un benchmark construido a partir de la Base de Datos de Preocupaciones Comerciales de la Organización Mundial del Comercio (OMC). El conjunto de datos comprende 1,170 preocupaciones comerciales específicas reconstruidas a partir de 6,933 actas de reuniones que abarcan más de tres décadas (1995–2026) en cinco comités de la OMC y 89 capítulos del Sistema Armonizado (SA) de productos.

El conjunto de datos se estructura como una secuencia de rondas de negociación ( $r_{i,1}, \dots, r_{i,R_i}$ ) que involucran a estados promotores (raisers), estados de apoyo (supporters) y estados demandados (respondents). A diferencia de otros conjuntos de datos que dependen de la anotación manual, TRADEVERSE deriva todas las etiquetas de verdad fundamental directamente de los procedimientos oficiales. El benchmark define tres tareas distintas para evaluar las capacidades de los LLM:

Tarea 1: Predicción del Capítulo SA (Clasificación Multietiqueta):
Dada la historia longitudinal completa de una preocupación comercial, el modelo debe predecir el conjunto de capítulos del SA (categorías de productos) en discusión. Esto pone a prueba la capacidad del modelo para sintetizar detalles técnicos dispersos en múltiples reuniones. Nota: Debido a las restricciones de disponibilidad de los códigos SA (presentes solo en los grupos TBT y SPS), esta tarea fue evaluada en 724 de las 1,170 reuniones.
Tarea 2: Identificación del Demandado (Clasificación Anonimizada):
El modelo debe identificar al país demandado basándose en el historial de la negociación. Esto se evalúa bajo dos configuraciones de anonimización:
- ST-1: Solo se enmascara el nombre del demandado y sus gentilicios.
- ST-2: Se enmascaran todos los nombres de países, gentilicios y agencias nacionales.
  Esto evalúa si el modelo puede inferir al demandado a partir de la sustancia de la disputa (medidas, productos, argumentos legales) en lugar de depender de menciones explícitas de entidades.
Tarea 3: Generación de la Declaración Final (Generación de Lenguaje Natural):
Dada la historia de la negociación hasta la ronda final (incluyendo las declaraciones finales del promotor y los apoyos), el modelo debe generar la declaración de conclusión del país demandado. El texto generado se evalúa frente a la declaración histórica real.

Configuración Experimental:
Se evaluaron seis modelos de lenguaje de última generación (incluyendo Nemotron3-Ultra:550B, Llama-3.3:70B, GLM-5.2, DeepSeek-V4-Pro, GPT-OSS-120B y Kimi-K2.7-Code) en un entorno de zero-shot. Las métricas incluyeron Precisión, Recall y F1 para las tareas de clasificación, y BLEU-4, ROUGE-L y BERTScore para las tareas de generación.

Resultados Clave

Tarea 1 (Predicción de SA): Los modelos demostraron un alto recall pero una baja precisión, lo que indica una tendencia a "moverse con cautela" (hedging) al sobregenerar categorías de productos plausibles en lugar de comprometerse con un conjunto preciso. Por ejemplo, GLM-5.2 logró un Micro-F1 de 65.63, mientras que DeepSeek-V4-Pro alcanzó 63.07.
Tarea 2 (Identificación del Demandado): Los modelos lograron una alta precisión general (oscilando entre ~80% y ~93%). Crucialmente, el rendimiento se mantuvo estable entre las configuraciones ST-1 y ST-2, lo que sugiere que los modelos infieren al demandado a partir de la sustancia de la disputa en lugar de depender de nombres de países explícitos.
- Sesgo Geopolítico: Se observó una disparidad significativa. Los seis modelos identificaron a los demandados occidentales con una precisión significativamente mayor que a los no occidentales (por ejemplo, GPT-OSS-120B: 92.70% vs. 77.46%; $p < 0.01$ ). Esta brecha persistió incluso cuando todas las identidades estaban enmascaradas, lo que sugiere que el sesgo está arraigado en el conocimiento interno de los modelos o en la distribución de sus datos de entrenamiento, más que en pistas superficiales.
Tarea 3 (Generación de Declaraciones): Las declaraciones generadas fueron generalmente fluidas y diplomáticamente apropiadas, pero carecieron de alineación de contenido específico con las intervenciones históricas reales. GLM-5.2 superó a otros modelos tanto en similitud léxica como semántica (BERTScore-F1: 60.49).
- Correlación de Rondas: Se encontró una correlación de Spearman positiva entre el número de rondas de negociación y la calidad de la generación (BERTScore), lo que indica que los contextos históricos más largos proporcionaron mejores señales de entrenamiento para que los modelos adoptaran la personalidad del demandado.

Contribuciones Clave

Benchmark Longitudinal: TRADEVERSE es el primer benchmark que evalúa sistemáticamente a los LLM en negociaciones comerciales políticas auténticas, multipartitas y longitudinales, yendo más allá de la comprensión de documentos estáticos.
Construcción Libre de Anotación: El conjunto de datos reconstruye 1,170 preocupaciones a partir de 6,933 registros de reuniones con verdades fundamentales extraídas directamente de los procedimientos oficiales de la OMC, eliminando la necesidad de anotación humana manual.
Tareas de Razonamiento Estructurado: El benchmark define tres tareas complementarias (predicción de SA, identificación de demandado anonimizada y generación de roles) que requieren la integración de la comprensión de contexto largo, el razonamiento institucional y la generación de lenguaje estratégico.
Hallazgos Empíricos sobre Sesgo: El estudio proporciona evidencia empírica de sesgos geopolíticos sistemáticos en los LLM actuales, específicamente una disparidad de rendimiento en la identificación de actores occidentales frente a no occidentales en disputas comerciales, la cual persiste bajo anonimización total.

Significado y Reivindicaciones

El artículo afirma que TRADEVERSE ofrece un escenario novedoso para estudiar el razonamiento de los LLM bajo procesos institucionales evolutivos y sesgos geopolíticos. Los autores sostienen que los modelos actuales, aunque son capaces de una fluidez de alto nivel y una inferencia básica de entidades, tienen dificultades con las especificidades de la realpolitik: sobrepredicen categorías de productos, carecen de especificidad en las respuestas diplomáticas y exhiben sesgos estables que favorecen a los miembros occidentales.

Los autores posicionan a TRADEVERSE como una herramienta tanto para la comunidad de aprendizaje automático (para mejorar la negociación y el razonamiento de contexto largo) como para los científicos sociales (para analizar la evolución de las disputas, la formación de coaliciones y los patrones de lenguaje diplomático a una escala previamente inalcanzable mediante el esfuerzo manual). El artículo concluye liberando el conjunto de datos, el pipeline de extracción y el código de evaluación para facilitar la investigación futura sobre el razonamiento institucional longitudinal.