💬 NLP

TradeVerse: A Longitudinal Benchmark of Political Negotiation in International Trade

Este artigo apresenta o TradeVerse, o primeiro benchmark longitudinal derivado de registros de reuniões da OMC que avalia as capacidades de grandes modelos de linguagem na compreensão de negociações comerciais políticas de múltiplos turnos por meio de três tarefas: prever códigos de produtos, identificar países respondentes e gerar declarações diplomáticas.

Autores originais: Debodeep Banerjee, Amitangshu Dasgupta

Publicado 2026-08-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Debodeep Banerjee, Amitangshu Dasgupta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo de alto risco do comércio internacional, os acordos raramente são assinados em um único momento de clareza. Em vez disso, eles emergem de um processo de negociação lento e, muitas vezes, contencioso, que pode se estender por anos. Quando uma nação levanta uma preocupação sobre as tarifas ou regulamentações de outra, a resposta não é um simples sim ou não. É um diálogo, uma troca de idas e vindas onde as posições mudam, alianças se formam e argumentos evoluem ao longo de múltiplas reuniões. Durante décadas, essas conversas foram registradas nas atas da Organização Mundial do Comércio, criando um vasto arquivo longitudinal da diplomacia do mundo real. Até recentemente, os sistemas de inteligência artificial projetados para ler e compreender a linguagem humana haviam sido testados apenas em documentos estáticos ou perguntas isoladas. Eles não haviam sido solicitados a navegar pelo drama complexo e em constante evolução de uma disputa política de vários anos.

Um novo estudo apresenta uma ferramenta projetada para testar se a inteligência artificial moderna consegue verdadeiramente compreender esse tipo de raciocínio político de longo prazo. Os pesquisadores construíram um benchmark chamado TRADEVERSE, que reconstrói 1.170 preocupações comerciais específicas dos registros da Organção Mundial do Comércio. Essas preocupações abrangem mais de três décadas, envolvendo 6.933 reuniões distintas e 26.219 declarações individuais. O conjunto de dados cobre cinco comitês diferentes e 89 categorias de produtos distintas, variando de bens agrícolas a eletrônicos. O objetivo não era ver se um computador poderia simplesmente resumir um texto, mas sim se ele poderia acompanhar o fio de uma conversa que pode ter começado cinco anos atrás, lembrar quem disse o quê e entender a posição estratégica de cada país envolvido.

Os pesquisadores estabeleceram três desafios distintos para testar a inteligência de seis modelos de linguagem líderes. A primeira tarefa pediu aos modelos que analisassem todo o histórico de uma disputa comercial e identificassem quais produtos estavam sendo discutidos. No mundo real, as preocupações comerciais são frequentemente classificadas por um sistema específico de códigos que categorizam mercadorias. Os modelos tiveram que prever essas categorias baseando-se apenas no texto das negociações. Os resultados mostraram que, embora os modelos fossem bons em encontrar os produtos corretos, eles também eram propensos a adivinhar muitas possibilidades. Eles tendiam a listar uma ampla gama de itens relacionados em vez de apontar exatamente os corretos, sugerindo que estavam "jogando com a margem de segurança" quando as evidências não eram perfeitamente claras.

O segundo desafio foi um teste de anonimato e inferência. Os pesquisadores pegaram os registros das reuniões e removeram os nomes dos países envolvidos, substituindo-os por marcadores genéricos. Os modelos foram então questionados a adivinhar qual país estava respondendo às queixas. Isso foi desenhado para ver se a IA poderia deduzir a resposta com base na substância do argumento — as leis específicas, a natureza dos produtos e o estilo da defesa — em vez de apenas reconhecer o nome de um país. Os modelos apresentaram alto desempenho, identificando corretamente o país respondente na maioria dos casos. No entanto, um padrão significativo emergiu: os modelos foram muito melhores em identificar nações ocidentais do que nações não ocidentais. Essa lacuna de desempenho persistiu mesmo quando todos os nomes de países foram ocultados, indicando que os dados de treinamento da IA continham mais exemplos de linguagem diplomática ocidental, tornando mais fácil para o sistema reconhecer esses padrões.

A tarefa final, e talvez a mais difícil, foi atuar como um participante na negociação. Os modelos receberam o histórico de uma disputa e as declarações feitas pelos países reclamantes na rodada final. O trabalho deles era escrever a declaração de encerramento para o país respondente. Os pesquisadores compararam as declarações geradas com os registros históricos reais. Embora a IA tenha produzido textos que soavam fluentes e diplomaticamente apropriados, ela frequentemente carecia dos detalhes específicos encontrados nas respostas do mundo real. Os modelos podiam imitar o tom de um diplomata, mas tinham dificuldade em replicar os argumentos precisos e substantivos que as nações reais usam para defender suas políticas. Curiosamente, o estudo descobriu que, quanto mais rodadas de negociação uma disputa possuía, melhor os modelos performavam na geração da declaração final. Isso sugere que, quanto mais longo o histórico da conversa, mais contexto a IA tinha para compreender o papel que estava desempenhando.

O estudo conclui que, embora os sistemas atuais de inteligência artificial sejam ferramentas poderosas para a leitura de textos, eles ainda enfrentam obstáculos significativos quando solicitados a raciocinar através das dinâmicas longas e evolutivas das negociações políticas do mundo real. Eles podem identificar padrões e imitar estilos, mas frequentemente perdem as nuances estratégicas específicas que definem as disputas comerciais internacionais. Os pesquisadores disponibilizaram seu conjunto de dados e as ferramentas que utilizaram ao público, esperando que este novo benchmark ajude futuros sistemas a navegar pela natureza complexa e longitudinal da diplomacia humana. O trabalho destaca que compreender uma conversa não é apenas ler as palavras na página, mas sim rastrear a história, os relacionamentos e as mudanças de estratégia que se desenrolam ao longo do tempo.

Resumo Técnico: TRADEVERSE

Definição do Problema

Os benchmarks atuais para Grandes Modelos de Linguagem (LLMs) nos domínios jurídico e político avaliam predominantemente o desempenho em documentos estáticos e isolados ou em tarefas de tomada de decisão de turno único. No entanto, a tomada de decisão institucional no mundo real, particularmente no comércio internacional, é inerentemente longitudinal. As negociações evoluem ao longo de múltiplas iterações, muitas vezes abrangendo anos, onde o resultado de qualquer turno específico é contingente aos argumentos, alianças e posicionamentos estabelecidos em rodadas anteriores. Os benchmarks existentes falham em capturar essa dinâmica, exigindo que os modelos rastreiem a cronologia de diálogos multipartites, compreendam mudanças de posições geopolíticas e raciocinem sobre a estrutura estratégica das negociações, em vez de apenas a compreensão superficial do texto.

Metodologia

Os autores introduzem o TRADEVERSE, um benchmark construído a partir do Banco de Dados de Preocupações Comerciais da Organização Mundial do Comércio (OMC). O conjunto de dados compreende 1.170 preocupações comerciais específicas reconstruídas a partir de 6.933 atas de reuniões abrangendo mais de três décadas (1995–2026) em cinco comitês da OMC e 89 capítulos do Sistema Harmonizado (SH) de produtos.

O conjunto de dados é estruturado como uma sequência de rodadas de negociação ( $r_{i,1}, \dots, r_{i,R_i}$ ) envolvendo estados proponentes (raisers), estados apoiadores e estados respondentes. Diferente de conjuntos de dados anteriores que dependem de anotação manual, o TRADEVERSE deriva todos os rótulos de verdade fundamental (ground truth) diretamente dos procedimentos oficiais. O benchmark define três tarefas distintas para avaliar as capacidades dos LLMs:

Tarefa 1: Predição de Capítulo SH (Classificação Multirrótulo):
Dada a história longitudinal completa de uma preocupação comercial, o modelo deve prever o conjunto de capítulos SH (categorias de produtos) em discussão. Isso testa a capacidade do modelo de sintetizar detalhes técnicos dispersos por múltiplas reuniões. Nota: Devido a restrições de disponibilidade de códigos SH (presentes apenas nos grupos TBT e SPS), esta tarefa foi avaliada em 724 das 1.170 reuniões.
Tarefa 2: Identificação do Respondente (Classificação Anonimizada):
O modelo deve identificar o país respondente com base no histórico da negociação. Isso é testado sob duas configurações de anonimização:
- ST-1: Apenas o nome do respondente e seus gentílicos são mascarados.
- ST-2: Todos os nomes de países, gentílicos e agências nacionais são mascarados.
  Isso avalia se o modelo consegue inferir o respondente a partir da substância da disputa (medidas, produtos, argumentos jurídicos) em vez de depender de menções explícitas a entidades.
Tarefa 3: Geração de Declaração Final (Geração de Linguagem Natural):
Dada a história da negociação até a rodada final (incluindo as declarações finais do proponente e dos apoiadores), o modelo deve gerar a declaração de conclusão do país respondente. O texto gerado é avaliado contra a declaração histórica real.

Configuração Experimental:
Seis LLMs de última geração (incluindo Nemotron3-Ultra:550B, Llama-3.3:70B, GLM-5.2, DeepSeek-V4-Pro, GPT-OSS-120B e Kimi-K2.7-Code) foram avaliados em um cenário zero-shot. As métricas incluíram Precisão, Recall e F1 para tarefas de classificação, e BLEU-4, ROUGE-L e BERTScore para tarefas de geração.

Resultados Principais

Tarefa 1 (Predição de SH): Os modelos demonstraram alto recall, mas baixa precisão, indicando uma tendência de "hedging" (proteção/hesitação) ao supergerar categorias de produtos plausíveis em vez de se comprometer com um conjunto preciso. Por exemplo, o GLM-5.2 alcançou um Micro-F1 de 65,63, enquanto o DeepSeek-V4-Pro alcançou 63,07.
Tarefa 2 (Identificação do Respondente): Os modelos alcançaram alta precisão geral (variando de ~80% a ~93%). Crucialmente, o desempenho permaneceu estável entre as configurações ST-1 e ST-2, sugerindo que os modelos inferem o respondente a partir da substância da disputa, e não por meio de nomes de países explícitos.
- Viés Geopolítico: Uma disparidade significativa foi observada. Todos os seis modelos identificaram respondentes ocidentais com precisão significativamente maior do que respondentes não ocidentais (ex: GPT-OSS-120B: 92,70% vs. 77,46%; $p < 0,01$ ). Essa lacuna persistiu mesmo quando todas as identidades foram mascaradas, sugerindo que o viés está enraizado no conhecimento interno dos modelos ou na distribuição dos dados de treinamento, e não em pistas superficiais.
Tarefa 3 (Geração de Declaração): As declarações geradas foram geralmente fluentes e diplomaticamente apropriadas, mas careceram de alinhamento de conteúdo específico com as intervenções históricas reais. O GLM-5.2 superou outros modelos tanto em similaridade lexical quanto semântica (BERTScore-F1: 60,49).
- Correlação de Rodadas: Foi encontrada uma correlação de Spearman positiva entre o número de rodadas de negociação e a qualidade da geração (BERTScore), indicando que contextos históricos mais longos forneceram melhores sinais de treinamento para os modelos adotarem a persona do respondente.

Principais Contribuições

Benchmark Longitudinal: O TRADEVERSE é o primeiro benchmark a avaliar sistematicamente LLMs em negociações políticas comerciais multipartites autênticas e longitudinais, indo além da compreensão de documentos estáticos.
Construção Sem Anotação: O conjunto de dados reconstrói 1.170 preocupações a partir de 6.933 registros de reuniões, com verdades fundamentais extraídas diretamente dos procedimentos oficiais da OMC, eliminando a necessidade de anotação humana manual.
Tarefas de Raciocínio Estruturadas: O benchmark define três tarefas complementares (predição de SH, identificação de respondente anonimizada e geração de role-playing) que exigem a integração de compreensão de contexto longo, raciocínio institucional e geração de linguagem estratégica.
Descobertas Empíricas sobre Viés: O estudo fornece evidências empíricas de vieses geopolíticos sistemáticos em LLMs atuais, especificamente uma disparidade de desempenho na identificação de atores ocidentais versus não ocidentais em disputas comerciais, que persiste sob anonimização total.

Significância e Alegações

O artigo alega que o TRADEVERSE oferece um cenário inovador para estudar o raciocínio de LLMs sob processos institucionais evolutivos e vieses geopolíticos. Os autores afirmam que os modelos atuais, embora capazes de fluência de alto nível e inferência básica de entidades, lutam com as especificidades da realpolitik: eles super-predizem categorias de produtos, carecem de especificidade em respostas diplomáticas e exibem vieses estáveis favorecendo membros ocidentais.

Os autores posicionam o TRADEVERSE como uma ferramenta tanto para a comunidade de aprendizado de máquina (para melhorar a negociação e o raciocínio de contexto longo) quanto para cientistas sociais (para analisar a evolução de disputas, formação de coalizões e padrões de linguagem diplomática em uma escala anteriormente inalcançável através de esforço manual). O artigo conclui disponibilizando o conjunto de dados, o pipeline de extração e o código de avaliação para facilitar pesquisas futuras sobre raciocínio institucional longitudinal.