💬 NLP

TradeVerse: A Longitudinal Benchmark of Political Negotiation in International Trade

Dit artikel introduceert TradeVerse, de eerste longitudinale benchmark afgeleid van WTO-vergaderingsverslagen die de capaciteiten van grote taalmodellen evalueert in het begrijpen van meerzaalige politieke handelsonderhandelingen door middel van drie taken: het voorspellen van productcodes, het identificeren van reagerende landen en het genereren van diplomatische verklaringen.

Oorspronkelijke auteurs: Debodeep Banerjee, Amitangshu Dasgupta

Gepubliceerd 2026-08-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Debodeep Banerjee, Amitangshu Dasgupta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de hooggestane wereld van de internationale handel worden overeenkomsten zelden getekend in een enkel moment van helderheid. In plaats daarvan ontstaan ze uit een traag, vaak betwist proces van onderhandeling dat jaren kan beslaan. Wanneer één natie een bezwaar maakt tegen de tarieven of regelgeving van een ander land, is de reactie geen simpel ja of nee. Het is een dialoog, een heen-en-weer uitwisseling waarbij standpunten verschuiven, allianties worden gevormd en argumenten evolueren tijdens meerdere bijeenkomsten. Decennialang zijn deze gesprekken vastgelegd in de notulen van de Wereldhandelsorganisatie, wat een enorme, longitudinale archief van de echte diplomatie heeft gecreëerd. Tot voor kort waren de kunstmatige intelligentiesystemen die ontworpen zijn om menselijke taal te lezen en te begrijpen, alleen getest op statische documenten of geïsoleerde vragen. Ze waren niet gevraagd om de complexe, zich ontvouwende dramatiek van een meerjarige politieke geschil te navigeren.

Een nieuwe studie introduceert een instrument dat is ontworpen om te testen of moderne kunstmatige intelligentie werkelijk dit soort langetermijnpolitiek redeneren kan begrijpen. De onderzoekers bouwden een benchmark genaamd TRADEVERSE, die 1.170 specifieke handelszorgen uit de verslagen van de Wereldhandelsorganisatie reconstrueert. Deze zorgen beslaan meer dan drie decennia en omvatten 6.933 afzonderlijke bijeenkomsten en 26.219 individuele verklaringen. De dataset bestrijkt vijf verschillende commissies en 8ag 89 verschillende productcategorieën, variërend van landbouwgoederen tot elektronica. Het doel was niet om te zien of een computer simpelweg een tekst kon samenvatten, maar om te zien of het de draad van een gesprek kon volgen dat misschien vijf jaar geleden is begonnen, kon onthouden wie wat zei, en de strategische positie van elk betrokken land kon begrijpen.

De onderzoekers stelden drie afzonderlijke uitdagingen op om de intelligentie van zes toonaangevende taalmodellen te testen. De eerste taak vroeg de modellen om de volledige geschiedenis van een handelsgeschil te bekijken en te identificeren welke producten werden besproken. In de echte wereld worden handelszorgen vaak geclassificeerd volgens een specifiek systeem van codes die goederen categoriseren. De modellen moesten deze categorieën voorspellen op basis van enkel de tekst van de onderhandelingen. De resultaten lieten zien dat hoewel de modellen goed waren in het vinden van de juiste producten, ze ook geneigd waren om te veel mogelijkheden te raden. Ze hadden de neiging om een breed scala aan gerelateerde artikelen op te sommen in plaats van de exacte artikelen aan te wijzen, wat suggereert dat ze hun kansen afwezen wanneer het bewijs niet volkomen duidelijk was.

De tweede uitdaging was een test van anonimiteit en inferentie. De onderzoekers namen de vergaderverslagen en verwijderden de namen van de betrokken landen, waarbij ze deze vervingen door generieke plaatshouders. De modellen werden vervolgens gevraagd te raden welk land reageerde op de klachten. Dit was ontworpen om te zien of de AI het antwoord kon afleiden op basis van de inhoud van het argument — de specifieke wetten, de aard van de producten en de stijl van de verdediging — in plaats van alleen een landnaam te herkennen. De modellen presteerden met een hoge nauwkeurigheid en identificeerden het reagerende land in de meeste gevallen correct. Er ontstond echter een significant patroon: de modellen waren veel beter in het identificeren van westerse landen dan niet-westerse landen. Deze prestatiekloof bleef bestaan, zelfs wanneer alle landnamen verborgen waren, wat aangeeft dat de trainingsdata van de AI meer voorbeelden bevatte van westerse diplomatieke taal, waardoor het systeem die patronen gemakkelijker kon herkennen.

De laatste en wellicht moeilijkste taak was om als deelnemer aan de onderhandeling op te treden. De modellen kregen de geschiedenis van een geschil en de verklaringen die door de klagende landen in de laatste ronde waren gedaan. Hun taak was om de slotverklaring voor het reagerende land te schrijven. De onderzoekers vergeleken deze gegenereerde verklaringen met de werkelijke historische verslagen. Hoewel de AI teksten produceerde die vloeiend en diplomatiek gepast klonken, ontbrak het vaak aan de specifieke details die in de werkelijke reacties te vinden zijn. De modellen konden de toon van een diplomaat nabootsen, maar hadden moeite om de precieze, inhoudelijke argumenten te reproduceren die echte landen gebruiken om hun beleid te verdedigen. Interessant genoeg vonden de onderzoekers dat hoe meer onderhandelingsrondes een geschil had, hoe beter de modellen presteerden bij het genereren van de slotverklaring. Dit suggereert dat hoe langer de gesprekshistorie, hoe meer context de AI had om de rol die het speelde te begrijpen.

De studie concludeert dat hoewel huidige kunstmatige intelligentiesystemen krachtige hulpmiddelen zijn voor het lezen van tekst, ze nog steeds aanzienlijke hindernissen ervaren wanneer ze worden gevraagd om na te denken over de lange, evoluerende dynamiek van echte politieke onderhandelingen. Ze kunnen patronen identificeren en stijlen nabootsen, maar ze missen vaak de specifieke strategische nuances die internationale handelsgeschillen definiëren. De onderzoekers hebben hun dataset en de instrumenten die ze gebruikten publiekelijk beschikbaar gesteld, in de hoop dat deze nieuwe benchmark toekomstige systemen zal helpen navigeren door de complexe, longitudinale aard van de menselijke diplomatie. Het werk benadrukt dat het begrijpen van een gesprek niet alleen gaat over het lezen van de woorden op de pagina, maar over het volgen van de geschiedenis, de relaties en de verschuivende strategieën die zich in de loop van de tijd ontvouwen.

Technische Samenvatting: TRADEVERSE

Probleemstelling

Huidige benchmarks voor Large Language Models (LLMs) in juridische en politieke domeinen evalueren prestaties voornamelijk op statische, geïsoleerde documenten of single-turn besluitvormingstaken. De werkelijke institutionele besluitvorming, met name in de internationale handel, is echter inherent longitudinaal. Onderhandelingen evolueren over meerdere iteraties, die vaak jaren beslaan, waarbij de uitkomst van een specifieke beurt afhankelijk is van de argumenten, allianties en standpunten die in eerdere rondes zijn vastgesteld. Bestaande benchmarks slagen er niet in dit dynamische aspect te vangen, wat vereist dat modellen de chronologie van meerpartij-dialogen bijhouden, verschuivende geopolitieke posities begrijpen en redeneren over de strategische structuur van onderhandelingen in plaats van alleen oppervlakkige tekstbegrip.

Methodologie

De auteurs introduceren TRADEVERSE, een benchmark die is geconstrueerd uit de WTO (World Trade Organization) Trade Concerns Database. De dataset bestaat uit 1.170 specifieke handelszorgen die zijn gereconstrueerd uit 6.933 vergaderingverslagen verspreid over meer dan drie decennia (1995–2026) binnen vijf WTO-comités en 89 hoofdstukken van het Geharmoniseerd Systeem (HS) voor producten.

De dataset is gestructureerd als een sequentie van onderhandelingsrondes ( $r_{i,1}, \dots, r_{i,R_i}$ ) waarbij betrokken zijn: raiser states (landen die de zorg uiten), supporter states (ondersteunende landen) en respondent states (reagerende landen). In tegen afhankelijk van eerdere datasets die vertrouwen op handmatige annotatie, leidt TRADEVERSE alle grondwaarheid-labels direct af uit officiële verslagen. De benchmark definieert drie onderscheidende taken om de capaciteiten van LLM's te evalueren:

Taak 1: HS-hoofdstukvoorspelling (Multi-label Classificatie):
Gegeven de volledige longitudinale geschiedenis van een handelszaak, moet het model de set HS-hoofdstukken (productcategorieën) voorspellen waarover wordt gedebatteerd. Dit test het vermogen van het model om technische details die verspreid zijn over meerdere vergaderingen te synthetiseren. Opmerking: Vanwege beperkingen in de beschikbaarheid van HS-codes (aanwezig in slechts de TBT- en SPS-groepen), werd deze taak geëvalueerd op 724 van de 1.170 vergaderingen.
Taak 2: Identificatie van de Respondent (Geanonimiseerde Classificatie):
Het model moet het reagerende land identificeren op basis van de onderhandelingsgeschiedenis. Dit wordt getest onder twee anonimiseringinstellingen:
- ST-1: Alleen de naam van de respondent en demoniemen (landspecifieke benamingen) zijn gemaskeerd.
- ST-2: Alle landnamen, demoniemen en nationale instanties zijn gemaskeerd.
  Dit evalueert of het model de respondent kan afleiden uit de inhoud van het geschil (maatregelen, producten, juridische argumenten) in plaats van te vertrouwen op expliciete entiteitsvermeldingen.
Taak 3: Generatie van het Slotstatement (Natural Language Generation):
Gegeven de onderhandelingsgeschiedenis tot aan de laatste ronde (inclusief de slotstatements van de raiser en de supporters), moet het model het afsluitende statement van het reagerende land genereren. De gegenereerde tekst wordt geëvalueerd tegenover het werkelijke historische statement.

Experimentele Opstelling:
Zes state-of-the-art LLM's (waaronder Nemotron3-Ultra:550B, Llama-3.3:70B, GLM-5.2, DeepSeek-V4-Pro, GPT-OSS-120B en Kimi-K2.7-Code) werden geëvalueerd in een zero-shot setting. De gebruikte metrieken waren Precision, Recall en F1 voor classificatietaken, en BLEU-4, ROUGE-L en BERTScore voor generatietaken.

Belangrijkste Resultaten

Taak 1 (HS-voorspelling): Modellen vertoonden een hoge recall maar een lage precisie, wat duidt op een neiging tot "hedging" (afdekken) door een overvloed aan plausibele productcategorieën te genereren in plaats van zich vast te leggen op een precieze set. Zo behaalde GLM-5.2 een Micro-F1 van 65,63, terwijl DeepSeek-V4-Pro 63,07 behaalde.
Taak 2 (Identificatie van de Respondent): Modellen behaalden een hoge algehele nauwkeurigheid (variërend van ~80% tot ~93%). Cruciaal is dat de prestaties stabiel bleven tussen de ST-1 en ST-2 instellingen, wat suggereert dat modellen de respondent afleiden uit de substantie van het geschil in plaats van uit expliciete landnamen.
- Geopolitieke Bias: Er werd een aanzienlijk verschil waargenomen. Alle zes de modellen identificeerden Westerse respondenten met een significant hogere nauwkeurigheid dan niet-Westerse respondenten (bijv. GPT-OSS-120B: 92,70% vs. 77,46%; $p < 0,01$ ). Deze kloof bleef bestaan zelfs wanneer alle identiteiten gemaskeerd waren, wat suggereert dat de bias geworteld is in de interne kennis of de distributie van de trainingsdata van de modellen in plaats van in oppervlakkige signalen.
Taak 3 (Statement Generatie): De gegenereerde statements waren over het algemeen vloeiend en diplomatiek gepast, maar misten specifieke inhoudelijke aansluiting bij de werkelijke historische interventies. GLM-5.2 presteerde beter dan andere modellen op zowel lexicale als semantische gelijkenis (BERTScore-F1: 60,49).
- Ronde-correlatie: Er werd een positieve Spearman-correlatie gevonden tussen het aantal onderhandelingsrondes en de kwaliteit van de generatie (BERTScore), wat aangeeft dat langere historische contexten betere trainingssignalen boden voor de modellen om de persona van de respondent aan te nemen.

Belangrijkste Bijdragen

Longitudinale Benchmark: TRADEVERSE is de eerste benchmark die LLM's systematisch evalueert op authentieke, meerpartij, longitudinale politieke handelsonderhandelingen, waarmee het verder gaat dan statisch documentbegrip.
Annotatievrije Constructie: De dataset reconstrueert 1.170 zorgen uit 6.933 vergaderverslagen met grondwaarheden die rechtstreeks zijn geëxtraheerd uit officiële WTO-verslagen, waardoor handmatige menselijke annotatie wordt geëlimineerd.
Gestructureerde Redeneertaken: De benchmark definieert drie complementaire taken (HS-voorspelling, geanonimiseerde respondentidentificatie en rollenspelgeneratie) die integratie van long-context begrip, institutioneel redeneren en strategische taalgeneratie vereisen.
Empirische Bevindingen over Bias: De studie levert empirisch bewijs van systematische geopolitieke biases in huidige LLM's, specifs een prestatieverschil in het identificeren van Westerse versus niet-Westerse actoren in handelsgeschillen, dat standhoudt onder volledige anonimisering.

Betekenis en Claims

Het artikel beweert dat TRADEVERSE een nieuwe setting biedt om LLM-redeneren onder evoluerende institutionele processen en geopolitieke biases te bestuderen. De auteurs stellen dat huidige modellen, hoewel ze in staat zijn tot hoogwaardige vloeiendheid en basis entiteitsinferentie, moeite hebben met de specificiteit van de realpolitik: ze over-voorspellen productcategorieën, missen specificiteit in diplomatieke reacties en vertonen stabiele biases die de voorkeur geven aan Westerse leden.

De auteurs positioneren TRADEVERSE als een instrument voor zowel de machine learning-gemeenschap (om onderhandeling en long-context redeneren te verbeteren) als sociale wetenschappers (om de evolutie van geschillen, coalitievorming en diplomatieke taalpatronen te analyseren op een schaal die voorheen onbereikbaar was door handmatige inspanning). Het artikel concludeert door de dataset, het extractie-pipeline en de evaluatiecode vrij te geven om verder onderzoek naar longitudinaal institutioneel redeneren te faciliteren.