Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions

Dit paper introduceert een ensemble-methode met LLM's voor het semantisch taggen van VN-Veiligheidsraadresoluties, waarbij nieuwe evaluatiemetrics (CPR en TWF) worden gebruikt om hallucinaties te minimaliseren en de beste output te selecteren, zelfs met kostenefficiëntere modellen.

De kern

Samenvatting: Een slimme "super-kracht" voor oude UN-documenten

Stel je voor dat je een enorme, oude bibliotheek hebt vol met documenten van de Veiligheidsraad van de Verenigde Naties. Deze documenten gaan terug tot 1946. Het probleem? Ze zijn niet netjes. Sommige zijn getypt op oude typemachines, gescand door computers (waarbij de letters soms verkeerd worden gelezen, zoals een 'l' dat eruitziet als een '1'), en ze staan in een raar tweedelig formaat (links Engels, rechts Frans).

Het is alsof je probeert een verhaal te lezen dat op twee verschillende bladen is geschreven, waarbij de zinnen door elkaar lopen. Voor een computer is dit een nachtmerrie om te begrijpen.

Deze paper beschrijft hoe de auteur, Hussein Ghaly, een slimme oplossing heeft bedacht met behulp van AI (Large Language Models of LLM's) om deze rommel op te ruimen en er betekenis uit te halen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Geestelijke" AI

AI-modellen (zoals de slimme chatbots die je kent) zijn geweldig, maar ze zijn ook een beetje wispelturig. Stel je voor dat je een chef-kok vraagt om een gerecht te maken. Als je hem één keer vraagt, maakt hij het perfect. Als je hem een tweede keer vraagt, kan hij iets anders doen, omdat hij een beetje "creatief" is.

In de wereld van AI noemen we dit stochasticiteit. Als je een AI vraagt om een oud document op te schonen, kan hij de eerste keer de tekst perfect houden, maar de tweede keer per ongeluk een zin weggooien of een woord toevoegen dat er niet hoorde. Dat is gevaarlijk als je historische documenten bewaart.

2. De Oplossing: Het "Super-Panel" (Ensemble)

In plaats van te vertrouwen op één AI-kok, heeft de auteur een panel van zeven verschillende koks (verschillende AI-modellen) ingehuurd.

Hij laat elk model hetzelfde oude document twee keer opschonen. Dan heeft hij 14 versies van hetzelfde document. Nu komt het slimme deel: hij kiest niet zomaar de eerste versie die hij ziet. Hij gebruikt een sneltest om te zien welke versie het beste is.

3. De Sneltest: Twee Nieuwe Maatstaven

Hoe weet je welke AI-versie het beste is? De auteur heeft twee nieuwe meetlatjes (metrieken) bedacht:

• De "Origineel-Bewaringstest" (CPR):
  Stel je voor dat je een foto van een schilderij maakt. Als je de foto maakt, mag je geen stukjes van het schilderij weggooien en mag je geen nieuwe bloemetjes erbij tekenen die er niet waren.
  Deze test kijkt naar hoeveel letters en lettercombinaties in de originele tekst nog terugkomen in de nieuwe tekst. Als de AI te veel toevoegt of weghaalt, zakt de score. De beste AI is degene die de tekst het meest "onveranderd" laat, terwijl hij de fouten eruit haalt.

• De "Netjesheidstest" (TWF):
  Bij het taggen (het labelen van woorden, zoals "Dit is een datum" of "Dit is een organisatie") moet de AI speciale tags gebruiken, net als haakjes in een recept: <datum>1945</datum>.
  Deze test kijkt of elke opening van een haakje ook weer netjes wordt gesloten. Als de AI een haakje vergeet te sluiten, is het resultaat "rommelig" en telt het niet mee.

4. Het Resultaat: De Slimste en Goedkoopste

De auteur heeft verschillende AI-modellen getest, van de zeer krachtige (en dure) modellen tot de kleinere, snellere (en goedkopere) versies.

• De winnaar: Het model GPT-4.1 was de beste in het opschonen en labelen. Het hield de tekst bijna perfect intact (99,99% bewaard) en maakte geen fouten in de haakjes.
• De slimme bespaarder: Maar wacht! Het kleinere model GPT-4.1-mini deed bijna net zo goed, maar kostte 80% minder geld.

Het is alsof je een dure, beroemde chef-kok kunt inhuren voor €100, maar een lokale, even talentvolle kok voor €20 die precies hetzelfde gerecht maakt. Voor grote projecten (zoals duizenden documenten) is dat een enorme besparing.

5. Waarom is dit belangrijk?

Door deze oude, rommelige documenten schoon te maken en te labelen, kunnen computers ze eindelijk begrijpen.

• Vroeger: Een computer zag alleen een muur van tekst.
• Nu: De computer ziet: "Ah, dit is een datum, dit is een land, en dit is een besluit."

Hierdoor kunnen er kennisgrafieken worden gemaakt. Denk hierbij aan een gigantisch, digitaal spinnenweb dat alle verbanden tussen landen, gebeurtenissen en beslissingen van de VN laat zien. Dit helpt historici, beleidsmakers en onderzoekers om patronen te zien die voorheen verborgen zaten in die rommelige oude documenten.

Conclusie

De kernboodschap van dit paper is simpel: Je hoeft niet altijd de duurste AI te gebruiken om het beste resultaat te krijgen. Door slimme tests te maken en meerdere AI's met elkaar te vergelijken, kun je een systeem bouwen dat niet alleen heel nauwkeurig is, maar ook heel goedkoop en betrouwbaar. Het is een manier om de chaos van het verleden om te zetten in een heldere, digitale toekomst.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions" in het Nederlands.

Probleemstelling

Het paper adresseert de uitdaging om semantische tags toe te passen op de historische resoluties van de VN-Veiligheidsraad (van 1946 tot 2025). Deze documenten vormen een complexe dataset vanwege hun oorsprong:

• Ruis en OCR-fouten: Vroege resoluties zijn getypt op schrijfmachines, gescand en vervolgens verwerkt met Optical Character Recognition (OCR), wat leidt tot typografische fouten.
• Twee-koloms formaat: Tot in de jaren 80 werden documenten vaak in twee kolommen geproduceerd, waarbij de tweede kolom vaak de Franse vertaling was van de Engelse tekst in de eerste kolom. Dit maakt het verwerken met standaard NLP-tools zeer moeilijk, omdat regels uit verschillende delen van het document kunnen samenvallen.
• Stochastische variabiliteit van LLM's: Grote Taalmodellen (LLM's) zijn stochastisch; zelfs met dezelfde input kunnen de output variëren afhankelijk van parameters zoals 'temperature'. Dit maakt het moeilijk om betrouwbare, consistente resultaten te garanderen zonder hallucinaties (toevoegingen) of omissies (weglatingen) in de tekst.

Het doel is om een systeem te bouwen dat deze ruwe tekst eerst schoonmaakt (cleaning) en vervolgens semantische tags toevoegt, zonder de oorspronkelijke inhoud te veranderen, behalve voor de noodzakelijke annotaties.

Methodologie

De auteur presenteert een ensemble-methode die gebruikmaakt van meerdere LLM-runs om de beste output te selecteren op basis van kwantitatieve metrics.

1. Werkstroom:
Het proces verloopt in twee fasen:

• Fase 1: Text Cleaning: Het converteren van de ruwe, twee-koloms OCR-tekst naar een schone, één-koloms tekst. Dit omvat het verwijderen van drukfouten, het corrigeren van OCR-fouten en het scheiden van Engelse en Franse tekst.
• Fase 2: Semantische Tagging: Het toepassen van XML-tags op de schoongemaakte tekst voor entiteiten zoals <location>, <entity>, <event>, <organization> en <date>.

2. Modelkeuze en Ensembling:
Er zijn zeven verschillende LLM-modellen getest (variaties van GPT-4.1, GPT-4o, GPT-5 en hun 'mini' en 'nano' varianten). Voor elk document wordt dezelfde prompt meerdere keren (in dit experiment 2 keer) verzonden aan elk model met een temperature van 1. Dit introduceert variabiliteit, waardoor het ensemble kan kiezen uit meerdere mogelijke outputvarianten.

3. Evaluatiemetrics (Kerninnovatie):
Om de beste output te selecteren uit de ensemble-run, worden drie specifieke metrics gebruikt:

• Content Preservation Ratio (CPR): Meet de 'trouw' aan de originele tekst. Het vergelijkt de frequentie van bigrammen in de input versus de output. Een hoge CPR betekent dat er geen onnodige toevoegingen of omissies zijn (hallucinaties worden zo voorkomen).
  • Formule: Gebaseerd op het verschil in bigram-frequentie tussen input en output.
• Tag Well-Formedness (TWF): Meet de syntactische correctheid van de XML-tags. Het controleert of elke openingstag (<tag>) correct wordt afgesloten (</tag>) en of er geen overgebleven open tags zijn.
• Aantal gevonden tags (nT): Voor de tagging-taak wordt prioriteit gegeven aan recall (het vinden van zoveel mogelijk tags), zelfs als dit het risico op valse positieven vergroot.

4. Selectieproces:
Voor elk document wordt de output geselecteerd die de hoogste CPR heeft. Voor de tagging-taak wordt eerst gesorteerd op CPR, vervolgens op TWF, en tot slot op het aantal gevonden tags (nT). De beste output wordt opgeslagen.

Belangrijkste Bijdragen

• Een schaalbaar LLM-pipeline: Een praktische methode voor het schoonmaken en semantisch taggen van historische, ruwe VN-documenten.
• Nieuwe evaluatiemetrics: Introductie van CPR en TWF om de kwaliteit van LLM-transformaties objectief te meten en hallucinaties te minimaliseren.
• Empirische vergelijking: Een analyse van de trade-offs tussen nauwkeurigheid, kosten en snelheid bij verschillende LLM-generaties en -groottes.
• Gestructureerd corpus: Het creëren van een semantisch geannoteerd corpus van VN-Veiligheidsraadresoluties dat dient als basis voor kennisgraph-construktie.

Resultaten

De experimenten werden uitgevoerd op een steekproef van 10 documenten. De belangrijkste bevindingen zijn:

• Beste Prestaties: GPT-4.1 behaalde de hoogste scores voor beide taken.
  • Cleaning: CPR van 84,9%.
  • Tagging: CPR van 99,99% en TWF van 99,92%.
• Kosten-efficiëntie: Kleinere modellen presteren verrassend goed tegen een fractie van de kosten.
  • GPT-4.1-mini bereikte vergelijkbare prestaties als de beste modellen, maar kostte slechts 20% van de prijs van de grotere modellen.
  • Voor de cleaning-taak kostte GPT-4.1-mini $0,0028 per document (vs. $0,0139 voor GPT-4.1).
  • Voor de tagging-taak kostte GPT-4.1-mini $0,0033 per document (vs. $0,017 voor GPT-4.1).
• Snelheid: De kleinere 'nano'-modellen waren sneller, maar presteerden aanzienlijk slechter bij het schoonmaken van de complexe documenten.

Betekenis en Toekomstperspectief

Dit paper demonstreert dat LLM's effectief kunnen worden ingezet voor complexe data-engineering taken, zoals het structureren van historische archieven, mits ze worden beheerd via een rigoureuze ensemble-methode met strikte kwaliteitsmetrics.

• Kennisgraphen: De gegenereerde semantisch getagde data (in XML-formaat) vormt de basis voor het bouwen van kennisgraphen die entiteiten, mandaten en gebeurtenissen binnen de VN-Veiligheidsraad verbinden.
• Kostenefficiëntie: De studie bewijst dat voor specifieke taken (zoals cleaning en tagging) kleinere, goedkopere modellen vaak voldoende zijn, wat leidt tot aanzienlijke besparingen bij grootschalige data-projecten.
• Toekomstige ontwikkeling: De auteur stelt voor om in de toekomst een geavanceerder ensemble te bouwen dat outputs van meerdere modellen integreert in plaats van slechts één te selecteren. Dit zou de betrouwbaarheid van de tags verder kunnen verhogen door consensus tussen modellen te zoeken. Daarnaast wordt gestreefd naar volledige conformiteit met bestaande standaarden zoals Akoma Ntoso voor machine-leesbaarheid.

Kortom, het paper biedt een bewezen concept (proof-of-concept) voor het gebruik van gecontroleerde LLM-systemen om ongestructureerde, kostbare data om te zetten in bruikbare, gestructureerde datasets voor AI-toepassingen.