Agentic Framework for Political Biography Extraction

Probleemstelling

De empirische revolutie in de politicologie wordt aangedreven door de analyse van gedigitaliseerde politieke gegevens. Echter, het omzetten van ongestructureerde documenten (zoals nieuwsartikelen, overheidsdocumenten en webpagina's) naar gestructureerde, analyseerbare datasets blijft een enorme bottleneck.

• Huidige beperkingen: Traditionele methoden vereisen intensieve manuele codering door experts of research-assistenten. Dit is kostbaar, tijdrovend, leidt tot datasets die snel verouderen, en beperkt de schaalbaarheid tot hooggeplaatste elites in landen met goede Engelstalige documentatie.
• Technische uitdaging: Bestaande Large Language Model (LLM)-toepassingen in de politicologie richten zich voornamelijk op classificatie (toewijzen van een label aan een vast document). Politieke feiten-extractie is fundamenteel anders: het vereist het actief zoeken en reconstrueren van gestructureerde feiten uit een open domein waar informatie verspreid, inconsistent en vaak in verschillende talen voorkomt.
• Context-probleem: Naive pogingen om alle gevonden documenten direct aan een LLM te geven (long-context stuffing) falen vaak door de "lost-in-the-middle" dynamiek en de onmogelijkheid om relevante signalen te filteren uit ruis, vooral bij complexe levensverhalen met meerdere carrièrestappen.

Methodologie: Het "Synthesis-Coding" Framework

De auteurs stellen een tweestaps "Agentic Framework" voor dat de extractie taak splitst in twee distincte fasen: Synthese (evidence acquisition) en Codering (structured mapping).

1. Fase 1: Synthese (Agentic Retrieval)

   • In plaats van statisch zoeken, gebruikt het systeem een agente architectuur (gebaseerd op het ReAct-patroon: Reasoning + Acting).
   • Een Supervisor-agent identificeert kennisgaten in het biografische verhaal en delegeert zoekopdrachten aan Searcher-agents.
   • De agenten voeren iteratieve zoekopdrachten uit op het web, inspecteren gedownloade documenten, en valideren feiten.
   • Cruciaal is dat de zoekopdrachten endogeen zijn: de uitkomst van een eerdere zoektocht (bijv. een specifieke functie) vormt de context voor de volgende zoektocht (bijv. zoeken naar de periode van die functie).
   • Het resultaat is een synthetisch rapport: een gecomprimeerd, wiki-achtig overzicht van gecureerde bewijsstukken dat ruis elimineert en signalen verdicht.

2. Fase 2: Codering (Structured Extraction)

   • De gecureerde synthetische rapporten worden als input gegeven aan een LLM-coder.
   • Deze LLM mapt de tekst naar een strikt gestructureerd codeboek (bijv. organisatie, rol, startdatum, einddatum) om een gestructureerde biografie te genereren.
   • Dit scheidt het probleem van wat er moet worden gevonden (synthese) van hoe het moet worden gestructureerd (codering).

Belangrijkste Experimenten en Resultaten

De auteurs evalueren het framework aan de hand van drie experimenten met data uit China, de VS en OECD-landen.

Experiment 1: De Coderingstest (Validatie van LLMs)

• Opzet: Vergelijking van menselijke coders versus LLM-coders op identieke, reeds gecureerde input (Baidu Baike profielen voor Chinese ambtenaren).
• Resultaat: LLM-coders presteren gelijk aan of beter dan menselijke experts.
  • De beste modellen (bijv. Grok-4.1-Fast) behaalden een F1-score van +0,109 hoger dan mensen.
  • Vooral de recall (het vinden van alle feiten) was significant beter (+10-16%), omdat menselijke coders vaak minder opvallende carrièrestappen overslaan door vermoeidheid of tijdslimieten.
  • De kosten per ambtenaar daalden van ~$6,25 (menselijk) naar ~$0,13 (LLM).

Experiment 2: De Synthesetest (Agente vs. Menselijke Collectieve Intelligentie)

• Opzet: Vergelijking van agente synthesewerkstromen versus menselijke collectieve curation (Wikipedia) voor Amerikaanse en OECD-ambtenaren.
• Resultaat: Het agente systeem overtreft Wikipedia aanzienlijk.
  • Agente synthese verhoogde de F1-score met 14,7 punten ten opzichte van de Wikipedia-baseline.
  • De recall steeg met 31,4 punten, wat betekent dat het systeem veel meer "long-tail" informatie vond (bijv. vroege carrières, functies in kleinere landen, niet-politieke affiliaties) die in Wikipedia ontbraken.
  • Zelfs zonder toegang tot Wikipedia (alleen ruwe webbronnen) behaalde het systeem een significante verbetering (+11,7 punten F1).
  • De precisie daalde lichtjes, maar bleef robuust (rond 0,82-0,85), wat een aanvaardbare trade-off is voor de enorme winst in dekking.

Experiment 3: De Diagnose (Waarom Synthese noodzakelijk is)

• Opzet: Vergelijking van drie input-formaten voor dezelfde LLM-coder: (1) Wikipedia, (2) Ruwe concatenatie van alle gevonden webdocumenten (Long Context), en (3) Gerefineerde synthetische rapporten.
• Resultaat: Simpele "long-context" input werkt niet.
  • Het gebruik van ruwe, lange documenten (LLM_raw) leidde tot aanzienlijk lagere prestaties dan het gebruik van gerefineerde, signal-dense rapporten (LLM_refined).
  • Conclusie: Het probleem is niet alleen de lengte van de tekst, maar de kwaliteit van de representatie. Zonder synthese verdunnen lange contexten het signaal en verergeren ze aandachtslimieten van het model. Synthese is essentieel om ruis te filteren voordat codering plaatsvindt.

Bijdragen en Significantie

1. Conceptuele verschuiving: Het paper formaliseert politieke feiten-extractie als een onderscheiden taak van classificatie, waarbij "open-domein discovery" en "multi-hop reasoning" centraal staan.
2. Architecturale innovatie: Het introduceert een "Synthesis-then-Coding" framework dat aantoont dat het combineren van agente zoekstrategieën met gestructureerde codering de beperkingen van menselijke codering en statische RAG-systemen (Retrieval-Augmented Generation) overwint.
3. Schalbaarheid en Kosten: Het framework maakt het mogelijk om grote, cross-nationale datasets van politieke elites te genereren tegen een fractie van de kosten van menselijke arbeid, met een snelheid die updates in real-time mogelijk maakt.
4. Methodologische validatie: Het toont aan dat LLMs niet alleen goed zijn in het classificeren van tekst, maar ook in het reconstrueren van complexe, tijdsgebonden narratieven, mits ze worden ondersteund door een juiste upstream-synthese.
5. Toekomstperspectief: De gegenereerde datasets maken nieuwe netwerkanalyses van elites mogelijk (bijv. carrièreroutes, gedeelde opleidingen, patronage-netwerken) op een schaal die voorheen onmogelijk was, waardoor de "informatiestructuur-bias" in de politicologie (waarbij onderzoek zich richt op wat makkelijk te vinden is) kan worden verminderd.

Kortom, dit paper biedt een bewezen, schaalbaar en transparant raamwerk om de productie van grote politieke datasets te automatiseren, waarbij de validiteit van menselijke codering wordt behouden of zelfs verbeterd, terwijl de kosten drastisch worden verlaagd.