Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based Study

Stel je voor dat je een detective bent die een enorme mysteriesituatie probeert op te lossen, maar in plaats van één plaats delict, heb je een bibliotheek met miljoenen slordige, handgeschreven dagboeken. Deze dagboeken vertellen verhalen over rampen zoals overstromingen, aardbevingen en droogtes, en ze beschrijven hoe verschillende groepen probeerden te helpen. Het probleem is dat de verhalen lang, verwarrend en vaak tegenstrijdig zijn. Het ene dagboek kan zeggen: "Het geven van contant geld hielp mensen om voedsel te kopen," terwijl een ander zegt: "Contant geld zorgde ervoor dat de prijzen stegen en maakte de situatie erger."

Om deze chaos te begrijpen, gebruiken wetenschappers een hulpmiddel genaamd een Large Language Model (LLM). Zie een LLM als een superintelligente, onvermoeibare robotlezer die in enkele seconden duizenden van deze dagboeken kan lezen. Echter, net als een mens, kan de robot overweldigd raken. Als je de robot vraagt: "Wat gebeurde er met contant geld?", pakt hij misschien elke vermelding van het woord "contant geld", zelfs als het dagboek eigenlijk over een heel ander onderwerp ging. Dit wordt "over-extractie" genoemd. Om dit op te lossen, moeten onderzoekers een manier vinden om de robot te laten focussen op de specifieke aanwijzingen die er echt toe doen en hem te laten dubbelchecken tegen de originele tekst om er zeker van te zijn dat hij niet zomaar dingen verzint. Dit artikel gaat over het bouwen van een beter detectivesysteem om die slordige dagboeken om te zetten in heldere, betrouwbare antwoorden over wat er echt werkt tijdens een crisis.

---

De Nieuwe Gereedschapskist van de Detective

In dit onderzoek hebben de onderzoekers, Yuanjun Zhang en Mourad Oussalah, zich gericht op het opschonen van de "ruis" in humanitaire rapporten. Ze gebruikten een enorme collectie rapporten van ReliefWeb, een wereldwijde database van crisisupdates, die de jaren 2000 tot 2024 beslaat. Hun doel was om te achterhalen of een specifiek type hulp — contante ondersteuning — daadwerkelijk leidt tot betere resultaten, zoals het feit dat mensen genoeg voedsel hebben.

Hiervoor bouwden ze een tweestaps "pipeline" met behulp van AI. Stel je dit voor als een fabriekslijn met twee zeer specifieke werkers:

1. De Filter (Fase 1): De eerste werker is zeer streng. In plaats van het hele dagboek te lezen en te gissen wat belangrijk is, krijgen ze een specifieke zoekopdracht, zoals "contante ondersteuning". Ze zoeken alleen naar zinnen waar contante ondersteuning de hoofdrol speelt. Als het dagboek over contant geld spreekt, maar het is slechts een zijdelingse opmerking, negeert de werker dit. Dit wordt query-conditioned extraction genoemd. Het voorkomt dat de AI irrelevante informatie oppikt, wat een groot probleem was bij eerdere methoden.
2. De Fact-Checker (Fase 2): Zodra de eerste werker een potentiële aanwijzing heeft gevonden (bijv. "Contant geld hielp gezinnen om voedsel te kopen"), stapt de tweede werker in. Deze werker raadt niet alleen of de aanwijzing goed of slecht is; hij kijkt naar de exacte zin (het "snippet") waar de aanwijzing werd gevonden. De werker beslist: Is de uitkomst gestegen (positief), gedaald (negatief) of gelijk gebleven? En hoe sterk is het bewijs? Is het een zwak gerucht of een sterke, duidelijke verklaring? Dit wordt snippet-grounded classification genoemd.

De Resultaten: Het Signaal in de Statische Ruis Vinden

Het team heeft hun nieuwe systeem getest tegenover verschillende krachtige AI-modellen, waaronder Qwen-Plus, GPT-4o-mini en DeepSeek-V3, evenals een open-source model genaamd Llama-3.1-8B.

Ze ontdekten dat hun tweestapsmethode een gamechanger was.

• De oplossing voor "Over-Extractie": Zonder hun strikte filter zou de AI veel te veel irrelevante verbanden ophalen. Met de filter daalde het aantal geëxtraerde feiten naar een realistisch niveau, wat overeenkwam met wat menselijke experts verwachtten.
• Nauwkeurigheid: De beste closed-source AI (Qwen-Plus) bereikte met hun tweestapsmethode een gewogen F1-score van 90,73%. In de wereld van AI is dit een zeer hoge score, wat betekent dat het bijna altijd correct was.
• De Open-Source Verrassing: Ze hebben ook geprobeerd een kleiner, gratis AI-model (Llama-3.1-8B) te onderwijden door het de antwoorden van de grote, dure AI te tonen. Dit wordt "distillatie" genoemd. Het resultaat? Het kleinere model werd zelfs beter en bereikte een gewogen F1-score van 94,15%. Dit suggereert dat je niet altijd de duurste robot nodig hebt voor de beste resultaten; je hebt alleen de juiste training nodig.

Het Grote Finale: Triangulatie

Zodra ze duizenden schone, geverifieerde feiten hadden, moesten ze deze samenvoegen om het grote plaatje te zien. Ze konden niet simpelweg het totaal aantal "goede" en "slechte" rapporten tellen, omdat sommige soorten rampen (zoals overstromingen) veel vaker worden gerapporteerd dan andere (zoals aardbevingen). Als ze ze gewoon bij elkaar zouden optellen, zouden de overstromingen de andere verhalen overstemmen.

Daarom bedachten ze een methode genaamd context-preserving triangulation.

• Het Raster: Ze organiseerden de feiten in een raster op basis van Type Ramp (bijv. Overstroming, Droogte) en Type Bron (bijv. Overheid, NGO, Media).
• De Score: Ze berekenden een Level-of-Evidence (LoE) score. Deze score vertelt je in ho welke mate de verschillende verhalen met elkaar overeenstemmen. Een score van 1.0 zou betekenen dat iedereen het perfect eens is; 0.0 zou totale chaos betekenen.

Toen ze dit toepasten op voedselgerelateerde uitkomsten voor contante ondersteuning, was het resultaat opvallend. De LoE-score was 0,865. Dit wijst op een sterke positieve convergentie. In gewone mensentaal: over verschillende soorten rampen en verschillende bronnen heen, wijst het bewijs er consistent op dat contante ondersteuning mensen helpt om voedsel te verkrijgen.

Ze keken ook naar hoe dit in de loop van de tijd veranderde. Van 2000 tot 2005 waren de gegevens schaars en wankel. Maar van 2006 tot 2017 werd het positieve signaal steeds sterker, met een piek in 2017 met een LoE van 0,929. Zelfs van 2018 tot 2024 bleef het signaal zeer positief, hoewel het iets afzwakte, waarschijnlijk omdat realiteitssituaties complex zijn en contant geld soms voorzichtig moet worden gehanteerd om risico's te vermijden.

Wat dit Betekent (en Wat het Niet Betekent)

De auteurs benadrukken dat dit geen toverstaf is die elke crisis oplost. Ze merken op dat hun studie beperkt is tot Engelse rapporten en specifieke soorten rampen. Ze waarschuwen ook dat de "sterkte" van het bewijs dat zij maten, gebaseerd is op wat er in de rapporten geschreven stond, en niet noodzakelijkerwijs op de werkelijke omvang van de impact op de grond.

Echter, de studie bewijst dat door een slim, tweestaps AI-proces te gebruiken en de gegevens zorgvuldig te organiseren, we een berg verwarrende, slordige rapporten kunnen omzetten in een heldere, controleerbare kaart van wat werkt. Het suggereert dat we met de juiste instrumenten kunnen stoppen met gissen en kunnen beginnen met weten welke interventies mensen echt helpen om te overleven en te floreren.