SourceMinds at CheckThat! 2026: NLI-Grounded Citation Auditing in a Multi-Agent Pipeline for Full Fact-Checking Article Generation

Het Dilemma van de Detective: Waarom we betere factcheck-robots nodig hebben

Stel je het internet voor als een enorme, chaotische bibliotheek waar iedereen vanuit de boekenkasten een "feit" kan roepen. Soms zijn die kreten waar, maar vaak zijn het wilde gissingen, halve waarheden of pure leugens. Lange tijd waren computers goed in het spelen van een simpel spelletje "Waar of Onwaar" met deze kreten. Ze fungeren als een scheidsrechter die een groene vlag hijst voor de waarheid of een rode vlag voor leugens. Maar in de echte wereld is een simpel "Onwaar" niet genoeg. Als iemand een gerucht verspreidt, willen we niet alleen de fluit van een scheidsrechter; we willen een volledig detectivesverhaal. We willen weten waarom het onwaar is, wat de bewijzen werkelijk zeggen, en exact welke pagina van de krant bewees dat de leugenaar ongelijk had. Dit is de uitdaging van "fact-checking artikelgeneratie". Het gaat niet alleen om het vinden van het antwoord; het gaat om het schrijven van een helder, betrouwbaar verhaal dat de stippen verbindt tussen een bewering en het bewijs, waarbij elke bron wordt geciteerd zodat niemand kan zeggen: "Waar heb je dat vandaan?"

Hier komt het paper "SourceMinds at CheckThat! 2026" om de hoek kijken. De auteurs, een team van de University of North Texas, realiseerden zich dat het vragen aan een superintelligente computer om in één grote sprong een heel factcheck-artikel te schrijven, vaak tot slordige resultaten leidt. De computer kan dingen verzinnen of vergeten zijn bronnen te citeren. Daarom hebben ze een team van digitale specialisten gebouwd — een "multi-agent pipeline" — om de taak stap voor stap aan te pakken. In plaats van één robot die alles tegelijk probeert te doen, creëerden ze een workflow waarbij de ene robot de aanwijzingen vindt, een andere het plan organiseert, een derde het concept schrijft, en een laatste "auditor" elke citatie controleert om te zien of het verhaal standhoudt. Hun doel was niet alleen om sneller te schrijven, maar om beter te schrijven, door ervoor te zorgen dat elke zin in het uiteindelijke artikel wordt ondersteund door een echte, verifieerbare bron.

Het Team van Digitale Detectives

Het paper beschrijft een systeem genaamd SourceMinds, ontworpen om een zeer specifiek probleem op te lossen: hoe je een rommelige bewering, een oordeel (zoals "Onwaar") en een stapel bewijsdocumenten omzet in een schoon, professioneel factcheck-artikel. De auteurs suggereren dat de beste manier om dit te doen is door het proces op te splitsen in een estafette, waarbij verschillende "agents" (gespecialiseerde computerprogramma's) het stokje aan elkaar doorgeven.

Stap 1: De Bewijshunter
Eerst moet het systeem de juiste aanwijzingen vinden. Stel je voor dat je op zoek bent naar een specifieke quote in een bibliotheek met duizenden boeken. Als je zomaar de eerste paar boeken pakt die er vergelijkbaar uitzien, mis je misschien de beste. Het SourceMinds-team gebruikt een "dense retrieval" agent, wat een soort bibliothecaris is die de betekenis van woorden begrijpt, niet alleen de spelling. Het scant de bewijsdocumenten en vindt de meest relevante zinnen. Maar het stopt daar niet. Het gebruikt een "reranker" om de beste matches dubbel te checken en een "source-balanced selector" om ervoor te zorgen dat het niet zoman tien quotes uit precies dezelfde website pikt. Het wil een divers team van bronnen, om te garanderen dat het bewijs niet bevooroordeeld is richting slechts één stem.

Stap 2: De Architect (Fact Planner)
Zodra de aanwijzingen zijn verzameld, begint het systeem niet direct met schrijven. Dat zou zijn als proberen een huis te bous zonder blauwdruk. De "Fact Planner" agent neemt de geselecteerde bewijzen en maakt een gestructureerd JSON-plan. Denk hierbij aan de architect die de plattegrond tekent. Het bepaalt wat het hoofdargument is, somt de ondersteunende punten op en vermeldt eventuele "caveats" (voorbehoudsclausules) als het bewijs niet perfect overeenkomt met het oordeel. Cruciaal is dat als het bewijs zwak is, de planner geprogrammeerd is om dat toe te geven, in plaats van een nepreden te verzinnen om het verhaal passend te maken.

Stap 3: De Journalist (Article Writer)
Met de blauwdruk in de hand stapt de "Article Writer" agent in. Deze agent fungeert als een professionele journalist. Zijn taak is het schrijven van een artikel van 250 tot 450 woorden dat de bewering uitlegt, het oordeel geeft en de lezer door het bewijs leidt. De regel hier is strikt: elke feitelijke zin moet een "citatie" hebben, die eruit ziet als (bron: URL). Het is als een student die een wetenschappelijk artikel schrijft waarbij elke bewering een voetnoot moet hebben. De schrijver krijgt de instructie om alleen de URL's te gebruiken die in de bewijsindex staan, om te voorkomen dat het nepbronnen verzint.

Stap 4: De Redacteur (Self-Critique)
Voordat het artikel naar de druk gaat, gaat het door een "gated self-critique". Dit is een slimme redacteur die alleen wakker wordt als het concept verdacht lijkt. Het systeem controleert het concept: bevat het minstens drie citaties? Gebruikt het minstens twee verschillende bronnen? Als het concept "zwak gegrond" is (wat betekent dat het bewijs ontbreekt), gaat de redacteur aan het werk. De redacteur leest het artikel zin voor zin. Als een zin een bewering maakt maar de citatie ondersteunt die niet echt, herschrijft de redacteur de zin of vervangt de citatie door een betere. Als het concept al goed is, slaat de redacteur de arbeid over om tijd te besparen. Deze stap zorgt ervoor dat het artikel niet alleen lijkt alsof het bronnen heeft, maar dat de bronnen ook daadwerkelijk de woorden ondersteunen.

Stap 5: De Auditor (NLI Citation Auditor)
Ten slotte voert de "NLI Citation Auditor" een rigoureuze, geautomatiseerde achtergrondcontrole uit. Deze agent gebruikt een techniek genaamd "Natural Language Inference" (NLI). Stel je een logische test voor waarbij de computer vraagt: "Als dit bewijs waar is, betekent dit dan noodzakelijkerwijs dat deze zin waar is?" De auditor voert drie rondes uit:

1. De Schoonmaak: Het gooit alle citaties weg die verwijzen naar URL's die niet in de oorspronkelijke bewijslijst staan.
2. De Reparatie: Als een zin geen citatie heeft, zoekt de auditor naar het best passende bewijs en koppelt een citatie, maar alleen als het bewijs de zin logisch bewijst.
3. De Snoeiwerk: Als een zin te veel citaties heeft, verwijdert de auditor de overbodige, waarbij alleen de essentiële bronnen worden behouden.

Wat Ze Vonden

Het team testte hun systeem op de officiële CLEF 2026 CheckThat! Lab testset, die 1.158 claims bevatte en gemiddeld 7,8 bewijsartikelen per claim. Ze vergeleken hun multi-agent pipeline met een standaard baseline-systeem.

De resultaten waren een mix van succes en een duidelijke les voor de toekomst. Het SourceMinds-systeem behaalde een gemiddelde score van 0,329, waarmee het de baseline-score van 0,272 versloeg. De auteurs suggereren dat het opdelen van de taak in gespecialiseerde fasen echt heeft geholpen. Specifiek:

• Evidence Coverage (Bewijskoppeling): Het systeem scoorde 0,394, de hoogste van alle metrieken. Dit betekent dat het systeem erg goed was in het vinden van relevant bewijs en het verspreiden van citaties over verschillende bronnen, in plaats van te vertrouwen op slechts één document.
• Citation Quality (Citatiekwaliteit): Het systeem verbeterde aanzienlijk in Citation Precision (0,337) en Citation Recall (0,339) vergeleken met de baseline (0,223 en 0,240). Dit suggereert dat de "schrijvers" en "auditor" agents goed samenwerkten om te zorgen dat citaties aanwezig waren en ook daadwerkelijk noodzakelijk waren.

Er is echter ook een aanzienlijke bottleneck gemeld. De Entailment Score — die meet of het gegenereerde artikel daadwerkelijk overeenkomt met de logica en redenering van de grondwaarheid (reference) — was de laagste score met 0,245. Sterker nog, dit was de enige metriek waarbij hun systeem lager scoorde dan de baseline (0,298).

De auteurs verklaren dit gat door op te merken dat het hebben van een citatie niet garandeert dat het verhaal klopt. Een zin kan een perfect uitziende citatie hebben zoals (bron: voorbeeld.com), maar nog steeds de inhoud van die website verkeerd weergeven. Het systeem was goed in het plakken van labels op zinnen, maar had moeite met het construeren van het diepe, logische argument dat het bewijs verbindt met het uiteindelijke oordeel, zoals een menselijke expert dat zou doen. Het paper suggereert dat hoewel hun "zin-voor-zin" validatie nuttig is, de volgende grote uitdaging is om de "bewijs-naar-claim uitlijning" te verbeteren — ervoor te zorgen dat het hele verhaal logisch is, en niet alleen de afzonderlijke onderdelen.

De Kern van het Verhaal

Het SourceMinds-team concludeert dat hun multi-agent pipeline een veelbelovende, modulaire manier is om factcheck-artikelen te genereren. Het bewijst dat je geen enorme, gespecialiseerde robot vanaf nul hoeft te trainen; in plaats daarvan kun je een lichtgewicht team van gespecialiseerde agents gebruiken om betere resultaten te behalen. Het systeem is effectief in het selecteren van het juiste bewijs en het produceren van artikelen die goed geciteerd en traceerbaar zijn. Echter, de lagere entailment score suggerekan dat de "magie" van factchecking niet alleen zit in het vinden van bronnen; het zit in het weven van deze bronnen tot een samenhangend, logisch narratief. De auteurs suggereren dat toekomstig werk zich moet richten op betere redeneerfasen om de kloof te overbruggen tussen "een citatie hebben" en "de hele waarheid vertellen".