UTS at CheckThat! 2026: Cite-Frame Engineering for Generated Fact-Checking Articles

In het moderne informatie-ecosysteem is het verifiëren van een bewering slechts de helft van de strijd; het uitleggen waarom iets waar of onwaar is aan een menselijke lezer, is de andere helft. Dit is het domein van automatische fact-checking, een veld waarin computers proberen het rigoureuze werk van journalisten na te bootsen. De uitdaging is niet alleen om het juiste bewijs te vinden, maar om dat bewijs te weven tot een samenhangend artikel dat een mens kan vertrouwen en dat een computer kan verifiëren. Een recente competitie, CheckThat! 2026, stelde teams voor de taak om systemen te bouwen die deze fact-checking artikelen automatisch genereren. De systemen moesten een specifieke bewering nemen, ondersteunend bewijs zoeken uit een lijst met weblinks, en een kort verslag schrijven waarin die links worden geciteerd. De scoring was meedogenloos: een computerprogramma beoordeelde de artikelen op basis van hoe goed ze overeenkwamen met door mensen geschreven voorbeelden en, cruciaal, of elke enkele zin die een bron citeerde daadwerkelijk werd ondersteund door de tekst bij die bron. Als een systeem een detail verzocht of een bron lichtjes verkeerd citeerde, zou de computer het zwaar bestraffen.

Een team van de University of Technology Sydney nam deel aan deze competitie met een systeem dat een ander pad koos dan de meeste anderen. Terwijl andere teams probeerden krachtige kunstmatige intelligentie te gebruiken om het hele artikel vanaf nul te schrijven, bouwde het Sydney-team een systeem dat vertrouwde op een rigide, voorspelbare sjabloon voor de hoofdtekst, waarbij kunstmatige intelligentie alleen werd gebruikt als een strikte bewaker om de bronnen te controleren. Hun aanpak bracht hen op de tweede plaats van elf teams. De sleutel tot hun succes lag niet in het genereren van creatievere proza, maar in het begrijpen van hoe de computerrechter precies werkte. Ze ontdekten dat de rechter ongelooflijk conservatief was en artikelen beloonde die nauw aansloten bij de verstrekte feiten en elke zin afwees die extra flair of onverifieerbare details toevoegde. Door hun systeem zo te ontwerpen dat het deze strikte regels respecteerde, creëerden ze een machine die betrouwbaar fact-checking artikelen kon produceren die accuraat waren, ook al waren ze niet bijzonder elegant.

De onderzoekers begonnen met het testen van het meest voor de hand liggende idee: een groot taalmodel, een type kunstmatige intelligentie dat in staat is tot het schrijven van vloeiende tekst, het hele artikel laten opstellen. Ze probeerden dit met modellen van verschillende groottes, in de hoop dat de machine zou leren te klinken als een professionele fact-checker. Dat werkte niet. De door deze modellen gegenereerde artikelen faalden consequent voor het beoordelingssysteem van de computer. Het probleem was structureel. De computerrechter zocht naar specifieke patronen in de tekst, met name naar de manier waarop bronnen werden geciteerd. Wanneer de kunstmatige intelligentie probeerde natuurlijk te schrijven, veranderde het vaak de manier waarop een bron werd vermeld of voegde het extra woorden toe die de computer niet kon verifiëren tegen het originele bewijs. Zelfs een kleine verandering, zoals het toevoegen van een naam van een recensent of een datum die niet in de brontekst stond, zorgde ervoor dat de computer de zin afwees. Hoe meer in staat de kunstmatige intelligentie was om beter te schrijven, hoe meer het afweek van de strikte patronen die de rechter vereiste. Het team realiseerde zich dat het proberen om de machine "beter te laten schrijven" de prestaties juist verslechterde.

In plaats van te proberen de tekst te verbeteren, besloot het team de structuur te verbeteren. Ze bouwden een systeem dat begon met een eenvoudig, onveranderlijk sjabloon. Dit sjabloon creëerde een basisartikel met een koptekst, één zin voor elk stuk bewijs en een conclusie. Dit conceptuele concept was saai, maar het was veilig. Het volgde de regels perfect. Het team voegde vervolgens twee specifieke instrumenten toe aan dit systeem, die fungeerden als een kwaliteitscontroleur. Het eerste instrument, dat ze een 'domain-attribution frame' noemden, wikkelde elke citatie simpelweg in een standaardzin zoals "Volgens de website, [feit]". Deze kleine verandering zorgde ervoor dat de zinnen meer klonken als de door mensen geschreven voorbeelden waarmee de computer ze vergeleek, zonder de feiten te veranderen. Het tweede instrument was een 'shadow validator'. Voordat het systeem een zin definitief maakte, vroeg het een klein kunstmatig intelligentiemodel om te controleren of die specifieke zin daadwerkelijk werd ondersteund door de bronlink. Als het model "nee" zei, zou het systeem de volgende zin in de brontekst proberen. Als dat ook faalde, zou het vasthouden aan de oorspronkelijke veilige zin. Dit verzekerde dat elke citatie die het systeem produceerde, iets was dat de computerrechter zou accepteren.

De resultaten van deze aanpak waren duidelijk en meetbaar. Op de validatiedata die werd gebruikt om hun systeem vóór de competitie te testen, verbeterde hun methode de algemene score met een kleine maar significante marge vergeleken met het basis-sjabloon. Wanneer ze de framing-tool combineerden met de shadow validator, was de verbetering zelfs nog groter. Het systeem probeerde niet slim te zijn; het zorgde er simpelweg voor dat elke zin verifieerbaar was en de juiste vorm volgde. In de uiteindelijke competitie behaalde hun systeem een score van 0,484, waarmee het op de tweede plaats eindigde van elf teams. Het winnende team behaalde een hogere score, maar het verschil tussen hen was volledig toe te schrijven aan één specifieke metriek: de precisie van de citaties. Het winnende team slaagde erin bronnen met veel hogere nauwkeurigheid te citeren, waarschijnlijk door ervoor te kiezen citaties weg te laten waarvan ze niet zeker waren, terwijl het Sydney-team elke verstrekte bron citeerde. Het systeem van het Sydney-team was zo betrouwbaar dat het bijna al het beschikbare bewijs citeerde, maar omdat het de onzekere bronnen niet liet vallen, was hun precisiescore lager.

Het werk van het team onthulde twee belangrijke lessen voor de toekomst van automatische fact-checking. Ten eerste, wanneer een computerrechter is ontworpen om strikt te zijn over verificatie, werkt het toevoegen van extra woorden of het proberen om de tekst menselijker te laten klinken vaak nadelig voor de score. De meest effectieve strategie was om de tekst simpel te houden en strikt gebonden aan het bewijs. Ten tweede waren de instrumenten die werden gebruikt om te selecteren welke zin te citeren, vaak misleidend. Het team ontdekte dat standaardmethoden om de "beste" zin uit een bron te kiezen, zoals het zoeken naar de langste zin of de zin die het meest relevant is voor de bewering, vaak zinnen kozen die de computerrechter zou afwijzen. De enige betrouwbare manier om een zin te kiezen, was door de rechter zelf te vragen. Dit inzicht suggereert dat in taken waar nauwkeurigheid wordt gemeten door strikte verificatie, de beste aanpak niet is om nieuwe inhoud te genereren, maar om bestaande inhoud zorgvuldig te cureren en te verifiëren.

De onderzoekers merkten ook op dat hun systeem een beperking had. Omdat ze verplicht waren om elk stuk bewijs dat werd verstrekt te citeren, konden ze niet de strategie van het winnende team overnemen, die waarschijnlijk onzekere bronnen oversloeg om een hoge nauwkeurigheidsscore te behouden. Het team uit Sydney vermoedde dat als ze een regel hadden toegevoegd om elke citatie te laten vallen waarover de rechter niet zeker was, hun score hoger had kunnen zijn. Ze hebben dit echter niet tijdens de competitie getest. Hun werk staat als een demonstratie dat in scenario's met hoge inzet voor verificatie, een eenvoudig, deterministisch systeem dat prioriteit geeft aan nauwkeurigheid boven creativiteit, een complexe kunstmatige intelligentie kan overtreffen die probeert te schrijven als een mens. Het artikel concludeert dat voor de volgende generatie van deze systemen de focus moet verschuiven van het genereren van betere proza naar het ontwikkelen van slimmere manieren om te beslissen wat wel en wat niet wordt opgenomen, om te garanderen dat elk woord dat de machine schrijft, bewezen waar kan worden.