FactLink: A Cross-Domain Benchmark for Link Role Classification for Fact-Checking

Stel je het internet voor als een enorme, chaotische bibliotheek waar iedereen een boek kan schrijven, een briefje op de muur kan plakken of een gerucht vanaf het dak kan schreeuwen. Soms zijn deze briefjes waar; andere keren zijn het uitgebreide leugens die bedoeld zijn om je te misleiden. Hier komen de "factcheckers" in beeld, een groep digitale bibliothecarissen en journalisten die zich erin storten om de rommel op te ruimen. Ze schrijven artikelen waarin staat: "Hé, dat briefje op de muur is nep!" en ze wijzen vervolgens naar twee heel verschillende dingen: het nepbriefje zelf (zodat je kunt zien hoe de leugen eruitziet) en het betrouwbare bewijs (zoals een politiebericht of een wetenschappelijke studie) dat bewijst dat de leugen niet klopt.

Het probleem is dat deze factcheckers in de digitale wereld vaak gewoon een heleboel links in hun artikelen droppen zonder te vertellen welke link de "nepbrief" is en welke de "bewijslast" is. Het is alsof een detective naar een foto van een plaats delict en een vingerafdrukset wijst en dan zegt: "Kijk naar deze twee dingen," zonder uit te leggen welke de dader is en welke de oplossing. Dit maakt het voor computers moeilijk om automatisch te leren hoe ze leugens kunnen herkennen. Als een computer het verschil niet kan zien tussen een link naar een leugenaar en een link naar een waarheidspreker, kan het de bibliothecarissen niet helpen om de bibliotheek te sorteren. Hier komt de wetenschap van "link role classification" om de hoek kijken: het is de kunst om machines te leren naar een link te kijken en te vragen: "Ben jij de slechterik, of ben jij de held?"

Dit artikel introduceert een nieuw hulpmiddel genaamd FactLink om dit puzzelstukje op te lossen. De onderzoekers, een team van de Universiteit van Sheffield en een Bulgaars bedrijf, realiseerden zich dat hoewel we veel factcheck-artikelen hebben, we geen goede manier hebben om computers te leren de functie van de links binnen deze artikelen te begrijpen. Dus bouwden ze een "trainingsgym" voor computers met behulp van twee zeer verschillende soorten gegevens.

Eerst creëerden ze een Gold Standard-dataset. Denk aan dit als een strikte, belangrijke examen. Ze namen 1.782 links uit factcheck-artikelen in het Engels en Bulgaars en lieten getrainde menselijke vrijwilligers elke link zorgvuldig labelen. Deze vrijwilligers waren als deskundige rechters die beslisten of een link wees naar Disinformatie (de leugen), Ondersteunend Bewijs (het bewijs), of Overig (gewoon achtergrondruis). Deze dataset is klein maar ongelooflijk nauwkeurig, met een hoog niveau van overeenstemming tussen de rechters, wat het een perfecte test maakt om te zien of een computer echt slim is.

Ten tweede verzamelden ze een enorme Journalist-Tagged-dataset. Dit is als een gigantische, echte speeltuin. Ze verzamelden meer dan 49.000 links uit artikelen geschreven door professionele journalisten van AFP (een groot persbureau). Deze journalisten hadden hun eigen links al getagd terwijl ze hun dagelijkse werk deden. Deze dataset is enorm en beslaat meer dan 30 talen, maar is een beetje rommeliger omdat het reflecteert hoe mensen in de echte wereld werken, en niet hoe ze werken in een perfect examen.

De onderzoekers legden vervolgens twee soorten computerbreinen aan de test: Fine-tuned Transformers (modellen die als studenten zijn die een specifief tekstboek heel hard hebben bestudeerd) en Large Language Models (LLMs) (zoals superintelligente, algemene genieën die dit specifieke tekstboek niet hebben bestudeerd, maar zaken kunnen begrijpen op basis van een paar voorbeelden).

Dit is wat ze ontdekten, en het is een verrassing:

• Wanneer er veel data is: Als je de "student"-modellen (fine-tuned transformers) een enorme stapel voorbeelden geeft om te bestuderen, zoals de 49.000 links van de journalisten, worden ze absolute kampioenen. Ze behaalden een Macro-F1 van 0,866, wat een zeer hoge score is, wat betekent dat ze erg goed werden in het herkennen van het verschil tussen leugens en bewijs.
• Wanneer er heel weinig data is: Maar wanneer de onderzoekers hen testten op de kleine, strikte "Gold Standard"-set (slechts 1.782 links), struikelden de "student"-modellen een beetje en behaalden een score van 0,745.
• De genieën schitteren in het donker: Hier verrasten de LLMs (de algemene kennisgenieën) iedereen. Wanneer ze slechts een paar voorbeelden kregen (een "few-shot" aanpak) om van te leren, deden ze het op de kleine dataset zelfs beter dan de studentenmodellen, met een score van 0,76. Ze waren ook veel stabieler wanneer de regels licht veranderden (cross-domain testen).

Het artikel suggereert dat er niet één enkel "beste" computerbrein voor deze taak is. Als je een enorme hoeveelheid gelabelde data hebt en een betrouwbare, consistente werker nodig hebt, is de fine-tuned transformer je beste optie. Maar als je in een nieuwe situatie zit, werkt met een kleine hoeveelheid data, of een model nodig hebt dat snel kan aanpassen aan verschillende talen en stijlen zonder opnieuw getraind te worden, dan is de LLM de robuustere keuze.

De auteurs merkten ook op dat zelfs mensen moeite hebben met deze taak. Wanneer ze keken naar de punten waar de menselijke rechters het oneens waren, ontdekten ze dat de grens tussen "Ondersteunend Bewijs" en "Overig" (achtergrondinformatie) vaak vaag is. Het is moeilijk te zeggen of een link een cruciaal stuk bewijs is of slechts een nuttige zijdelingse opmerking. Dit betekent dat zelfs de beste computermodellen geconfronteerd zullen worden met een uitdaging die deels voortkomt uit de natuurlijke ambiguïteit van menselijke taal, en niet alleen uit een gebrek aan rekenkracht.

Kortom, dit artikel heeft niet alleen een dataset gebouwd; het heeft aangetoond dat de beste manier om online leugens te bestrijden met AI afhangt van hoeveel data je hebt. Soms heb je een specialist nodig die het tekstboek heeft bestudeerd, en soms heb je een generalist nodig die het ter plekke kan uitzoeken. Door deze twee nieuwe datasets te bieden, hebben de onderzoekers de wetenschappelijke gemeenschap een nieuwe manier gegeven om deze digitale detectives te trainen en te testen, in de hoop het internet een stuk minder verwarrend en een stuk waarheidsgetrouwer te maken.