Entailed Opinion Matters: Improving the Fact-Checking Performance of Language Models by Relying on their Entailment Ability

1. Het Probleem

Automatische feitencontrole (fact-checking) is een complexe taak voor onderzoeksgemeenschappen, vooral omdat de nauwkeurigheid van bestaande systemen vaak onvoldoende is voor real-world implementatie. De belangrijkste uitdagingen zijn:

• Contradicties in bewijs: Taalmodellen moeten vaak door meerdere stukken bewijs gaan die elkaar tegenstrijden, wat leidt tot verwarring en slechte prestaties.
• Beperkingen van Prompting: Hoewel prompting van grote generatieve taalmodellen (GLMs) menselijke prestaties kan bereiken, zijn deze modellen vaak duur (achter een betaalmuur) en vatbaar voor bias en hallucinaties, vooral bij kleinere GLMs.
• Moeilijkheden bij Encoder-only modellen: Traditionele encoder-only taalmodellen (ELMs) zoals BERT of RoBERTa hebben moeite met het verwerken van lange contexten en het expliciet onderscheiden van ondersteunend versus weerleggend bewijs zonder complexe attention-mechanismen.

2. Methodologie

De auteurs stellen een nieuw leerparadigma voor dat de sterke taalbegrip- en redeneercapaciteiten van generatieve taalmodellen (GLMs) combineert met de efficiëntie van encoder-only modellen (ELMs) voor de uiteindelijke voorspelling. Het proces verloopt in drie fasen, zoals geïllustreerd in Figuur 1 van het artikel:

1. Entailment (Classificatie): Een GLM analyseert een claim en bijbehorende bewijsstukken. Het model classificeert elk bewijsstuk expliciet als "ondersteunend" (supporting) of "weerleggend" (refuting) op basis van logische implicatie (entailment).
2. Consolidatie (Generatie): De GLM consolideert de twee groepen bewijs (ondersteunend en weerleggend) tot twee beknopte, logische justificaties (verantwoordingen). Als er geen bewijs is voor een categorie, genereert het model een justificatie op basis van zijn ingebouwde kennis.
3. Veracity Prediction (Voorspelling): Een kleiner, gefinetuned ELM (zoals RoBERTa of XLNet) gebruikt de oorspronkelijke claim en de gegenereerde ondersteunende/weerleggende justificaties als input om de uiteindelijke waarheidswaarde (veracity) van de claim te voorspellen.

De auteurs hebben drie trainingsgebaseerde experimenten (TBEs) en vier inferentiegebaseerde experimenten (IBEs) uitgevoerd om dit te valideren:

• TBE-1: Finetuning op ruwe bewijszinnen.
• TBE-2: Finetuning op een samenvatting van het begrip van claim en bewijs.
• TBE-3 (De voorgestelde methode): Finetuning op de gegenereerde entailment-justificaties.
• IBEs: Verschillende prompting-strategieën (zero-shot, CoT, entailment-based) zonder finetuning.

3. Belangrijkste Bijdragen

• Nieuw Leerparadigma: Het introduceren van een pipeline waarbij GLMs worden gebruikt om bewijs te discrimineren en te consolideren tot "entailed justifications", die vervolgens dienen als supervisie-signaal voor het trainen van efficiëntere ELMs.
• Uitgebreide Experimenten: Een rigoureuze evaluatie op twee monolinguale datasets (LIAR-RAW en RAW-FC) en uitbreiding naar meertalige (X-FACT, RU22Fact) en multimodale datasets (Factify-2, MOCHEG, VERITE).
• Ablatie- en Kwaliteitsanalyses:
  • Een ablatiestudie toonde aan dat het verwijderen van zowel ondersteunende als weerleggende justificaties de prestaties drastisch verlaagt, waarbij het verwijderen van ondersteunende justificaties het meest schadelijk is.
  • Een analyse van de kwaliteit van de uitleggen (via lexicaal overlap, semantische matching en subjectieve evaluatie) toonde aan dat Llama de meest informatieve en logisch gestructureerde uitleggen genereerde, wat correleerde met de beste voorspelprestaties.
  • Taalkundige analyse van attention-scores toonde aan dat ELMs zich beter focussen op feitelijke sleutelwoorden bij duidelijke gevallen (waar/vals), maar minder scherp zijn bij "grensgevallen" (bijv. half-waar).

4. Resultaten

De resultaten tonen een aanzienlijke verbetering ten opzichte van state-of-the-art baselines (zoals HiSS, FactLLaMA, RAFTS):

• Monolinguale Prestaties:
  • De TBE-3 methode (trainen op entailment-justificaties) leverde de grootste verbeteringen op.
  • Op LIAR-RAW werd de Macro-F1 (MF1) met maximaal 28,57% verbeterd ten opzichte van de baselines.
  • Op RAW-FC werd de MF1 met maximaal 44,26% verbeterd (RoBERTa gefinetuned op Llama-justificaties bereikte een MF1 van 0,88).
  • Inferentiegebaseerde methoden (IBEs) presteerden consistent slechter dan de trainingsgebaseerde aanpak.
• Domain Generalisatie:
  • De methode bleef robuust in meertalige en multimodale settings.
  • In multimodale taken werden verbeteringen van maximaal 54,10% (op MOCHEG) behaald.
  • In meertalige taken werden verbeteringen van maximaal 19,70% (op X-FACT) behaald.
• Ablatie: Het verwijderen van de weerleggende justificaties had een negatief effect, maar het verwijderen van de ondersteunende justificaties had een nog groter negatief effect, wat aantoont dat beide componenten cruciaal zijn.

5. Betekenis en Conclusie

Dit onderzoek demonstreert dat het gebruik van de entailment-vaardigheid van grote generatieve modellen als een tussenstap om bewijs te filteren en te synthetiseren, een effectieve strategie is om de prestaties van kleinere, efficiëntere modellen te verhogen.

• Efficiëntie: Het stelt onderzoekers in staat om de kracht van grote GLMs te benutten zonder de hoge kosten van inferentie op deze modellen voor elke voorspelling. De zware rekenkracht wordt gebruikt voor de data-preparatie (genereren van justifications), waarna een goedkopere ELM de daadwerkelijke classificatie uitvoert.
• Schaalbaarheid: De aanpak werkt succesvol over verschillende domeinen (tekst, beeld, meerdere talen), wat het een veelbelovende oplossing maakt voor real-world fact-checking systemen.
• Interpretbaarheid: De gegenereerde justifications fungeren niet alleen als input voor betere voorspellingen, maar bieden ook menselijke leesbare uitleggen over waarom een claim waar of onwaar is, wat het vertrouwen in het systeem vergroot.

Kortom, het paper stelt dat het expliciet laten classificeren en samenvatten van bewijs door GLMs, gevolgd door training van een encoder-model op deze samenvattingen, een nieuwe standaard kan worden voor nauwkeurige en schaalbare automatische feitencontrole.