Technische Samenvatting: Symbolische Augmentatie voor Neurale Fact-Checkers

Probleemstelling

Large Language Models (LLM's) hallucineren frequent getallen en eenheden bij het samenvatten van wetenschappelijke teksten. In tegenstelling tot parafraseringsfouten, die vaak via context detecteerbaar zijn, kan een enkele foutieve eenheid of grootteorde een wetenschappelijke bewering stilletjes omdraaien (bijv. de concentratie veranderen van nanomolair naar milligram per milliliter). Huidige fact-checking paradigma's vertrouwen grotendeels op binaire of ternaire implicatieoordelen, die er niet in slagen om onderscheid te maken tussen specifieke typen kwantitatieve fouten (bijv. dimensie van een eenheid versus grootteorde) en bieden geen signaal voor gerichte reparatie. Bovendien vertonen gefinetunede encoders, hoewel ze goed presteren op standaard benchmarks, een kritieke structurele blinde vlek: ze slagen er niet in om canonieke-equivalente herschrijvingen te herkennen (bijv. $95^\circ\text{C}$ en $368.15\text{ K}$ behandelen als fouten in plaats van equivalente beweringen), waardoor de nauwkeurigheid instort bij fysiek equivalente maar tekstueel verschillende inputs.

Methodologie

1. Taakformulering en Benchmark

De auteurs herformuleren fact-checking als een vijfklasse typed-quantity verificatie taak. Gegeven een bewijnbestelling en een samenvatting, wijst de verifier een van de vijf labels toe:

1. CORRECT (CORRECT): Getrouwe herformulering, inclusief canonieke-equivalente herschrijvingen.
2. UNIT ERROR (EENHEIDSFOUT): Afwijking in fysieke dimensie (bijv. concentratie versus massa).
3. SCALE ERROR (GROOTTEORDEFOUT): Afwijking in grootteorde van ten minste één orde van grootte.
4. RELATION ERROR (RELATIEFOUT): Omgedraaide comparatoren, verwisselde entiteiten of gewijzigde reikwijdte.
5. UNSUPPORTED (NIET-GESTUUNDE): Toevoeging van claims die afwezig zijn in het bewijs (superlatieven, causaliteit, significantie).

Om een systematische studie mogelijk te maken, hebben de auteurs een LLM-hergeschreven, dubbel geannoteerde benchmark geconstrueerd van 1.500 items afgeleid van PMC (biomedische/materiaalwetenschappen) en arXiv (computerwetenschappen). De dataset vertoont een hoge inter-annotator overeenstemming ($\alpha = 0.882$) en is gebalanceerd over de vijf klassen.

2. De UNITGRAPH VERIFIER (UGV)

Een deterministische, regelgebaseerde pipeline dient als symbolische baseline. Deze opereert in vier stadia zonder taalmodellen:

• Extractie & Normalisatie: Gebruikt quantulum en een aangepaste normalizer om hoeveelheden te extraheren en te canonicaliseren.
• Dimensionale & Grootteorde Checks: Vergelijkt fysieke dimensies en logaritmische grootteverschillen.
• Relationele Checks: Detecteert het omdraaien van comparatoren en het verwisselen van entiteiten.
• Unsupported Triggers: Identificeert superlatieve, causale of significantie termen die afwezig zijn in het bewijs.
  UGV bereikt een macro-$F_1$ van 0.537, wat beter presteert dan standaard neurale fact-checkers, maar tekortschiet ten opzichte van gefinetunede encoders.

3. Symbolische Augmentatie Framework

De kernbijdrage is Symbolische Augmentatie, een framework voor tijdens de training dat symbolische redenering integreert in een neurale encoder.

• Mechanisme: De modules van de symbolische verifier (UGV) worden in omgekeerde volgorde uitgevoerd. Voor elk gouden CORRECT item past het systeem deterministische, label-preserverende herschrijfregels toe om geaugmenteerde trainingsdata te genereren.
• Vier Augmentatiefamilies:
  • F1 (Canonieke Equivalentie): Converteert hoeveelheden naar fysiek equivalente eenheden (bijv. $^\circ\text{C} \leftrightarrow \text{K}$).
  • F2 (Comparator Synoniemen): Vervangt comparatieve woorden symmetrisch (bijv. "hoger" $\leftrightarrow$ "verhoogd").
  • F3 (Eenheidsnaam Parafrase): Vervangt eenheidssymbolen door woorden (bijv. "M" $\leftrightarrow$ "molaar").
  • F4 (Wetenschappelijke Notatie): Converteert tussen exponentiële en decimale vormen.
• Integratie: De geaugmenteerde data wordt gebruikt om een ModernBERT encoder te finetunen. Cruciaal is dat de symbolische modules tijdens de inferentie niet worden gebruikt; de encoder voert alleen de classificatie uit.

4. Integratiestrategie Vergelijking

Het paper evalueert rigoureus vijf integratiepunten voor symbolische informatie:

1. Inference-time Ensembling: Combineren van UGV en encoder logits (Geen verbetering).
2. Agreement Filtering: UGV alleen gebruiken wanneer deze overeenkomt met de encoder (Geen verbetering).
3. Feature-level Concatenation: UGV outputs voeden als hulp-inputvectoren (Prestatiedaling).
4. Silver-label Teaching: UGV gebruiken om trainingsdata te labelen (Ernstige prestatiedaling door ruis).
5. Training-time Augmentation: UGV regels gebruiken om geaugmenteerde trainingsparen te genereren (Significante verbetering).

Belangrijkste Resultaten

Benchmark Prestaties

• Baseline: Standaard neurale fact-checkers (bijv. MiniCheck, FactCG) bereiken een macro-$F_1 \le 0.295$ en scoren 0.000 op SCALE ERROR, waarbij ze grootteordefouten niet detecteren.
• Finetuned Encoder: Een ModernBERT encoder, gefinetuned op de benchmark, bereikt een macro-$F_1 = 0.899$, waarmee het de closed-frontier LLM's (bijv. Claude Opus 4.7 met 0.973) benadert tegen een fractie van de kosten.
• De Blinde Vlek: Ondanks de hoge algemene nauwkeurigheid, scoort de canonieke encoder slechts 36.5% op een probe-set van canonieke-equivalente herschrijvingen (F1), en classificeert deze vaak onterecht als SCALE of UNIT errors.

Impact van Symbolische Augmentatie

• Robuustheid: Trainen met de F1 (canonieke-equivalentie) familie verhoogt de probe-nauwkeurigheid van 36.5% naar 98.2%, waardoor de blinde vlek effectief wordt gesloten.
• In-Distribution Nauwkeurigheid: De augmentatie verbetert de algemene macro-$F_1$ licht van 0.899 naar 0.902.
• Transfereerbaarheid: Het geaugmenteerde model is transfereerbaar naar de externe SciFact-Open benchmark, waarbij de binaire macro-$F_1$ verbetert van 0.791 naar 0.828 zonder enige SciFact-trainingsdata.
• Efficiëntie: De geaugmenteerde encoder evenaart de prestaties van een closed-frontier LLM op het gebied van canonieke-equivalentie robuustheid, terwijl hij lokaal draait met geen inferentiekosten voor de symbolische modules.

Negatieve Resultaten

Het paper toont aan dat het simpelweg toevoegen van symbolische features als inputs of het gebruiken van de symbolische verifier als een ruisige leraar de prestaties verslechtert. Dit bevestigt dat de training-time augmentatie van data het noodzakelijke integratiepunt is om de deterministische garanties van symbolische logica over te dragen aan de geleerde representaties van de encoder.

Betekenis en Claims

Het paper claimt te identificeren dat training-time augmentatie het juiste mechanisme is voor het integreren van symbolische en geleerde componenten in fact-checking. Door label-preserverende herschrijfregels af te leiden van een symbolische verifier, demonstreren de auteurs dat:

1. Blinde Vlekken zijn Structureel: Het falen om canonieke equivalenten te herkennen is een specifieke structurele tekortkoming van neurale encoders, en geen algemeen gebrek aan kennis.
2. Augmentatie Superieur is aan Ensembling: Het injecteren van symbolische kennis tijdens de training (via datageneratie) is effectiever dan het combineren van symbolische en neurale outputs op de inference- of feature-niveaus.
3. Robuustheid is Transfereerbaar: Het vermogen om numerieke oppervlakken te canonicaliseren is een generaliseerbare capaciteit die de prestaties op externe benchmarks verbetert, wat suggereert dat symbolische augmentatie een fundamentele redeneervaardigheid installeert in plaats van te overfitten op een specifieke dataset.

Het werk biedt een vijfklasse taxonomie, een hoogwaardige benchmark en een framework waarmee kleine, efficiënte encoders de robuustheid van veel grotere modellen kunnen evenaren bij wetenschappelijke fact-checking taken.