Technische Samenvatting: CECoR (Compositional Error Correction via Reasoning-aware Synthesis)

1. Probleemdefinitie

Factual Error Correction (FEC) heeft tot doel onnauwkeurige tekst te herzien tot uitspraken die consistent zijn met externe bewijslast. Hoewel recente methoden adequaat presteren bij single-hop correcties, hebben ze moeite met multi-hop feitelijke fouten. Bestaande paradigma's, zoals "Mask-then-Correct" en "Mask-then-Corrupt", vertrouwen op een impliciete Aanname van Atomaire Feiten: ze behandelen claims als vlakke, niet-gedecomposeerde eenheden waarbij fouten gelokaliseerd zijn tot enkele entiteiten of korte spannen.

Deze aanname faalt bij multi-hop claims, waar waarheidsvoorwaarden verspreid zijn over redeneerketens die meerdere bewijsstukken omvatten. Wereldwijde fouten in deze contexten vertonen vaak niet-lokale, structureel complexe kenmerken (bijvoorbeeld gecoördineerde entiteitssubstituties of schendingen van temporele of relationele beperkingen) die niet kunnen worden gevangen door onafhankelijke masking van oppervlaktespannen. Bovendien belemmert het gebrek aan grote, goudstandaard-gepairde datasets (paren van onjuiste en juiste claims) de training van robuuste correctiemodellen.

2. Methodologie: Het CECoR-kader

De auteurs stellen CECoR (Compositional Error Correction via Reasoning-aware Synthesis) voor, een kader dat multi-hop correctie aanpakt via een Decompositie-en-Injectie-paradigma. Het kader werkt in drie hoofdfasen:

A. Decompositie van multi-hop claims

In plaats van een claim te behandelen als een vlakke string, decomposeert CECoR geverifieerde (juiste) multi-hop claims in interpreteerbare, stapsgewijze redeneerprogramma's. Geïnspireerd op programmagestuurde redenering, genereert een planner een reeks logische stappen $P = [S_1, S_2, ..., S_k]$, gecategoriseerd als:

1. VRAAG: Queries om atomaire feiten uit bewijslast te extraheren.
2. VERIFICEER: Binaire checks tegen opgehaalde feiten.
3. VOORSPEL: Logische composities van eerdere stappen om conclusies te vormen.

Deze transformatie maakt de latente redeneerstructuur expliciet en biedt een substraat voor gecontroleerde foutinjectie.

B. Redeneringsbewuste foutinjectie

CECoR synthetiseert hoogwaardige trainingsparen door gecontroleerde feitelijke verstoringen in te brengen in het gedecomposeerde redeneerprogramma:

• Strategie: Fouten worden telkens in slechts één stap ($S_j$) ingebracht om ongecontroleerde cascaderende inconsistenties te voorkomen, terwijl semantische coherentie bij recompositie wordt gewaarborgd.
• Mechanismen:
  • VOORSPEL-stappen: Vervang een gedeelde entiteit door een semantisch plausibel maar onjuist alternatief.
  • VERIFICEER-stappen: Vervang een feitelijke eenheid door een onjuiste variant of herschrijf de stelling in zijn ontkende vorm.
  • VRAAG-stappen: Vervang het juiste antwoord door een plausibel onjuist antwoord en pas de vraag dienovereenkomstig aan.
• Recompositie: De gewijzigde stap wordt gecombineerd met de originele stappen om een vloeiende, structureel onderbouwde, maar feitelijke onjuiste multi-hop claim te genereren.

C. Filtering en tweestaps leren

• Filtering: Om trainingsbetrouwbaarheid te waarborgen, ondergaan gegenereerde synthetische paren een meervoudig filter. Behouden paren moeten voldoen aan criteria voor lengte, vloeiendheid (perplexiteit), multi-hop-integriteit (vereist $\ge$2 redeneerstappen) en bevestigde feitelijke inconsistentie ten opzichte van de bewijslast.
• Supervised Fine-Tuning (SFT): Het model wordt eerst getraind op de gefilterde synthetische paren $(M_{incorrect}, M_{correct})$ om compositional foutpatronen te leren.
• Versterkend Leren (RL): Om de robuustheid tegen werkelijke foutverdelingen te verbeteren, ondergaat het model een tweede fase met natuurlijk voorkomende onjuiste claims (uit datasets zoals REFUTES). De RL-doelstelling maximaliseert een beloningsfunctie die balans houdt tussen:
  1. Feitelijke consistentie ($S_{correct}$): Uitlijning met bewijslast.
  2. Semantische gelijkenis ($S_{sim}$): Behoud van de intentie van de oorspronkelijke claim.
  3. Vloeiendheid ($S_{flu}$): Grammaticale correctheid.

3. Belangrijkste bijdragen

1. Analyse van beperkingen: Het artikel identificeert de "Aanname van Atomaire Feiten" in eerdere FEC-methoden als een fundamentele bottleneck voor multi-hop correctie, waarbij fouten gekoppeld zijn over redeneerstappen in plaats van geïsoleerd.
2. CECoR-kader: De introductie van een decompositie-en-injectie-paradigma dat programmagestuurde redenering benut om hoogwaardige, compositional trainingsdata te synthetiseren zonder handmatige annotaties.
3. Trainings- en evaluatiestrategie:
   • Een tweestaps SFT + RL-pijplijn die synthetische supervisie combineert met uitlijning op werkelijke fouten.
   • Een evaluatieprotocol dat oppervlakteform-metrics (SARI, ROUGE) aanvult met LLM-gebaseerde beoordeling om semantische correctheid en bewijslastondersteuning beter te vatten, waarmee de beperkingen van referentie-gebaseerde metrics worden aangepakt die conservatieve outputs mogelijk overbelonen.

4. Experimentele resultaten

Experimenten zijn uitgevoerd op multi-hop benchmarks (HOVER, FEVEROUS) en een single-hop dataset (FECDATA).

• Prestaties: CECoR bereikt state-of-the-art prestaties op multi-hop benchmarks, en presteert beter dan zowel ver weg gesuperviseerde baselines (LIFE, VENCE) als few-shot Large Language Model (LLM) baselines (GPT-4o, LLaMA3).
• Nuance in metrics: Waar oppervlakteform-metrics soms "Do-Nothing"-baselines of conservatieve bewerkingen bevoordelen, bevestigt LLM-gebaseerde evaluatie dat de RL-verbeterde varianten van CECoR (specifiek CECoR-RL) semantisch superieure correcties produceren die overeenkomen met menselijke voorkeuren.
• Generalisatie:
  • Single-hop overdracht: Modellen die uitsluitend zijn getraind op multi-hop-data generaliseren effectief naar single-hop correctietaken (FECDATA) en presteren beter dan baselines die zijn getraind op single-hop-data.
  • Robuustheid: CECoR behoudt sterke prestaties wanneer getraind en getest met opgehaalde (ruisachtige) bewijslast, terwijl baselines zoals LIFE vaak falen bij het genereren van geldige synthetische data onder ruisomstandigheden.
• Ablatie: De filterpijplijn blijkt kritiek; het verwijderen ervan leidt tot significante prestatiedalingen, met name in SARI-Add-scores en LLM-gebaseerde evaluaties.

5. Betekenis en claims

Het artikel stelt dat CECoR een verschuiving vertegenwoordigt van het behandelen van feitelijke claims als vlakke tekstreeksen naar het modelleren ervan als gestructureerde redeneerprogramma's. Door tussenliggende redeneerstappen expliciet bloot te leggen, stelt het kader het volgende in staat:

• Schaalbare supervisie: Het genereren van diverse, hoogwaardige trainingsparen uit ongepaarde juiste claims, waarmee de bottleneck van datatekorten wordt verlicht.
• Compositional redenering: Het vermogen om complexe, niet-lokale fouten te corrigeren die relationele en temporele beperkingen over meerdere bewijsbronnen omvatten.
• Praktische toepasbaarheid: De robuustheid van het model tegen ruisachtige bewijslast en het vermogen om over te dragen tussen domeinen (multi-hop naar single-hop) suggereren sterk potentieel voor real-world implementatie in desinformatiecorrectie en betrouwbare AI-systemen.

De auteurs concluderen dat hun aanpak correctiemodellen oplevert die voor complexe feitelijke revisietaken beter interpreteerbaar, generaliseerbaar en robuust zijn dan eerdere methoden die vertrouwen op masking op span-niveau.