Technische Samenvatting: DECOMPOSERL

Probleemstelling

Geautomatiseerde claimverificatie staat voor een fundamentele afweging tussen nauwkeurigheid en interpreteerbaarheid. Huidige benaderingen vallen over het algemeen in twee categorieën:

1. End-to-end classifiers: Deze behalen hoge nauwkeurigheid op benchmarks, maar functioneren als "black boxes" en geven een oordeel zonder controleerbare sporen te bieden van hoe de conclusie is bereikt. Deze ondoorzichtigheid is problematisch in hoog-risicodomeinen zoals medische triage, politieke feitencontrole en wetenschappelijk peer review, waar gebruikers inzicht vereisen in welke delen van een claim zijn geverifieerd en waarom.
2. Decompositie-gebaseerde methoden: Deze breken claims op in atomaire deelvragen om controleerbare sporen te genereren. Ze blijven echter vaak achter bij end-to-end classifiers qua prestaties. Bestaande decompositiemethoden vertrouwen op breekbare prompting of dure imitatielearning (fine-tuning op gouden decomposities) zonder een trainingsignaal dat de daadwerkelijke geschiktheid van de decompositie voor de verificatietaken meet.

Methodologie

De auteurs stellen DECOMPOSERL voor, een versterkingsleer (RL) raamwerk dat een beleid traint om claims op te splitsen in nuttige, informatieve en diverse vragen, waardoor zowel hoge nauwkeurigheid als controleerbare sporen worden geproduceerd.

1. Data Curation Funnel

Om de prohibitieve kosten van het trainen van RL-beleidslijnen op grote, ruise corpora aan te pakken, hebben de auteurs een meerstaps data-curatiefunnel ontworpen. Uitgaande van ongeveer 155.000 claims over 14 heterogene corpora, destilleerden ze een compacte, leer-signaal-dichte subset van 5.464 claims (~4% van de oorspronkelijke data). De filterstappen omvatten:

• Regelgebaseerde filtering: Verwijderen van claims met onvoldoende bewijslengte, triviaal lexicaal overlap, of minder dan twee benoemde entiteiten.
• Moeilijkheidsgebaseerde filtering: Het gebruik van een MiniCheck-7B-verificator om alleen claims te behouden waarbij het model onzeker is (vertrouwen $0.3 \le p \le 0.8$), zodat de trainingsdata niet-triviale redeneeruitdagingen bevat.
• Deduplicatie en Decontaminatie: Verwijderen van near-duplicates via MinHash en cosinusgelijkenis om datalekken te voorkomen en diversiteit te waarborgen.
• Zilveren Decompositie: Genereren van "zilveren" (pseudo-gelabelde) decomposities met GPT-5-mini voor de resterende claims.
• Diversiteitsselectie: Het gebruik van een Facility-Location-doelstelling (submodulaire maximalisatie) om een definitieve subset te selecteren die de dekking in de embedding-ruimte maximaliseert, zodat de trainingsset de volledige verdeling van claimtypen vertegenwoordigt.
• Long-Evidence Augmentatie: Toevoegen van claims met lange bewijscontexten om distributieverandering tijdens evaluatie te voorkomen.

2. Versterkingsleer Raamwerk

DECOMPOSERL vormt claimverificatie om tot een iteratief Question-Answer (QA) decompositieprobleem. Het beleid ($\pi_\theta$), gebaseerd op Qwen2.5-7B-Instruct, genereert een gestructureerde trace bestaande uit een initiële analyse, $n$ vraag-antwoordcycli, en een definitief oordeel ($SUPPORTED$ of $REFUTED$).

Het beleid wordt getraind met Group Relative Policy Optimization (GRPO) en een novel multi-faceted reward ensemble. In tegenstelling tot eerdere werken die vertrouwen op een enkel uitkomstbeloning, optimaliseert DECOMPOSERL zeven complementaire signalen:

1. Formaat ($R_{fmt}$): Waarborgt naleving van het op XML gebaseerde gestructureerde outputschema.
2. Verificatie ($R_{ver}$): Verankert het beleid aan het grondwaarheid-oordeel (alleen voor gelabelde data).
3. Aantal Vragen ($R_{qc}$): Straft afwijkingen van het optimale aantal deelvragen.
4. Diversiteit ($R_{div}$): Gebruikt Maximal Marginal Relevance (MMR) op embeddings om redundante vragen te straffen.
5. Dekking ($R_{cov}$): Een LLM-as-a-judge evalueert of de set antwoorden alleen het juiste oordeel kan reconstrueren.
6. Noodzaak via Leave-One-Out ($R_{nec}$): Een kritiek onderdeel waarbij de rechter bepaalt of het verwijderen van een specifieke vraag het oordeel verandert. Vragen die noodzakelijk zijn (het verwijderen ervan keert het oordeel om) ontvangen hoge beloningen; schadelijke vragen (die het oordeel in de war sturen) ontvangen negatieve beloningen.
7. Gecombineerde Multiplicatieve Kwaliteit ($R_{joint}$): Een multiplicatieve beloning die Beantwoordbaarheid, Atomaire aard (enkele focus, geen conjuncties) en Correctheid combineert. Dit zorgt ervoor dat een enkel falen in een dimensie de score van de vraag naar nul duwt.

3. Semi-supervised Learning

Om de schaarste aan goud-gelabelde data aan te pakken, ondersteunt DECOMPOSERL semi-supervised training. Voor niet-gelabelde claims:

• Dekking wordt benaderd via self-consistency: De meerderheidsstem van $G$ rollouts dient als pseudo-label.
• Noodzaak wordt berekend ten opzichte van het door het beleid zelf gereconstrueerde oordeel in plaats van een grondwaarheid.
• De Verificatie beloning wordt verwijderd voor niet-gelabelde data, terwijl de andere beloningen label-agnostisch blijven.

Belangrijkste Bijdragen

1. Multi-faceted Reward Ensemble: Een novel beloningssysteem dat de kwaliteit van decompositie over meerdere dimensies vastlegt (noodzaak, dekking, diversiteit, atomaire aard) met een combinatie van deterministische regels, op embedding gebaseerde metrieken en LLM-as-a-judge evaluaties.
2. Semi-supervised Capability: Een self-consistency mechanisme dat het model toelaat te leren van niet-gelabelde claims door gebruik te maken van intra-prompt overeenstemming, waardoor de aanpak levensvatbaar wordt voor domeinen met dure annotaties.
3. Efficiënte Data Curation: Een destillatiefunnel die de trainingsdata-eisen met ongeveer 96% reduceert (van 155K naar ~5,5K claims) terwijl de signaaldichtheid verbetert, wat effectieve RL-training mogelijk maakt met beperkte rekenkracht.
4. Prestaties en Schaalbaarheid: Het aantonen dat een model met 7B parameters, getraind met dit raamwerk, de prestaties kan evenaren of overtreffen van aanzienlijk grotere modellen (32B) en propriëtaire frontier-modellen (GPT-4.1-mini), terwijl het controleerbare sporen biedt.

Experimentele Resultaten

De auteurs evalueerden DECOMPOSERL op 11 claimverificatie-benchmarks (9 in-domein, 2 out-of-domein), waaronder biomedische, politieke en wetenschappelijke datasets.

• Nauwkeurigheid: Het DECOMPOSERL-7B model behaalde 86,3% gebalanceerde nauwkeurigheid in-domein en 69,8% out-of-domein.
• Vergelijking met Baselines:
  • Het presteerde significant beter dan alle decompositie-gebaseerde baselines (bijv. Decomposed Prompting, HiSS, ClaimDecomp) (+4,4% in-domein, +2,8% out-of-domein boven de sterkste baseline).
  • Het overtrof end-to-end classifiers zoals MiniCheck-7B.
  • Het evenaarde de prestaties van modellen met 32B parameters en het GPT-4.1-mini frontier-model op in-domein taken, ondanks dat het 4x kleiner is dan de 32B baseline en een orde van grootte kleiner dan het frontier-model.
• Semi-supervised Prestaties: Wanneer getraind met slechts 10% gelabelde data ($s=0.1$), behield DECOMPOSERL-7B een in-domein nauwkeurigheid van 84,6% en een out-of-domein nauwkeurigheid van 69,7%, en presteerde het nog steeds beter dan alle 7B baselines.
• Ablatie Studies: Het verwijderen van de Noodzaak beloning veroorzaakte de grootste daling in out-of-domein prestaties (-4,8%), wat de kritieke rol ervan in generalisatie benadrukt. Het verwijderen van Dekking en Diversiteit had ook een aanzienlijke impact op robuustheid, wat de noodzaak bevestigt van het volledige ensemble voor out-of-domein prestaties.

Betekenis en Claims

Het artikel beweert dat DECOMPOSERL met succes de kloof tussen nauwkeurigheid en interpreteerbaarheid in claimverificatie overbrugt. Door decompositie te frameren als een RL-probleem geleid door een multi-faceted reward ensemble, tonen de auteurs aan dat:

• Traceerbaarheid niet ten koste hoeft te gaan van nauwkeurigheid: Het model produceert controleerbare, stap-voor-stap verificatietraces zonder in te leveren op prestaties ten opzichte van ondoorzichtige classifiers.
• Parameter-efficiëntie: Hoge prestaties kunnen worden bereikt met kleinere modellen (7B) als het trainingsignaal (beloningontwerp en data curation) wordt geoptimaliseerd, in plaats van uitsluitend te vertrouwen op het schalen van de modelgrootte.
• Schaalbaarheid naar low-resource settings: De semi-supervised aanpak stelt het systeem in staat zich aan te passen aan nieuwe domeinen waar gouden standaard-annotaties schaars of duur zijn, door self-consistency te gebruiken om het leren op te starten.

De auteurs positioneren dit werk als een oplossing voor de "traceerbaarheidskloof" in geautomatiseerde feitencontrole, en bieden een methode die zowel nauwkeurig als transparant is, geschikt voor hoog-risico toepassingen waar gebruikers het redeneerproces moeten kunnen inspecteren.