Technische Samenvatting: ReFact – Adaptieve Feit-Herformulering voor Compacte en Getrouwe Chain-of-Thought Redenering

1. Probleemstelling

Large Language Models (LLMs) vertrouwen steeds vaker op langvormige redeneringen om complexe taken op te lossen die verband houden met contexten met een lange context. Bestaande modellen worstelen echter vaak met het afstemmen van hun redeneerprocessen op de verstrekte contextuele bewijslast, vooral wanneer de bewijslast incompleet, ruisachtig of in strijd is met de parametrische kennis van het model. Deze mismatch leidt tot "ongetrouwe" Chains of Thought (CoT), waarbij modellen relevante context over het hoofd zien, vertrouwen op interne kennis die de input tegenspreekt, of gehallucineerde redeneerstappen genereren.

Huidige benaderingen voor het funderen van redeneringen vallen over het algemeen uiteen in twee categorieën, die beide beperkingen hebben:

1. Citatie-gebaseerde Generatie: Deze methoden voegen citaten toe na de generatie of tijdens de redenering om de transparantie te verbeteren. Ze behandelen citaten echter vaak als externe referenties in plaats van integrale componenten van het redeneerproces, waardoor ze er niet in slagen te waarborgen dat de geciteerde informatie voldoende is om tussenliggende inferenties te ondersteunen.
2. Feit-reproducerende Redenering: Deze methoden vereisen dat LLM's ondersteunende feiten uit de context expliciet herformuleren. Hoewel dit de afstemming verbetert, tasten rigide eisen voor herformulering vaak de compactheid en coherentie van redeneertrajecten aan, wat leidt tot redundante, overmatig geciteerde sporen die geen adaptief gebruik maken van bewijs.

De kernuitdaging is het in staat stellen van LLM's om te bepalen wanneer contextuele fundering noodzakelijk is en hoe ze bronfeiten op een passend detailniveau moeten herformuleren om betrouwbare, compacte en getrouwe redenering te waarborgen.

2. Methodologie: Het ReFact-framework

ReFact (Adaptive Fact Restatement) is een framework ontworpen om LLM's selectief bronfeiten te laten herformuleren op verschillende granulariteitsniveaus (entiteiten, zinsdelen, zinnen of paragrafen), maar alleen wanneer dit noodzakelijk is voor een specifieke redeneerstap. Het framework maakt gebruik van een tweefasige trainingspijplijn: Supervised Fine-Tuning (SFT) gevolgd door Reinforcement Learning (RL).

2.1 Constructie van Trainingsdata

De auteurs construeren een dataset ($D_{training}$) door adaptieve citatie-gebaseerde redeneertrajecten te synthetiseren uit bestaande QA-datasets (HotpotQA_CARE en MuSiQue).

• Teacher Model: Een sterker teacher LLM (Gemini-3.1-preview) genereert hoogwaardige redeneertrajecten. Het wordt geprompt om te beslissen wanneer te citeren en hoe feiten te herformuleren (granulariteit en vorm) op basis van de "Supporting Facts" die in de context worden gegeven.
• Lengte-diverse Contexten: Om generalisatie over scenario's met lange contexten te waarborgen, wordt de gouden context ingevoegd in distractor-documenten van variërende lengtes (32k, 64k, 128k tokens), wat de uitdagingen van real-world long-context simuleert.
• Kwaliteitsfiltering: Gegenereerde trajecten worden gefilterd op basis van vier criteria:
  1. Formaat: Correct gebruik van tags (<evidence N>...</evidence>) en de scheiding van redenering en antwoorden.
  2. Nauwkeurigheid: Het uiteindelijke antwoord komt overeen met de gouden standaard.
  3. Traceerbaarheid: Alle geciteerde inhoud moet letterlijk aanwezig zijn in de ondersteunende feiten.
  4. Beantwoordbaarheid: Een verifier-model moet het juiste antwoord kunnen afleiden met behulp van alleen de geciteerde inhoud, wat garandeert dat de citaten voldoende zijn.

2.2 Tweefasige Trainingspijplijn

Het student-model (Qwen3-4B en Qwen3-8B) wordt geoptimaliseerd via:

1. Cold-Start SFT: Het model wordt getraind op de gecureerde $(vraag, lange\_context, redeneertraject)$ paren om het outputformaat en het gedrag van het funderen van redeneringen in feiten te leren.
2. Group Relative Policy Optimization (GRPO): Het model wordt verder geoptimaliseerd met behulp van een beloningsfunctie ($R$) die vier componenten balanceert:
   • $R_{format}$: Structurele correctheid.
   • $R_{acc}$: Antwoordcorrectheid.
   • $R_{trace}$: Getrouwheid van de geciteerde inhoud ten opzichte van de bron.
   • $R_{ans}$: Toereikendheid van de geciteerde inhoud om de vraag te beantwoorden.
     De uiteindelijke beloning is een gewogen som: $R = \lambda_1 R_{format} + \lambda_2 R_{acc} + \lambda_3 R_{trace} + \lambda_4 R_{ans}$.

3. Belangrijkste Bijdragen

• Adaptief Citatiemechanisme: In tegenstelling tot eerder werk dat vaste citatieposities of post-hoc attributie afdwingt, leert ReFact modellen om adaptief de noodzaak en granulariteit van feit-herformulering te bepalen. Dit resulteert in redeneertrajecten die compacter en getrouwer zijn zonder onnodige redundantie.
• SFT-naar-RL Framework: Het artikel stelt een specifieke trainingspijplijn voor die beweegt van het leren van citatieformaten (SFT) naar het optimaliseren van de utiliteit van citaties voor redenering (RL), waardoor wordt gegarandeerd dat geciteerde feiten niet alleen aanwezig zijn, maar ook voldoende zijn voor inferentie.
• Compacte en Getrouwe Redenering: De aanpak toont aan dat het verbeteren van getrouwheid geen langere redeneertrajecten vereist; sterker nog, ReFact produceert aanzienlijk kortere trajecten terwijl de nauwkeurigheid gelijk blijft of verbetert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op LongBench v1/v2, LV-Eval (16k–128k contexten), en ConFiQA (counterfactual faithfulness).

• Prestaties op Long-Context QA: ReFact presteerde consistent beter dan de baselines (Zero-Shot, LongAlign, LongFaith, CARE) op LongBench v1 en LV-Eval. Het behaalde hogere F1-scores over verschillende contextlengtes (tot 128k) terwijl het aanzienlijk minder redeneertokens genereerde (bijv. een reductie in tokengebruik van ~60-70% vergeleken met CARE).
• Citatiekwaliteit en Efficiëntie: Analyse toonde aan dat ReFact hogere citatie-F1-scores behaalde (betere afstemming met gouden bewijs) terwijl het aanzienlijk minder feiten per traject herformuleerde vergeleken met Zero-Shot en CARE. Dit geeft aan dat het model leert om alleen bewijs te selecteren dat voldoende is voor het antwoord.
• Counterfactual Faithfulness: Op ConFiQA, waar de context de parametrische kennis tegenspreekt, vertoonde ReFact een hogere Source Preference (PS) en een lagere Parametric Override (PO). Het was eerder geneigd de verstrekte context te volgen boven gememoriseerde feiten.
• Mechanisme-analyse:
  • Perplexity: ReFact-trajecten leverden een lagere perplexiteit op voor gouden antwoorden, wat wijst op sterkere begeleiding voor de uiteindelijke voorspelling.
  • FFN Activatie: Analyse van de Feed-Forward Network (FFN) activaties onthulde dat ReFact lagere activatieverhoudingen vertoont in de midden- tot diepe lagen vergeleken met Zero-Shot. Aangezien deze lagen geassocieerd worden met parametrische geheugenretrieval, suggereert dit dat ReFact minder leunt op interne kennis die conflicteert met de context.
• Ablatie-studies: Het verwijderen van de "Answerability" beloning of de "Evidence Alignment" supervisie leidde tot prestatievermindering, wat bevestigt dat het optimaliseren voor de toereikendheid van bewijs en expliciete afstemming cruciaal is.

5. Betekenis en Claims

Het artikel claimt dat ReFact een belangrijke stap voorwaarts is in het maken van LLM-redeneringen zowel compact als getrouw. Door citaties te transformeren van externe referenties naar adaptieve tussenliggende redeneertoestanden, stelt ReFact modellen in staat om:

1. Cognitieve Overbelasting te Verminderen: Door alleen noodzakelijke feiten te herformuleren, blijft het redeneerproces beknopt.
2. Betrouwbaarheid te Vergroten: Het model is minder vatbaar voor hallucinaties en parametrische override, omdat het expliciet getraind is om te verifiëren dat zijn redeneerstappen worden ondersteund door de verstrekte context.
3. Efficiëntie te Verbeteren: De reductie in redeneertokens suggereert dat hoogwaardige redenering geen verbose, redundante herformuleringen vereist, wat lang-context redenering computationeel efficiënter maakt.

De auteurs concluderen dat de sleutel tot getrouwe lang-context redenering niet ligt in het afdwingen van meer citaties, maar in het aanleren aan modellen om adaptief de juiste feiten op het juiste detailniveau te selecteren en te integreren.