Technische Samenvatting: Inference-Time Conformal Reasoning met Geldige Factuele Controle voor Large Language Models

1. Probleemstelling

Large Language Models (LLM's) maken steeds vaker gebruik van meerstapsredeneringen, waarbij sequenties van tussenliggende claims worden gegenereerd die impliciete gerichte acyclische grafen (DAG's) vormen. In deze structuren is de juistheid van een knoop (claim) structureel afhankelijk van zijn voorouders; een fout in een upstream-claim kan alle downstream-claims ongeldig maken. Dit creëert een scenario waarin de onzekerheid over de feitelijkheid structureel is, in plaats van een eenvoudige accumulatie van onafhankelijke knoop-specifieke fouten.

Bestaande benaderingen voor feitelijke controle, zoals Conformal Prediction (CP), zijn doorgaans post-hoc. Ze genereren eerst een volledige redeneergraaf en selecteren vervolgens subsets van claims om dekkinggaranties te waarborgen. Deze aanpak heeft twee kritieke beperkingen:

1. Structurele Misalignement: Post-hoc snoeien (pruning) kan het generatieproces zelf niet beïnvloeden, wat potentieel leidt tot de generatie van grote hoeveelheden ongeldige inhoud voordat correctie plaatsvindt.
2. Inefficiëntie en Instabiliteit: Het snoeien van volledig gegenereerde grafen resulteert vaak in overmatig conservatieve outputs (volledige onthouding) of instabiele drempelwaarden door ruis veroorzaakt door hallucinaties.

De centrale vraag die dit artikel adresseert is: Kunnen we tijdens de inferentie conformal controle voor feitelijkheid ontwerpen die ingrijpt tijdens de generatie, in plaats van post-hoc, terwijl rigoureuze dekkinggaranties behouden blijven?

2. Methodologie: Inference-Time Conformal Reasoning (ITCR)

De auteurs stellen Inference-Time Conformal Reasoning (ITCR) voor, een framework dat conformal prediction direct integreert in de generatie van redeneergrafen.

Kerncomponenten

1. Structureel Niveau Factuele Onzekerheidsfunctie:

   • In plaats van uitsluitend te vertrouwen op knoop-niveau scores, leert ITCR een functie $F_{U_\theta}$ die een voorouder-gesloten redeneersubgraaf en de constituerende knoop-niveau onzekerheidssignalen mapt naar een scalaire graaf-niveau factuele onzekerheidsscore.
   • Deze functie wordt getraind via binaire supervisie (consistent versus inconsistent met de grondwaarheid) op subgrafen. Het leren van deze functie heeft geen invloed op de theoretische geldigheid van de dekkinggaranties, die steunen op conformal kalibratie.

2. Geneste Non-Conformity Score:

   • Om geldige stopzetting tijdens sequentiële generatie mogelijk te maken, moet de non-conformity score een geneste eigenschap bezitten: deze moet monotoon zijn onder subgraaf-expansie ($S(U_1) \le S(U_2) \le \dots$).
   • De auteurs definiëren de score als:
     $$S(U) = 1 - \sigma(F_{U_\theta}(U, \{f_u(v)\}_{v \in V_U})) + \lambda |V_U|$$
     waarbij $\sigma$ de sigmoid-functie is, $|V_U|$ het aantal knopen is, en $\lambda$ een strafterm is.
   • De grootte-straf $\lambda |V_U|$ dwingt monotonie af, wat ervoor zorgt dat de score toeneemt (of gelijk blijft) naarmate de graaf expandeert, waardoor het overschrijden van een gekalibreerde drempelwaarde een onomkeerbare stopvoorwaarde wordt.

3. Inference Algoritme:

   • De generator breidt de redeneergraaf incrementeel uit.
   • Op elke stap wordt de non-conformity score van de huidige subgraaf berekend.
   • Als $S(U_t) \le \tau_\alpha$ (de gekalibreerde drempelwaarde), gaat de generatie door.
   • Als $S(U_t) > \tau_\alpha$, stopt de generatie onmiddellijk en wordt de huidige voorouder-gesloten subgraaf als de definitieve output geretourneerd.

Dekkingsobjectieven

ITCR ondersteunt twee verschillende dekkingstargets, die beide gegarandeerd zijn op niveau $1-\alpha$:

• No-False Coverage: Garandeert dat de voorspelde subgraaf geen feitelijk onjuiste knopen bevat (precisie-georiënteerd). Dit controleert de fout-positieve ratio.
• No-Miss Coverage: Garandeert dat de voorspelde subgraaf alle feitelijk correcte knopen bevat (recall-georiënteerd). Dit staat een beperkt aantal onzekere knopen toe om overmatige afkorting van geldige redeneerketens te voorkomen.

3. Belangrijkste Bijdragen

1. Inference-Time Integratie: De voorstel van ITCR, die de feitelijke controle verplaatst van een post-hoc selectieprobleem naar een inference-time generatiemechanisme.
2. Theoretische Garanties: Bewijs dat de voorgestelde geneste generatieprocedure geldige conformal dekkinggaranties induceert voor gestructureerde redeneeroutputs onder zowel de No-False als de No-Miss objectieven.
3. Empirische Validatie: Demonstratie dat ITCR consistent geldige dekking bereikt over meerdere datasets (MATH, GSM8K, QA) en LLM-backbones, terwijl het de redeneernauwkeurigheid aanzienlijk verbetert ten opzichte van post-hoc methoden.

4. Experimentele Resultaten

De auteurs evalueren ITCT op MATH, GSM8K en een World Knowledge QA-dataset met modellen waaronder LLaMA-3.1-8B, Qwen3-4B, en DeepSeek-R1-Distill-Qwen-1.5B.

• Dekking Geldigheid: ITCR bereikt consequent empirische dekkingspercentages die de doelniveaus ($1-\alpha$) voldoen voor zowel de No-False als de No-Miss objectieven. In contrast hiermee voldoen baseline methoden (bijv. CPL, eenvoudige aggregatie heuristieken) vaak niet aan de dekkinggaranties.
• Efficiëntie: ITCR bereikt de hoogste efficiëntie (het behouden van meer correcte knopen of het verwijderen van minder correcte knopen) van alle methoden die de dekkingrestricties respecteren.
• Downstream Prestaties: In downstream redeneertaken levert ITCR nauwkeurigere generaties op dan post-hoc gesnoeide grafen. Specifiek verbetert het de "correctie-winst" (Positive Correction Ratio minus Negative Correction Ratio) met gemiddeld 18,77% over de benchmarks.
• Computationele Kosten: ITCR vermindert het tokenverbruik en de runtime vergeleken met post-hoc methoden (PostCal) omdat het de generatie vroegtijdig stopt in plaats van volledige trajecten te genereren en vervolgens te snoeien.
• Robuustheid: De methode is robuust tegen de keuze van de onderliggende onzekerheidsfunctie-klasse (MLP, Random Forest, SVM) en variaties in prompts.

5. Betekenis en Claims

Het artikel claimt dat ITCR een statistisch rigoureus framework biedt voor het controleren van de feitelijkheid in gestructureerde LLM-redeneringen. De betekenis ligt in:

• Overbruggen van de Kloof: Het slaagt erin de flexibiliteit van door de gebruiker gespecificeerde dekkinggaranties (via CP) te integreren met de dynamische aard van autoregressieve generatie.
• Structurele Bewustheid: Door op graafniveau te opereren in plaats van op knoopniveau, respecteert het de afhankelijkheidsstructuur van redeneren, waarbij erkend wordt dat upstream-fouten voortplanten.
• Praktisch Nut: De methode garandeert niet alleen geldigheid, maar verbetert ook de kwaliteit van de redenering door te voorkomen dat het model rekenkracht verspilt aan ongeldige paden en door effectievere zelfcorrectie mogelijk te maken.

De auteurs merken beperkingen op, specifiek de afhankelijkheid van de exchangeability-aanname (kalibratie- en testdistributies moeten vergelijkbaar zijn) en de afhankelijkheid van de nauwkeurigheid van de initiële grafenconstructie en feitelijke verificatie. Zij suggereren toekomstig werk in lokale kalibratie en adaptieve straffen voor niet-exchangeable settings.