🤖 machine learning

Differentiable Conformal Training for LLM Reasoning Factuality

Dit paper introduceert Differentiable Coherent Factuality (DCF), een volledig differentieerbare methode die de betrouwbaarheid van meervoudige redeneerstappen in Large Language Models verbetert door hallucinatiepercentages te beperken terwijl het behoud van waarheidsgetrouwe claims aanzienlijk wordt vergroot ten opzichte van eerdere niet-differentieerbare benaderingen.

Oorspronkelijke auteurs: Nathan Hittesdorf, Marco Salzetta, Lu Cheng

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nathan Hittesdorf, Marco Salzetta, Lu Cheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat dromerige assistent hebt. Deze assistent (een Large Language Model of LLM) kan prachtige verhalen vertellen, wiskundige problemen oplossen en complexe vragen beantwoorden. Maar er is een groot probleem: deze assistent is soms te zelfverzekerd. Hij kan dingen verzonnen die er heel waarachtig uitzien, maar helemaal niet kloppen. In de wereld van AI noemen we dit "hallucineren".

In kritieke situaties, zoals bij medische adviezen of juridische beslissingen, kun je je niet laten leiden door iemand die soms dingen uit zijn duim zuigt. Je wilt zekerheid.

Dit paper introduceert een nieuwe methode, genaamd DCF (Differentiable Coherent Factuality), om deze assistent betrouwbaarder te maken zonder zijn beste ideeën weg te gooien. Laten we het uitleggen met een paar simpele analogieën.

1. Het Probleem: De te strenge controleur

Stel je voor dat je een nieuwe wet hebt: "Elke zin die de assistent schrijft, moet 100% waar zijn." Om dit te garanderen, heb je een controleur nodig.

De oude methode (die in dit paper "Coherent Factuality" heet) werkt als een zeer strenge, maar domme inspecteur.

Deze inspecteur kijkt naar elke zin afzonderlijk.
Hij gebruikt een simpele regel: "Als deze zin niet vaak genoeg door andere AI's is gezegd, is hij waarschijnlijk vals."
Het probleem: Deze inspecteur is zo bang om een fout te maken, dat hij bijna alles weggooit. Zelfs als de zin waar is, maar de AI maar één keer op een unieke manier heeft bedacht, gooit de inspecteur het weg.
Resultaat: Om 100% zekerheid te garanderen, gooit deze inspecteur soms wel 60% van de waarheid weg. Je krijgt een veilig antwoord, maar het is zo kort en saai dat het nutteloos is.

2. De Oplossing: De slimme, lerende teamleider (DCF)

De auteurs van dit paper hebben een nieuwe methode bedacht: Differentiable Coherent Factuality (DCF).

In plaats van een domme inspecteur, hebben ze een slimme teamleider gemaakt die het hele proces kan "leren".

Analogie: Het Bouwteam

Stel je voor dat de assistent een gebouw bouwt (een antwoord op een vraag).

De oude methode: Kijkt naar elke baksteen afzonderlijk. Als een baksteen er niet precies hetzelfde uitziet als de standaard, wordt hij weggegooid. Het resultaat is een gebouw met heel weinig bakstenen, maar wel een perfect veilig fundament.
De nieuwe methode (DCF): Kijkt naar het hele gebouw en de onderlinge samenhang.
- Als de eerste muur (een eerdere zin) stevig staat, en de tweede muur (de volgende zin) logisch daarop voortbouwt, dan is de tweede muur waarschijnlijk ook goed, zelfs als hij er iets anders uitziet dan normaal.
- De teamleider kijkt naar de logische keten: "Als A waar is, en B volgt logisch uit A, dan is B ook waar."

3. Hoe werkt het geheim? (De "Differentiable" truc)

Het echte genie van dit paper zit in de wiskunde, maar we kunnen het zo uitleggen:

Stel je voor dat je een machine hebt die moet leren welke bakstenen goed zijn.

Vroeger: De machine kon niet "leren" omdat de regels te hard waren. Het was als een schakelaar: AAN of UIT. Je kon de machine niet langzaam bijsturen.
Nu (DCF): De auteurs hebben de schakelaar vervangen door een dimmer (een regelaar voor lichtsterkte).
- In plaats van "Deze zin is fout, weg!", zegt de machine nu: "Deze zin is voor 80% waarschijnlijk waar."
- Omdat het nu een "zachte" regeling is, kan de computer leren door te proberen en te kijken wat er gebeurt (zoals een kind dat leert lopen door te vallen en op te staan).
- De machine leert welke signalen belangrijk zijn: Is de zin logisch? Past hij bij de vorige zin? Is hij relevant voor het onderwerp?

4. Het Resultaat: Meer waarheid, dezelfde veiligheid

Door deze slimme, lerende aanpak gebeurt er iets wonderlijks:

De machine leert om meer waarheden te behouden.
In de tests bleek dat DCF tot 141% meer juiste zinnen behield dan de oude, strenge methode, terwijl de veiligheid (de garantie dat er geen leugens tussen zitten) exact hetzelfde bleef.

Samenvattend in één zin:

Deze paper introduceert een slimme, lerende controleur die niet alleen kijkt of een zin op zichzelf klopt, maar ook hoe hij past in het hele verhaal. Hierdoor kunnen we veel meer van de waarheid van de AI behouden, zonder bang te hoeven zijn voor hallucinaties. Het is alsof je van een strenge, alles-verbiedende leraar overstapt op een slimme coach die je helpt je beste werk te leveren, terwijl hij toch zorgt dat je geen fouten maakt.

1. Het Probleem

Grote Taalmodellen (LLMs) zijn vatbaar voor hallucinaties, wat hun betrouwbaarheid in kritieke toepassingen beperkt. Conformal Prediction (CP) biedt een oplossing door statistisch geldige betrouwbaarheidsgaranties te geven (bijv. "de foutkans is maximaal 10%"). Echter, bestaande methoden voor het filteren van feitelijke claims in LLM-outputs hebben twee grote beperkingen:

Onafhankelijke behandeling: Veel methoden behandelen claims als onafhankelijke eenheden, terwijl redeneerstappen in LLMs vaak logisch afhankelijk zijn van voorgaande stappen.
Handgemaakte scores en lage retentie: De recente methode Coherent Factuality (CF) lost het afhankelijkheidsprobleem op door outputs te modelleren als grafen (afhankelijkheidsgrafieken), maar gebruikt handgemaakte, op frequentie gebaseerde scores. Dit leidt tot een extreem conservatief filteren: om hoge betrouwbaarheid te garanderen (bijv. <10% fouten), worden tot 60% van de waarheid (juiste claims) verwijderd, wat de praktische bruikbaarheid sterk beperkt.

Het fundamentele probleem is dat de discrete operaties in CF (zoals drempelverwerking en het handhaven van logische coherentie) niet differentieerbaar zijn, waardoor ze niet kunnen worden geoptimaliseerd via gradient-based learning.

2. Methodologie: Differentiable Coherent Factuality (DCF)

De auteurs introduceren Differentiable Coherent Factuality (DCF), een volledig differentieerbare relaxatie van CF. Dit maakt het mogelijk om de scoringsfunctie voor risico's te leren via end-to-end training, terwijl de theoretische garanties van CP behouden blijven.

Kerncomponenten van de methode:

Gestructureerde Representatie: Net als CF modelleert DCF LLM-outputs als Approximate Deducibility Graphs (ADGs), waarbij knopen claims zijn en randen logische afhankelijkheden aangeven. Een claim is alleen "coherent feitelijk" als de claim én al zijn voorouders (ancestors) correct zijn.
Differentieerbare Relaxaties: De auteurs vervangen de discrete, niet-differentieerbare operaties van CF door zachte, differentieerbare tegenhangers:
1. Zachte Filtering: In plaats van een harde drempel ( $\mathbb{1}\{r_v \leq \tau\}$ ), wordt een sigmoid-functie gebruikt om de waarschijnlijkheid van behoud te berekenen.
2. Zachte Ancestor Coherentie: De logische "EN"-operatie (alle voorouders moeten waar zijn) wordt gemodelleerd als een gewichtend geometrisch gemiddelde van de behoudskansen.
3. Zachte Supremum & Quantile: Het vinden van de maximale drempel en het berekenen van de conformal quantile worden vervangen door softmax-operaties en een differentieerbare quantile-operator.
Training: Tijdens het trainingstraject wordt de volledige conformale pijplijn (calibratie en voorspelling) gesimuleerd. De scoringsfunctie ( $\pi_\theta$ ) wordt geoptimaliseerd om het aantal behouden juiste claims te maximaliseren, terwijl de conformale dekking (coverage) als constraint wordt gehandhaafd.
Theoretische Convergentie: De auteurs bewijzen wiskundig (Theorema 3.1 en 3.2) dat wanneer de temperatuurparameters van de relaxaties naar hun limieten gaan (bijv. temperatuur $\to 0$ ), het DCF-algoritme exact convergeert naar het originele, discrete CF-algoritme. Dit garandeert dat de training geldig is en dat de garanties bij het testen behouden blijven.

3. Belangrijkste Bijdragen

Theoretisch Bewijs: Het aantonen dat de discrete operaties van Coherent Factuality getrouw kunnen worden gemodelleerd via differentieerbare relaxaties, met bewijzen voor convergentie naar het originele algoritme.
End-to-End Optimalisatie: Het ontwikkelen van een framework dat het behoud van claims (retention) direct optimaliseert onder conformale dekkingseisen, zonder de grafische structuur van redenering te verliezen.
Empirische Validatie: Uitgebreide experimenten tonen aan dat DCF de prestaties van state-of-the-art methoden aanzienlijk verbetert, met name in complexe redeneertaken.
Interpreteerbaarheid: Diepgaande analyses tonen aan dat DCF leert om complementaire signalen (zoals grafische connectiviteit en semantische coherentie) effectiever te combineren dan enige individuele feature.

4. Resultaten

De methode is getest op twee benchmarks: MATH (wiskundige redenering) en FELM (diverse redeneertaken).

Verbetering in Retentie: DCF behaalt tot 141% verbetering in het behoud van juiste claims op de MATH-dataset en 61% op FELM, vergeleken met de bestaande handgemaakte frequentie-baselines, terwijl de betrouwbaarheidsgaranties (bijv. 90-99% correctheid) worden gehandhaafd.
Vergelijking met Baselines: DCF presteert consequent beter dan:
- Coherent Factuality (CF): Toont dat leren beter is dan handgemaakte scores.
- Independent Factuality: Toont dat het modelleren van afhankelijkheden (grafstructuur) essentieel is.
- Boosted Independent: Toont dat leren zonder grafstructuur zelfs slechter presteert dan niet-lerende methoden, wat aantoont dat de conformale doelstelling en de grafstructuur samenwerken.
Case Study: In een voorbeeld met een complexe wiskundige afleiding waar de frequentie-score 0 was (omdat de stap zeldzaam was), verwierp de baseline de hele keten. DCF behield echter 9 van de 12 claims door gebruik te maken van grafische features (zoals bereikbaarheid en positie in de keten) om de juistheid te compenseren.

5. Betekenis en Impact

Dit werk vormt een belangrijke stap naar het maken van betrouwbare conformale LLM-systemen voor real-world toepassingen.

Overbrugde Kloof: Het overbrugt de kloof tussen formele statistische garanties en praktische bruikbaarheid. Eerdere methoden waren te conservatief om nuttig te zijn; DCF maakt het mogelijk om meer informatie (claims) te behouden zonder de betrouwbaarheid te riskeren.
Toekomstige Toepassingen: De methode is cruciaal voor domeinen waar fouten kostbaar zijn (bijv. medische diagnose, juridisch advies, wetenschappelijk onderzoek), waar LLMs niet alleen correct moeten zijn, maar ook hun redeneringstappen moeten kunnen verdedigen met statistische zekerheid.
Lerend Framework: Het introduceert een nieuw paradigma waarbij conformal prediction niet langer een statisch post-processing-stap is, maar een integraal onderdeel van het trainingsproces van het model.

Kortom, DCF maakt het mogelijk om LLMs te gebruiken met de zekerheid dat hun output statistisch betrouwbaar is, terwijl het tegelijkertijd de hoeveelheid nuttige informatie die wordt gegenereerd, maximaliseert door slimme, geleerde filters toe te passen op complexe redeneerstructuren.