💬 NLP

Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution

Dit artikel introduceert Stapsgewijze Zekerheidsattributie (SCA), een raamwerk voor het diagnosticeren van fouten in meerstapsredenering bij black-box LLM's door het toepassen van het Informatie-flesnekprincipe om stapniveau-zekerheidsscores toe te wijzen op basis van consensusstructuren, waardoor een effectievere zelfcorrectie mogelijk wordt dan met traditionele feedback op antwoordniveau.

Oorspronkelijke auteurs: Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei

Gepubliceerd 2026-05-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar iets verstrooide vriend vraagt om een complex wiskundeprobleem op te lossen of een lastige vraag te beantwoorden. Ze geven je niet zomaar het eindantwoord; ze schrijven hun volledige denkproces stap voor stap op, als een detective die een zaak oplost.

Het Probleem:
Soms krijgt je vriend per ongeluk het juiste antwoord, of ze krijgen het verkeerde antwoord omdat ze een klein foutje hebben gemaakt halverwege hun redenering. Het probleem is dat je, wanneer ze je het eindresultaat geven, niet gemakkelijk kunt zien waar ze het mis hebben. Hebben ze de eerste stap verkeerd gedaan? De laatste stap? Of hadden ze gewoon geluk?

Huidige methoden zijn als het vragen aan je vriend: "Heb je het goed?" Ze kunnen alleen "Ja" of "Nee" zeggen over het eindantwoord. Ze kunnen niet wijzen naar de specifieke zin in hun notitieboekje waar de logica uit elkaar viel.

De Oplossing: Stapsgewijze Zekerheidsattributie (SCA)
De auteurs van dit artikel hebben een nieuw hulpmiddel ontwikkeld genaamd Stapsgewijze Zekerheidsattributie (SCA). Denk hierbij aan een "Logica-Spotters" die de stap-voor-stap-notities van je vriend leest en naast elke zin een zekerheidsscore plaatst.

Hoge Zekerheid (Groen Vinkje): "Deze stap ziet er stevig uit. Het komt overeen met wat andere slimme mensen meestal doen om dit probleem op te lossen."
Lage Zekerheid (Rode Vlag): "Wacht even. Deze stap ziet er raar uit. Het past niet bij het patroon van een correcte oplossing. Hier is de fout waarschijnlijk gemaakt."

Hoe Werkt Het? (De "Consensus"-Analogie)
Het geheim zit hem in iets dat Consensus wordt genoemd. Stel je voor dat je 20 verschillende slimme vrienden vraagt om hetzelfde probleem op te lossen.

Hoewel ze hun stappen misschien in een andere volgorde schrijven of andere woorden gebruiken, zullen de correcte oplossingen allemaal een paar belangrijke "landmarken" of "ankers" delen. Bijvoorbeeld, bij een wiskundeprobleem moet iedereen eerst de kosten van de potloden berekenen voordat ze het totaal berekenen.
Het systeem van het artikel bekijkt alle 20 oplossingen. Het vindt het "gemeenschappelijke terrein" – de stappen waar iedereen die het goed had, het over eens was.
Als de oplossing van je vriend deze gemeenschappelijke landmarken volgt, geeft het systeem die stappen een hoge zekerheidsscore.
Als je vriend een rare omweg neemt of een noodzakelijk landmark overslaat, markeert het systeem dit als lage zekerheid.

De Twee Hulpmiddelen die Ze Bouwden
Het artikel introduceert twee manieren om deze "spotting" uit te voeren:

NIBS (De "WoordMatcher"): Dit is een eenvoudig, snel hulpmiddel. Het kijkt alleen naar de woorden en de betekenis van elke stap. Als een stap klinkt als de stappen in de "correcte" groep, krijgt het een hoge score. Het is als het controleren of een zin in een recept overeenkomt met de stappen in duizenden andere succesvolle recepten.
GIBS (De "Kaartlezer"): Dit is het chique, geavanceerde hulpmiddel. Het kijkt niet alleen naar woorden; het kijkt naar de structuur van de logica. Het zet het redeneren om in een kaart (een grafiek) waar stappen met elkaar verbonden zijn door pijlen die aangeven hoe de ene naar de andere leidt. Het vindt vervolgens de "gemeenschappelijke kaart" die door alle correcte oplossingen wordt gedeeld. Als de kaart van je vriend een brug heeft die niet bestaat op de gemeenschappelijke kaart, markeert GIBS dit. Dit is beter voor complexe problemen waarbij de volgorde van de stappen erg belangrijk is.

Waarom Is Dit Belangrijk? (De "Zelfcorrectie"-Magie)
Het artikel toont aan dat dit niet alleen gaat over het vinden van fouten, maar ook over het oplossen ervan.

Oude Manier: Je zegt tegen je vriend: "Je eindantwoord is verkeerd. Probeer het opnieuw." Ze raden vaak gewoon iets anders of maken dezelfde fout opnieuw, omdat ze niet weten waarom ze gefaald hebben.
Nieuwe Manier: Je zegt tegen je vriend: "Je eindantwoord is verkeerd. Kijk ook naar Stap 3 en Stap 5; ons systeem denkt dat die stappen wankel zijn."
Resultaat: Toen het artikel dit testte, konden de AI-modellen hun eigen fouten veel beter oplossen (tot 13,5% meer succesvol) wanneer ze werden gewezen op de specifieke zwakke stappen, in plaats van alleen te horen dat het eindantwoord verkeerd was.

In Het Kort
Dit artikel geeft ons een manier om in de "black box" van het denken van een AI te kijken zonder de doos open te hoeven maken. Door de redeneerstappen van een AI te vergelijken met een "consensus" van correcte oplossingen, kan het systeem precies aanwijzen waar de logica uit elkaar valt. Dit verandert een vaag "je hebt het mis" in een behulpzaam "je bent hier de weg kwijt", waardoor de AI kan leren van zijn specifieke fouten en zichzelf kan corrigeren.

Technische Samenvatting: Diagnose van Meerstapsredeneringsfouten in Black-box LLM's via Stapsgewijze Toewijzing van Zekerheid

1. Probleemstelling

Grote Taalmodellen (LLM's) hebben sterke prestaties getoond op redeneertaken door stap-voor-stap oplossingen te genereren (bijvoorbeeld Chain-of-Thought). Het diagnosticeren van waar een meerstapsredeneringstraject faalt, blijft echter een aanzienlijke uitdaging. Bestaande aanpakken vallen in twee categorieën: toezichtsklassificatoren die dure menselijke annotaties vereisen, of LLM-als-rechter-methoden die bias en inconsistentie erven. Bovendien werken standaard Methoden voor Zekerheidsschatting (CE) doorgaans alleen op het niveau van het eindantwoord, waardoor ze ruwe betrouwbaarheidssignalen bieden die niet in staat zijn om specifieke foutieve stappen te lokaliseren.

Een kritieke uitdaging bij het uitbreiden van CE naar de stapsgewijze setting is het onderscheid maken tussen legitieme variabiliteit (correcte oplossingen die verschillen in volgorde, uitdrukking of detail) en ware redeneringsfouten. Correcte redeneerpaden convergeren vaak naar specifieke "logische invarianten" (kritieke tussenliggende staten), terwijl fouten afwijkingen van dit consensuspunt voorstellen. Het artikel adresseert de behoefte aan Stapsgewijze Toewijzing van Zekerheid (SCA): een kader voor gesloten-bron (black-box) LLM's dat zekerheidsscores toewijst aan individuele redeneerstappen uitsluitend met behulp van gegenereerde trajecten en labels voor de juistheid van het eindantwoord, zonder toegang tot het interne model of stap-niveau annotaties te vereisen.

2. Methodologie

De auteurs stellen een kader voor dat gebaseerd is op het Information Bottleneck (IB)-principe. De kernintuïtie is om het invoerredeneertraject te comprimeren door niet-essentiële variaties te verwijderen, terwijl maximaal informatie over het onderliggende correcte redeneerpatroon behouden blijft.

Het kader definieert de invoer $X$ als een redeneertraject, de gecomprimeerde representatie $Z$ als een traject met zekerheidsgewichten op de stappen, en het doel $Y$ als het signaal voor juistheid. Het doel is om $I(X; Z) - \beta I(Z; Y)$ te minimaliseren, wat de selectie van een schaars subset van stappen aanmoedigt die sterk relevant zijn voor juistheid.

Het artikel introduceert twee complementaire instantiaties van dit principe:

A. Niet-parametrische IB voor Stapsgewijze Zekerheid (NIBS)

NIBS is een trainingsvrije, gesloten-vorm aanpak. Het gaat ervan uit dat stappen die consequent voorkomen in correcte oplossingen het meest informatief zijn.

Mechanisme: Het aggregeert meerdere oplossingstrajecten van correcte oplossingen om "consensusankers" te vormen.
Scorebepaling: Voor een gegeven stap in een traject wordt de zekerheid berekend door de semantische gelijkenis met stappen in de set van correcte trajecten te meten.
Implementatie: Het maakt gebruik van semantische gelijkenisfuncties (bijvoorbeeld cosinusgelijkenis van zinsembeddings of NLI-implicatie) en aggregatiestrategieën (max of gemiddelde) om scores te berekenen zonder parameterleer.

B. Graf-IB voor Stapsgewijze Zekerheid (GIBS)

GIBS adresseert de beperking van NIBS om structurele afhankelijkheden tussen stappen te negeren.

Representatie: Redeneertrajecten worden gemodelleerd als gerichte grafen waarbij knopen tussenliggende resultaten vertegenwoordigen en randen logische operaties of subvragen vertegenwoordigen.
Consensusconstructie: Een consensusgraaf ( $G_{MC}$ ) wordt geconstrueerd door Maximum Common Subgraphs (MCS) te aggregeren tussen kandidaat-grafen en grafen van correcte oplossingen.
Leren: GIBS leert een differentieerbaar masker $p_\theta$ om een subgraaf $G^*$ te selecteren die overeenkomt met de consensusstructuur.
Optimalisatie: Het IB-doel wordt benaderd met een variationale aanpak:
- Compressie: Geminimaliseerd via de KL-divergentie tussen het voorspelde masker en een schaarse prior (wat een binaire selectie aanmoedigt).
- Relevantie: Gemaximaliseerd door de Cross-Entropy te minimaliseren tussen het voorspelde masker en het consensusmasker afgeleid van correcte oplossingen.
Architectuur: Het model gebruikt een BERT-encoder voor semantische stapkenmerken en een Graph Convolutional Network (GCN) voor structurele context om zachte selectiekansen te voorspellen.

3. Belangrijkste Bijdragen

SCA-kader: De introductie van Stapsgewijze Toewijzing van Zekerheid, het eerste kader dat specifiek is ontworpen voor black-box LLM's om fijnmazige, stap-niveau betrouwbaarheidssignalen te leveren met uitsluitend gegenereerde trajecten en labels voor de juistheid van het eindantwoord.
Op IB gebaseerde formulering: De toepassing van het Information Bottleneck-principe op redeneertrajecten, waarbij de afweging tussen het comprimeren van outputvariabiliteit en het behouden van logische invarianten wordt geformaliseerd.
Twee nieuwe methoden:
- NIBS: Een niet-parametrische, trainingsvrije methode die gebruikmaakt van semantisch consensus.
- GIBS: Een graf-gebaseerde, leerbare methode die structurele afhankelijkheden en logische variabiliteit vastlegt via subgraafselectie.
Diagnostische en corrigerende bruikbaarheid: Aantonen dat stap-niveau zekerheidssignalen niet alleen fouten diagnosticeren, maar ook effectief zelfcorrectie sturen, en hiermee answer-level feedback overtreffen.

4. Experimentele Resultaten

De methoden werden geëvalueerd op drie benchmarks: GSM8K (wiskundige woordproblemen), Math (wiskunde op competitieniveau) en MoreHopQA (multi-hop QA), met gebruik van drie LLM's (Llama-3.1-8B, Phi-4-Reasoning, DeepSeek-R1-Distill-Qwen-32B).

Nauwkeurigheid (RQ1): GIBS presteerde consequent beter dan sterke white-box baselines (bijvoorbeeld Token Entropy, Sequence Likelihood) en aangepaste black-box methoden. Op MoreHopQA bereikte GIBS een AUROC van 0,8084 op DeepSeek, significant hoger dan baselines. NIBS-varianten behaalden ook concurrerende prestaties zonder training, wat de robuustheid van consensusuitlijning aantoont.
Zelfcorrectie (RQ2): Het gebruik van stap-niveau zekerheid om zelfcorrectie te sturen, verbeterde het succespercentage van correctie met maximaal 13,5% in vergelijking met het gebruik van alleen answer-level feedback. Dit was bijzonder effectief voor sterkere redeneermodellen die lokaal foutensignalen konden benutten.
Ablatie en Robuustheid (RQ3):
- Het verwijderen van ofwel de randencoder of de grafencoder in GIBS leidde tot een significante daling in prestaties, wat de noodzaak bevestigt van zowel lokale als globale structurele signalen.
- Label-vrije Generalisatie: Het kader blijft effectief in label-vrije settings bij gebruik van "Self-Consistency" (meerderheidsgevoteerde pseudo-correcte trajecten) om consensusankers te construeren, hoewel de prestaties correleren met de kwaliteit van de pseudo-labels.
- Domeinverschuiving: GIBS getraind op MoreHopQA (tekstueel) generaliseerde goed naar de Math-dataset zonder hertraining, en presteerde beter dan NIBS en white-box baselines, wat suggereert dat graf-gebaseerde modellering abstracte redeneerpatronen vastlegt die minder gebonden zijn aan specifiek domeinvocabulaire.

5. Betekenis en Claims

Het artikel beweert dat SCA een schaalbaar, betrouwbaar mechanisme biedt voor het auditen van black-box LLM's zonder interne toegang of kostbare menselijke annotaties te vereisen. Door onderscheid te maken tussen legitieme variabiliteit en ware fouten door de lens van logische invarianten, stelt het kader het volgende in staat:

Fijnmazige Diagnostiek: Het identificeren van specifieke stappen die verantwoordelijk zijn voor redeneringsfouten.
Verbeterde Betrouwbaarheid: Modellen sturen om zichzelf te corrigeren door stappen met lage zekerheid te benadrukken, waardoor de nauwkeurigheid van het eindantwoord verbetert.
Generaliseerbaarheid: De aanpak is robuust over verschillende redeneerformaten (wiskunde versus tekst) en modelarchitecturen.

De auteurs positioneren dit werk als een "audit-hulpmiddel voor menselijk toezicht" in plaats van een vervanging voor menselijk oordeel, met als doel de interpreteerbaarheid en betrouwbaarheid van LLM-redenering in scenario's met hoge risico's voor besluitvorming te verbeteren.