Technische Samenvatting: Het Meten van Black-Box Zekerheid via Redeneertrajecten

Probleemstelling

Betrouwbare zekerheidsschatting is een voorwaarde voor de veilige implementatie van Chain-of-Thought (CoT) redeneren via tekst-only API's, waarbij toegang tot logits, verborgen toestanden of interne ophaalmechanismen ontbreekt. De dominante black-box baseline, zelfconsistentie (het nemen van $K$ CoT-steekproeven en het gebruik van stemconcentratie als zekerheidssignaal), lijdt aan drie primaire beperkingen:

1. Lineaire Kosten: Het vereist het nemen van $K$ traces, waardoor het lineair duur is in $K$.
2. Geometrische Blinde Vlek: Het negeert de interne geometrie van het redeneertrace en behandelt de trace louter als een middel tot een eindantwoord.
3. Discrete Resolutie: Het produceert een discrete zekerheidsscore ($k/K$), wat gebrek aan resolutie betekent bij kleine $K$ en niet effectief gelijke standen kan rangschikken.

Dit artikel onderzoekt een alternatief signaal: het traject van de CoT zelf. De auteurs stellen voor om te meten hoe de embedding van een redeneertrace convergeert naar externe antwoordankers, met als doel een continue zekerheidsscore af te leiden uitsluitend uit tekst, zonder toegang tot modelinterne details.

Methodologie

Het voorgestelde kader decomposeert black-box zekerheid in drie complementaire kanalen: Dekking (C), Geometrie (G) en Verbalisatie (V).

1. Het Geometrische Kanaal (G)

Dit kanaal meet de "ruimtelijke toewijzing binnen de trace" van een CoT naar een extern antwoordanker.

• Trajectconstructie: Een CoT wordt ingebed als een traject van overlappende schuifvensters ($W=30$ woorden, stapgrootte $S=15$) met behulp van een vast inbeddingsmodel $\phi$.
• Externe Ankers: In het verblindde protocol redeneert de generator zonder de optielijst te zien. De optieteksten worden extern ingebed als vaste ankers.
• Scorebepaling: De methode berekent de cosinusafstand van het penultieme schuifvenster van de trace tot elk optieanker. De "keuze" is het anker met de minimale gemiddelde afstand.
• Kalibratie: Een softmax-model met één parameter mapt deze afstanden naar een zekerheidskans:
  $$\text{GEO}(q) = \frac{\exp(\hat{\beta}_{\text{all}} D_{\hat{y}})}{\sum_{j'} \exp(\hat{\beta}_{\text{all}} D_{j'})}$$
  waarbij $\hat{\beta}_{\text{all}}$ wordt gefit via maximum likelihood. Een sterk negatieve $\hat{\beta}$ geeft aan dat dichtere ankers waarschijnlijker correct zijn.
• Selectie van het Penultieme Venster: Empirische analyse toont aan dat het kalibratiesignaal piekt in het penultieme venster. Het laatste venster bevat vaak letterlijke antwoordverbalisatie, wat overeenkomt met het door het model gekozen antwoord in plaats van het gouden antwoord, waardoor het signaal in specifieke benchmarks zoals GPQA Diamond inverteert (positieve $\hat{\beta}$).

2. De Drie-Kanaals Decompositie

Om het structurele plafond aan te pakken waarbij een trace misschien nooit het juiste hypothesen bereikt, introduceren de auteurs een open-ended regime met een Proposer/Judge-opzet:

• Dekking (C): Een door een judge gemedieerde prior die meet of het juiste hypothesen überhaupt bereikbaar is. Het gebruikt een proposer LLM om een pool van hypothesen te genereren en een judge LLM om bereikbaarheid te evalueren. Dit fungeert als een signaal voor vraagmoeilijkheid.
• Geometrie (G): Zoals hierboven gedefinieerd, maar met proposer-genereren hypothesen als ankers in plaats van vaste dataset-opties.
• Verbalisatie (V): De generator ziet zijn eigen CoT en wordt gevraagd een numerieke zelfbeoordeling (0–100) van zijn zekerheid te geven.

Fusie: De drie kanalen worden gefuseerd via logistische regressie om een uiteindelijke zekerheidsscore te produceren.

Belangrijkste Bijdragen

1. Black-Box Traject-Zekerheidsscore: Een methode om $(\text{text}, \text{embedder}, \text{anker set})$ af te beelden op een continue zekerheidsscore met behulp van een softmax met één parameter op schuifvenster-embeddings. Het teken en de significantie van de gefitte helling ($\hat{\beta}$) repliceren over drie verschillende embedders (Gemini, OpenAI, E5), drie redenaars en drie benchmarks.
2. Laat-Trace Toewijzingssignatuur: De auteurs identificeren een mechanistische signatuur waarbij het geometrisignaal het diepst is (meest negatieve $\hat{\beta}$) in het penultieme venster en inverteert in het terminale venster op GPQA Diamond. Dit valideert het penultieme venster als een robuuste scorepositie die antwoordtoewijzing vastlegt voordat letterlijke verbalisatie plaatsvindt.
3. Asymmetrische Drie-Kanaals Decompositie:
   • Dekking (C) en Geometrie (G) dragen in bijna alle settings onafhankelijk signaal bij (respectievelijk 18/18 en 16/18 combinaties).
   • Verbalisatie (V) draagt unieke residu-signaal bij in slechts 6/18 settings, en fungeert als een gemedieerd metacognitief kanaal in plaats van een universele pijler.
   • De fusie van C+G+V bij $K=4$ pareto-verbetert zelfconsistentie bij $K=8$ in alle zes gesloten-set settings (mediaan $\Delta \text{AUC} = +0.075$).

Resultaten

Het artikel evalueert de methode op MedQA-USMLE, GPQA Diamond en MMLU-Pro met behulp van Gemini 3.1 Pro en Claude Sonnet 4.6.

• Geometrisch Signaal: Het enkele geometrische kenmerk (G) bereikt een selective-prediction AUC van 0,71–0,82 in verblindde protocollen, wat significant beter presteert dan zelfconsistentie in 9/10 benchmark-modelcombinaties bij budget-gelijkstelling.
• Fusiewinst: De gefuseerde C+G+V-score bij $K=4$ presteert beter dan zelfconsistentie bij $K=8$ (SC@8) in alle zes gesloten-set settings.
  • Mediaan $\Delta \text{AUC} = +0,075$ (Stouffer $z = 5,67, p = 7,1 \times 10^{-9}$).
  • De winst blijft bestaan zelfs wanneer het gekozen antwoord wordt vastgezet op de SC@8 meerderheidskeuze, wat bevestigt dat de verbetering het gevolg is van betere kalibratie en niet van antwoordwisseling.
• Robuustheid:
  • De resultaten gelden voor verschillende embedders (inclusief E5-large-v2).
  • Het wisselen van de judge LLM (van GPT-5-mini naar Claude Sonnet 4.6) laat de Geometry-only AUC onveranderd ($|\Delta| \le 0,013$) en verschuift de Coverage-only AUC met maximaal $\pm 0,02$, wat aangeeft dat de signalen geen enkelleveranciersartefacten zijn.
  • De methode is robuust voor ankerontwerp; het gebruik van dataset-optie-ankers is cruciaal, terwijl ankers afgeleid van de eigen output van het model instorten tot bijna-kansprestaties.

Betekenis en Beweringen

Het artikel beweert dat black-box CoT-zekerheid betrouwbaarder kan worden afgelezen uit de geometrische convergentie van een trace in inbeddingsruimte dan uit steekproef-stemovereenstemming, en dit bereikt tegen lagere steekproefkosten en zonder toegang tot logits of verborgen toestanden.

Belangrijke kernpunten benadrukt door de auteurs:

• Structuur boven Steekproef: Zekerheid is een gestructureerd signaal bestaande uit distincte kanalen (bereikbaarheid, toewijzing, zelfrapportage) in plaats van een enkele scalair.
• Mechanistisch Inzicht: Het geometrisignaal piekt voordat het model letterlijk zijn antwoord verbaliseert, wat suggereert dat "antwoordtoewijzing" een distincte fase is in het redeneertraject die kan worden gedetecteerd via dynamiek in de inbeddingsruimte.
• Praktische Efficiëntie: Het fuseren van C+G+V bij $K=4$ biedt betere kalibratie dan SC@8 terwijl het totale API-kosten met ongeveer 51% worden verlaagd (door minder generatieoproepen en de efficiëntie van de inbeddingspass).
• Beperkingen: De auteurs merken bescheiden op dat het Dekkingskanaal wordt gemedieerd door een LLM-judge (wat potentiële judge-priors introduceert), Verbalisatie niet universeel nuttig is, en geen enkele score binnen de trace een correct hypothesen kan herstellen als het model deze nooit heeft voorgesteld (het "structurele plafond").

Het werk biedt een zekerheidsprimitief op trace-niveau voor pipelines die black-box toegang vereisen, waardoor veiligere afzien en selectieve voorspelling mogelijk wordt in hoog-risicodomeinen zoals klinische besluitvormingsondersteuning.