💬 NLP

Beyond Self-Knowledge: Propagating Uncertainty Across Reasoning and Retrieval in LLMs

Het artikel introduceert BeyondUncertainty, een retrieval-augmented generatiemethode die gebruikmaakt van verbaal geuite zekerheid van taalmodellen om queries selectief naar retrieval te routeren, waarmee een verbeterde nauwkeurigheid en een verminderd tokengebruik wordt bereikt in vergelijking met baselines die altijd of nooit ophalen, ondanks dat er een bescheiden overhead wordt veroorzaakt door de initiële zekerheidsprobing.

Oorspronkelijke auteurs: Chandan Kumar Sah, Xiaoli Lian, Li Zhang

Gepubliceerd 2026-07-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chandan Kumar Sah, Xiaoli Lian, Li Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotbibliothecaris bent die bijna elk boek in het universum heeft gelezen. Je kunt vragen direct beantwoorden omdat je zoveel hebt onthouden. Maar soms verandert de wereld, of ben je een klein detail vergeten, of moet je gewoon even een feit over een specifieke persoon of plaats controleren. Als je het fout raadt, klink je misschien zelfverzekerd maar ben je volledig incorrect. Hier komt "Retrieval-Augmented Generation" (RAG) om de hoek kijken. Zie RAG als een regel die zegt: "Als je het niet 100% zeker weet, ga dan even in de bibliotheek kijken voordat je antwoord geeft."

Er is echter een addertje onder het gras. Naar de bibliotheek rennen kost tijd en energie. Als je naar de bibliotheek rent voor elke enkele vraag, zelfs voor de makkelijke vragen die je al kent, verspil je veel tijd en brandstof. Aan de andere kant, als je nooit naar de bibliotheek rent, geef je misschien foutieve antwoorden op de moeilijke vragen. Het grote vraagstuk waar wetenschappers proberen op te lossen is: Hoe kan de robot precies weten wanneer hij moet stoppen en iets moet opzoeken, zonder energie te verspillen aan de makkelijke zaken? Dit artikel onderzoekt of een robot simpelweg kan "zeggen" hoe zelfverzekerd hij zich voelt over een antwoord, en dat gevoel kan gebruiken om te beslissen of hij naar de bibliotheek gaat of gewoon zijn mond houdt.

Het "Confidence Check" Experiment

In dit onderzoek probeerden onderzoekers genaamd Chandan Kumar Sah, Xiaoli Lian en Li Zhang van de Beihang Universiteit een slimmere bibliothecaris te bouwen met een systeem dat ze BeyondUncertainty noemen. Ze wilden zien of een "black-box" AI (een model waarvan je de interne tandwielen niet kunt zien, alleen de antwoorden) zijn eigen verbaal uitgesproken zelfvertrouwen kon gebruiken om te beslissen wanneer het extra informatie moet ophalen.

Zo werkte hun experiment, stap voor stap:

**De Proef: ** Eerst stelden ze de AI een vraag en zeiden ze dat de AI een snel, gestructureerd antwoord moest geven samen met een "confidence score" (een getal tussen 0 en 1 dat aangeeft hoe zeker het is). Ze vroegen de AI niet om zijn werk te tonen of hardop na te denken; ze vroegen alleen om een snelle gok en een betrouwbaarheidsscore.
De Beslissing: Ze stelden een "threshold" (een specifieke zelfvertrouwenslijn) in voor elk AI-model.
- Als de AI zei: "Ik ben super zelfverzekerd (boven de lijn)," accepteerde het systeem dat antwoord onmiddellijk. Geen bibliotheekbezoek nodig!
- Als de AI zei: "Ik ben niet zo zeker (onder de lijn)," stuurde het systeem de vraag naar een zoekmachine (met behulp van een methode genaamd TF-IDF) om de top 5 relevante paragrafen te vinden. Daarna las de AI die paragrafen en gaf een definitief, beter antwoord.
De Test: Ze voerden dit uit op 27.000 verschillende vragen verspreid over zes verschillende trivia- en kennisdatasets, met behulp van drie verschillende populaire AI-modellen.

Wat ze vonden: Het Goede, het Slechte en de Kostbare Realiteit

De resultaten waren een mix van succes en een verrassende afweging.

Het Goede Nieuws: Slimmer Zoeken
Het systeem werkte erg goed in het bepalen van welke vragen hulp nodig hadden. Wanneer de AI zich onzeker voelde, had hij meestal gelijk dat hij dingen moest opzoeken.

Betere Antwoorden: Het "Confidence Routing"-systeem behaalde een gemiddelde score van 0,483 (een maat voor de kwaliteit van het antwoord, de F1-score). Dit was beter dan simpelweg gokken zonder iets op te zoeken (0,401) en zelfs iets beter dan bij elke enkele vraag opzoeken (0,467).
Besparen op Bibliotheekbezoeken: Omdat het systeem de bibliotheek oversloeg voor de makkelijke vragen, haalde het 20,4% minder tekstparagrafen op dan de "altijd opzoeken"-methode. Het was veel selectiever.
Beter dan Willekeurige Gokkels: Zelfs toen ze het systeem dwongen om exact hetzelfde aantal vragen op te zoeken als een willekeurig computerprogramma, behaalde het zelfvertrouwen-gebaseerde systeem nog steeds betere antwoorden in 17 van de 18 gevallen. Dit bewees dat het "gevoel" van onzekerheid van de AI daadwerkelijk nuttig was voor het kiezen van de juiste vragen om te onderzoeken.

Het Slechte Nieuws: De Kosten van de "Probe"
Hier kwam de twist. Hoewel het systeem tijd bespaarde op het zoeken (minder bibliotheekbezoeken), gebruikte het in totaal juist meer rekenkracht.

Om de confidence score te krijgen, moest de AI eerst een extra "probe"-stap uitvoeren. Deze extra stap voegde 28,2% toe aan het totale aantal "tokens" (de basis eenheden van tekst die de AI verwerkt) dat werd gebruikt.
Dus, terwijl het systeem retrieval-besparend was (het haalde minder documenten op), was het niet token-besparend (het gebruikte meer totale rekenenergie). Het is alsoal een detective inhuren om te controler of je een kaart nodig hebt voordat je op reis gaat; de detective bespaart je de kosten van een verkeerde kaart, maar je moet nog steeds de vergoeding van de detective betalen.

De "Niet Zo Zeker" Realiteit
De onderzoekers ontdekten ook dat het zelfvertrouwen van de AI niet perfect was.

Slechte Kalibratie: De getallen die de AI gaf voor zelfvertrouwen waren geen wiskundig perfecte waarschijnlijkheden. Als een AI zei "90% zeker", was hij niet daadwerkelijk 90% van de tijd correct.
Verschillen tussen Modellen: Het systeem gedroeg zich zeer verschillend afhankelijk van welk AI-model werd gebruikt. Eén model (OpenAI) was zo zelfverzekerd dat het bijna altijd toch zaken wilde opzoeken, waardoor het "slimme routeren" minder nuttig was. Een ander model (Gemini) was veel selectiever.
Geen wondermiddel: De verbetering was niet enorm of perfect. In sommige specifieke gevallen was de "altijd opzoeken"-methode eigenlijk beter dan het slimme routeren. Het systeem is een gemiddelde verbetering, geen universele oplossing.

De Conclusie

Dit artikel suggereert dat het vragen aan een AI "Hoe zeker ben je?" een slimme manier is om te beslissen wanneer er extra onderzoek moet worden gedaan. Het helpt de AI om te voorkomen dat hij tijd verspilt aan het opzoeken van dingen die hij al weet, en het leidt tot iets betere antwoorden over het algemeen. Echter, de kosten van het stellen van die vraag in de eerste plaats zijn hoog. Het systeem bespaart je van het ophalen van te veel documenten, maar de extra stap van het vragen naar zelfvertrouwen maakt het hele proces in termen van totale rekenkracht duurder.

Het is een veelbelovende stap naar slimmere, efficiëntere AI-assistenten, maar het laat zien dat er geen gratis lunch is: je kunt selectiever zijn over wat je opzoekt, maar je zult mogelijk nog steeds een prijs betalen om die beslissing te nemen.

Technische Samenvatting: Beyond Self-Knowledge: Propagating Uncertainty Across Reasoning and Retrieval in LLMs

Probleemstelling

Retrieval-augmented generation (RAG) verbetert kennisintensieve vraagbeantwoording (QA) door responsen te funderen in externe bewijslast. Echter, ongeremd retrieval introduceert significante inefficiënties: het vergroot de contextlengte en latentie, en irrelevante of tegenstrijdige passages kunnen de kwaliteit van het antwoord degraderen. Hoewel adaptieve RAG-strategieën bestaan, vertrouwen veel op interne modeltoestanden (logits, activaties) of complexe reflectiemechanismen die ontoegankelijk zijn in black-box API-instellingen.

De centrale onderzoeksvraag die wordt behandeld is of verbaal geuite vertrouwen (verbalized confidence) van black-box taalmodellen kan dienen als een actiebaar signaal voor routingbeslissingen. Specifiek: kan een gestructureerde pre-retrieval probe een onzekrobattestimatie oproepen die effectief identificeert welke vragen baat hebben bij externe bewijslast, waardoor de afweging tussen antwoordkwaliteit, retrieval-frequentie en token-efficiëntie wordt geoptimaliseerd?

Methodologie: BeyondUncertainty

De auteurs stellen BeyondUncertainty voor, een model-agnostisch, black-box routingframework dat een observeerbaar vertrouwenssignaal voortplant naar een beslissing over externe bewijsverwerving. Het systeem werkt zonder toegang tot verborgen chain-of-thought, logits of interne activaties, en vereist geen fine-tuning van het model.

Workflow

Gestructureerde Probe: Voor een gegeven vraag $q$ $q$ wordt het LLM geprompt om een compact JSON-object te genereren met daarin:
- Een voorlopig antwoord ( $\hat{a}_0$ ).
- Een verbaal geuite vertrouwensschatting ( $c_0 \in [0, 1]$ ).
- Een beknopte status-samenvatting ( $m_0$ ).
- Een voorgestelde actie ( $d_0$ ), die wordt gelogd maar niet wordt gebruikt voor de routing.
Routingbeslissing: Een model-specifieke drempelwaarde ( $\tau_m$ $τ_{m}$ ), geselecteerd op basis van uitgesloten validatiedata en bevroren vóór de testfase, bepaalt het pad:
- Hoog Vertrouwen ( $c_0 \geq \tau_m$ ): Het systeem geeft het voorlopige antwoord $\hat{a}_0$ direct terug (Geen Retrieval).
- Laag Vertrouwen ( $c_0 < \tau_m$ ): Het systeem triggert een retrieval-stap. Een deterministische sparse retriever (TF-IDF) haalt de top-5 passages op uit een vaste corpus. Het LLM voert vervolgens een tweede aanroep uit met de vraag en de opgehaalde context om een definitief antwoord te genereren.
- Noot: Ontbrekende of niet-parseerbare vertrouwenswaarden worden conservatief toegewezen aan retrieval.

Experimenteel Ontwerp

Omvang: Evaluatie over 27.000 beleidsinstanties betrokken bij 3.000 unieke vragen uit zes QA-benchmarks (Natural Questions, HotpotQA, 2WikiMultiHopQA, SQuAD, TriviaQA, MuSiQue) en drie modelfamilies (OpenAI, Gemini, Claude).
Baselines:
- Geen Retrieval: Enkele antwoord-aanroep zonder context.
- Altijd Retrieval: Top-5 retrieval gevolgd door een enkele antwoord-aanroep.
- Random Matched Control: Een post-hoc controle die exact hetzelfde aantal vragen naar retrieval stuurt als BeyondUncertainty, maar deze selecteert via een stabiele hash in plaats van vertrouwen.
- Oracle: Een theoretische bovengrens die de betere uitkomst kiest tussen "Geen Retrieval" en "Altijd Retrieval" voor elke instantie.
Metrieken: Genormaliseerde token-niveau F1 (primair), Exact Match, aantal opgehaalde passages en totaal tokengebruik (input + output).

Belangrijkste Bijdragen

Model-Agnostische Routinginterface: Introductie van een methode die observeerbare black-box vertrouwenssignalen voortplant naar retrieval-beslissingen zonder dat toegang tot interne modelgegevens of fine-tuning vereist is.
Grootschalige Gepaard Evaluatie: Een uitgebreide studie van 27.000 beleidsinstanties over diverse datasets en modellen, waarbij API- en gestructureerde-output-fouten in de noemer van de evaluatie worden behouden om robuustheid te garanderen.
Isolatie van Allocatiewaarde: Demonstratie dat vertrouwen-gestuurde routing allocatiewaarde biedt op vraagniveau die verder gaat dan louter de reductie van de retrieval-frequentie, gevalideerd door een via aantal routes gematchte random controle.

Resultaten

1. Voorspellende Nut van Vertrouwen (RQ1)

Ordinaal vs. Absoluut: Verbaal geuit vertrouwen is slecht gekalibreerd als een absolute waarschijnlijkheid (Expected Calibration Error $E_{5} \approx 0.43\text{--}0.53$ ). Het dient echter als een consistent ordinaal signaal, dat positief correleert met de uiteindelijke antwoordkwaliteit ( $\rho \approx 0.28\text{--}0.31$ ).
Retrieval Voordeel: Onzekerheid ( $u = 1 - c_0$ ) voorspelt matig of retrieval de kwaliteit van het antwoord zal verbeteren ( $\text{AUROC} = 0.628$ ).

2. Kwaliteit–Efficiëntie Afwegingen (RQ2)

Antwoordkwaliteit: BeyondUncertainty bereikt de hoogste geaggregeerde gemiddelde F1 (0.483), wat beter is dan "Geen Retrieval" (0.401) en "Altijd Retrieval" (0.467).
Passage Besparingen: Het vermindert het aantal opgehaalde passages met 20,4% vergeleken met "Altijd Retrieval" (3,952 vs. 4,966 passages per instantie).
Token Kosten: In tegenstelling tot de doelstellingen voor token-besparing, verhoogt de extra probe het totale tokengebruik met 28,2% (1.539,8 vs. 1.201,5 tokens per instantie). De methode is retrieval-besparend maar niet token-besparend.
Heterogeniteit: Verbeteringen ten opzichte van "Altijd Retrieval" zijn niet uniform. Hoewel vertrouwen-gestuurde routing beter presteert dan "Altijd Retrieval" in 16 van de 18 dataset-model cellen, is de statistische significantie (na Holm-correctie) beperkt tot specifieke instellingen (bijv. NQ–OpenAI, SQuAD–Claude). In sommige gevallen (bijv. Gemini op 2Wiki) degradeert retrieval de prestaties, en de adaptieve methode voorkomt dit succesvol.

3. Allocatie vs. Random (RQ3)

Wanneer gematcht op het aantal vragen dat naar retrieval wordt gestuurd, presteert BeyondUncertainty beter dan willekeurige allocatie in 17 van de 18 dataset-model cellen, met een gemiddelde winst van 0,024 F1. Dit bevestigt dat vertrouwenssignalen effectief identificeren welke vragen baat hebben bij bewijslast, in plaats van enkel het volume van de retrieval te verminderen.

Betekenis en Claims

Het artikel claimt bescheiden dat black-box verbaal geuit vertrouwen een nuttig signaal is voor de toewijzing van retrieval onder gecontroleerde QA-condities, zelfs wanneer het slecht gekalibreerd is.

Primaire Bevinding: De methode slaagt erin de allocatie van externe bewijslast te optimaliseren, waardoor onnodige retrieval wordt verminderd terwijl de antwoordkwaliteit gelijk blijft of verbetert.
Kritische Beperking: De huidige implementatie realiseert geen end-to-end token-efficiëntie. De kosten van de initiële vertrouwen-probe wegen zwaarder dan de token-besparingen door het overslaan van retrieval in gevallen van hoog vertrouwen.
Contextuele Nuance: De effectiviteit van de routing is sterk model-afhankelijk. Voor modellen met een hoge vertrouwen-verzadiging (bijv. OpenAI die >95% van de queries routeert) neemt het adaptieve voordeel af, waardoor het zich gedraagt als "Altijd Retrieval".
Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk zich moet richten op goedkopere vertrouwensschatters, uitvoering-pad-gematchte gerandomiseerde controles en open-domein retrieval settings om echte token-efficiëntie te realiseren.

De studie concludeert dat hoewel BeyondUncertainty de verwerving van bewijslast optimaliseert, het momenteel een ruil maakt tussen totale token-efficiëntie en een hogere antwoordkwaliteit en verminderde retrieval-overhead.