Query-Level Uncertainty in Large Language Models

Deze paper introduceert 'Internal Confidence', een trainingsvrije methode die de onzekerheid van een groot taalmodel op query-niveau schat voordat er tokens worden gegenereerd, waardoor de kosten van adaptieve inferentie zoals RAG en modelcascading worden verlaagd zonder de prestaties te schaden.

De kern

De "Zelfbewuste AI": Hoe een nieuwe methode LLM's leert om te zeggen "Ik weet het niet"

Stel je voor dat je een enorme, superintelligente bibliothecaris hebt die alles over de wereld weet. Maar soms, als je een heel specifieke vraag stelt, begint deze bibliothecaris te twijfelen. In het verleden zou hij dan toch maar een antwoord proberen te verzinnen, zelfs als hij het niet zeker weet. Dat kan leiden tot halve waarheden of pure verzinsels (hallucinaties).

Dit artikel introduceert een slimme nieuwe manier om deze bibliothecaris zelfbewust te maken, voordat hij überhaupt begint met praten.

Het Probleem: De "Blinde" Bibliothecaris

Grote Taalmodellen (LLMs) zijn geweldig, maar ze hebben een grens aan wat ze weten. Het probleem is dat ze vaak niet weten wanneer ze die grens bereiken. Ze gaan gewoon door met het genereren van tekst, wat kostbaar is (rekenkracht, tijd, geld) en soms gevaarlijk als ze iets verzinnen.

Bestaande methoden om te checken of een antwoord betrouwbaar is, werken vaak na het antwoord. Het is alsof je pas na het schrijven van een heel lang essay vraagt: "Was dit wel goed?". Dat is inefficiënt en duur.

De Oplossing: "Interne Zekerheid" (Internal Confidence)

De auteurs van dit paper hebben een methode bedacht die we Interne Zekerheid kunnen noemen. Het werkt als een snelle intuïtiecheck voordat de AI ook maar één woord schrijft.

Stel je voor dat de AI een gebouw met 30 verdiepingen is (de lagen van het model).

1. De oude manier: De AI loopt helemaal naar boven, schrijft een antwoord, en kijkt dan of het klopt.
2. De nieuwe manier (Interne Zekerheid): De AI doet een snelle scan door al zijn verdiepingen terwijl hij alleen naar de vraag kijkt. Hij vraagt zichzelf eigenlijk: "Kan ik dit antwoord geven?"

In plaats van een lang antwoord te genereren, vraagt de AI zich intern af: "Ja of Nee, weet ik het?". De methode kijkt naar de "zenuwactiviteit" (de interne staten) in het brein van de AI op dat exacte moment.

Hoe werkt het? (De Analogie van het Orkest)

Stel je het brein van de AI voor als een groot orkest.

• Elke verdieping is een sectie van het orkest (bijv. de strijkers, de blazers).
• Elk woord in de vraag is een noot die wordt bespeeld.

De nieuwe methode luistert niet alleen naar de laatste noot die door het orkest wordt gespeeld (zoals oude methoden deden). Nee, het luistert naar alle secties die alle noten spelen.

Ze gebruiken een slimme truc: ze kijken naar hoe goed de verschillende secties met elkaar overeenkomen. Als de strijkers en de blazers allemaal een sterk "JA" gevoel hebben, dan is de zekerheid hoog. Als ze verward zijn of een "Nee" gevoel hebben, dan is de zekerheid laag. Ze middelen deze gevoelens op een slimme manier (met een gewogen gemiddelde), zodat ze een heel betrouwbaar signaal krijgen.

Waarom is dit zo geweldig?

1. Het is supersnel (De "Snelle Check")
Oude methoden moeten vaak een heel lang antwoord genereren om te weten of het goed is. Dat duurt lang.
Deze nieuwe methode is als het checken van de weersvoorspelling voordat je de jas aantrekt. Het kost bijna geen tijd (ongeveer 0,3 seconden in de tests) en is 30 tot 600 keer sneller dan de oude methoden.

2. Het bespaart geld en energie
Als de AI zegt: "Ik weet het niet zeker, ik ga het niet proberen", dan hoef je geen dure rekenkracht te gebruiken om een fout antwoord te genereren.

• Voorbeeld: Als je een simpele vraag stelt ("Wat is de hoofdstad van Frankrijk?"), zegt de AI: "Ja, ik weet het!" en geeft direct het antwoord.
• Voorbeeld: Als je een heel moeilijke vraag stelt ("Wat is de exacte winst van een klein bedrijf in 1995?"), zegt de AI: "Nee, ik weet dat niet." In plaats van te verzinnen, kan hij nu slimme acties ondernemen:
  • Zoek het op (RAG): "Ik ga even op internet zoeken."
  • Vraag een expert: "Ik ga dit doorsturen naar een slimmere AI."
  • Geen antwoord: "Ik geef eerlijk toe dat ik het niet weet."

3. Het maakt AI eerlijker
Door de AI te leren om te weten wanneer ze niet weten, worden ze eerlijker. Ze hoeven niet meer te liegen of te verzinnen om indruk te maken. Dit is cruciaal voor belangrijke gebieden zoals de gezondheidszorg of de wet.

Conclusie

Dit onderzoek introduceert een manier om AI's te laten "voelen" of ze een vraag kunnen beantwoorden, zonder dat ze eerst hoeven te praten. Het is als een intuïtieve radar die de grenzen van de kennis van de AI in kaart brengt.

Dit zorgt voor:

• Snelheid: Geen tijd verspillen aan het genereren van foutieve antwoorden.
• Kostenbesparing: Minder rekenkracht nodig.
• Betrouwbaarheid: AI's die weten wanneer ze moeten stoppen en hulp moeten vragen.

Kortom: Het maakt de AI niet alleen slimmer, maar ook slimmer in het weten wat ze weten.

Technische samenvatting

Titel: Query-Level Uncertainty in Large Language Models

Auteurs: Lihu Chen, Gerard de Melo, Fabian M. Suchanek, Gaël Varoquaux.

---

1. Probleemstelling

Grote Taalmodellen (LLMs) hebben een beperkte kennisgrens; ze kunnen niet op alle vragen een correct antwoord geven. Het is cruciaal dat modellen bewust zijn van deze grenzen om adaptieve inferentie mogelijk te maken (bijv. het activeren van Retrieval-Augmented Generation (RAG), diep nadenken, of het afzien van een antwoord).

De huidige staat van de kunst richt zich voornamelijk op antwoord-niveau onzekerheid (answer-level uncertainty). Dit betekent dat de onzekerheid wordt geschat na het genereren van een antwoord. Dit heeft twee grote nadelen:

1. Rekenkosten: Het genereren van een antwoord (vaak lang en complex) is duur. Als het antwoord uiteindelijk onbetrouwbaar is, is de rekentijd verspild.
2. Latentie: Voor toepassingen zoals agenten-workflows is het wenselijk om vooraf te weten of een model een vraag kan beantwoorden, zonder eerst tokens te genereren.

Er bestaat een gat in de literatuur voor een methode om query-niveau onzekerheid (query-level uncertainty) te schatten: het bepalen van de kennisgrens van een model voor een specifieke query, voordat er ook maar één antwoord-token wordt gegenereerd.

2. Methodologie: Internal Confidence

De auteurs introduceren een nieuwe, trainingsvrije en generatievrije methode genaamd Internal Confidence (IC). Deze methode leunt op de interne zelfevaluatie van het LLM.

Kernconcepten:

• Zelfevaluatie via Ja/Neen: In plaats van een antwoord te genereren, wordt het model geprompt met de vraag: "Kun je deze vraag nauwkeurig beantwoorden? Antwoord alleen met 'Ja' of 'Nee'."
• P(YES): De waarschijnlijkheid die het model toekent aan het token 'Ja' (P(YES)) fungeert als een maatstaf voor vertrouwen.
• Uitbreiding naar lagen en tokens: Eerdere werken keken vaak alleen naar de laatste laag en het laatste token. De auteurs stellen echter dat rijke informatie over onzekerheid verspreid zit over de gehele diepte van het netwerk (alle lagen) en de gehele lengte van de query (alle tokens).

Het Internal Confidence-algoritme:

1. Forward Pass: Het model voert één forward pass uit op de query (inclusief de prompt voor zelfevaluatie).
2. P(YES) Berekening: Voor elke laag $l$ en elk token $n$ in de query wordt de kans op het token 'Ja' berekend op basis van de verborgen staat $h^{(l)}_n$.
3. Aggregatie met Attenuated Encoding: Om een enkele, betrouwbare score te krijgen, worden deze P(YES)-waarden gewogen en samengevoegd. De auteurs gebruiken een vervalfunctie (attenuated encoding) die gebaseerd is op de afstand tot een "beslissingscentrum" (decision center).
   • Het beslissingscentrum is gedefinieerd als de laatste laag en het laatste token (top-right in de matrix van lagen/tokens).
   • De gewichten nemen af naarmate men verder weg komt van dit centrum, wat zorgt voor een gecontroleerde aggregatie van signalen uit naburige lagen en tokens.
   • Formule: $IC(h) = \sum_{n=1}^{N} \sum_{l=1}^{L} w^{(l)}_n P(\text{YES} | h^{(l)}_n)$.

Deze aanpak vereist geen extra training, geen fine-tuning, en geen generatie van het daadwerkelijke antwoord.

3. Belangrijkste Bijdragen

1. Definitie van Query-Level Uncertainty: Het paper formaliseert het concept om de kennisgrens van een model te meten vóór generatie, in plaats van na.
2. Internal Confidence (IC): Een nieuwe, trainingsvrije methode die interne zelfevaluatie (P(YES)) over alle lagen en tokens combineert via een gewogen aggregatie.
3. Efficiëntie: De methode is extreem snel omdat het slechts één forward pass vereist, in tegenstelling tot methoden die meerdere generaties of lange antwoorden nodig hebben.
4. Toepassingen in Adaptieve Inferentie: Het demonstreert hoe IC kan worden gebruikt om slimme beslissingen te nemen over het gebruik van externe hulpmiddelen (RAG) of het doorsturen van taken naar grotere modellen (model cascading).

4. Resultaten

De methode is getest op drie datasets: TriviaQA (feitelijke kennis), SciQ (wetenschappelijke feiten) en GSM8K (wiskundig redeneren), met modellen van verschillende maten (Phi-3, Llama-3, Qwen-2.5).

• Prestatie (AUROC & PRR): Internal Confidence presteert consistent beter dan bestaande baselines (zoals Perplexity, Semantic Entropy, P(TRUE), en andere entropie-metingen) bij het onderscheiden van beantwoordbare en niet-beantwoordbare vragen. Op Qwen-14B behaalde het een gemiddelde AUROC van 67.1, wat significant hoger is dan concurrenten.
• Snelheid: IC is 30x tot 600x sneller dan antwoord-gebaseerde methoden.
  • Terwijl methoden zoals SAR (Semantic Entropy) tot 180 seconden per sample nodig hebben, kost IC slechts 0,3 seconden.
  • De rekentijd van IC is constant en onafhankelijk van de lengte van het mogelijke antwoord, terwijl de tijd voor antwoord-gebaseerde methoden lineair toeneemt met de antwoordlengte.
• Adaptieve Inferentie:
  • RAG: Door een drempelwaarde op de IC-score te zetten, kan het systeem bepalen wanneer RAG nodig is. Dit reduceert de kosten aanzienlijk zonder de algehele nauwkeurigheid te verlagen.
  • Model Cascading: Kleinere modellen kunnen taken doorsturen naar grotere modellen alleen als hun interne vertrouwen laag is. Dit optimaliseert de kosten-kwaliteit afweging.
• Locality: Experimenten tonen aan dat de keuze van de "locality" (hoe sterk de gewichten rond het beslissingscentrum afnemen) van invloed is, maar dat een standaardinstelling ($\alpha=1.0$) over het algemeen goed werkt voor verschillende modellen en taken.

5. Betekenis en Impact

Dit paper biedt een fundamentele verschuiving in hoe we onzekerheid in LLMs benaderen: van post-hoc (na het antwoord) naar pre-hoc (voor het antwoord).

• Kostenbesparing: Voor applicaties waar LLMs als agenten opereren (die vaak dure RAG-calls of tool-use doen), biedt IC een goedkope "gatekeeper". Het voorkomt dat dure resources worden ingezet voor vragen die het model toch niet kan beantwoorden of die het model al uit zijn parametrische kennis kan oplossen.
• Betrouwbaarheid: Het stelt modellen in staat om eerlijker te zijn door zich terug te trekken (abstention) bij vragen buiten hun kennisgebied, wat essentieel is voor hoog-risico domeinen zoals gezondheidszorg of juridisch advies.
• Generalisatie: Omdat de methode trainingsvrij is, is deze direct toepasbaar op elk LLM zonder dat er extra data of fine-tuning nodig is, wat het een zeer praktische oplossing maakt voor de industrie.

Kortom, Internal Confidence is een krachtige, efficiënte en schaalbare methode om de kennisgrenzen van LLMs te detecteren, waardoor efficiëntere en betrouwbaardere AI-systemen mogelijk worden.