Technische Samenvatting: Inbeddingsperturbatie voor Onzekerheid in Tussenstappen bij Redeneren met LLM's

Probleemstelling

Grote Taalmodellen (LLM's) hebben aanzienlijke doorbraken geboekt in redeneertaken, maar blijven vatbaar voor het produceren van onbetrouwbare of misleidende output. Hoewel er technieken voor Onzekerheidskwantificering (UQ) bestaan om de zekerheid van een model in zijn uiteindelijke antwoorden te schatten, zijn deze vaak ontoereikend voor onzekerheid in tussenstappen binnen redeneerketens. Bestaande methoden kampen met verschillende beperkingen:

• Op steekproeven gebaseerde benaderingen (bijv. zelfconsistentie) vereisen het genereren van meerdere antwoorden om overeenstemming te controleren. Hoewel ze effectief zijn voor definitieve antwoorden, zijn ze rekenkundig duur en hebben ze moeite om de specifieke tussenstap te lokaliseren waar een fout vandaan komt.
• Op waarschijnlijkheid gebaseerde metrieken (bijv. tokenwaarschijnlijkheid, entropie, marge) onderscheiden zich vaak niet goed tussen tokens met een lage waarschijnlijkheid die taalkundig zeldzaam maar correct zijn, en die welke echte redeneerfouten vertegenwoordigen. Ze hebben ook moeite om langetermijn contextuele afhankelijkheden vast te leggen die nodig zijn voor het auditen van redeneerfouten.
• Op Bayes gebaseerde methoden (bijv. gewichtsperturbatie) kunnen rekenkundig belastend zijn, met name voor grote modellen.

Het kernprobleem dat wordt aangepakt, is het gebrek aan efficiënte, fijnmazige metrieken die in staat zijn om de specifieke tokens of stappen binnen een redeneerketen te identificeren waar de onzekerheid van het model het hoogst is, en die aldus een mogelijke fout aangeven.

Methodologie

De auteurs stellen Inbeddingsperturbatie voor als een nieuwe aanpak om onzekerheid in tussenstappen te kwantificeren. De kernhypothese is dat onjuiste redeneerstappen tokens bevatten die zeer gevoelig zijn voor kleine perturbaties in de inbeddingen van voorgaande tokens. Deze gevoeligheid weerspiegelt de interne aarzeling van het model tussen meerdere concurrerende voortzettingen (het model is "onzeeker" of het moet doorgaan met de huidige token of een rivaliserende token).

De methode werkt op het uitgangspunt dat LLM's autoregressief zijn; de generatie van een token $x_t$ hangt uitsluitend af van voorgaande tokens $x_{1:t-1}$. De auteurs definiëren de token-generatiekans als een functie van de inbeddingen van de voorgaande tokens $H_{1:t-1}$. Ze meten de gevoeligheid van het model voor perturbaties op deze inbeddingen met twee specifieke metrieken:

1. Willekeurige Perturbatie (Willeke. Pert.):

   • Willekeurige Gaussische ruis $\Delta \sim \mathcal{N}(0, \sigma^2 I)$ wordt toegevoegd aan de inbeddingen van alle tokens in de input en de respons.
   • De metriek wordt gedefinieerd als de variantie van de log-waarschijnlijkheid van de doeltoken $x_t$ over meerdere ruisstalen:
     $$\text{Pert.}(x_t) = \text{Var}_{\Delta} [\log \text{Pr}(x_t | \tilde{H}_{1:t-1})]$$
   • Dit vangt de instabiliteit van de tokenselectie op bij lichte contextvariaties.

2. Adversariële Perturbatie (Adv. Pert.):

   • In plaats van willekeurige steekproeven worden inbeddingen gewijzigd in de richting die de totale log-waarschijnlijkheid van de gegenereerde respons maximaal verlaagt (met behulp van een getekende gradiënt).
   • De metriek is het verschil in log-waarschijnlijkheid voor en na perturbatie:
     $$\text{Pert.}(x_t) = \log \text{Pr}(x_t | H_{1:t-1}) - \log \text{Pr}(x_t | \hat{H}_{1:t-1})$$
   • Dit identificeert tokens die het meest worden verstoord door een adversariële verschuiving, wat wijst op een nabijheid tot de beslissingsgrens tussen de geselecteerde token en een "rivaliserende token".

Theoretisch Inzicht:
Het artikel biedt een theoretische analyse die aantoont dat deze perturbatiegevoeligheden de geometrische afstand van de huidige inbedding tot de beslissingsgrens tussen de geselecteerde token en een rivaliserende token omgekeerd benaderen. Een hoge gevoeligheidsscore impliceert dat de inbedding dicht bij een grens ligt waar een andere token (die mogelijk leidt tot een ander redeneerpad) zou worden geselecteerd, wat een hoge onzekerheid signaleert. Cruciaal betogen de auteurs dat deze metriek minder bevooroordeeld is door natuurlijke taal-tokenfrequenties in vergelijking met ruwe op waarschijnlijkheid gebaseerde metrieken.

Belangrijkste Bijdragen

1. Nieuwe UQ-metrieken: Introductie van op perturbatie gebaseerde metrieken (Willekeurig en Adversariel) die specifiek zijn ontworpen om onzekerheid in tussenstappen bij redeneren met LLM's te vangen, onderscheiden van zekerheid in het eindantwoord.
2. Theoretische Rechtvaardiging: Een formele demonstratie dat perturbatiegevoeligheid de gradiëntnorm benadert, die op zijn beurt de afstand tot de beslissingsgrens tussen concurrerende redeneerpaden omgekeerd benadert.
3. Efficiëntie: De voorgestelde methoden blijken rekenkundig efficiënt te zijn. Adversariële perturbatie vereist slechts één enkele achterwaartse en voorwaartse doorloop, terwijl willekeurige perturbatie één enkele set perturbaties kan hergebruiken voor de hele sequentie, waardoor de enorme overhead van meerdere steekproeftrials wordt vermeden.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat deze metrieken bestaande baselines overtreffen bij het identificeren van de eerste foutieve stap in redeneerketens.

Experimentele Resultaten

De auteurs evalueerden hun methode op Wiskundig Redeneren (MATH-dataset) en Logisch Redeneren (BIG-Bench Hard) taken over vier modellen (Llama-3.1, OpenMath, Qwen, Mistral).

• Prestaties: Zowel Willekeurige als Adversariële perturbatiemetrieken presteerden consistent beter dan baselines, waaronder:
  • Token-niveau: Negatieve Log-Likelihood (NLL), Entropie, Waarschijnlijkheidsmarge, en de op Bayes gebaseerde TokUR.
  • Zin-niveau: CCP, TokenSAR, en Grafische Onzekerheid (meerdere steekproeven).
  • In de MATH-dataset behaalde Adversariële Perturbatie een top-3 detectiepercentage van 0,65 voor Llama (vs. 0,55 voor TokUR) en 0,61 voor Qwen (vs. 0,56 voor TokUR).
• Efficiëntie: Op een enkele NVIDIA GH200 GPU voegde Adversariële Perturbatie slechts 0,28 seconden toe per generatie, en Willekeurige Perturbatie (met 20 iteraties) 0,90 seconden. Dit is aanzienlijk sneller dan benaderingen met meerdere steekproeven.
• Hallucinatie-detectie: Bij testen op de FactScore-dataset voor het detecteren van feitelijke hallucinaties presteerden op perturbatie gebaseerde methoden slechter dan methoden met meerdere steekproeven. De auteurs schrijven dit toe aan het fundamentele verschil in foutpatronen: hallucinaties ontstaan vaak uit schijnbare correlaties of zwakke gronding die stabiel blijven onder perturbatie, terwijl redeneerfouten echte instabiliteit in padselectie inhouden.

Betekenis en Beweringen

Het artikel beweert dat inbeddingsperturbatie een effectievere en efficiëntere manier biedt om het redeneerproces van LLM's te auditen in vergelijking met bestaande methoden. Door tokens te identificeren met een hoge gevoeligheid voor inbeddingsperturbaties, kunnen praktici:

• De exacte locatie pinpointen waar een model begint af te wijken van een correct redeneerpad.
• Fijnmazige interventies mogelijk maken, zoals reflectiegebaseerde mechanismen of zelfcorrectie, die specifiek worden getriggerd bij onzekere stappen.
• De ontwikkeling van verificatiemodellen faciliteren door interpreteerbare onzekerheidssignalen te bieden die zijn afgeleid van het generatieproces zelf.

De auteurs erkennen nederig beperkingen: de methode detecteert mogelijk geen hallucinaties die worden gedreven door schijnbare correlaties, en ze ontwarpt niet altijd perfect onzekerheid over correctheid van onzekerheid die voortkomt uit de selectie tussen meerdere geldige redeneerpaden. Echter, de studie stelt vast dat op perturbatie gebaseerde metrieken een superieur hulpmiddel zijn voor het detecteren van procedurale redeneerfouten in vergelijking met op waarschijnlijkheid of steekproeven gebaseerde baselines.