Knowing When to Quit: A Principled Framework for Dynamic Abstention in LLM Reasoning

Titel: Knowing When to Quit: Een Principieel Kader voor Dynamische Abstentie in LLM-Redenering

1. Het Probleem

Grote Taalmodellen (LLMs) die gebruikmaken van "Chain-of-Thought" (CoT) redenering, genereren vaak lange, uitgebreide antwoorden. Hoewel dit de prestaties verbetert, leidt het tot twee belangrijke inefficiënties:

1. Verspilling van rekenkracht: Modellen genereren vaak lange, onjuiste redeneringspaden voordat ze falen. Empirisch is vastgesteld dat onjuiste traces vaak langer zijn dan correcte.
2. Onnauwkeurigheid: Gebruikers ontvangen onjuiste antwoorden die de volledige latentie en kosten van generatie hebben opgeleverd.

Bestaande methoden voor "abstentie" (het weigeren van een antwoord of het doorsturen naar een fallback) hebben beperkingen:

• Input-verwerking: Beslissingen worden uitsluitend op basis van de prompt genomen (voorafgaand aan generatie). Dit is efficiënt maar mist informatie over de specifieke redeneringsweg die het model zal nemen.
• Output-verwerking: Beslissingen worden pas na volledige generatie genomen. Dit lost het probleem van onjuiste antwoorden niet op en verspilt al de rekenkracht.
• Vaste posities: Recent werk probeert dynamisch te stoppen op vaste token-posities, maar de "fate" van een redenering varieert per probleem; een vaste positie is daarom suboptimaal.

Er ontbreekt een principieel kader om dynamisch te beslissen wanneer een redeneringstijdlijn moet worden stopgezet tijdens de generatie, gebaseerd op de kans op succes.

2. Methodologie

De auteurs formuleren tekstgeneratie als een Markov Decision Process (MDP) binnen een geregulariseerd Reinforcement Learning (RL) kader.

• MDP Formulering:

  • De actie-ruimte wordt uitgebreid met een speciaal abstentie-token ($\perp$).
  • Beloning (Reward): De beloning is schaars en binair. Alleen bij het einde van de sequentie (of bij abstentie) wordt een beloning gegeven.
    • Correct antwoord: $r = 1$.
    • Onjuist antwoord: $r = 0$.
    • Abstentie: Een vaste beloning $r_\perp \in (0, 1]$. Deze parameter controleert de afweging tussen rekenkracht en informatie (hoeveel "waarde" heeft het doorverwijzen naar een mens of een beter model?).
  • Doelfunctie: Maximalisatie van de verwachte totale beloning, inclusief een KL-divergentie-straf om afwijkingen van een referentiebeleid te beperken.

• Dynamische Waarde-Drempelstelling (Dynamic Value-Thresholding):

  • De kern van de methode is het gebruik van de waarde-functie $V(x, y_{1:t})$, die de verwachte toekomstige beloning geeft vanuit de huidige staat (prompt + tot nu toe gegenereerde tokens).
  • In het geval van schaarse, binaire beloningen is de waarde-functie equivalent aan de kans op correctheid gegeven de huidige prefix.
  • De Regel: Stop de generatie (abstineer) op elk token-moment $t$ als de geschatte waarde $V(x, y_{1:t})$ lager is dan de abstentie-beloning $r_\perp$.
  • Dit creëert een lokaal besluit dat direct leidt tot een globaal optimaal beleid onder ideale omstandigheden.

• Schatting van de Waarde-functie:

  • Omdat de echte waarde-functie onbekend is, trainen de auteurs een MLP-probe (een eenvoudige twee-laags netwerken) op de verborgen staten (hidden states) van de LLM.
  • De probe wordt getraind met Binary Cross-Entropy (BCE) verlies om de kans op correctheid te voorspellen voor elke prefix van een voltooid pad.
  • Dit is computatie-efficiënt: de probe voegt slechts ongeveer $10^4$ parameters toe aan een model van 7B parameters, waardoor de inferentie-overhead verwaarloosbaar is.

3. Belangrijkste Bijdragen

1. Formele Analyse: Het paper biedt een wiskundige onderbouwing voor dynamische abstentie. Het bewijst dat het beleid dat abstineert wanneer $V < r_\perp$ (de "value-thresholding" regel) strikt domineert over:
   • Geen abstentie (altijd genereren).
   • Input-only methoden (beslissen op $t=0$).
   • Vaste-posities methoden (beslissen op een vooraf bepaald token $k$), mits lage-waarde staten niet kunnen herstellen voordat $k$ wordt bereikt.
2. Optimaliteit: Onder ideale omstandigheden (perfecte waarde-schatting en geen KL-regularisatie) is dit dynamische beleid globaal optimaal voor alle beleidsregels die abstentie toestaan.
3. Efficiënte Implementatie: Het tonen dat een eenvoudige MLP-probe op verborgen staten voldoende is om de waarde-functie nauwkeurig te schatten, zonder de LLM zelf te hoeven finetunen (behalve voor LoRA-baselines).
4. Theoretische Grenzen: Het paper levert een bovengrens voor de verbetering die dynamische abstentie kan bieden, afhankelijk van de Lipschitz-continuïteit van de waarde-functie.

4. Resultaten

De methode is getest op twee LLM's (Qwen2.5-7B en Phi-3-mini) en twee wiskundige redeneringsdatasets (GSM8K en OlympiadBench), evenals op een toxiciteitsvermijdingstaak.

• Selectieve Nauwkeurigheid (Selective Accuracy):
  • Dynamische abstentie overtreft alle baselines (input-only, vaste posities, self-assessment, LoRA) consistent.
  • Op de moeilijke OlympiadBench dataset (waar de basis-Phi-3 slechts 16% nauwkeurig is), bereikt dynamische abstentie een selectieve nauwkeurigheid van 64% bij een abstentie-ratio van 90%. Dit is bijna het dubbele van de beste baseline (34%).
  • Op Qwen2.5 op OlympiadBench wordt 91% nauwkeurigheid bereikt bij 90% abstentie, vergeleken met 75% voor de beste baseline.
• Rekenkracht-Besparing:
  • De methode behoudt 63–86% van de token-besparing van input-only methoden bij lage abstentie-ratio's, en stijgt naar 92–95% bij hoge ratio's.
  • Abstentie vindt gemiddeld plaats in de eerste helft van de generatie, zelfs bij lage abstentie-ratio's, wat de efficiëntie bevestigt.
• Robuustheid:
  • De methode is robuust tegen imperfecte waarde-schattingen. Zolang de rangorde (ranking) van de voorspellingen behouden blijft, blijft de selectieve nauwkeurigheid gelijk.
  • De methode generaliseert goed over datasets (trainen op GSM8K, testen op OlympiadBench) zonder hertraining van de probe.

5. Betekenis en Impact

• Efficiëntie: Deze methode biedt een manier om de enorme rekenkosten van LLM-inferentie te verlagen door onbeloftevolle redeneringspaden vroegtijdig te stoppen. Dit kan bijdragen aan een kleiner ecologisch voetafdruk.
• Betrouwbaarheid: In hoog-risico domeinen (zoals medische of juridische analyse) kan principieel abstentie voorkomen dat modellen zelfverzekerd onjuiste antwoorden geven. Het stelt systemen in staat om zich terug te trekken wanneer de kans op succes te laag is.
• Theoretische Vooruitgang: Het paper verbindt selectieve classificatie-theorie met sequentiële generatie en biedt een wiskundig onderbouwd alternatief voor empirische "early-stopping" heuristieken.
• Toekomstige Richtingen: De auteurs wijzen op de mogelijkheid om dit kader uit te breiden naar continue beloningen (bijv. via preference models) en state-afhankelijke abstentie-beloningen, waarbij de waarde van het doorverwijzen afhangt van hoe dicht het model al bij een oplossing is.

Samenvattend introduceert dit paper een wiskundig gefundeerde, efficiënte en robuuste methode om LLM's te laten beslissen wanneer ze moeten stoppen met redeneren, wat leidt tot aanzienlijke verbeteringen in zowel nauwkeurigheid als reken-efficiëntie.