Adaptive Stopping for Multi-Turn LLM Reasoning

Titel: Adaptive Stopping for Multi-Turn LLM Reasoning (MiCP)

Auteurs: Xiaofan Zhou, Huy Nguyen, Bo Yu, Chenxi Liu, Lu Cheng.

---

1. Het Probleem

Grote Taalmodellen (LLMs) vertrouwen steeds vaker op multi-turn redenering en interactie (zoals adaptieve Retrieval-Augmented Generation of ReAct-agenten) om complexe vragen te beantwoorden. In plaats van direct een antwoord te geven, itereren deze systemen: ze zoeken informatie, redeneren en handelen totdat ze een beslissing nemen.

De kernuitdaging is: Wanneer moet het model stoppen?

• Te vroeg stoppen: Het model verzamelt onvoldoende informatie en geeft een onjuist antwoord.
• Te laat stoppen: Onnodige ophaal- of redeneerstappen verhogen de latentie, de rekenkosten en kunnen zelfs nieuwe fouten introduceren.

Bestaande methoden gebruiken vaak heuristieken (zoals vertrouwensdrempels of vaste limieten voor het aantal beurten). Deze bieden echter geen formele garanties dat het uiteindelijke voorspellingssetje het juiste antwoord bevat. Dit is kritiek in hoog-risicodomeinen zoals financiën en gezondheidszorg. Hoewel Conformal Prediction (CP) formele dekkinggaranties biedt voor LLM-outputs, zijn bestaande CP-methoden beperkt tot single-shot (één keer uitvoeren) scenario's en kunnen ze geen multi-turn pijplijnen met adaptief stoppen hanteren.

2. Methodologie: MiCP

De auteurs stellen MiCP (Multi-Turn Language Models with Conformal Prediction) voor, het eerste CP-framework specifiek ontworpen voor multi-turn redenering. MiCP bestaat uit drie hoofdblokken:

A. Probleemopstelling en Notatie

Het model doorloopt een redeneertraject $r_i = (r_i^0, r_i^1, \dots, r_i^{T-1})$. Op elke beurt $t$ kan het model extra informatie ophalen (retrieval) of een actie uitvoeren. MiCP moet beslissen of het stopt op beurt $t$ of doorgaat, terwijl het een totale dekkinggarantie van $1-\alpha$ behoudt.

B. Twee Fasen van Kalibratie

MiCP gebruikt een gesplitste CP-aanpak met een trainingsset, een kalibratieset en een testset.

1. Retrieval Filtering (Fase 1):

   • Om te voorkomen dat irrelevante documenten de context vervuilen, wordt een conformale drempel $\hat{q}_{ret}$ ingesteld.
   • Alleen passages met een relevantiescore boven deze drempel worden behouden. Dit garandeert dat een bepaald percentage van de "gouden" (juiste) documenten behouden blijft, terwijl ruis wordt gefilterd.

2. Voorspellingsset en Adaptief Stoppen (Fase 2):

   • Foutbegroting (Error Budget Allocation): In plaats van één globale foutbegroting voor alle beurten, deelt MiCP de totale foutbegroting $\alpha$ op over de verschillende beurten ($\alpha_t$).
     • Eenvoudige vragen krijgen een budget in de vroege beurten om snel te stoppen.
     • Moeilijke vragen krijgen meer budget in latere beurten.
   • Onzekerheidsmeting: Het framework gebruikt de Genormaliseerde Entropie (NE) van de verdeling van de gegenereerde antwoorden als signaal voor onzekerheid.
   • Stopconditie: Op elke beurt $t$ wordt de NE-score vergeleken met een gekalibreerde drempel $\hat{q}_t$. Als de score de drempel overschrijdt, stopt het model.
   • Voorspellingsset: Als het stopt, wordt de set samengesteld uit de hoogstwaarschijnlijke antwoordclusters tot dat punt. Als na alle beurten geen voldoende vertrouwen is bereikt, wordt de optie "Can't Answer" toegevoegd om de dekkinggarantie te behouden.

C. Evaluatiemeta

De auteurs introduceren een nieuwe composiete metriek ($L$) die de afweging tussen betrouwbaarheid (dekking) en efficiëntie (aantal beurten) kwantificeert. Deze straalt systemen die correcte antwoorden geven met minder beurten, maar straalt systemen af die onnodige stappen maken of fouten maken.

3. Belangrijkste Bijdragen

1. MiCP Framework: Het eerste conformal prediction framework voor multi-turn LLMs dat formele dekkinggaranties biedt terwijl het adaptief stoppen mogelijk maakt.
2. Multi-level Foutbegroting: Een strategie om de totale foutbegroting over de beurten te verdelen, waardoor het model kan beslissen of het moet stoppen of doorgaan zonder de eindgarantie te schenden.
3. Nieuwe Evaluatiemeta: Een metriek die zowel de geldigheid van de dekking als de efficiëntie (aantal beurten) combineert, specifiek ontworpen voor multi-turn systemen.
4. Uitgebreide Validatie: Experimenten tonen aan dat MiCP werkt op zowel adaptieve RAG als ReAct-agenten, met behoud van dekking en aanzienlijke kostenbesparingen.

4. Resultaten

De methode is getest op vijf benchmarks (o.a. HotpotQA, MuSiQue, 2WikiMultiHopQA) met drie LLMs (Gemma-2-9B-IT, Qwen3.5-9B, GPT-4o-mini).

• Dekking (Coverage): MiCP behoudt consistent de gewenste dekking van $1-\alpha$ voor zowel de gefilterde retrieved documenten als de uiteindelijke voorspellingsset, zelfs bij adaptief stoppen.
• Efficiëntie:
  • Aantal beurten: MiCP reduceert het gemiddelde aantal beurten aanzienlijk ten opzichte van een "no early stop" baseline (waarbij alle vragen maximaal doorlopen). Bijvoorbeeld, op 2WikiMHQA daalt het aantal beurten van 3,0 naar ongeveer 1,5-2,5.
  • Voorspellingsset grootte: Door onnodige late beurten te filteren, worden de voorspellingssets compacter en minder ruisachtig.
  • Kosten: De reductie in beurten leidt direct tot lagere inferentiekosten en latentie.
• Optimalisatie: Grid search over de foutbegrotingen ($\alpha_t$) leidt tot betere prestaties dan het simpelweg optimaliseren voor het gemiddelde aantal beurten of het antwoordpercentage.

5. Significantie

Dit werk is van groot belang voor de toepassing van LLMs in hoog-risicodomeinen (zoals gezondheidszorg en financiën). Het lost het fundamentele dilemma op tussen efficiëntie (kosten en snelheid) en betrouwbaarheid (formele garanties dat het juiste antwoord niet verloren gaat).

Door MiCP kunnen systemen nu:

1. Formeel bewijzen dat ze met een bepaalde zekerheid het juiste antwoord hebben (of eerlijk toegeven dat ze het niet weten via "Can't Answer").
2. Kosten besparen door niet blindelings door te gaan met zoeken of redeneren als het antwoord al gevonden is.
3. Schalen naar complexe multi-hop taken zonder dat de onzekerheid uit de hand loopt.

Kortom, MiCP biedt de eerste wiskundig onderbouwde manier om multi-turn LLM-agenten veilig en efficiënt te laten werken.