Technische Samenvatting: Interpreteerbare Adaptieve Sampling voor LLM Test-Time Scaling

Probleemstelling

Large Language Models (LLMs) bereiken sterke redeneerprestaties door middel van test-time scaling, een paradigma waarbij meerdere kandidaatantwoorden worden gegenereerd en geaggregeerd (bijv. via stemming of herrangschikking) om de nauwkeurigheid te verbeteren zonder de modelgewichten aan te passen. De huidige implementaties vertrouwen echter grotendeels op vaste per-query budgetten, waarbij voor elke prompt hetzelfde aantal samples wordt toegewezen, ongeacht de moeilijkheidsgraad. Deze aanpak presenteert twee kritieke problemen:

1. Inefficiëntie: Het verspilt computationele middelen aan gemakkelijke of met hoge zekerheid beantwoordde prompts, terwijl het moeilijke of onzekere prompts mogelijk tekortdoet.
2. Ondoorzichtigheid: Vaste budgetten leggen niet uit waarom een specifieke prompt een bepaalde hoeveelheid rekenkracht kreeg, wat het inferentieproces moeilijk maakt om te inspecteren, te debuggen of te auditeren.

Hoewel geleerde beleidsmodellen (policy models) middelen adaptief kunnen toewijzen, fungeren zij vaak als "black boxes", waardoor het besluitvormingsproces wordt vertroebeld. Het artikel stelt dat voor adaptieve inferentie praktisch bruikbaar te zijn, het systeem niet alleen moet beslissen hoeveel rekenkracht het moet uitgeven, maar die beslissing ook interpreteerbaar moet maken.

Methodologie

De auteurs stellen een hiërarchische fuzzy controller voor die interpreteerbare signalen in kaart brengt naar een per-query samplingbudget. De pijplijn bestaat uit zes stadia: input prompt, signaalextractie, fuzzy adaptieve controle, dynamische budgetselectie, kandidaatgeneratie en definitieve antwoordselectie.

1. Signaalextractie

De controller verwerkt een featurevector $\phi$ die genormaliseerd is naar $[0, 1]$, bestaande uit:

• Prompt-zijde signalen (pre-generatie):
  • Oppervlakkige Complexiteit ($h$): Gebaseerd op genormaliseerd aantal woorden, interpunctie, cijfers en zinsstructuur.
  • NLP-gebaseerde Complexiteit ($c_{NLP}$): Een gewogen combinatie van vocabulaire-rijkdom, aantal zinnen, dichtheid van wiskundige symbolen, semantische ambiguïteit, linguïstische complexiteit en redeneerdiepte.
  • Prompt Type ($\tau$): Maakt onderscheid tussen korte feitelijke vragen en open/redeneringsintensieve prompts.
  • Verwachte Antwoordlengte ($\lambda$): Schat de vereiste outputlengte in (kort, afleiding, of lange uitleg).
• Model-zijde signalen (post-initieel concept):
  • Zekerheid ($\gamma$): Afgeleid van de token-waarschijnlijkheden van een kort conceptantwoord.
  • Entropie ($\eta$): Genormaliseerde entropie van de tokenverdeling.
  • Historische Prestaties ($\pi$): Een traag bewegende schatting van de prestaties op vergelijkbare prompts gebaseerd op complexiteits- en type-bins.

2. Hiërarchische Fuzzy Controle

In tegen tegenstelling tot binaire drempelwaarden, gebruikt de controller Type-2 fuzzy logica om geleidelijke overgangen tussen moeilijkheidsgraden te beheren.

• Fase 1 (Grove Beslissing): Brengt de sterkste signalen (complexiteit $c$ en zekerheid $\gamma$) in kaart naar fuzzy labels (laag, medium, hoog) met behulp van driehoekige en trapeziumvormige lidmaatschapsfuncties. De regelset levert een voorlopig computebudget op (zeer laag tot zeer hoog).
• Fase 2 (Verfijning): Past de grove beslissing aan op basis van secundaire signalen. Hoge entropie, langere verwachte antwoorden, open-ended types en slechte historische prestaties verhogen het budget. Semantische ambiguïteit en redeneerdiepte zorgen voor kleine verfijningen.
• Output: Het systeem produceert een continue schaal $s \in [0, 1]$ en een onzekerheidswaarde $u$. Het uiteindelijke integer budget $N(x)$ wordt afgeleid door de schaal (beïnvloed door onzekerheid) te mappen naar een integerbereik $[1, N_{max}]$.

3. Antwoordselectie

Zodra $N(x)$ kandidaten zijn gegenereerd, gebruikt het systeem een vaste selector om een eerlijke vergelijking te garanderen:

• Self-Certainty Scoring: Kandidaten worden gerangschikt op basis van de token-waarschijnlijkheidscertitude.
• Borda Aggregatie: Definitieve antwoordstrings worden geëxtraheerd, waarna een Borda-telling wordt toegepast om de gerangschikte kandidaten te aggregeren. Het antwoord met de hoogste totale score wordt geretourneerd.

Belangrijkste Bijdragen

1. Interpreteerbare Adaptieve Schaling: Introductie van een hiërarchische fuzzy controller die rekenkracht toewijst op basis van menselijk leesbare signalen, wat een transparant alternatief biedt voor vaste of op welk begrip gebaseerde (opaque) geleerde policies.
2. Verenigde Pijplijn: Een end-to-end framework dat adaptieve sampling integreert met self-certainty scoring en Borda-aggregatie.
3. Verbeterde Accuracy-Compute Tradeoff: Demonstratie dat de methode competitieve nauwkeurigheid bereikt ten opzien van full-budget baselines, terwijl het gemiddelde aantal samples aanzienlijk wordt verminderd.
4. Verklaarbare Besluitvorming: De mogelijkheid om te inspecteren welke signalen en regels een specifere budgetbeslissing hebben gedreven, wat de "black box"-aard van adaptieve inferentie aanpakt.

Experimentele Resultaten

De methode werd geëvalueerd op GSM8K (arithmetic), MATH (complexe wiskunde) en SciQ (feitelijke QA) met behulp van Phi-3-mini-4k-instruct en Qwen2.5-1.5B-Instruct. Evaluaties volgden een fair-alignment protocol met overeenstemmende decoding-instellingen (temperatuur 1.0, top-p 0.95) en een gecontroleerde antwoordselector (Self-Certainty + Borda).

• Selector-Matched Vergelijking: Tegenover een vaste $N=8$ baseline met dezelfde selector:
  • MATH: Adaptieve methode verminderde het aantal samples met 10,8% (Phi-3) en 14,5% (Qwen2.5) met slechts marginale dalingen in nauwkeurigheid ($\Delta Acc \approx -0,007$ tot $-0,018$).
  • GSM8K: Adaptieve methode verminderde samples met 1,4% (Phi-3) en 3,9% (Qwen2.5) terwijl de nauwkeurigheid nagenoeg gelijk bleef of zelfs licht verbeterde.
• Distributieanalyse: De controller wijsde vaker lagere budgetten toe aan MATH-prompts (die moeilijker en variabeler zijn) vergeleken met GSM8K, waar de controller conservatiever bleef (vaak $N=8$ toewijzend).
• SciQ (Factual QA): Adaptieve methode bereikte de hoogste nauwkeurigheid voor beide modellen (bijv. 0,376 voor Qwen2.5 versus 0,360 voor Self-Certainty alleen) terwijl het gemiddelde aantal samples onder de vaste $N=8$ baseline werd teruggebracht.
• Ablatie-studies:
  • Vaste lage budgetten ($N=1, 2, 3$) verslechterden de prestaties aanzienlijk, wat bevestigt dat voldoende kandidaatdiversiteit nodig is.
  • Het verwijderen van individuele verfijningssignalen (bijv. entropie, historie) had gemengde effecten, wat suggereert dat de controller het beste functioneert als een transparante policy in plaats van een geoptimaliseerd geleerd model waarbij elk signaal strikt noodzakelijk is.

Betekenis en Claims

Het artikel claimt dat test-time scaling niet alleen de rekenkracht moet vergroten, maar deze op een manier moet toewijzen die effectief, gecontroleerd en inspecteerbaar is.

• Practicaliteit: De fuzzy controller biedt een eenvoudige, niet-geleerde mechanisme om een gunstige accuracy-compute tradeoff te bereiken zonder de LLM opnieuw te trainen.
• Transparantie: In tegen tegenstelling tot black-box beleidsmodellen, stelt deze aanpak gebruikers in staat om te auditeren waarom een prompt een specifiek budget kreeg (bijv. "hoge complexiteit + lage zekerheid $\to$ hoog budget"), wat cruciaal is voor veiligheidsreviews en debugging.
• Bescheidenheid: De auteurs erkennen dat de handmatig ontworpen regels wellicht niet optimaal zijn voor elk model of elke dataset, en dat antwoordselectie een bottleneck blijft. Ze beargumenteren echter dat de primaire bijdrage het aantonen is dat een interpreteerbare controller in staat is om het grootste deel van de full-budget prestaties te behouden terwijl de gemiddelde rekenkracht wordt verminderd, wat een praktische richting biedt voor efficiënt redeneren.