🤖 AI

HyPER: Bridging Exploration and Exploitation for Scalable LLM Reasoning with Hypothesis Path Expansion and Reduction

HyPER is een trainingsvrije, online controlebeleid voor mixture-of-experts-modellen dat tijdens redeneren op het moment van testen dynamisch exploratie en exploitatie in evenwicht brengt door een hypothese-pool te beheren via uitbreiding, token-niveau verfijning en op vertrouwen gebaseerde aggregatie, waardoor de nauwkeurigheid aanzienlijk verbetert terwijl het tokengebruik wordt verminderd.

Oorspronkelijke auteurs: Shengxuan Qiu, Haochen Huang, Shuzhang Zhong, Pengfei Zuo, Meng Li

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shengxuan Qiu, Haochen Huang, Shuzhang Zhong, Pengfei Zuo, Meng Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer moeilijk wiskundeprobleem of een complex logisch raadsel op te lossen. Je hebt een briljante maar iets nerveuze assistent (de AI) die het probleem stap voor stap kan doordenken.

Als je je assistent vraagt het probleem maar één keer op te lossen, kan het vastlopen op een verkeerd spoor en een fout antwoord geven. Om dit op te lossen, kun je ze vragen om veel verschillende manieren om het probleem tegelijkertijd op te lossen. Dit heet "scaling test-time compute".

Er is echter een addertje onder het gras: je hebt slechts een beperkte hoeveelheid tijd en energie (een "compute budget"). Als je je assistent vraagt 100 verschillende paden te proberen, kan je energie opraken voordat ze een van hen hebben voltooid. Als je alleen om 2 paden vraagt, kun je de juiste oplossing volledig missen.

Het artikel introduceert een nieuw systeem genaamd HyPER (Hypothesis Path Expansion and Reduction) om dit evenwicht te vinden. Denk aan HyPER als een slimme verkeersregelaar voor de gedachten van je assistent.

Het probleem met oude methoden

Vorige manieren om hiermee om te gaan, leken op rigide verkeersregels:

De "Boom"-methode: Dit was alsof je de assistent dwong om elke 5 stappen te stoppen en uit te wijken naar nieuwe paden, ongeacht de situatie. Soms was uitwijken niet nodig, en soms moesten ze veel eerder uitwijken. Het was te star en verspilde energie.
De "Parallelle"-methode: Dit was alsof je de assistent vroeg om 100 volledige verhalen van begin tot eind te schrijven en vervolgens het beste te kiezen. Het verspilde veel energie door 99 verhalen te schrijven die bijna identiek waren of duidelijk fout, en het hielp niet om de kwaliteit van de verhalen te verbeteren terwijl ze werden geschreven.

Hoe HyPER werkt: de slimme verkeersregelaar

HyPER verandert het spel door het denkproces te behandelen als een dynamische pool van ideeën die het in real-time kan uitbreiden of verkleinen. Het gebruikt drie belangrijkste trucs:

1. De "fase-afhankelijke" schakelaar (weten wanneer te handelen)

HyPER observeert het denkproces van de assistent zoals een coach een wedstrijd bekijkt.

Vroege fase (Verkenning): Aan het begin is de assistent net begonnen. HyPER zegt: "Laten we een paar verschillende startpunten proberen!" Het vergroot het aantal paden om ervoor te zorgen dat ze het juiste richting niet missen.
Late fase (Exploitatie): Naarmate de assistent dichter bij het antwoord komt, merkt HyPER dat de paden beginnen op te lijken of dat één pad erg zelfverzekerd oogt. Het zegt: "Stop met het proberen van nieuwe dingen! Richt al je energie op het verfijnen van dit ene sterke pad."
De magie: Het gebruikt geen vast schema. Het beslist ter plekke of het moet uitwijken (verkennen) of zich moet focussen (exploiteren), gebaseerd op hoe zelfverzekerd en divers de huidige gedachten zijn.

2. De "Expert-verfijning"-truc (gebruikmaken van de interne diversiteit van de AI)

Moderne AI-modellen hebben vaak een "Mixture of Experts" (MoE)-architectuur. Stel je voor dat de AI eigenlijk een team is van 100 kleine specialisten, maar dat er op elk moment slechts een paar actief zijn.

De oude manier: Om een beter antwoord te krijgen, moest je de hele zin vanaf nul opnieuw beginnen.
De HyPER-methode: Wanneer de AI op het punt staat het volgende woord te schrijven, vraagt HyPER het team van specialisten: "Hé, wat vinden jullie dat het volgende woord moet zijn?" Het verzamelt meningen van verschillende specialisten voor dat ene woord, middelt ze en kiest het beste.
Het voordeel: Dit verbetert direct de kwaliteit van het antwoord zonder tijd te verspillen aan het herschrijven van het hele verhaal. Het is alsof je een korte bespreking hebt met je team voordat je de volgende zet doet, in plaats van het hele spel opnieuw te beginnen.

3. De "Lengte & Zekerheid"-stem (de winnaar kiezen)

Aan het einde heb je verschillende voltooide oplossingen. Hoe kies je de juiste?

De valstrik: Soms is een fout antwoord erg zelfverzekerd en kort, terwijl het juiste antwoord lang en zorgvuldig is. Een simpele "meerderheidsstem" kan het korte, verkeerde antwoord kiezen.
HyPER's inzicht: Het artikel merkte iets interessants op: wanneer je paden met lage zekerheid filtert, blijken de correcte paden langer te zijn dan de onjuiste. De verkeerde paden crashten meestal vroeg omdat de AI zijn zekerheid verloor.
De oplossing: HyPER telt niet zomaar stemmen. Het kijkt naar twee dingen: Hoe zeker was het pad? en Hoe lang duurde het om op te lossen? Het geeft een bonus aan antwoorden die zowel zelfverzekerd zijn als de tijd hebben genomen om grondig te zijn. Dit helpt het het juiste antwoord te kiezen, zelfs als het niet het meest voorkomende was.

De resultaten

Het artikel testte dit systeem op moeilijke wiskunde- en logische problemen.

Nauwkeurigheid: Het gaf veel vaker het juiste antwoord (ongeveer 8–10% beter) dan eerdere methoden.
Efficiëntie: Het gebruikte aanzienlijk minder energie (ongeveer 25–40% minder gegenereerde "tokens" of woorden) om daar te komen.

Samenvattende analogie

Stel je voor dat je een doolhof in het donker navigeert met een zaklamp met een beperkte batterij.

Oude methoden schitterden de lamp in 100 willekeurige richtingen totdat de batterij leeg was, of dwongen je om op specifieke plekken om de hoek te gaan, ongeacht wat je zag.
HyPER is een slimme gids. Het vertelt je om uit te waaieren en om je heen te kijken wanneer je verdwaald bent (Verkenning). Wanneer je een veelbelovend pad ziet, vertelt het je om je licht daarop te richten en voorzichtig te lopen (Exploitatie). Als je struikelt, helpt het je je stap direct aan te passen zonder opnieuw te beginnen. En wanneer je de uitgang vindt, controleert het of het pad dat je nam lang en stabiel was, zodat je zeker weet dat je niet zomaar in een doodlopende steegje bent gestruikeld die leek op een uitgang.

Het resultaat? Je vindt de uitgang sneller, met een helderder licht en met meer batterij over.

Technische Samenvatting: HyPER – Het Overbruggen van Exploratie en Exploitatie voor Schaalbaar LLM-Redeneren

1. Probleemstelling

Het schalen van compute tijdens het testen via multi-path chain-of-thought (CoT)-redeneren heeft aangetoond de nauwkeurigheid op complexe taken te verbeteren, maar de effectiviteit hiervan rust op een doeltreffende afweging tussen exploratie (het genereren van diverse hypothese-paden) en exploitatie (het verfijnen van veelbelovende paden). Bestaande methoden worstelen met het dynamisch handhaven van deze balans:

Boomgestructureerde zoekopdrachten (bijv. ToT, MCTS) dwingen starre, breekbare uitbreidingsschema's af die vaak de native continue redeneervloei van nageleerde modellen verstoren en compute verspillen aan onnodige exploratie.
Parallel redeneren (bijv. Self-Consistency, Best-of-N) behoudt de native generatie, maar neigt tot over-exploratie van redundante, bijna-identieke paden terwijl het onderbenutting toont van veelbelovende hypothesen. Het vertrouwt op zwakke antwoordselectiestrategieën en mist mechanismen voor efficiënte verfijning tijdens het testen.
Adaptieve varianten richten zich vaak op het snoeien (subtraheren) zonder expliciet de bespaarde compute te heralloceren naar sterkere exploitatie, waardoor veelbelovende hypothesen onder-verfijnd blijven.

Bovendien suggereren recente waarnemingen dat correcte en incorrecte redeneerpaden vaak pas in late stadia uit elkaar gaan, en dat het simpelweg genereren van een correct pad geen garantie biedt voor selectie vanwege de "bestaans-selectie kloof", waar ruisachtige paden stemmechanismen domineren.

2. Methodologie: HyPER Framework

De auteurs introduceren HyPER (Hypothesis Path Expansion and Reduction), een trainingsvrije online controlebeleid dat schalen tijdens het testen reconceptualiseert als een dynamisch uitbreiden-verminderen controleprobleem over een pool van hypothese-paden. HyPER is ontworpen voor Mixture-of-Experts (MoE)-modellen, maar generaliseert naar dichte architecturen. Het werkt onder een vast computebudget en bestaat uit drie kerncomponenten:

2.1. Online Uitbreiden-Verminderen Controller

In plaats van een statisch schema, maakt HyPER gebruik van een gesloten-lus controller die lichtgewicht, real-time padstatistieken (vertrouwen, entropie, consensus en diversiteit) bewaakt om dynamisch acties te selecteren elke $T$ decodeerstappen. De controller kiest uit vier acties voor de overlevende padenpool $S_t$ :

NONE: Gaat door met standaard decoding wanneer de pool betrouwbaar, zelfverzekerd en divers is.
BRANCH (Exploratie): Verbredt de pool expliciet door overlevende paden te splitsen in meerdere kinderen wanneer de diversiteit laag is of de consensus zwak.
SINGLETOKEN (Exploitatie): Past een token-level uitbreiden-verminderen operatie toe om de next-token beslissing te verfijnen zonder het aantal paden te veranderen. Dit richt zich op lokale instabiliteit (laag vertrouwen, hoge entropie).
MULTITOKEN (Hybride): Voert een korte-horizon uitbreiding uit (decoderen van $m$ tokens) gevolgd door aggregatie, waarbij het kind met het hoogste vertrouwen wordt geselecteerd om terug te samenvoegen. Dit wordt gebruikt wanneer de diversiteit laag is maar de vertrouwensdispersie hoog is.

2.2. Single-Token Uitbreiden-en-Aggregeren Primitief

Om efficiënte exploitatie mogelijk te maken zonder volledige pad-resampling, maakt HyPER gebruik van de inherente routing-diversiteit van MoE-architecturen. Voor de SINGLETOKEN actie:

Gumbel-ruis route sampling: De MoE router logits worden verstoord met Gumbel-ruis om $K$ stochastische expert-gerouteerde voorstellen voor de huidige token te genereren.
Twee-pass expert sampling: Een vectoriserend twee-pass schema dwingt intra-token diversiteit af door expert-collities over de $K$ routes te bestraffen, zodat verschillende expert-subsets worden gesampled.
Vertrouwens-gewogen aggregatie: De $K$ kandidaat-logit vectoren worden geaggregeerd met behulp van vertrouwensgewichten afgeleid van hun voorspellende distributies, wat de tail-vertrouwen stabiliseert en de tokenvoorspelling verfijnt.
Geheugenoptimalisatie: De methode deelt prefix KV-toestanden over de $K$ voorstellen, zodat het geheugen schaalt met het aantal overlevende paden in plaats van de uitbreidingsfactor $K$ .

2.3. Lengte- en Vertrouwens-bewuste Stemming

Om de bestaans-selectie kloof te overbruggen, introduceert HyPER een nieuwe aggregatieregel voor het uiteindelijke antwoord. Empirische analyse toont aan dat onder vertrouwens-snoeien, correcte paden systematisch langer blijken te zijn dan incorrecte paden (aangezien foutieve paden vroegtijdig worden beëindigd). De stemregel selecteert het uiteindelijke antwoord door genormaliseerde padlengte en globaal gemiddeld vertrouwen over ondersteunende paden te aggregeren, in plaats van uitsluitend te vertrouwen op frequentie of eenvoudige vertrouwensweging.

3. Belangrijkste Bijdragen

Dynamisch Controlebeleid: Een trainingsvrije online controller die overschakelt van exploratie naar exploitatie op basis van fase-afhankelijke nuttigheid, waarbij lichtgewicht signalen (vertrouwen, diversiteit) worden gebruikt om het computebudget on-the-fly te heralloceren.
Efficiënte Token-Level Verfijning: Een MoE-gebaseerd primitief voor exploitatie tijdens generatie dat de tokenkwaliteit verfijnt via expert-routing diversiteit zonder de overhead van volledige pad-resampling.
Robuuste Antwoordselectie: Een lengte- en vertrouwens-bewuste stemregel die het structurele signaal van padlengte (geïnduceerd door snoeien) benut om correcte antwoorden betrouwbaar te selecteren, en zo de faalmodi van naïeve meerderheidsstemming aanpakt.

4. Experimentele Resultaten

De auteurs hebben HyPER geëvalueerd over vier MoE-modellen (Qwen3-30B, Qwen3-Next-80B, OLMoE, DeepSeek-V2-Lite) en diverse benchmarks (AIME24/25, HMMT25, HLE, GSM8K, MATH500, ARC).

Nauwkeurigheid-Compute Afweging: HyPER bereikt consequent de nauwkeurigheids-compute Pareto-grens. Over benchmarks heen presteert het prior-art methoden (Self-Consistency, DeepConf, RoE) 8–10 procentpunten beter in nauwkeurigheid, terwijl het het tokenverbruik met 25–40% reduceert onder vergelijkbare computebudgetten.
Ablatie Studies:
- Het verwijderen van de dynamische controller (met handmatige schema's) leidt tot suboptimale afwegingen, wat de noodzaak van adaptieve controle bevestigt.
- Het SINGLETOKEN primitief verbetert de lokale tokenkwaliteit, maar vereist de controller om vroegtijdige instorting van de pool te voorkomen.
- De Lengte-bewuste stemregel presteert consequent beter dan meerderheids- en vertrouwens-gewogen stemming, wat de nuttigheid van padlengte als correctheidssignaal onder snoeien valideert.
Architectuur Generaliteit: Experimenten met dichte modellen (zonder MoE token-verfijning) tonen aan dat de controller en stemlogica alleen al de prestaties ten opzichte van baselines verbeteren, wat aangeeft dat het framework niet strikt afhankelijk is van MoE-structuren.
Vergelijking met Boomzoekopdrachten: Het opleggen van stap-level boomzoekopdrachten op nageleerde "denkende" modellen degradeerde de prestaties in vergelijking met pad-gebaseerde Self-Consistency, wat de pad-gebaseerde uitbreiden-verminderen aanpak van HyPER motiveert.

5. Betekenis en Claims

Het artikel claimt dat HyPER een significante vooruitgang biedt in schaalbaar LLM-redeneren door weg te bewegen van starre zoekschema's naar gesloten-lus resource controle. De primaire betekenis ligt in:

Trainingsvrije Efficiëntie: Het bereikt state-of-the-art resultaten zonder fine-tuning, gespecialiseerde beloningmodellen of extra trainingsdata te vereisen.
Dynamische Adaptatie: Het adresseert effectief de fase-afhankelijke aard van redeneren, waarbij compute wordt toegewezen aan exploratie in een vroeg stadium en aan exploitatie in een laat stadium, gebaseerd op empirische waarnemingen van paddivergentie.
Het Overbruggen van de Kloof: Het biedt een principiële oplossing voor de bestaans-selectie kloof, ervoor zorgend dat de aanwezigheid van een correct pad vertaalt naar een geselecteerd correct antwoord.

De auteurs positioneren HyPER als orthogonaal ten opzichte van geleerde verifiers, en suggereren dat het combineren van hun dynamische beleid met Process Reward Models (PRMs) een veelbelovende weg blijft voor toekomstig werk. De code is publiek beschikbaar om verder onderzoek in schalen tijdens het testen te faciliteren.