🤖 AI

UniScale: Adaptive Unified Inference Scaling via Online Joint Optimization of Model Routing and Test-Time Scaling

Dit artikel introduceert UniScale, een online framework dat modelrouting en test-time scaling verenigt in een enkele adaptieve optimalisatieruimte met behulp van contextuele multi-armed bandits om een superieure kwaliteit-kostenbalans te bereiken bij de implementatie van grote taalmodellen.

Oorspronkelijke auteurs: Kaiyu Huang, Xingyu Wang, Mingze Kong, Zhubo Shi, Yuqian Hou, Hong Xu, Zhongxiang Dai, Minchen Yu, Qingjiang Shi

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaiyu Huang, Xingyu Wang, Mingze Kong, Zhubo Shi, Yuqian Hou, Hong Xu, Zhongxiang Dai, Minchen Yu, Qingjiang Shi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een drukke restaurantkeuken runt. Je doel is om heerlijke maaltijden (hoogwaardige antwoorden) te serveren aan klanten zo snel en goedkoop mogelijk (lage computationele kosten).

In de wereld van Large Language Models (LLM's) gebruiken chefs traditioneel twee afzonderlijke strategieën om dit te beheren:

De "Menu-wissel" (Model Routing): Als een klant een eenvoudige salade bestelt, stuur je ze naar een junior kok. Als ze een complexe 10-gangen maaltijd bestellen, stuur je ze naar de chef-kok. Het probleem? Je hebt slechts een paar specifieke chefs in dienst. Je kunt niet gemakkelijk een "middelbare" chef vinden voor een gerecht van gemiddelde moeilijkheid. Je krijgt óf een eenvoudige salade óf een enorme feestmaaltijd, zonder soepele overgang in het midden.
De "Extra Inspanning" (Test-Time Scaling): Je houdt dezelfde chef aan, maar vertelt hem om harder na te denken. Misschien proeft hij de soep vijf keer in plaats van één keer, of schrijft hij drie verschillende recepten uit voordat hij er één serveert. Het probleem? Zelfs de beste chef heeft een limiet. Als het gerecht te complex is, zal geen enkele hoeveelheid extra nadenken de chef redden, en kan hij uitgeblust raken (te veel tijd en energie verspillen).

Het Probleem:
Lange tijd werden deze twee strategieën apart uitgevoerd. Het artikel betoogt dat dit is alsof je een keuken hebt met een manager die beslist welke chef te gebruiken, en een andere manager die beslist hoe hard die chef moet werken, zonder dat ze ooit met elkaar praten. Dit leidt tot inefficiëntie: je stuurt misschien een eenvoudige bestelling naar een chef-kok die er te veel over nadenkt, of een moeilijke bestelling naar een junior kok die te vroeg opgeeft.

De Oplossing: UNISCALE
De auteurs introduceren een nieuw systeem genaamd UNISCALE (Unified Inference Scaling). Denk aan dit als een superintelligente Hoofdchef die de hele keuken in realtime beheert.

In plaats van een chef of een inspanningsniveau te kiezen, maakt deze Hoofdchef voor elke bestelling direct een op maat gemaakt plan dat beide beslissingen combineert:

"Deze bestelling is lastig, dus laten we onze 4-sterrenchef gebruiken, maar laat hem zijn werk twee keer controleren."
"Deze bestelling is makkelijk, dus laten we onze 1-sterrenchef gebruiken, maar laat hem even dubbelchecken voor de zekerheid."
"Deze bestelling is een nachtmerrie, dus we hebben de 5-sterrenchef nodig om vijf verschillende versies uit te schrijven en de beste te kiezen."

Hoe het leert (De "Slimme Ober"):
De keuken is chaotisch. Bestellingen veranderen, nieuwe chefs komen erbij en soms vertrekken de oude. De Hoofdchef kan niet elke regel uit het hoofd leren. In plaats daarvan werkt UNISCALE als een slimme ober die leert door te doen.

Het gebruikt een methode genaamd LinUCB (een type wiskundige truc die wordt gebruikt bij gokken en besluitvorming).
Elke keer dat het een gerecht serveert, krijgt het feedback: "Was het lekker?" en "Wat kostte het?".
Het gebruikt deze feedback om een mentale kaart op te bouwen. Het leert dat "Voor wiskundige problemen is het 8B-model met 4 controles perfect," maar dat "Voor coderen het 14B-model met 2 controles beter is."
Cruciaal is dat het een balans vindt tussen exploratie (nieuwe combinaties proberen om te zien of ze werken) en exploitatie (gebruikmaken van wat het al weet dat goed werkt).

De Geheime Wapens:
Om dit snel en efficiënt te maken, heeft het systeem twee speciale trucs:

De "Vroege Exit" (Path-Aware Early Exiting): Stel je voor dat de chefs meerdere recepten uitschrijven. Het systeem heeft een "proever" (een verifieerder) die het werk controleert terwijl het wordt uitgevoerd. Als de proever ziet dat één recept duidelijk vreselijk gaat worden, vertelt het systeem de chef onmiddellijk om met dat recept te stoppen. Dit bespaart een enorme hoeveelheid tijd en energie omdat het niet wacht tot het slechte recept voltooid is.
De "Universele Scorekaart" (Cost Model): Het systeem telt niet alleen "stappen". Het telt "inspanning" op een uniforme manier. Het begrijpt dat het tillen van een zware pan (geheugen) net zo vermoeiend is als het snijden van groenten (berekening). Hierdoor kan het een kleine chef die veel werk verricht vergelijken met een grote chef die weinig werk verricht op een gelijkwaardig niveau.

De Resultaten:
Het artikel testte dit systeem op wiskundige problemen (zoals de AIME-examens).

Betere Balans: UNISCALE vond het "optimale punt" voor elke vraag. Het koos niet simpelweg het grootste model of de meeste inspanning; het vond de perfecte mix.
Soepeler Curve: In plaats van te springen van "goedkoop maar slecht" naar "duur maar goed", creëerde UNISCALE een vloeiende curve waarbij je voor iets meer kosten iets betere antwoorden krijgt, helemaal tot aan de best mogende antwoorden.
Aanpassingsvermogen: Wanneer de "keuken" veranderde (bijv. een chef vertrok of het type bestellingen veranderde), begreep UNISCALE snel de nieuwe beste strategie, terwijl oudere systemen vastliepen of fouten maakten.

Samenvattend:
UNISCALE is als een meesterdirigent voor een orkest. In plaats van alleen een luider instrument te kiezen (groter model) of muzikanten te vragen sneller te spelen (meer inspanning), beslist het dynamisch welke muzikant welk deel speelt en hoe ze dat spelen, terwijl het in realtime naar de muziek luistert om elke muzikant die een verkeerde noot speelt direct te stoppen. Dit resulteert in een prachtige uitvoering (hoge kwaliteit) tegen de laagste energiekosten (lage kosten).

Technische Samenvatting: UNISCALE

1. Probleemstelling

In real-world implementaties van Large Language Models (LLM's) is het balanceren van de kwaliteit van inferentie tegenover de computationele kosten een kritieke uitdaging. Bestaande benaderingen pakken deze afweging doorgaans aan langs twee onafhankelijke dimensies:

Model Routing: Het selecteren van modellen van verschillende schalen uit een heterogene pool. Hoewel dit een breed kwaliteit–kosten-spectrum dekt, opereert het op een grove granulariteit, wat leidt tot discrete sprongen in prestaties en kosten.
Test-Time Scaling (TTS): Het aanpassen van de rekenkracht tijdens de inferentie (bijv. via Best-of-N, Beam Search, of Process Reward Models) binnen een vast model. Hoewel dit fijne controle biedt, is het fundamenteel beperkt door de intrinsieke capaciteit van het basismodel en vertoont het vaak afnemende meeropbrengsten naarmate de rekenkracht toeneemt.

Het ontkoppelde ontwerp van deze mechanismen beperkt de aanpasbaarheid in dynamische omgevingen waar query-distributies, gebruikersdoelstellingen en de beschikbaarheid van modellen verschuiven. Bovendien beperkt het apart behandelen van deze mechanismen de mogelijkheid om synergieën tussen modelselectie en inferentiestrategie te benutten.

2. Methodologie

Unified Inference Scaling (UIS)

De auteurs introduceren Unified Inference Scaling (UIS), een paradigma dat model routing en TTS verenigt in een enkele optimalisatieruimte. Een inferentie-executie wordt geparametriseerd door een gezamenlijke configuratie $(M, QP, CP, BS)$, waarbij:

$M$ : Het geselecteerde basismodel.
$QP$: Question Parallelism (aantal verkende subtrees).
$CP$: Candidate Parallelism (aantal parallelle samples per stap).
$BS$: Beam Size (aantal gevalideerde knopen die behouden blijven).

Deze formulering creëert een rijke designruimte waar TTS de discrete hiaten tussen model-schalen kan verzachten, en routing naar grotere modellen de afnemende meeropbrengsten van agressieve TTS op kleinere modellen kan mitigeren.

Het UNISCALE-framework

Om het adaptieve UIS-probleem op te lossen, stellen de auteurs UNISCALE voor, een online framework dat gemodelleerd is als een contextual multi-armed bandit probleem.

Online Learning via LinUCB: Het systeem behandelt configuratie-selectie als een online optimalisatietaak. Het gebruikt een Transformer-gebaseerde encoder om queries en actie-configuraties (model + TTS-strategie) in een gedeelde semantische latente ruimte te mappen. Het Linear Upper Confidence Bound (LinUCB) algoritme wordt toegepast om inferentie-policies te leren, waarbij een balans wordt gezocht tussen exploitatie (hoge voorspelde beloning) en exploratie (onzekerheid in hoog-dimensionale ruimtes).
Path-Aware Early Exiting: Om het "straggler effect" in TTS-workflows aan te pakken, beëindigt UNISCALE dynamisch paden met een laag potentieel. Door verifier-scores te gebruiken als indicatoren voor de correctheid van het uiteindelijke antwoord, berekent het systeem het theoretisch maximale potentieel van lopende paden. Als een pad de huidige beste resultaten niet kan overtreffen, zelfs niet onder perfecte toekomstige prestaties, wordt het onmiddellijk beëindigd, wat de computationele kosten aanzienlijk vermindert zonder de kwaliteit van de uiteindelijke selectie in gevaar te brengen.
Dense Verification Feedback: In plaats van te vertrouwen op schaarse binaire correctheidssignalen, incorporeert het framework natuurlijke verifier-scores van TTS. Dit zorgt voor een dichter supervisiesignaal, waardoor de agent nuances in logische strengheid kan waarnemen en de selectie van configuraties met superieure prestaties kan sturen.
UIS Cost Model: Om consistente optimalisatie te garanderen, maakt het framework gebruik van equivalent FLOPs (eFLOPs) om zowel computationele als geheugenoverhead in een uniforme metriek te mappen. Dit houdt rekening met de hardware-arithmetische intensiteit en overbrugt de kloof tussen compute-bound en memory-bound operaties.

De samengestelde beloningsfunctie combineert inferentiekwaliteit (correctheid en verifier-score) en kosten, waardoor het systeem kan adapteren aan variërende gebruikersprioriteiten (bijv. Cost-Sensitive vs. Quality-Priority).

3. Belangrijkste Bijdragen

Unified Paradigm: De voorstel van Unified Inference Scaling (UIS), die model routing en TTS integreert in een enkele beslissingsruimte, waarmee de beperkingen van grove routing en capaciteitsbeperkte TTS worden overwonnen.
Adaptief Framework (UNISCALE): Een online algoritme gebaseerd op contextual bandits (LinUCB) dat adaptieve inferentie-policies leert in niet-stationaire omgevingen, gebruikmakend van semantische representaties voor efficiënte cross-action kennisoverdracht.
Efficiëntiemechanismen:
- Path-Aware Early Exiting: Een dynamisch pruning-mechanisme dat redundante berekeningen in TTS-workflows vermindert.
- Dense Verification Feedback: Een methode om beloningssignalen te verdichten met behulp van verifier-scores, wat de convergentie van de policy verbetert.
- Unified Cost Modeling: Een eFLOPs-gebaseerd kostenmodel dat de hardware-niveau resourceconsumptie nauwkeurig reflecteert.
Empirische Validatie: Uitgebreide experimenten die aantonen dat UNISCALE consequent beter presteert dan baselines (inclusief Random, Greedy, MLP, k-NN, Thompson Sampling, en NeuralUCB) over TTS-only, Routing-only, en volledige UIS-scenario's.

4. Experimentele Resultaten

De auteurs hebben UNISCALE geëvalueerd op 210 instanties van de AIME'24, AIME'25 en MATH-500 datasets met behulp van een Qwen3 model-serie en een Skywork PRM verifier.

Prestaties: UNISCALE behaalde de hoogste beloningen en de laagste cumulatieve regret in zowel de Cost-Sensitive als de Quality-Priority modi. In de volledige UIS-ruimte leverde het een fijnmaziger kwaliteit–kosten-front bereik dat superieur is aan alle baselines.
Ablatie-studies:
- Semantische Representaties: Het verwijderen van actie-semantische kenmerken (door gebruik van one-hot vectoren) resulteerde in een hogere cumulatieve regret, wat bevestigt dat semantische mapping de optimalisatie van de policy in hoog-dimensionale ruimtes versnelt.
- Early Exiting: Dit mechanisme verminderde de computationele last met ~87% en de geheugentoegang met ~78% met een verwaarloosbare impact op de nauwkeurigheid (<1pp).
- Dense Feedback: Het gebruik van verifier-scores in plaats van binaire correctheid verbeterde de nauwkeurigheid met 5,62pp in de Quality-Priority modus en verminderde de kosten met 51,3%.
Robuustheid: UNISCALE demonstreerde sterke aanpasbaarheid aan omgevingsdrifts (bijv. het verwijderen/toevoegen van modellen en verschuivingen in de reward-modus), waarbij het snel policies herkalibreert om optimale afwegingen te behouden waar baselines zoals k-NN moeite hadden.

5. Betekenis en Claims

Het artikel stelt dat UNISCALE een verenigde theoretische basis en beslissingsruimte biedt voor grootschalige AI-inferentie orchestratie. De betekenis ligt in:

Het doorbreken van technische silo's: Het integreert model routing en TTS, waardoor inferentie-optimalisatie verschuift van heuristische regels naar data-gedreven geautomatiseerde policies.
Green AI: Door redundante berekeningen te minimaliseren via early exiting en een verenigd kostenmodel, pakt het direct de uitdagingen van energieverbruik bij LLM-implementaties aan.
Democratisering: Het framework biedt fijne controle over kwaliteit–kosten-afwegingen, waardoor resource-beperkte edge-apparaten intelligent gebruik kunnen maken van lokale capaciteiten of cloud-upgrades, wat potentieel de digitale kloof kan overbruggen.
Privacy: De abstracte semantische beslissingsruimte is compatibel met federated orchestratie, waardoor wereldwijde policy-evolutie mogelijk is via geanonimiseerde parameterupdates zonder toegang tot ruwe query-data.

De auteurs merken op dat de huidige prestaties worden gemoduleerd door de precisie van Process Reward Models (PRM's) en identificeren de ontwikkeling van meer generaliseerbare verificatiemechanismen als een richting voor toekomstig werk.