UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

Technische Samenvatting: UCCI – Gecalibreerde Onzekerheid voor Kostenefficiënte LLM-Cascade-routing

Probleemstelling
Grote Taalmodellen (LLM's) bieden hoge prestaties op gestructureerde voorspellingstaken, maar de inferentiekosten stijgen steil naarmate het model groter wordt. Cascade-inferentie – waarbij eenvoudige query's worden doorgestuurd naar een klein model en moeilijke query's worden doorgezet naar een groot model – belooft kostenreductie. Echter, huidige ingezette routers vertrouwen vaak op ongecalibreerde betrouwbaarheidsscores (bijvoorbeeld ruwe token-entropie of marges) die gevoelig zijn voor formulering van prompts en verschuivingen in de werklast. Bijgevolg is het afstemmen van drempelwaarden vaak een handmatige, per werklast uitgevoerde oefening die niet generaliseert, waardoor er een kloof ontstaat tussen de theoretische belofte van cascades en de prestaties in productie.

Methodologie
Het artikel stelt UCCI (Uncertainty-Calibrated Cascade Inference) voor, een routingframework dat cascade-ontwerp behandelt als een gecalibreerd beslissingsprobleem in plaats van een afstemoefening. De methodologie verloopt in drie stappen:

1. Extrahering van Token-niveau Onzekerheid: Voor een gegenereerde sequence berekent het systeem een scalair onzekerheidsscore $u(x)$ op basis van de marge tussen de top-1 en top-2 volgende-token-kansen ($p_{t,1} - p_{t,2}$) over alle tokens. Deze marge wordt geaggregeerd om de algehele onzekerheid van de output van het kleine model weer te geven.
2. Isotone Calibratie: De ruwe onzekerheidsscore $u(x)$ is geen waarschijnlijkheid. UCCI mapt deze score naar een gecalibreerde per-query foutkans $\hat{p}(x)$ met behulp van isotone regressie op een apart gehouden calibratieset. Deze stap transformeert het verkeerd gekalibreerde signaal in een betrouwbare schatting van de kans dat de output van het kleine model onjuist is ($P(e(x)=1 | u(x))$).
3. Gecombineerde Kostenminimalisatie: Een drempelpolitiek $\pi_\theta$ wordt geselecteerd op een validatieset. De drempel $\theta^*$ wordt gekozen om de verwachte inferentiekosten te minimaliseren, onderworpen aan een doelmatigheidsconstraint ($\tau$). De politiek routeert query's met $\hat{p}(x) \leq \theta$ naar het kleine model en zet die met $\hat{p}(x) > \theta$ door naar het grote model.

Theoretische Bijdragen
Het artikel biedt twee belangrijke theoretische resultaten:

• Optimaliteit van Drempelpolitieken: Onder drie expliciete aannames (kosten groot model > kosten klein model; de nauwkeurigheid van het grote model is invariant ten opzichte van welke query's worden doorgezet; en toegang tot de ware gecalibreerde foutkans), bewijzen de auteurs dat een drempelpolitiek op de gecalibreerde foutkans kostenefficiënt optimaal is.
• Staalcomplexiteit: Het artikel stelt vast dat isotone regressie een Verwachte Calibratiefout (ECE) van $O(n^{-1/3})$ bereikt met $n$ calibratievoorbeelden, waardoor een theoretische ondergrens wordt geboden voor de data-efficiëntie van de calibratiestap.

Experimentele Opzet en Resultaten
Het framework werd geëvalueerd op een productie-Named Entity Recognition (NER)-werklast die 75.000 handmatig gelabelde query's uit een enterprise-fotobeheersysteem omvatte.

• Modellen: Een klein model met 4 miljard parameters ($f_s$) en een groot model met 12 miljard parameters ($f_\ell$), beide instructie-getuned en gehost op H100 GPU's.
• Kostenmeting: Kosten werden afgeleid uit gemeten end-to-end latentie op H100 GPU's, wat een kostenratio opleverde van $c_\ell/c_s \approx 3.02$.
• Basislijnen: De studie vergeleek UCCI met inferentie op basis van een enkel model, ongecalibreerde entropiedrempelwaarde, split-conformale routing en een FrugalGPT-stijl geleerde drempelwaarde.

Belangrijkste Bevindingen:

• Kostenreductie: Bij een doel-micro-F1 van 0,91 reduceerde UCCI de inferentiekosten met 31% (95% CI: [27%, 35%]) in vergelijking met uitsluitend het gebruik van het grote model.
• Kwaliteit van Calibratie: Isotone regressie verlaagde de Verwachte Calibratiefout (ECE) van 0,12 (ongecalibreerd) naar 0,03.
• Prestaties versus Basislijnen: Op hetzelfde operationele punt (F1 = 0,91) bereikte UCCI de laagste kosten (2,08 genormaliseerde eenheden) in vergelijking met entropiedrempelwaarde (2,31), conformale voorspelling (2,18) en FrugalGPT-stijl routing (2,24).
• Validatie van Aannames: De aanname dat de nauwkeurigheid van het grote model invariant blijft ten opzichte van de routing, werd empirisch getoetst; de nauwkeurigheid op doorgezette query's (0,928) was bijna identiek aan de globale nauwkeurigheid (0,932), wat het theoretische raamwerk ondersteunt.

Betekenis en Claims
Het artikel betoogt dat de primaire engineeringwaarde in cascadesystemen ligt in het kalibreren van de routingscore in plaats van het handmatig afstemmen van de uiteindelijke drempelwaarde. Door een ruisend token-margesignaal om te zetten in een probabilistische foutschatting via een kleine isotone fit, bereikt UCCI bijna optimale routingprestaties zonder complexe learning-to-defer-architecturen of voorkeursdata.

De auteurs benadrukken dat hun resultaten gebaseerd zijn op end-to-end routing met gebruik van daadwerkelijke modeloutput en gemeten hardware-latentie, waardoor de selectiebias wordt vermeden die inherent is aan simulaties gebaseerd op globale nauwkeurigheden of nominale API-prijzen. Hoewel het framework taakagnostisch is, merken de auteurs op dat de specifieke kostenbesparingen (31%) en calibratiemetrieken werklastspecifiek zijn. Zij erkennen beperkingen met betrekking tot de invariantie-aanname in domeinen waar "moeilijke" query's voor het kleine model onevenredig moeilijk zijn voor het grote model, en merken op dat statische calibratie mogelijk aanpassing vereist voor streaming-implementaties met distributieverschuivingen.