Technische Samenvatting: Van Gesamplede Uitkomsten naar Capaciteitsdistributies: Het Heroverwegen van Toezicht voor LLM Routing

1. Probleemstelling

Huidige methoden voor Large Language Model (LLM) routing vertrouwen doorgaans op single-shot supervisie, waarbij de capaciteit van een model voor een specifieke query wordt gelabeld op basis van één gegenereerd antwoord en de bijbehorende score. De auteurs stellen dat deze aanpak fundamenteel gebrekkig is omdat LLM-generatie inherent stochastisch is. Een enkele gesamplede uitkomst biedt slechts een ruizige observatie van het gedrag van een query-model-paar, in plaats van een betrouwbare schatting van de werkelijke capaciteit.

Deze "punt-schatting"-visie introduceert systematische ruis in het supervisiesignaal voor routing. Omdat LLM-outputs variëren door sampling-randomness (onzekerheid aan de output-zijde) en gevoeligheid voor de formulering van de prompt (onzekerheid aan de input-zijde), kan een enkele sample leiden tot een instabiele of misleidende label over welk model het meest geschikt is voor een query. Bijgevolg kunnen routers die getraind zijn op dergelijke ruizige labels beleid leren dat de incidentele generatie-ruis weerspiegelt in plaats van stabiele verschillen in modelcapaciteit, wat leidt tot onbetrouwbare modelselectie in productie.

2. Methodologie: DARS (Distribution-Aware Routing Supervision)

Om deze beperkingen aan te pakken, stellen de auteurs DARS voor, een framework dat routing-supervisie construeert vanuit een distributioneel perspectief op modelgedrag in plaats van geïsoleerde samples. DARS werkt door onzekerheid vast te leggen uit twee afzonderlijke dimensies:

A. Dataconstructie

In plaats van één antwoord per query-model-paar te genereren, construeert DARS een set herhaalde observaties:

1. Onzekerheid aan de Input-zijde: De oorspronkelijke query wordt meerdere keren herschreven met behulp van een sterk taalmodel om semantisch equivalente variaties te genereren (waarbij de gouden antwoorden en taaksemantiek behouden blijven). Dit legt de gevoeligheid voor query-formulering vast.
2. Onzekerheid aan de Output-zijde: Voor elke herschreven query voert het kandidaatmodel meerdere onafhankelijke stochastische decoding-runs uit. Dit legt de variabiliteit in redeneerpaden, feitelijkheid en uiteindelijke antwoorden vast.

Deze stappen resulteren in een observatiematrix (bijv. $N$ herschrijvingen $\times$ $M$ decoding-runs) voor elk query-model-paar, waarbij zowel prestatiescores als inferentiekosten voor elke observatie worden geregistreerd.

B. Distributionele Capaciteitsschatting

Uit deze herhaalde observaties vat DARS drie belangrijke capaciteitssignalen samen voor elk query-model-paar $(x, m)$:

• Verwachte Kwaliteit ($\mu_q$): De gemiddelde prestatiescore over alle observaties.
• Verwachte Kosten ($\mu_c$): De gemiddelde inferentiekosten over alle observaties.
• Prestatierisico ($\sigma_q$): De standaarddeviatie van de prestatiescores, die de geaggregeerde variabiliteit vertegenwoordigt veroorzaakt door zowel input-herformulering als stochastische decoding.

C. Risico-bewuste Supervisie

DARS construeert een risico-bewuste nutfunctie om te dienen als het supervisiedoel:
$$U(x, m) = \mu_q(x, m) - \lambda \mu_c(x, m) - \beta \sigma_q(x, m)$$
Waarbij:

• $\lambda$ de balans tussen kwaliteit en kosten bepaalt.
• $\beta$ onstabiel gedrag (hoge variantie) bestraft.

Het geprefereerde model voor een query wordt gedefinieerd als $m^*(x) = \arg\max_{m \in \mathcal{M}} U(x, m)$. Deze utility kan worden gebruikt als een hard label, een soft target (via softmax), of een continu regressiedoel, waardoor DARS compatibel is met diverse router-architecturen (regressie, classificatie, ranking, retrieval, etc.).

3. Belangrijkste Bijdragen

1. Diagnose van Single-Shot Beperkingen: De auteurs analyseren systematisch de single-shot label-aanname en tonen via diagnostische metrieken (uitkomst-instabiliteit, winner flip rate en discrepantie met distribution-aware labels) aan dat single-shot supervisie onstabiel is en direct de modelselectiebeslissingen kan veranderen.
2. DARS Framework: De introductie van een distribution-aware supervisie-framework dat rekening houdt met zowel input-zijde (prompt herschrijven) als output-zijde (stochastische decoding) onzekerheden om betrouwbare routing-labels te construeren.
3. Empirische Validatie: Uitgebreide experimenten over diverse taken (wetenschappelijk redeneren, wiskundige probleemoplossing, leesbegrip) en heterogene modelpools laten zien dat DARS meer stabiele routing-labels oplevert en de prestaties van geleerde routing-policies verbetert vergeleken met single-response supervisie.

4. Experimentele Resultaten

De paper evalueert DARS op drie datasets (GPQA, MATH-500, DROP-800) met een pool van zes heterogene LLM's.

• Instabiliteit van Single-Shot Labels: Diagnostische analyse laat een hoge instabiliteit zien in single-shot supervisie. Zo is op GPQA de "winner flip rate" (de frequentie waarmee het beste model verandert tussen samples) 0,970, wat aangeeft dat een enkele sample een slechte voorspeller is van het optimale model.
• Prestatiewinsten: DARS verbetert de routing-prestaties in bijna alle geteste router-families (inclusief MLP, kNN, EmbedLLM, GraphRouter, MIRT, etc.). De winst is het meest uitgesproken op taken met een hoge output-zijde onzekerheid (bijv. GPQA).
• Ablatie-studies:
  • Zowel de input-alleen als de output-alleen varianten van DARS presteren beter dan de single-shot baseline, wat bevestigt dat beide bronnen van onzekerheid informatief zijn.
  • Het volledige DARS-framework (combinatie van beide) bereikt de beste resultaten, wat suggereert dat de twee bronnen complementair zijn.
  • Het opnemen van de risicoterm ($\sigma_q$) verbetert de prestaties aanzienlijk; het verwijderen ervan leidt tot lagere gemiddelde scores.
• Sample Efficiëntie: De studie vindt dat een gematigd aantal observaties (bijv. een $3 \times 3$ protocol) voldoende is om prestaties te bereiken die dicht bij de volledige $5 \times 5$ setting liggen, wat suggereert dat DARS praktisch inzetbaar is zonder excessieve samplingkosten.
• Kwaliteit-Kosten Afweging: Routers getraind met DARS bereiken een superieure Pareto-front vergeleken met single-shot routers en presteren vaak beter dan de beste vaste-model baseline onder diverse kostenrestricties.

5. Betekenis en Claims

De paper claimt dat betrouwbare LLM routing verder moet gaan dan single-response observaties. Door routing-supervisie te funderen in query-niveau modelcapaciteitsdistributies, biedt DARS een robuuster signaal voor het trainen van routers. De auteurs benadrukken dat deze aanpak geen nieuwe router-architectuur vereist, maar eerder een heroverweging van het supervisiesignaal zelf. De resultaten suggereren dat het behandelen van routing-labels als stochastische samples uit een onderliggende capaciteitsdistributie leidt tot stabielere, effectievere en kostenefficiëntere modelselectie-policies.