🤖 machine learning

From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing

Dieses Paper stellt DARS vor, ein Framework, das die Zuverlässigkeit des LLM-Routings verbessert, indem es verrauschte Einzelantwort-Supervision durch distributionsbewusste Signale ersetzt, die sowohl Eingabevariationen als auch die inhärente Stochastizität von Modellgenerierungen berücksichtigen.

Ursprüngliche Autoren: Guannan Lai, Haoran Hu, Long Chen, Zhenguo Li, Han-Jia Ye

Veröffentlicht 2026-06-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guannan Lai, Haoran Hu, Long Chen, Zhenguo Li, Han-Jia Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Manager in einem geschäftigen Callcenter. Sie haben ein Team von Agenten mit unterschiedlichen Fähigkeiten und Zahlsätzen: Einige sind schnell und günstig, aber nur gut für einfache Fragen geeignet, während andere teure Experten sind, die komplexe Probleme lösen können. Ihre Aufgabe ist es, einen „Router“ (ein intelligentes System) zu bauen, der entscheidet, welcher Agent welche eingehende Kundenanfrage bearbeitet, um das beste Ergebnis zu erzielen, ohne Geld zu verschwenden.

Der alte Weg: Die „One-Shot“-Vermutung

Aktuell trainieren die meisten Systeme den Router, indem sie jeden Agenten bitten, eine spezifische Kundenfrage genau einmal zu beantworten.

Das Problem: Large Language Models (LLMs) sind wie Menschen, die einen „schlechten Tag“ haben oder abgelenkt sein können. Selbst wenn ein Agent ein Experte ist, könnten Sie ihn dieselbe Frage zweimal stellen, und er könnte zwei leicht unterschiedliche Antworten geben. Manchmal hat er es richtig; manchmal stolpert er.
Der Fehler: Wenn Sie sich nur auf diesen einen einzigen Versuch verlassen, könnten Sie denken, dass der Experte eigentlich schlecht ist, weil er einen vorübergehenden Ausrutscher hatte. Oder Sie könnten denken, dass ein günstiger Agent ein Genie ist, weil er bei diesem einen Versuch Glück hatte.
Das Ergebnis: Der Router lernt aus „verrauschten“ Daten. Er trifft Entscheidungen basierend auf Glück statt auf tatsächlicher Fähigkeit, was zu einem unzuverlässigen und inkonsistenten System führt.

Die neue Lösung: DARS (Distribution-Aware Routing Supervision)

Die Autoren dieser Arbeit schlagen ein neues Framework namens DARS vor. Anstatt einen Agenten zu bitten, eine Frage nur einmal zu beantworten, bittet DARS ihn, sie viele Male auf verschiedene Arten zu beantworten, um ein wahres Bild seiner Leistungsfähigkeit zu erhalten.

Stellen Sie sich das so vor:

Die Frage umschreiben (Input-Seite): Stellen Sie sich vor, Sie stellen dem Agenten dieselbe Kundenfrage auf fünf verschiedene Arten (z. B. „Wie repariere ich ein Leck?“ vs. „Mein Waschbecken tropft, Hilfe!“). Dies prüft, ob der Agent konsistent bleibt, egal wie die Frage formuliert ist.
Die Frage erneut beantworten (Output-Seite): Stellen Sie sich vor, Sie bitten den Agenten, dieselbe Frage fünfmal hintereinander zu beantworten. Dies prüft, ob seine Antworten stabil sind oder ob er nur zufällig rät.

Durch das Sammeln all dieser verschiedenen Versuche betrachtet DARS nicht einfach nur einen einzelnen Score. Es erstellt eine Leistungsverteilung (Capability Distribution) – ein vollständiges Profil dessen, wie der Agent performt. Es berechnet:

Durchschnittliche Fähigkeit: Wie gut ist er im Allgemeinen?
Kosten: Was kostet es, ihn einzusetzen?
Risiko (Stabilität): Wie stark schwanken seine Antworten zwischen „großartig“ und „schrecklich“?

Die „risikobewusste“ Entscheidung

DARS lehrt den Router, Agenten auszuwählen, die nicht nur im Durchschnitt gut sind, sondern auch zuverlässig.

Alter Router: „Agent A hat bei diesem einen Versuch eine perfekte Punktzahl erreicht! Lassen Sie uns ihn nutzen!“ (Selbst wenn er normalerweise scheitert).
DARS-Router: „Agent A hat einmal eine perfekte Punktzahl erreicht, aber viermal versagt. Das ist zu riskant. Agent B ist im Durchschnitt etwas weniger perfekt, aber er ist jedes Mal konsistent. Lassen Sie uns Agent B nutzen.“

Was die Studie herausfand

Die Forscher haben dies bei drei verschiedenen Arten von Aufgaben getestet:

Wissenschaftliche Fragen (GPQA): Wie ein kniffliges Quiz.
Mathematische Probleme (MATH): Wie das Lösen von Gleichungen.
Leseverständnis (DROP): Wie das Finden spezifischer Fakten in einer Geschichte.

Sie fanden heraus, dass die alte „One-Shot“-Methode sehr instabil war. Bei den wissenschaftlichen Fragen änderte sich der „beste“ Agent fast jedes Mal, wenn der Test durchgeführt wurde, einfach aufgrund von zufälligem Glück. Die neue DARS-Methode bot einen viel stabileren und genaueren Weg, um den Router zu trainieren.

Wichtige Erkenntnisse:

Einzelschüsse sind irreführend: Eine einzige Antwort erzählt nicht die ganze Geschichte über die Fähigkeit einer KI.
Variation ist real: KI-Modelle sind von Natur aus unvorhersehbar, und das Ignorieren führt zu schlechten Routing-Entscheidungen.
Mehr Daten = Bessere Entscheidungen: Durch das Betrachten vieler Versuche (Umformulierungen und erneute Beantwortungen) lernt das System, Agenten zu vertrauen, die konsistent gut sind, anstatt jenen, die nur einmal Glück hatten.
Es funktioniert für alle: Diese Methode verbesserte die Leistung vieler verschiedener Arten von Routing-Systemen, nicht nur eines spezifischen Designs.

Kurz gesagt: DARS verhindert, dass der Router auf eine einzige glückliche Vermutung wettet, und sorgt stattdessen dafür, dass er Entscheidungen auf Basis einer soliden, langfristigen Erfolgsbilanz trifft.

Technisches Resümee: Von Stichproben-Ergebnissen zu Kapazitätsverteilungen: Überdenken der Supervision für LLM-Routing

1. Problemstellung

Aktuelle Methoden für das Large Language Model (LLM) Routing verlassen sich typischerweise auf eine Single-Shot-Supervision, bei der die Fähigkeit eines Modells für eine spezifische Abfrage basierend auf einer einzigen generierten Antwort und deren entsprechendem Score etikettiert wird. Die Autoren argumentieren, dass dieser Ansatz grundlegend fehlerhaft ist, da die LLM-Generierung von Natur aus stochastisch ist. Ein einzelnes Stichproben-Ergebnis liefert lediglich eine verrauschte Beobachtung des Verhaltens eines Query-Modell-Paares, anstatt eine zuverlässige Schätzung seiner wahren Kapazität.

Diese „Punkt-Schätzungs“-Sicht führt systematischen Lärm in das Routing-Supervisionssignal ein. Da LLM-Ausgaben aufgrund von Sampling-Randomisierung (Unsicherheit auf der Output-Seite) und der Sensitivität gegenüber der Prompt-Formulierung (Unsicherheit auf der Input-Seite) variieren, kann eine einzelne Stichprobe zu einem instabilen oder irreführenden Label darüber führen, welches Modell für eine Abfrage am besten geeignet ist. Infolgedessen können Router, die auf solchen verrauschten Labels trainiert werden, Policies erlernen, die eher zufälliges Generierungsrauschen als stabile Unterschiede in der Modellkapazität widerspiegeln, was zu einer unzuverlässigen Modellauswahl in der Produktion führt.

2. Methodik: DARS (Distribution-Aware Routing Supervision)

Um diese Einschränkungen zu adressieren, schlagen die Autoren DARS vor, ein Framework, das das Routing-Supervision aus einer distributiven Sichtweise des Modellverhaltens konstruiert, anstatt aus isolierten Stichproben. DARS arbeitet, indem es die Unsicherheit aus zwei unterschiedlichen Dimensionen erfasst:

A. Datenerstellung

Anstatt pro Query-Modell-Paar nur eine Antwort zu generieren, konstruiert DARS eine Menge wiederholter Beobachtungen:

Input-seitige Unsicherheit: Die ursprüngliche Abfrage wird mehrfach unter Verwendung eines starken Sprachmodells umgeschrieben, um semantisch äquivalente Variationen zu generieren (wobei die Gold-Antwort und die Aufgaben-Semantik erhalten bleiben). Dies erfasst die Sensitivität gegenüber der Abfrageformulierung.
Output-seitige Unsicherheit: Für jede umgeschriebene Abfrage führt das Kandidatenmodell mehrere unabhängige stochastische Decoding-Läufe durch. Dies erfasst die Variabilität in den Reasoning-Pfaden, der Faktizität und den finalen Antworten.

Diese Schritte führen zu einer Beobachtungsmatrix (z. B. $N$ Rewrites $\times$ $M$ Decoding-Läufe) für jedes Query-Modell-Paar, wobei sowohl Leistungs-Scores als auch Inferenzkosten für jede Beobachtung aufgezeichnet werden.

B. Distributionale Kapazitätsschätzung

Aus diesen wiederholten Beobachtungen fasst DARS drei zentrale Kapazitätssignale für jedes Query-Modell-Paar $(x, m)$ zusammen:

Erwartete Qualität ( $\mu_q$ ): Der mittlere Leistungs-Score über alle Beobachtungen hinweg.
Erwartete Kosten ( $\mu_c$ ): Die mittleren Inferenzkosten über alle Beobachtungen hinweg.
Leistungsrisiko ( $\sigma_q$ ): Die Standardabweichung der Leistungs-Scores, welche die aggregierte Variabilität durch sowohl das Input-Rewriting als auch das stochastische Decoding repräsentiert.

C. Risiko-bewusste Supervision

DARS konstruiert eine risiko-bewusste Nutzenfunktion, die als Supervisionsziel dient:
$U(x, m) = \mu_q(x, m) - \lambda \mu_c(x, m) - \beta \sigma_q(x, m)$
Wobei:

$\lambda$ die Qualität und die Kosten ausbalanciert.
$\beta$ instabiles Verhalten (hohe Varianz) bestraft.

Das bevorzugte Modell für eine Abfrage ist definiert als $m^*(x) = \arg\max_{m \in \mathcal{M}} U(x, m)$ . Dieser Nutzen kann als Hard-Label, als Soft-Target (via Softmax) oder als kontinuierliches Regressionsziel verwendet werden, wodurch DARS mit verschiedenen Router-Architekturen (Regression, Klassifikation, Ranking, Retrieval etc.) kompatibel ist.

3. Kernbeiträge

Diagnose der Single-Shot-Limitierungen: Die Autoren analysieren systematisch die Single-Shot-Label-Annahme und zeigen durch diagnostische Metriken (Outcome-Instabilität, Winner-Flip-Rate und Diskrepanz mit distributions-bewussten Labels), dass Single-Shot-Supervision instabil ist und die Modellauswahl direkt verändern kann.
DARS-Framework: Die Einführung eines distributions-bewussten Supervisions-Frameworks, das sowohl die Input-seitige (Prompt-Rewriting) als auch die Output-seitige (stochastisches Decoding) Unsicherheit berücksichtigt, um zuverlässige Routing-Labels zu konstruieren.
Empirische Validierung: Umfangreiche Experimente über diverse Aufgaben (wissenschaftliche Argumentation, mathematische Problemlösung, Leseverständnis) und heterogene Modell-Pools hinweg zeigen, dass DARS im Vergleich zu Single-Response-Supervision stabilere Routing-Labels liefert und die Performance gelernter Routing-Policies verbessert.

4. Experimentelle Ergebnisse

Das Paper evaluiert DARS auf drei Datensätzen (GPQA, MATH-500, DROP-800) unter Verwendung eines Pools aus sechs heterogenen LLMs.

Instabilität von Single-Shot-Labels: Die diagnostische Analyse zeigt eine hohe Instabilität in der Single-Shot-Supervision. Beispielsweise liegt bei GPQA die „Winner-Flip-Rate“ (die Häufigkeit, mit der sich das beste Modell zwischen den Stichproben ändert) bei 0,970, was darauf hindeutet, dass eine einzelne Stichprobe ein schlechter Prädiktor für das optimale Modell ist.
Leistungssteigerungen: DARS verbessert die Routing-Performance in fast allen getesteten Router-Familien (einschließlich MLP, kNN, EmbedLLM, GraphRouter, MIRT etc.). Die Gewinne sind besonders ausgeprägt bei Aufgaben mit hoher Output-seitiger Unsicherheit (z. B. GPQA).
Ablationsstudien:
- Sowohl die nur auf dem Input als auch die nur auf dem Output basierenden Varianten von DARS übertreffen die Single-Shot-Baseline, was bestätigt, dass beide Quellen der Unsicherheit informativ sind.
- Das vollständige DARS-Framework (Kombination aus beiden) erzielt die besten Ergebnisse, was darauf hindeutet, dass die beiden Quellen komplementär sind.
- Die Einbeziehung des Risiko-Terms ( $\sigma_q$ ) verbessert die Performance signifikant; das Weglassen führt zu niedrigeren Durchschnittswerten.
Stichprobeneffizienz: Die Studie stellt fest, dass eine moderate Anzahl an Beobachtungen (z. B. ein $3 \times 3$ Protokoll) ausreicht, um eine Leistung nahe an der vollen $5 \times 5$ Einstellung zu erreichen, was zeigt, dass DARS für den Einsatz praktikabel ist, ohne übermäßige Sampling-Kosten zu verursachen.
Kosten-Qualitäts-Trade-off: Mit DARS trainierte Router erreichen eine überlegene Pareto-Front gegenüber Single-Shot-Routern und übertreffen oft die beste Fixed-Model-Baseline unter verschiedenen Kostenbeschränkungen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass zuverlässiges LLM-Routing über Single-Response-Beobachtungen hinausgehen muss. Indem DARS die Routing-Supervision in distributions-basierten Kapazitätsverteilungen auf Query-Ebene verankert, bietet es ein robusteres Signal für das Training von Routern. Die Autoren betonen, dass dieser Ansatz keine neue Router-Architektur erfordert, sondern vielmehr ein Umdenken des Supervisionssignals selbst. Die Ergebnisse legen nahe, dass die Behandlung von Routing-Labels als stochastische Stichproben aus einer zugrunde liegenden Kapazitätsverteilung zu stabileren, effektiveren und kosteneffizienteren Modellauswahl-Policies führt.