🤖 machine learning

UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

UCCI ist ein Routing-Framework mit Kalibrierungspriorität, das Unsicherheit auf Token-Ebene mittels isotoner Regression in Fehlerwahrscheinlichkeiten pro Abfrage überführt und Eskalationsschwellenwerte durch kostenbeschränkte Minimierung optimiert, wodurch im Vergleich zu bestehenden Routing-Baselines bei einem produktiven NER-Workload eine 31%ige Reduktion der Inferenzkosten bei Beibehaltung hoher Genauigkeit erreicht wird.

Ursprüngliche Autoren: Varun Kotte

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Varun Kotte

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten ein belebtes Kundendienstzentrum. Sie haben zwei Arten von Agenten:

Der Junior-Agent: Schnell, günstig und hervorragend darin, einfache Fragen zu beantworten wie „Wie sind Ihre Öffnungszeiten?"
Der Senior-Experte: Langsam, teuer und notwendig für knifflige Fragen wie „Wie behebe ich diesen komplexen Fehler?"

Ihr Ziel ist es, Geld zu sparen, indem Sie den Junior so viele Anrufe wie möglich bearbeiten lassen, aber Sie können es sich nicht leisten, ihn die schwierigen Fälle falsch bearbeiten zu lassen. Das Problem? Der Junior glaubt oft, die Antwort zu kennen, obwohl er es eigentlich nicht tut. Er mag selbstbewusst klingen, während er falsche Ratschläge gibt.

Dieser Artikel stellt UCCI vor, ein intelligentes „Verkehrspolizisten"-System, das entscheidet, wann der Junior einen Anruf bearbeiten darf und wann es an den Senior eskaliert werden muss.

So funktioniert UCCI, aufgeschlüsselt in einfache Schritte:

1. Das Problem: Die „Vertrauensfalle"

Normalerweise versuchen Computer zu erraten, wie selbstbewusst sie sind. Wenn der Junior-Agent sagt: „Ich bin zu 90 % sicher", lässt das System ihn vielleicht den Anruf bearbeiten. Aber in der Welt der KI (Large Language Models) ist diese Zahl „90 % sicher" oft eine Lüge. Sie ist nicht kalibriert. Der Junior mag bei einer schwierigen Frage „90 % sicher" sagen und danebenliegen oder bei einer einfachen Frage „50 % sicher" sagen und richtig liegen.

Da die Vertrauenszahlen unzuverlässig sind, müssen Unternehmen die Regeln für jede neue Aufgabe normalerweise durch Raten und Prüfen (Tuning) manuell anpassen. Es ist, als würde man versuchen, ein Auto mit einem kaputten Tacho zu fahren; man muss raten, wie schnell man fährt.

2. Die Lösung: UCCI (Das „Wahrheitsserum")

UCCI behebt dies, indem es zwei Hauptdinge tut:

Schritt A: Die Kalibrierung (Das Wahrheitsserum)
Bevor das System live geht, nimmt UCCI eine Stichprobe von Fragen und prüft die Antworten des Juniors gegen die Wahrheit. Es verwendet ein mathematisches Werkzeug namens Isotone Regression (denken Sie daran als einen „Wahrheitsfilter"), um die wackeligen Vertrauenswerte des Juniors auf reale Wahrscheinlichkeiten abzubilden.

Vorher: Der Junior sagt: „Ich bin zu 80 % sicher." (Realität: Er liegt nur in 50 % der Fälle richtig).
Nach UCCI: Das System übersetzt diese „80 %" in eine reale „50 % Fehlerwahrscheinlichkeit".
Ergebnis: Das System kennt nun das tatsächliche Risiko eines Fehlers, nicht nur das, was die KI sagt, das Risiko sei.

Schritt B: Die kostenoptimale Entscheidung (Der intelligente Verkehrspolizist)
Jetzt, da das System das tatsächliche Risiko kennt, verwendet es eine einfache Regel:

Wenn das tatsächliche Risiko eines Fehlers des Juniors gering ist, lassen Sie ihn es bearbeiten (Geld sparen!).
Wenn das tatsächliche Risiko hoch ist, senden Sie es zum Senior (Zahlen Sie mehr, aber bekommen Sie es richtig).

Das System berechnet den genauen „Kipppunkt", an dem es sich nicht mehr lohnt, den Anruf zum Senior zu senden, um das zusätzliche Geld auszugeben.

3. Die Ergebnisse: Geld sparen ohne Qualitätsverlust

Die Autoren testeten dies an einer realen Aufgabe: Analyse von Fotos, um Details wie Kameramarken, Objektivtypen und Einstellungen zu finden (eine Aufgabe namens Named Entity Recognition). Sie verwendeten 75.000 echte Kundenanfragen.

Das Setup: Ein kleines, schnelles KI-Modell (4 Milliarden Parameter) vs. ein großes, langsames, teures KI-Modell (12 Milliarden Parameter).
Das Ergebnis: Mit UCCI reduzierten sie die Gesamtkosten für die Verarbeitung dieser Anfragen um 31 % im Vergleich zur ausschließlichen Verwendung des teuren Senior-Modells für alles.
Die Qualität: Sie behielten eine sehr hohe Genauigkeitsrate bei (Micro-F1 von 0,91).
Der Vergleich: UCCI schlug andere Methoden, die versuchten, die Regeln zu erraten (wie einfache „Entropie"-Prüfungen oder andere lernbasierte Router), mit einem signifikanten Vorsprung.

4. Die große Erkenntnis

Der Artikel argumentiert, dass das Geheimnis nicht darin liegt, einen perfekten, komplexen Algorithmus zu finden, um den Schwellenwert zu erraten. Das Geheimnis ist die Kalibrierung.

Wenn Sie ein verrauschtes, unzuverlässiges Signal (das rohe Vertrauen der KI) nehmen und es mit einem einfachen „Wahrheitsfilter" (Kalibrierung) beheben, erhalten Sie einen nahezu perfekten Entscheidungsträger. Der Artikel behauptet, dass Sie, sobald Sie einen kalibrierten Score haben, den Rest nicht überkonstruieren müssen; Sie müssen nur den richtigen Preispunkt wählen, wann eskaliert werden soll.

Kurz gesagt: UCCI lehrt die KI, ehrlich darüber zu sein, wie unsicher sie ist, und nutzt diese Ehrlichkeit, um Ihnen viel Geld zu sparen, während die Antworten korrekt bleiben.

Technischer Zusammenfassung: UCCI – Kalibrierte Unsicherheit für kostenoptimales Routing von LLM-Kaskaden

Problemstellung
Large Language Models (LLMs) bieten hohe Leistung bei strukturierten Vorhersageaufgaben, doch die Inferenzkosten skalieren mit der Modellgröße steil an. Kaskadierte Inferenz – das Routen einfacher Abfragen zu einem kleinen Modell und das Eskalieren schwierigerer zu einem großen Modell – verspricht eine Kostensenkung. Allerdings verlassen sich derzeit eingesetzte Router oft auf unkalkibrierte Konfidenzwerte (z. B. rohe Token-Entropie oder Margen), die empfindlich auf Formulierungsänderungen von Prompts und Verschiebungen der Arbeitslast reagieren. Folglich ist das Abgleich von Schwellenwerten häufig eine manuelle, pro Arbeitslast durchgeführte Übung, die keine Generalisierung ermöglicht, was eine Lücke zwischen der theoretischen Versprechung von Kaskaden und der Produktionsleistung schafft.

Methodik
Die Arbeit schlägt UCCI (Uncertainty-Calibrated Cascade Inference) vor, ein Routing-Framework, das das Design von Kaskaden als kalibriertes Entscheidungsproblem und nicht als Abgleichübung behandelt. Die Methodik erfolgt in drei Schritten:

Extraktion von Token-Level-Unsicherheit: Für eine generierte Sequenz berechnet das System einen skalaren Unsicherheitswert $u(x)$ basierend auf der Marge zwischen den Wahrscheinlichkeiten des Top-1- und Top-2-Nächsten-Tokens ( $p_{t,1} - p_{t,2}$ ) über alle Token hinweg. Diese Marge wird aggregiert, um die gesamte Unsicherheit der Ausgabe des kleinen Modells darzustellen.
Isotone Kalibrierung: Der rohe Unsicherheitswert $u(x)$ ist keine Wahrscheinlichkeit. UCCI bildet diesen Wert unter Verwendung einer isotonen Regression auf einem zurückgehaltenen Kalibrierungsdatensatz auf eine kalibrierte, abfragebezogene Fehlerwahrscheinlichkeit $\hat{p}(x)$ ab. Dieser Schritt transformiert das fehlkalibrierte Signal in eine zuverlässige Schätzung der Wahrscheinlichkeit, dass die Ausgabe des kleinen Modells falsch ist ( $P(e(x)=1 | u(x))$ ).
Eingeschränkte Kostenminimierung: Eine Schwellenwertpolitik $\pi_\theta$ wird auf einem Validierungsdatensatz ausgewählt. Der Schwellenwert $\theta^*$ wird gewählt, um die erwarteten Inferenzkosten unter Einhaltung einer Zielgenauigkeitsbeschränkung ( $\tau$ ) zu minimieren. Die Politik leitet Abfragen mit $\hat{p}(x) \leq \theta$ an das kleine Modell weiter und eskaliert solche mit $\hat{p}(x) > \theta$ an das große Modell.

Theoretische Beiträge
Die Arbeit liefert zwei wesentliche theoretische Ergebnisse:

Optimalität von Schwellenwertpolitiken: Unter drei expliziten Annahmen (Kosten des großen Modells > Kosten des kleinen Modells; die Genauigkeit des großen Modells ist invariant gegenüber den eskalierten Abfragen; und Zugang zur wahren kalibrierten Fehlerwahrscheinlichkeit) beweisen die Autoren, dass eine Schwellenwertpolitik auf der kalibrierten Fehlerwahrscheinlichkeit kostenoptimal ist.
Stichprobenkomplexität: Die Arbeit zeigt, dass die isotone Regression mit $n$ Kalibrierungsbeispielen einen Expected Calibration Error (ECE) von $O(n^{-1/3})$ erreicht und damit eine theoretische Obergrenze für die Dateneffizienz des Kalibrierungsschritts liefert.

Experimentelles Setup und Ergebnisse
Das Framework wurde an einer Produktionsarbeitslast für Named Entity Recognition (NER) evaluiert, die 75.000 manuell gelabelte Abfragen aus einem unternehmensweiten Fotomanagementsystem umfasste.

Modelle: Ein kleines Modell mit 4 Milliarden Parametern ( $f_s$ ) und ein großes Modell mit 12 Milliarden Parametern ( $f_\ell$ ), beide instruktionsangepasst und auf H100-GPUs bereitgestellt.
Kostenmessung: Die Kosten wurden aus der gemessenen End-to-End-Latenz auf H100-GPUs abgeleitet, was ein Kostenverhältnis von $c_\ell/c_s \approx 3,02$ ergab.
Basislinien: Die Studie verglich UCCI mit Inferenz auf Einzelmodellen, unkalkibrierter Entropie-Schwellenwertsetzung, Split-Conformal-Routing und einem FrugalGPT-artigen gelernten Schwellenwert.

Wichtige Erkenntnisse:

Kostensenkung: Bei einem Ziel-Micro-F1 von 0,91 reduzierte UCCI die Inferenzkosten um 31 % (95 % KI: [27 %, 35 %]) im Vergleich zur ausschließlichen Nutzung des großen Modells.
Kalibrierungsqualität: Die isotone Regression reduzierte den Expected Calibration Error (ECE) von 0,12 (unkalibriert) auf 0,03.
Leistung im Vergleich zu Basislinien: Am gleichen Betriebspunkt (F1 = 0,91) erreichte UCCI die niedrigsten Kosten (2,08 normalisierte Einheiten) im Vergleich zur Entropie-Schwellenwertsetzung (2,31), konformer Vorhersage (2,18) und FrugalGPT-artigem Routing (2,24).
Validierung der Annahmen: Die Annahme, dass die Genauigkeit des großen Modells gegenüber dem Routing invariant bleibt, wurde empirisch getestet; die Genauigkeit bei eskalierten Abfragen (0,928) war nahezu identisch mit der globalen Genauigkeit (0,932), was das theoretische Framework stützt.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass der primäre ingenieurtechnische Wert in Kaskadensystemen in der Kalibrierung des Routing-Scores und nicht im manuellen Abgleich des finalen Schwellenwerts liegt. Durch die Umwandlung eines verrauschten Token-Margin-Signals in eine probabilistische Fehlerschätzung mittels einer kleinen isotonen Anpassung erreicht UCCI eine nahezu optimale Routing-Leistung ohne komplexe Lern-Verzögerungs-Architekturen oder Präferenzdaten.

Die Autoren betonen, dass ihre Ergebnisse auf End-to-End-Routing basieren, das echte Modellausgaben und gemessene Hardware-Latenz verwendet und damit die Selektionsverzerrung vermeidet, die in Simulationen auf Basis globaler Genauigkeiten oder nominaler API-Preise inhärent ist. Obwohl das Framework aufgabenagnostisch ist, stellen die Autoren fest, dass die spezifischen Kosteneinsparungen (31 %) und Kalibrierungsmetriken arbeitslastspezifisch sind. Sie räumen Einschränkungen bezüglich der Invarianzannahme in Domänen ein, in denen „schwierige" Abfragen für das kleine Modell unverhältnismäßig schwierig für das große Modell sind, und weisen darauf hin, dass eine statische Kalibrierung für Streaming-Bereitstellungen mit Verteilungsverschiebungen eine Anpassung erfordern könnte.

1. Das Problem: Die „Vertrauensfalle"

2. Die Lösung: UCCI (Das „Wahrheitsserum")

3. Die Ergebnisse: Geld sparen ohne Qualitätsverlust

4. Die große Erkenntnis

Technischer Zusammenfassung: UCCI – Kalibrierte Unsicherheit für kostenoptimales Routing von LLM-Kaskaden

Mehr davon