💬 NLP

Expected Reward Prediction, with Applications to Model Routing

Diese Arbeit stellt eine Methode zur Vorhersage der erwarteten Belohnung von Sprachmodellen vor, die es ermöglicht, Eingabeaufforderungen effizient an das am besten geeignete Modell aus einem Pool weiterzuleiten, um die Antwortqualität zu maximieren und gleichzeitig die Rechenkosten zu kontrollieren.

Ursprüngliche Autoren: Kenan Hasanaliyev, Silas Alberti, Jenny Hamer, Dheeraj Rajagopal, Kevin Robinson, Jasper Snoek, Victor Veitch, Alexander Nicholas D'Amour

Veröffentlicht 2026-03-24

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kenan Hasanaliyev, Silas Alberti, Jenny Hamer, Dheeraj Rajagopal, Kevin Robinson, Jasper Snoek, Victor Veitch, Alexander Nicholas D'Amour

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast eine riesige Bibliothek mit verschiedenen Künstlern (den KI-Modellen), die alle auf dieselbe Frage antworten sollen. Manche sind schnelle Skizzenzeichner (kleine, günstige Modelle), andere sind detailverliebte Meistermaler (große, teure Modelle).

Die große Frage ist: Welchen Künstler soll ich für welche Aufgabe beauftragen, ohne vorher zu wissen, wie das Ergebnis aussehen wird?

Bisher mussten wir oft erst alle Künstler anheuern, ihre Werke ansehen und dann das Beste auswählen. Das ist teuer und langsam.

Dieses Papier stellt eine geniale neue Methode vor, die wir „Erwartete Belohnungsvorhersage" nennen. Hier ist die einfache Erklärung:

1. Das Problem: Der Blindflug

Normalerweise bewerten wir KI-Antworten erst, nachdem sie geschrieben wurden. Ein „Richter" (das Reward-Modell) schaut sich die Antwort an und gibt Punkte.

Frage: „Wie ist das Wetter in Paris?"
KI A: „Es regnet." (Punkte: 10)
KI B: „Paris ist die Hauptstadt." (Punkte: 0)

Aber was, wenn wir vorher schon wissen wollen, welcher KI wir die Frage stellen sollen, um die besten Punkte zu bekommen, ohne sie alle erst antworten zu lassen?

2. Die Lösung: Der Wettervorhersage-Experte

Die Autoren haben entdeckt, dass man die durchschnittliche Qualität einer KI für eine bestimmte Frage vorhersagen kann, indem man sich nur die Frage selbst ansieht.

Stell dir vor, du hast einen sehr klugen Assistenten (ein einfaches lineares Modell), der gelernt hat, Fragen zu lesen.

Er sieht eine Frage über Mathe. Er denkt: „Aha, hier braucht man einen Mathe-Genie. Das große Modell (KI A) wird wahrscheinlich 90 Punkte bekommen, das kleine (KI B) nur 40."
Er sieht eine Frage über Alltagsplaudern. Er denkt: „Hier reicht das kleine Modell völlig aus. Beide werden 80 Punkte bekommen."

Der Trick ist: Man muss nicht warten, bis die KI antwortet. Man kann die „Erwartete Belohnung" (den zu erwartenden Punktestand) direkt aus der Frage ableiten.

3. Die Anwendung: Der intelligente Kurier (Model Routing)

Das ist wie ein intelligenter Kurierdienst für Fragen. Wenn eine Frage reinkommt, schaut der Kurier auf die Frage und entscheidet sofort:

„Diese Frage ist komplex und teuer. Ich schicke sie zum großen, teuren Modell."
„Diese Frage ist einfach. Ich schicke sie zum kleinen, billigen Modell."

Warum ist das toll?

Geld sparen: Du musst nicht immer den teuersten Künstler bezahlen, wenn ein günstiger reicht.
Zeit sparen: Du musst nicht erst 5 verschiedene Antworten generieren und vergleichen.
Skalierbarkeit: Wenn morgen ein neuer, noch besserer Künstler in die Bibliothek kommt, musst du dem Kurier nur sagen: „Der neue ist gut bei Mathe." Du musst nicht das ganze System neu erfinden.

4. Ein einfaches Beispiel aus dem Papier

Die Forscher haben verschiedene KI-Modelle (wie Llama und Gemma) getestet. Sie haben gesehen, dass eine einfache mathematische Formel (eine „Lineare Regression") ausreicht, um vorherzusagen, wie gut ein Modell auf eine Frage antworten wird.

Frage: „Löse diese komplexe Integralrechnung."
Vorhersage: Das kleine Modell wird wahrscheinlich versagen (niedrige erwartete Belohnung). Das große Modell wird brillieren (hohe erwartete Belohnung).
Entscheidung: Schicke die Frage zum großen Modell.
Frage: „Wie heißt die Hauptstadt von Frankreich?"
Vorhersage: Beide Modelle werden es wissen.
Entscheidung: Schicke die Frage zum kleinen, billigen Modell.

Zusammenfassung

Das Papier sagt im Grunde: „Wir müssen nicht raten, welches KI-Modell die beste Antwort geben wird. Wir können es berechnen, bevor die Antwort überhaupt existiert."

Das ist wie ein Wettervorhersage-System für KI-Antworten. Es erlaubt uns, die richtige KI für die richtige Aufgabe auszuwählen, Geld zu sparen und trotzdem die besten Ergebnisse zu bekommen. Es ist einfach, schnell und funktioniert erstaunlich gut.

1. Problemstellung

In der aktuellen Praxis werden Reward-Modelle (Belohnungsmodelle) primär verwendet, um die Qualität von einzelnen Antworten ( $y$ ) auf einen festen Prompt ( $x$ ) zu bewerten. Diese Modelle sind darauf trainiert, Antworten desselben Modells zu vergleichen (z. B. um die beste von $n$ Stichproben auszuwählen).

Das Paper adressiert jedoch eine grundlegendere Frage: Wie gut ist ein bestimmtes Sprachmodell ( $\pi$ ) für einen gegebenen Prompt ( $x$ ), bevor überhaupt eine Antwort generiert wurde?
Das Ziel ist es, eine Antwort-Level-Reward-Funktion $r(x, y)$ auf eine Modell-Level-Rewards-Funktion zu heben. Konkret wird der erwartete Reward definiert als:
$ER_\pi(x) := \mathbb{E}_{Y \sim \pi(Y|x)}[r(x, Y)]$
Dieser Wert repräsentiert den durchschnittlichen Reward, den ein Modell $\pi$ bei wiederholter Generierung von Antworten auf den Prompt $x$ erzielen würde.

Die Herausforderung besteht darin, dass:

Das Verhalten von LLMs prompt-spezifisch und stochastisch sein kann.
Viele Reward-Modelle nur relative Unterschiede zwischen zwei Antworten ( $r(x, y_1) - r(x, y_0)$ ) garantieren, nicht aber absolute Werte, da ein prompt-abhängiger Bias hinzugefügt werden könnte.

Die Autoren untersuchen, ob es möglich ist, diesen erwarteten Reward a priori (nur basierend auf dem Prompt) präzise vorherzusagen.

2. Methodik

Daten und Setup

Datensatz: Es wurde das open-perfectblend-Dataset verwendet, das 4000 Prompts aus vier Kategorien enthält: Allgemeiner Chat, Instruktionsbefolgung, Mathematik und Code.
Modelle: Eine Pool von Open-Weight-Modellen wurde getestet: Llama 3.1-IT (8B, 70B), Gemma 2-IT (9B, 27B) und Gemma 1-IT (7B).
Reward-Modelle: Drei verschiedene Reward-Modelle wurden evaluiert (OpenAssistant-RM, GRM-2B-RM, InternLM-RM), die auf der Bradley-Terry-Likelihood trainiert wurden.
Ground Truth: Für jeden Prompt wurden $K=32$ Antworten pro Modell generiert, um den empirischen mittleren Reward als Zielwert zu berechnen.

Vorhersagemodell (Expected Reward Prediction - ERP)

Anstatt komplexe neuronale Netze zu trainieren, verwenden die Autoren einen extrem einfachen Ansatz:

Embedding: Der Prompt $x$ wird in einen festen Vektor $v(x)$ transformiert (unter Verwendung des gte-large-en-v1.5 Embedding-Modells).
Linearer Regressor: Ein ridge-regularisierter linearer Modell wird trainiert, um den empirischen Erwartungswert direkt aus dem Embedding vorherzusagen:
$\hat{ER}_\pi(x) = \theta^\top v(x)$
Das Ziel ist die Minimierung des quadratischen Fehlers zwischen der Vorhersage und dem empirischen Mittelwert der 32 Stichproben.

Anwendung: Model Routing

Die Vorhersagen werden genutzt, um ein Routing-Protokoll zu entwerfen. Das Ziel ist es, bei einem eingehenden Prompt $x$ das Modell aus einem Pool $\Pi$ auszuwählen, das den höchsten erwarteten Reward bei akzeptablen Kosten liefert.

Kostenfunktion: Basierend auf der Modellgröße (Parameteranzahl).
Optimierungsziel: Maximierung des erwarteten Rewards unter Einhaltung eines Kostenbudgets $C$ .
Strategie: Ein Parameter $\lambda$ balanciert Reward und Kosten. Das Routing wählt das Modell $i$ , das $\hat{ER}_{\pi_i}(x) - \lambda \cdot \text{Kosten}(i)$ maximiert.

3. Wichtige Beiträge

Vorhersagbarkeit des erwarteten Rewards: Die Hauptentdeckung ist, dass der erwartete Reward eines LLMs für einen Prompt mit hoher Präzision vorhergesagt werden kann, obwohl Reward-Modelle theoretisch nur relative Bewertungen liefern sollten.
Einfachheit der Lösung: Diese Vorhersage gelingt bereits mit einem linearen Modell auf Basis von Standard-Embeddings. Es sind keine komplexen Architekturen oder pairwise-Vergleiche zwischen Modellen nötig.
Skalierbarkeit: Im Gegensatz zu herkömmlichen Routing-Methoden, die oft paarweise Vergleichsdaten benötigen (Skalierung mit $O(N^2)$ für $N$ Modelle), skaliert die ERP-Methode linear mit der Anzahl der Modelle ( $O(N)$ ). Ein neues Modell kann einfach durch Training eines einzelnen linearen Probes hinzugefügt werden.
Erklärung komplexerer Methoden: Die Ergebnisse liefern eine Erklärung für den Erfolg komplexerer Router (wie „Zooter"), die implizit erwartete Rewards schätzen. ERP zeigt, dass direkte Vorhersagen auf Modellebene ebenso effektiv, aber effizienter sind.

4. Ergebnisse

Vorhersagegüte ( $R^2$ ): Die linearen Modelle erklärten einen signifikanten Teil der Varianz im erwarteten Reward (Aggregate $R^2$ zwischen 0,46 und 0,59 über verschiedene Modelle hinweg). Dies gilt sowohl innerhalb als auch zwischen den Prompt-Kategorien.
Diskriminierungsfähigkeit: Die Vorhersagen sind nicht nur gut darin, „gute" von „schlechten" Prompts zu unterscheiden, sondern können auch zwischen Modellen für denselben Prompt differenzieren.
Routing-Leistung:
- Die ERP-basierte Routing-Strategie übertraf Baselines, die Prompts nur basierend auf dem durchschnittlichen Performance des Modells in einer Kategorie routen.
- In den Pareto-Frontier-Diagrammen (Trade-off zwischen Kosten und Bedauern/Regret) dominierte ERP fast alle nicht-orakel-basierten Baselines.
- ERP erreichte eine Leistung, die der eines „Orakels" (das die beste Kategorie-zu-Modell-Zuordnung kennt) nahe kam, ohne diese Informationen zu benötigen.
- Der Vergleich mit der „Zooter"-Methode zeigte, dass ERP ähnlich gut abschneidet, aber deutlich einfacher und skalierbarer ist.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Erwartungswerte von Reward-Modellen auf Prompts übertragbar und vorhersagbar sind. Dies ermöglicht es, Reward-Funktionen von der Antwort-Ebene auf die Modellebene zu heben.

Praktische Implikationen:

Kosteneffizienz: LLM-Routing kann dynamisch und kostengünstig optimiert werden, indem teure Modelle nur für Prompts verwendet werden, bei denen sie einen signifikanten Mehrwert bieten.
Flexibilität: Neue Modelle können nahtlos in ein Routing-System integriert werden, ohne das gesamte System neu zu trainieren oder massive paarweise Vergleichsdaten zu sammeln.
Inference-Time-Optimierung: Die Methode eröffnet neue Möglichkeiten für Inference-Operationen wie das dynamische Anpassen von System-Prompts oder die Auswahl des besten Modells in Echtzeit.

Zusammenfassend zeigt die Arbeit, dass einfache lineare Modelle auf Embeddings ausreichen, um komplexe stochastische Eigenschaften von LLMs (ihren erwarteten Erfolg) zu erfassen, was einen Paradigmenwechsel von komplexen pairwise-Vergleichs-Systemen hin zu skalierbaren, modellunabhängigen Vorhersagen darstellt.