🤖 machine learning

R2V Agent: Teaching SLMs When to Ask for Help

Das Papier stellt R2V-Agent vor, ein risikokalibriertes Framework, das ein kleines Sprachmodell (SLM) mit verifiziergeleiteter Optimierung und einem schrittweisen Router trainiert, um dynamisch nur hochriskante Entscheidungen auf ein kostspieliges großes Sprachmodell zu eskalieren, wodurch die Erfolgswahrscheinlichkeit von Aufgaben bei gleichzeitiger Minimierung des teuren LLM-Einsatzes über diverse Benchmarks hinweg signifikant verbessert wird.

Ursprüngliche Autoren: Raghu Vamshi Hemadri, Humaira Firdowse Mohammed, Rishabh Maheshwary, Srivatsava Daruru, Sagar Davasam, Vikas Yadav, Srinivas Sunkara, Sai Rajeswar

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raghu Vamshi Hemadri, Humaira Firdowse Mohammed, Rishabh Maheshwary, Srivatsava Daruru, Sagar Davasam, Vikas Yadav, Srinivas Sunkara, Sai Rajeswar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Alles-oder-Nichts"-Dilemma

Stellen Sie sich vor, Sie führen eine hochriskante Küche. Sie haben zwei Köche:

Der Junior-Koch (SLM): Schnell, günstig und großartig beim Schneiden von Gemüse oder Toasten. Aber wenn ein komplexes Rezept kommt oder der Ofen kaputtgeht, gerät er vielleicht in Panik und verbrennt das Essen.
Der Meisterkoch (LLM): Unglaublich gut in allem, kann kaputte Öfen reparieren und verbrennt nie Essen. Aber sie sind teuer zu engagieren und kommen langsam an.

Der alte Weg:

Option A: Engagieren Sie den Meisterkoch für jeden einzelnen Auftrag, selbst nur für eine Toastscheibe. Das garantiert ein perfektes Essen, kostet aber ein Vermögen.
Option B: Lassen Sie den Junior-Koch alles erledigen. Das ist günstig, aber wenn der Junior-Koch bei einem schwierigen Rezept stecken bleibt oder der Ofen ausfällt, ist das gesamte Essen ruiniert.

Die Erkenntnis des Papiers:
Die meisten aktuellen Systeme versuchen, bevor das Kochen beginnt, zu entscheiden: „Ist dieser Auftrag schwer? Wenn ja, rufen Sie den Meisterkoch." Aber Kochen ist chaotisch. Eine einfache Bestellung kann zu einer Katastrophe werden, wenn der Junior-Koch ein Ei fallen lässt, der Ofen einen Fehler macht oder das Rezept mitten drin einen Tippfehler enthält. Die Schwierigkeit bevor man beginnt zu entscheiden, ist wie der Versuch, einen Autounfall vorherzusagen, bevor man überhaupt losgefahren ist.

Die Lösung: R2V-Agent (Der intelligente Supervisor)

Die Autoren schlagen R2V-Agent vor, ein System, das wie ein intelligenter Schichtleiter funktioniert, der den Junior-Koch Schritt für Schritt beobachtet.

Statt das Schicksal des gesamten Essens am Anfang zu entscheiden, meldet sich der Supervisor nach jeder einzelnen Aktion:

„Hat der Junior-Koch gerade die Zwiebel richtig gehackt?" -> Weitermachen.
„Hat der Junior-Koch gerade versucht, ein Glas mit einem Hammer zu öffnen?" -> Stop! Sofort den Meisterkoch rufen.

Dieses System ist darauf ausgelegt, „risiko-kalibriert" zu sein. Es rät nicht einfach; es berechnet das spezifische Risiko des nächsten Schritts zu scheitern.

Wie es funktioniert (Die vier Zutaten)

Das Papier beschreibt eine Pipeline mit vier Hauptteilen, die wir als ein Trainingslager für den Junior-Koch und eine neue Regelbuch für den Supervisor betrachten können.

1. Training des Junior-Kochs (Der destillierte SLM)

Bevor der Supervisor eingestellt wird, wird der Junior-Koch trainiert, so gut wie möglich zu sein.

Die Methode: Er beobachtet, wie der Meisterkoch kocht (Behavioral Cloning). Dann übt er das Kochen in einem „Chaos-Simulator", in dem der Ofen ausfällt, Zutaten fehlen oder das Rezept Tippfehler enthält (Perturbations).
Die Verfeinerung: Wenn der Junior-Koch im Simulator einen Fehler macht, weist ein Verifier (ein strenger Verkoster) darauf hin. Der Junior-Koch lernt, diese spezifischen Fehler mit einer Technik namens DPO (Direct Preference Optimization) zu beheben.
Das Ergebnis: Ein Junior-Koch, der sehr gut bei Routineaufgaben ist und weiß, wie man sich von kleinen Fehlern erholt.

2. Der Verifier (Der Verkoster)

Dies ist ein leichtgewichtiges Tool, das die Arbeit des Junior-Kochs sofort überprüft.

Bei einer Codierungsaufgabe führt es einen schnellen Test durch, um zu sehen, ob der Code funktioniert.
Bei einem Textspiel prüft es, ob der Zug sinnvoll ist.
Es gibt eine Bewertung ab: „Dieser Schritt sieht gut aus" oder „Dieser Schritt sieht riskant aus."

3. Der Supervisor (Der Router)

Dies ist die Haupterfindung des Papiers. Der Supervisor prüft drei Dinge, bevor er entscheidet, ob er den Meisterkoch ruft:

Vertrauen: Rät der Junior-Koch wild herum?
Die Bewertung des Verifiers: Hat der Verkoster eine niedrige Punktzahl gegeben?
Der Kontext: Befinden wir uns mitten in einem schwierigen Teil des Rezepts?

Der Supervisor verwendet einen speziellen mathematischen Trick (genannt CVaR), um besonders vorsichtig zu sein. Ihm geht es nicht nur um die durchschnittlichen Kosten; ihm geht es um das Worst-Case-Szenario. Er fragt: „Wenn ich den Junior-Koch diesen einen Versuch noch einmal machen lasse, gibt es dann eine kleine Chance, dass er das ganze Gericht völlig ruiniert?" Wenn die Antwort ja ist, ruft er den Meisterkoch.

4. Das Budget (Der Geldbeutel)

Das System weiß, dass es den Meisterkoch nicht ewig rufen kann. Es hat ein Budget. Die Aufgabe des Supervisors ist es, dieses Budget nur für die Schritte auszugeben, bei denen der Junior-Koch am ehesten scheitern wird.

Die Ergebnisse: Geld sparen, ohne Essen zu verbrennen

Die Forscher testeten dies in drei verschiedenen „Küchen":

Codierung (HumanEval+): Schreiben von Computercode.
Textspiele (TextWorld): Navigieren durch ein virtuelles Haus, um Objekte zu finden.
Terminal-Aufgaben (TerminalBench): Reparieren von Computersystemen und Software.

Die Erkenntnisse:

Bei einfachen Aufgaben (Codierung): Der Junior-Koch war so gut, dass der Supervisor den Meisterkoch fast nie rief (nur 0,6 % der Zeit), dennoch war die Erfolgsquote immer noch unglaublich hoch (94,3 %).
Bei kniffligen Aufgaben (Textspiele): Der Junior-Koch hatte allein Schwierigkeiten (64,6 % Erfolg). Mit dem Supervisor erreichten sie 98,2 % Erfolg, riefen den Meisterkoch aber nur 41,7 % der Zeit.
Bei komplexen Aufgaben (TerminalBench): Der Supervisor sparte etwa die Hälfte der Kosten im Vergleich zu älteren Methoden, die den Meisterkoch zu oft riefen.

Die Analogie des „Orakels"**

Das Papier erwähnt ein „Orakel" (ein magischer Supervisor, der die Zukunft kennt). Das Orakel weiß genau, wann der Junior-Koch scheitern wird, bevor es passiert.

Der R2V-Supervisor ist nicht magisch, aber er kommt dem sehr nahe.
Bei den Textspielen musste das Orakel den Meisterkoch 35,4 % der Zeit rufen, um eine perfekte Punktzahl zu erzielen. Der R2V-Supervisor benötigte 41,7 %. Das ist eine sehr kleine Lücke für ein System, das keine Glaskugel hat.

Zusammenfassung

R2V-Agent ist ein System, das eine günstige, schnelle KI lehrt, die meiste Arbeit zu erledigen, ihr aber ein intelligentes „Sicherheitsnetz" gibt. Dieses Sicherheitsnetz beobachtet jeden einzelnen Schritt, prüft auf Anzeichen von Problemen und ruft nur dann die teure, leistungsstarke KI hinzu, wenn es absolut notwendig ist. Es ist wie ein günstiges Auto, das selbst fährt, aber mit einem Beifahrer, der nur dann das Steuer übernimmt, wenn die Straße vereist ist oder der Motor seltsame Geräusche macht.

Technische Zusammenfassung: R2V-Agent – SLMs beibringen, wann sie um Hilfe bitten müssen

Problemstellung

Effiziente Agentensysteme, die in interaktiven Umgebungen operieren (z. B. Softwareentwicklung, Webnavigation, Systemadministration), stehen vor einem grundlegenden Zielkonflikt zwischen Zuverlässigkeit und Kosten. Die Zuverlässigkeit hängt häufig von teuren Frontier-Modellen (Large Language Models, LLMs) ab, insbesondere wenn Aufgaben langfristige Planung, die Wiederherstellung nach gescheiterten Tool-Aufrufen oder Schlussfolgerungen unter unvollständigen Beobachtungen erfordern. Umgekehrt sind Small Language Models (SLMs) kosteneffizient, aber bei Verteilungsverschiebungen (out-of-distribution perturbations) brüchig.

Bestehende LLM-Kaskaden und Router führen typischerweise eine Zuweisung auf Abfrageebene durch und entscheiden, welches Modell verwendet werden soll, bevor die Ausführung beginnt oder nachdem eine vollständige Antwort generiert wurde. Dieser Ansatz ist für agentische Partially Observable Markov Decision Processes (POMDPs) ungeeignet, bei denen die Aufgabenschwierigkeit trajektorienabhängig ist. Eine Aufgabe kann innerhalb der Trainingsverteilung beginnen, aber aufgrund von instabilen Tool-Aufrufen, abgeschnittenen Beobachtungen oder sich kumulierenden lokalen Fehlern mitten in der Trajektorie riskant werden. Die gesamte Aufgabe an ein SLM zu routen, ist brüchig, während die gesamte Aufgabe an ein LLM zu routen unnötig teuer ist. Die Kernherausforderung besteht darin, zu bestimmen, wann ein eingesetztes lokales SLM während der Ausführung einer mehrstufigen Agenten-Trajektorie an ein stärkeres Lehrer-LLM delegieren sollte.

Methodik

Die Autoren schlagen R2V-Agent vor, ein risikokalibrierter Rahmen für das Routing auf Schrittebene zwischen SLM und LLM. Das System zerlegt die Ausführung in vier Komponenten:

Destilliertes SLM-Policy ( $\pi_\theta$ ): Ein lokales Modell, das für den Umgang mit Routine-Schritten trainiert wurde.
Lehrer-LLM ( $\pi_T$ ): Ein stärkeres Modell, das nur bei Bedarf aufgerufen wird.
Prozess-Verifier ( $V_\phi$ ): Ein leichtgewichtiges Modul, das Kandidatenaktionen in jedem Schritt bewertet.
Kalibrierter Router ( $r_\psi$ ): Der zentrale Beitrag, der das verbleibende Ausfallrisiko in jedem Schritt schätzt.

Trainingspipeline

Das System wird als geordnete Pipeline und nicht als gemeinsames Multi-Loss-Ziel trainiert, um sicherzustellen, dass der Router die Fehlermodi einer festen Policy lernt:

Offline-Destillation (SLM-Training):
- Behavioral Cloning (BC): Das SLM wird mit Lehrer-Trajektorien warm-started, die mit Störungsoperatoren angereichert wurden (Simulation von Tool-Fehlern, fehlenden Beobachtungen, Prompt-Injection usw.).
- Verifier-geführte DPO: Die BC-Policy generiert Kandidatenaktionen, die vom Verifier bewertet werden. Präferenzpaare werden zwischen vom Verifier genehmigten/vom Lehrer wiederhergestellten Aktionen und qualitativ minderwertigen BC-Stichproben konstruiert. Das SLM wird mittels Direct Preference Optimization (DPO) verfeinert, wobei die BC-Policy als Referenz eingefroren bleibt.
- Konsistenzregularisierung: Ein Term für die Jensen-Shannon-Divergenz (JSD) ermutigt das SLM, stabile Aktionsverteilungen über verschiedene Störungsrealisierungen desselben latenten Zustands hinweg zu produzieren, was die Robustheit verbessert.
Router-Training:
- Sobald die SLM-Policy fixiert ist, wird der Router auf den verbleibenden Fehlern dieser Policy trainiert.
- Merkmale: Der Router verarbeitet einen 15-dimensionalen Vektor, der Token-Level-Entropie, Verifier-Score-Statistiken (Mittelwert, Streuung, Bestes/Schlechtes), Kandidatenkonsistenz und Trajektorien-Zustandsmerkmale umfasst.
- Labels: Das Routing-Label $y_t$ ist binär und gibt an, ob die reine SLM-Ablaufsimulation, die den aktuellen Kontext enthält, das Episode-Ergebnis letztendlich nicht bestanden hat.
- Zielfunktion: Der Router minimiert einen Brier-kalibrierten Verlust, um die bedingte Wahrscheinlichkeit eines Episodenfehlers zu schätzen. Entscheidend ist, dass er ein durch Conditional Value-at-Risk (CVaR) eingeschränktes Ziel verwendet. Dies bestraft Router, die im Durchschnitt günstig sind, aber unter Worst-Case-Störungs-Startwerten brüchig sind, und gewährleistet so Robustheit gegenüber Tail-Risiken.

Inferenz

Zum Testzeitpunkt führt das destillierte SLM standardmäßig aus. Der Router schätzt das verbleibende Risiko $p_t = r_\psi(f_t)$ . Wenn $p_t$ einen kalibrierten Schwellenwert $\tau^*_{route}$ überschreitet und das LLM-Budget noch vorhanden ist, eskaliert das System zum Lehrer-LLM; andernfalls fährt es mit der SLM-Aktion fort.

Hauptbeiträge

Stateful Formulierun des Schritte-Routings: Der Artikel formuliert das SLM-LLM-Agent-Routing als zustandsbehaftetes Zuweisungsproblem in gestörten POMDPs und geht über statische Entscheidungen auf Abfrageebene hinaus.
Zielfunktion für Restrisiko-Routing: Die Autoren führen eine Routing-Zielfunktion ein, die eine Brier-kalibrierte Wahrscheinlichkeitsschätzung mit einer durch CVaR eingeschränkten Tail-Risiko-Kontrolle kombiniert. Dies stellt sicher, dass der Router nur eskaliert, wenn das geschätzte Risiko die Kosten rechtfertigt, und vermeidet brüchige Policies.
Empirische Validierung: Der Rahmen wird über drei Benchmarks (HumanEval+, TextWorld, TerminalBench) und vier SLM-Backbones (Gemma-9B, LLaMA-3.1-8B, Qwen2.5-7B/14B) evaluiert und zeigt, dass kalibriertes Schrittrouting die Aufrufe von Frontier-Modellen erheblich reduziert, während der hohe Erfolg bei Aufgaben erhalten bleibt.

Ergebnisse

R2V-Agent verbessert die Zuverlässigkeits-Kosten-Grenze über alle getesteten Benchmarks hinweg:

HumanEval+ (Code-Generierung): In einem Regime mit geringen Fehlern erreicht R2V 94,3 % Erfolg bei nur 0,6 % LLM-Eskalation, eine signifikante Verbesserung gegenüber der reinen SLM-Baseline (91,9 %) bei vernachlässigbaren Kosten.
TextWorld (Embodied Control): R2V stellt die Leistung von 64,6 % (reines SLM) auf 98,2 % Erfolg mit 41,7 % Eskalation wieder her. Dies liegt nahe an der Hindsight-Oracle-Rate (35,4 %) und ist deutlich effizienter als heuristische Router, die fast 100 % Eskalation benötigen, um einen ähnlichen Erfolg zu erzielen.
TerminalBench (Shell-Engineering): R2V verbessert den Erfolg von 81,1 % auf 93,3 % unter Verwendung von 33,9 % LLM-Aufrufen. Dies entspricht ungefähr der Hälfte der Kosten eines heuristischen Routers (66,0 % Eskalation) bei vergleichbarer Zuverlässigkeit.

Ablationsstudien bestätigen, dass sowohl die Konsistenzregularisierung (Verbesserung der SLM-Stabilität) als auch der vollständige Merkmalsatz (Kombination von Verifier-Signalen und Entropie) kritisch sind. Das System zeigt zudem eine graceful Degradation in geschlossenen Umgebungen, in denen Token-Log-Wahrscheinlichkeiten nicht verfügbar sind, indem es „Pseudo-Entropie" verwendet, die aus Verifier-Scores abgeleitet wird.

Bedeutung

Der Artikel argumentiert, dass effiziente Agenten nicht zwischen einer billigen, aber brüchigen SLM-Ausführung und einer teuren vollständigen LLM-Ausführung wählen müssen. Indem das Routing als zustandsbehaftete, schrittweise Entscheidung behandelt wird, die auf Restrisiko-Schätzung basiert, bietet R2V-Agent eine praktische Mitte. Die Arbeit hebt hervor, dass:

Die Aufgabenschwierigkeit bei Agenten dynamisch und trajektorienabhängig ist, was statische Routing-Entscheidungen auf Abfrageebene unzureichend macht.
Kalibriertes probabilistisches Routing, das durch Tail-Risiko-Ziele (CVaR) eingeschränkt ist, heuristischen oder entropiebasierten Schwellenwerten überlegen ist, um die Rechenzuweisung in interaktiven Umgebungen zu steuern.
Die Trennung des Trainings einer stabilen lokalen Policy vom Training des Router eine präzise Isolierung von Strategien zur Rechenzuweisung von Techniken zur Policy-Verbesserung ermöglicht.

Die Autoren weisen darauf hin, dass die Leistung des Systems weiterhin von der Qualität des Verifiers und der Risikomerkmale abhängt und dass einige Fehler (insbesondere bei komplexen Shell-Aufgaben) online schwer zu erkennen sind, was Raum für zukünftige Arbeiten zur Verbesserung des Verifiers und zur dynamischen Budgetanpassung lässt.