💬 NLP

Learning Agent Routing From Early Experience

Dieser Artikel stellt BoundaryRouter vor, ein trainingsfreies Framework, das den Kompromiss zwischen Latenz und Leistung durch dynamisches Routing von Anfragen entweder auf eine leichte LLM-Inferenz oder eine vollständige Agenten-Ausführung basierend auf frühem Verhaltenserfahrung und rubrikgeleiteter Schlussfolgerung optimiert und damit signifikante Verbesserungen sowohl in der Geschwindigkeit als auch in der Genauigkeit gegenüber bestehenden Methoden erzielt.

Ursprüngliche Autoren: Yimin Wang, Jiahao Qiu, Xuan Qi, Xinzhe Juan, Jingzhe Shi, Zelin Zhao, Hongru Wang, Shilong Liu, Mengdi Wang

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yimin Wang, Jiahao Qiu, Xuan Qi, Xinzhe Juan, Jingzhe Shi, Zelin Zhao, Hongru Wang, Shilong Liu, Mengdi Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, schnellen, aber manchmal übermütigen Assistenten (das LLM) und einen hochqualifizierten, gründlichen, aber langsamen und teuren Expertenberater (den Agenten).

Der Assistent kann einfache Fragen wie „Was ist die Hauptstadt von Frankreich?" sofort und kostenlos beantworten. Wenn Sie ihn jedoch bitten, ein komplexes Physikproblem zu lösen oder einen langen, mehrstufigen Code zu schreiben, könnte er falsch raten oder halluzinieren.
Der Experte kann diese schwierigen Probleme perfekt lösen, indem er Werkzeuge nutzt, recherchiert und schrittweise denkt. Das dauert jedoch lange und kostet viel Geld.

Das Problem:
Aktuell müssen Sie bei einer Mischung aus leichten und schweren Fragen raten, welche an wen gesendet werden soll. Wenn Sie alles zum Experten schicken, verschwenden Sie Zeit und Geld bei einfachen Fragen. Wenn Sie alles zum Assistenten schicken, erhalten Sie bei schwierigen Fragen falsche Antworten.

Die Lösung: „BoundaryRouter"
Die Arbeit stellt ein neues System namens BoundaryRouter vor. Stellen Sie es sich als einen klugen Verkehrspolizisten vor, der an der Kreuzung zwischen dem Assistenten und dem Experten steht. Seine Aufgabe ist es, jede eingehende Frage zu prüfen und zu entscheiden: „Ist diese einfach genug für den Assistenten, oder benötigt sie den Experten?"

Der knifflige Teil ist, dass dieser Verkehrspolizist sofort arbeiten muss, ohne vorherige Trainingsdaten oder eine „Spickzettel"-Liste mit richtigen Antworten. Es ist ein „kalter Start".

Wie es funktioniert (Die kreative Analogie):
Anstatt für eine Prüfung zu lernen, verwendet der Verkehrspolizisten einen Trick namens „Lernen aus frühen Erfahrungen".

Der „Seed"-Test: Bevor das System live geht, lassen die Forscher einen kleinen Fragenstapel durch sowohl den Assistenten als auch den Experten laufen. Ihnen sind die richtigen Antworten noch egal; sie beobachten lediglich, wie sich die beiden verhalten.
- Beispiel: Sie bemerken, dass der Assistent bei Fragen zu einer bestimmten Art von Mathematik eine kurze, selbstbewusste Antwort in 2 Sekunden gibt, während der Experte 300 Sekunden benötigt, um einen Taschenrechner hervorzuziehen und doppelt zu prüfen.
- Diese Beobachtungen speichern sie in einem kleinen „Gedächtnisbuch".
Die „Ähnlichkeits"-Suche: Wenn eine neue Frage eintrifft, blättert der Verkehrspolizist durch sein Gedächtnisbuch. Er fragt: „Sieht diese neue Frage wie die aus, die wir zuvor gesehen haben?"
- Findet er eine Übereinstimmung, bei der der Assistent schnell und der Experte langsam war, sendet er die neue Frage an den Assistenten.
- Findet er eine Übereinstimmung, bei der der Assistent verwirrt oder langsam war, sendet er die Frage an den Experten.
Die „Regelbuch"-Begründung: Um sicherzustellen, dass der Verkehrspolizist nicht einfach nur rät, folgt er einem strengen Regelbuch (genannt „Rubric-Guided Reasoning"). Er spürt nicht einfach nur, dass der Experte benötigt wird; er prüft spezifische Kriterien: „Hat die ähnliche vergangene Frage den Experte 10-mal länger gebraucht? Sah die Antwort des Assistenten vage aus?" Dies hält die Entscheidung logisch und konsistent.

Die Ergebnisse:
Die Forscher testeten dieses System auf einem neuen Benchmark namens RouteBench (eine Sammlung kniffliger Fragen).

Geschwindigkeit: Im Vergleich zur Nutzung des Experten für alles war dieses System 60 % schneller, da es keine Zeit mehr bei einfachen Fragen verschwendete.
Genauigkeit: Im Vergleich zur Nutzung des Assistenten für alles war es 28 % genauer, da es den Assistenten nicht bei schwierigen Problemen raten ließ.
Vergleich: Es funktionierte deutlich besser als andere Methoden, die nur einfache Prompts oder grundlegende Suchwerkzeuge verwendeten.

Auf den Punkt gebracht:
Diese Arbeit zeigt, dass Sie keinen massiven Trainingsdatensatz benötigen, um ein intelligentes System zu bauen, das weiß, wann es schnell und wann es gründlich sein muss. Indem Sie einfach beobachten, wie zwei verschiedene Systeme auf ein paar Beispielantworten reagieren, können Sie einem „Verkehrspolizisten" beibringen, zukünftige Fragen perfekt zu routen, und dabei Zeit und Geld sparen, ohne die Qualität zu beeinträchtigen.

Technische Zusammenfassung: Lernen von Agenten-Routing aus frühen Erfahrungen

Problemstellung

Large Language Model (LLM)-Agenten zeigen starke Fähigkeiten in komplexem Schlussfolgern, Planen und Werkzeugnutzung, verursachen jedoch hohe Latenzzeiten und Rechenkosten. Im Gegensatz dazu ist die direkte LLM-Inferenz schnell und kosteneffektiv, aber für Aufgaben, die ihre Fähigkeitsgrenze überschreiten, oft unzuverlässig. Die zentrale Herausforderung, die in dieser Arbeit adressiert wird, ist das Routing von Anfragen zwischen leichter LLM-Inferenz und vollständiger Agenten-Ausführung unter realistischen Cold-Start-Bedingungen. In diesen Szenarien fehlen für eingehende Anfragen vorliegende Leistungsdaten oder Ground-Truth-Labels, was ein standardmäßiges überwachtes Training eines Routers unpraktisch macht. Die bestehende Forschung konzentriert sich weitgehend auf das Routing innerhalb homogener Räume (z. B. zwischen verschiedenen LLMs oder zwischen verschiedenen Agenten), sodass das hybride Routing-Problem zwischen LLMs und Agenten weitgehend unerforscht bleibt.

Methodik: BoundaryRouter

Die Autoren schlagen BoundaryRouter vor, ein training-freies Routing-Framework, das Routing-Entscheidungen ohne Ground-Truth-Überwachung trifft. Das System arbeitet durch drei Kernmechanismen:

1. Lernen aus frühen Erfahrungen

Um das Cold-Start-Problem zu überwinden, konstruiert BoundaryRouter ein kompaktes Früherfahrungen-Gedächtnis ( $M$ ).

Konstruktion: Ein kleiner Seed-Satz von Fragen ( $D_{seed}$ ) wird sowohl auf dem leichten LLM als auch auf dem vollständigen Agenten ausgeführt.
Aufgezeichnete Daten: Für jede Anfrage zeichnet das System die Eingabe-Frage, die Ausgaben beider Löser ( $y_{LLM}, y_{Agent}$ ) und deren jeweilige Latenzzeiten ( $t_{LLM}, t_{Agent}$ ) auf.
Einschränkung: Entscheidend ist, dass keine Ground-Truth-Antworten, Richtigkeits-Labels oder Belohnungen gespeichert werden. Das Gedächtnis erfasst systematische Verhaltensunterschiede (z. B. Antwortmuster und Laufzeit) zwischen den beiden Systemen.

2. Retrieval-verstärktes Routing

Zum Inferenzzeitpunkt wird für eine neue Anfrage $x$ :

Das System die Top- $K$ ähnlichsten Datensätze aus dem Früherfahrungen-Gedächtnis mittels eines hybriden Retrievers (Kombination aus spärlicher lexikalischer Übereinstimmung und dichter semantischer Ähnlichkeit) abgerufen.
Diese abgerufenen Fälle dienen als Belege, die es dem Router ermöglichen, die aktuelle Anfrage mit dem historischen Verhalten beider Löser zu vergleichen, um Regelmäßigkeiten abzuleiten (z. B. ob ähnliche Formulierungen zuvor zu agentenspezifischem mehrstufigem Schlussfolgern oder Latenzspitzen führten).

3. Rubrik-geführtes Chain-of-Thought (CoT)

Um sicherzustellen, dass Entscheidungen mit spezifischen Verhaltenskriterien übereinstimmen und nicht auf offenem Schlussfolgern basieren, setzt der Routing-LLM rubrik-geführtes CoT ein.

Anstatt freiformulierter Schlussfolgerungen folgt der Router einem festen Entscheidungs-Rubrik, das im Prompt kodiert ist.
Dieses Rubrik leitet das Modell an, abgerufene Fälle explizit auf beobachtbaren Dimensionen (Antwortmerkmale und Antwortzeiten) zu bewerten, um eine Abwägung zwischen erwarteter Antwortqualität und Latenz vorzunehmen.
Die Ausgabe ist eine binäre Routing-Entscheidung: $Route(x) \in \{LLM, Agent\}$ .

Hauptbeiträge

1. Das BoundaryRouter-Framework

Die Arbeit stellt eine neuartige, training-freie Routing-Methode vor, die frühe Verhaltenserfahrungen und strukturiertes Schlussfolgern nutzt. Sie ermöglicht zuverlässiges Routing in Cold-Start-Szenarien, in denen Ground-Truth-Labels nicht verfügbar sind, und schließt die Lücke zwischen schneller, kostengünstiger LLM-Inferenz und robuster, kostenintensiver Agenten-Ausführung.

2. RouteBench-Benchmark

Um dieses Problem systematisch zu evaluieren, stellen die Autoren RouteBench vor, einen speziell für LLM-Agenten-Routing entwickelten Benchmark.

Zusammensetzung: Abgeleitet aus den GAIA- und MMLU-Datensätzen, enthält er gepaarte Löser-Ausgaben, Latenzdaten und menschlich annotierte Routing-Labels basierend auf einer deterministischen Regel (Priorität der Richtigkeit, Effizienz-Entscheidung bei Gleichstand und Ausweichlösung bei Fehlern).
Evaluierungssätze: Er bewertet die Generalisierung über drei Dimensionen:
- Basis-Satz: In-Domain-Aufgaben.
- Umformulierungs-Satz: Linguistisch gestörte Anfragen zur Prüfung der Robustheit.
- Erweiterter Satz: Out-of-Domain-Aufgaben zur Prüfung von Verteilungsverschiebungen.
Metriken: Er verwendet Instanz-Level-Genauigkeit, Löser-Level-F1-Scores und einen zusammengesetzten RouteBenchScore zur Messung der gesamten Routing-Effektivität.

Experimentelle Ergebnisse

Die Experimente wurden auf RouteBench mit 14 zeitgenössischen Modellen (einschließlich GPT-5, Gemini-3-Pro und Claude Sonnet 4) als Routing-Kern durchgeführt.

Leistungs-Kosten-Abwägung: BoundaryRouter reduzierte die durchschnittliche Inferenzzeit um 60,6 % im Vergleich zur ausschließlichen Nutzung des Agenten, während die Leistung im Vergleich zur direkten LLM-Inferenz um 28,6 % verbessert wurde.
Vergleich mit Baselines:
- Im Vergleich zu prompt-basiertem Routing (ohne Erfahrung) verbesserte BoundaryRouter die Routing-Qualität um 37,9 %.
- Im Vergleich zu retrieval-basiertem Routing (ohne rubrik-geführtes Schlussfolgern) verbesserte es die Leistung um 8,2 %.
Generalisierung: Die Methode behielt auf dem erweiterten (Out-of-Domain) Satz eine starke Leistung bei und zeigte, dass frühe Verhaltenssignale in Kombination mit rubrik-gesteuerten Schlussfolgerungen über die Trainingsverteilung hinaus generalisieren können.
Modell-Stratifizierung: Unter den Frontier-Modellen erzielten GPT-5, Gemini-3-Pro-Preview und Gemini-2.5-Pro die stärkste Routing-Leistung, insbesondere beim Umgang mit Out-of-Domain-Verschiebungen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass frühe Verhaltenssignale, wenn sie mit rubrik-geführtem Schlussfolgern gepaart werden, ein zuverlässiges Routing zwischen LLMs und Agenten auch ohne Ground-Truth-Labels oder Routing-Überwachung ermöglichen können.

Praktikabilität: Das Framework bietet einen praktischen Weg zur skalierbaren Koordination in heterogenen Schlussfolgern-Systemen ohne die Notwendigkeit teurer überwachter Trainingsdaten.
Einblick in die Routing-Schwierigkeit: Die Ergebnisse unterstreichen, dass Routing auch in In-Domain-Szenarien eine herausfordernde Aufgabe bleibt, wobei die Leistung bei Verteilungsverschiebungen für schwächere Modelle signifikant abnimmt.
Zukünftige Richtung: Während sich die aktuelle Arbeit auf binäres Routing zwischen einem einzelnen LLM und einer einzelnen Agenten-Pipeline konzentriert, schlagen die Autoren vor, dass dieser Ansatz die Grundlage für komplexere Szenarien mit mehreren Agenten oder heterogenen Werkzeugen legt.

Die Autoren betonen, dass ihre Erkenntnisse die Machbarkeit der Nutzung selbsterzeugter Früherfahrungen als leichtgewichtiges Referenzmittel zur Steuerung systemweiter Entscheidungen demonstrieren und das Paradigma von der statischen Modellauswahl hin zu einer dynamischen, erfahrungsgetriebenen Koordination verschieben.