💬 NLP

FlyRoute: Self-Evolving Agent Profiling via Data Flywheel for Adaptive Task Routing

FlyRoute ist ein sich selbst weiterentwickelndes Profilierungsframework, das einen Daten-Flywheel nutzt, um Agenten-Fähigkeitsbeschreibungen aus realen Datenverkehr dynamisch zu aktualisieren und die Genauigkeit der adaptiven Aufgabenzuweisung gegenüber statischen Baselines durch gezielte Exploration und Evidenzdistillation erheblich verbessert.

Ursprüngliche Autoren: Rongjun Li, Ziyu Zhou, Yihang Wu

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rongjun Li, Ziyu Zhou, Yihang Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein belebtes, hochtechnisiertes Bürogebäude vor, in dem eine Empfangsdame (der Router) dafür verantwortlich ist, jede Frage eines Besuchers an den richtigen Experten im Gebäude weiterzuleiten.

In einem traditionellen Büro verlässt sich die Empfangsdame auf ein statisches Verzeichnis, das von den Gebäudemanagern erstellt wurde. Dieses Verzeichnis besagt: „Dr. Smith kümmert sich um Cloud-Probleme" und „Ingenieur Lee ist für Mobiltelefone zuständig." Das Problem ist, dass die Experten ständig neue Fähigkeiten erlernen, neue Werkzeuge kaufen und ihre Arbeitsweise ändern. Doch das Verzeichnis wird nie aktualisiert. Daher schickt die Empfangsdame Fragen weiterhin an die falschen Personen, weil ihre alten Stellenbeschreibungen veraltet sind.

FlyRoute ist ein neues, selbstverbesserndes System, das dieses Problem löst, indem es die Empfangsdame in eine intelligente, lernende Maschine verwandelt. So funktioniert es, anhand einfacher Analogien:

1. Das „selbstentwickelnde" Verzeichnis

Anstatt sich auf eine statische Liste zu verlassen, erstellt FlyRoute ein lebendiges Profil für jeden Experten basierend darauf, was sie tatsächlich tun.

Der alte Weg: Sie schreiben eine Stellenbeschreibung einmal auf, und sie bleibt für immer dort, selbst wenn der Experte lernt, eine neue Sprache zu sprechen oder ein neues Werkzeug zu benutzen.
Die FlyRoute-Methode: Jedes Mal, wenn ein Experte ein Problem erfolgreich löst, wird dieser Erfolg als „Nachweis der Kompetenz" gespeichert. Im Laufe der Zeit liest das System Tausende dieser erfolgreichen Fälle durch und schreibt die Stellenbeschreibung des Experten so um, dass sie ihrer aktuellen Realität entspricht, nicht ihrem alten Lebenslauf.

2. Das „Daten-Schwungrad" (Der Motor)

Stellen Sie sich dieses System als ein Fahrrad mit einem Schwungrad vor. Sobald Sie es in Bewegung setzen, gewinnt es Schwung und dreht sich von selbst weiter.

Schritt 1: Weiterleitung. Ein Nutzer stellt eine Frage. Das System schätzt, welcher Experte am besten geeignet ist.
Schritt 2: Die Qualitätskontrolle. Wenn der Experte eine gute Antwort gibt, speichert das System das Paar „Frage + Gute Antwort" in einer speziellen „Erfolgsbibliothek". Wenn die Antwort schlecht ist, wird sie verworfen.
Schritt 3: Destillation. In regelmäßigen Abständen liest das System die Erfolgsbibliothek durch und erstellt eine frische, prägnante Zusammenfassung dessen, worin dieser Experte tatsächlich gut ist.
Schritt 4: Bessere Weiterleitung. Wenn das nächste Mal eine Frage eingeht, nutzt der Router diese frische Zusammenfassung (zusammen mit Beispielen aus der Bibliothek), um eine intelligentere Schätzung abzugeben.
Das Ergebnis: Eine bessere Weiterleitung führt zu mehr guten Antworten, was zu mehr Daten führt, was zu noch besseren Zusammenfassungen führt. Das System wird mit zunehmender Nutzung intelligenter.

3. Der „intelligente Entdecker" (Unsicherheitsgesteuerte Exploration)

Ein häufiger Fehler in solchen Systemen besteht darin, entweder:

Nur Fragen an die „berühmten" Experten zu senden (die bereits als gut bekannt sind), wodurch neuen Experten keine Chance bleibt, sich zu beweisen.
Fragen zufällig an alle zu senden, was eine Verschwendung von Zeit und Geld ist.

FlyRoute verwendet eine intelligente Entdecker-Strategie. Stellen Sie sich einen Pfadfinder vor, der nach neuem Talent sucht.

Wenn ein Experte nur sehr wenige Einträge in der „Erfolgsbibliothek" hat, weiß das System, dass sein Profil „unsicher" ist.
Das System fragt dann: „Ist diese neue Frage etwas, das dieser unsichere Experte vielleicht bewältigen könnte?" (Es prüft, ob die Wörter in der Frage mit dem übereinstimmen, was der Experte zuvor getan hat).
Wenn die Antwort „vielleicht" lautet, sendet das System die Frage an diesen Experten, nur um ihn zu testen.
Wenn der Experte erfolgreich ist, fügt das System diesen Nachweis seiner Bibliothek hinzu. Wenn er scheitert, lernt es, dass er nicht der richtige Ansprechpartner für diese Art von Frage ist.
Dies stellt sicher, dass das System keine Zeit mit Experten verschwendet, die offensichtlich nicht helfen können, aber es gibt neuen oder aktualisierten Experten eine faire Chance, ihre neuen Fähigkeiten unter Beweis zu stellen.

4. Die Ergebnisse

Die Forscher testeten dies an einem realen Unternehmenssystem mit vier Arten von Experten (Cloud, KI, Hardware und Mobile OS).

Ausgangspunkt: Mit nur einer winzigen Menge an Anfangsdaten (5 Beispiele pro Experte) war FlyRoute bereits 78 % genau und schlug das Standard-„Zero-Shot"-System (das keine Beispiele hatte) mit 72 %.
Nach dem Lernen: Als das System über 7.000 echte Nutzerfragen verarbeitete und das „Schwungrad" in Schwung brachte, stieg die Genauigkeit auf 89,8 %.

Das Fazit

FlyRoute löst das Problem der „veralteten Stellenbeschreibungen". Es räumt damit ein, dass sich Experten ändern, und wartet nicht darauf, dass ein Mensch das Verzeichnis aktualisiert. Stattdessen beobachtet es die Experten bei der Arbeit, lernt aus ihren Erfolgen und schreibt ihre Profile ständig um, um sicherzustellen, dass die nächste Frage an die richtige Person geht. Es verwandelt eine statische Liste in eine selbstverbessernde, lebendige Karte darüber, wer was weiß.

Technische Zusammenfassung: FlyRoute

Problemstellung

In Multi-Agent-Systemen (MAS), die für Unternehmensaufgaben eingesetzt werden, stellt Agent-Routing – der Mechanismus, der eingehende Anfragen dem geeignetsten Experten-Agenten zuweist – eine kritische Engstelle dar. Aktuelle Routing-Paradigmen verlassen sich auf statische Agentenprofile, die zum Zeitpunkt des Deployments registriert werden. Diese Profile, die typischerweise von Entwicklern verfasste Fähigkeitsbeschreibungen und feste Beispiele enthalten, vermögen es nicht, sich an die dynamische Realität von Produktionsumgebungen anzupassen, in denen Agenten durch Prompt-Updates, Tool-Integrationen und Modellwechsel weiterentwickelt werden.

Die Autoren identifizieren zwei primäre Fehlermodi statischer Profilierung:

Ungenauigkeit bei der Registrierung: Entwickler haben oft Schwierigkeiten, präzise natürliche Sprachbeschreibungen der tatsächlichen Grenzen eines Agenten zu liefern, und repräsentative Beispiele sind schwer zu kuratieren.
Drift nach dem Deployment: Wenn Agenten aktualisiert werden, um neue Szenarien zu bewältigen oder neue Tools zu integrieren, werden ihre registrierten Profile veraltet, wodurch der Router Entscheidungen auf Basis veralteter Informationen trifft.

Bestehende Lösungen, wie performancebasiertes Routing (Abwägung von Kosten/Latenz) oder aufgabenbasiertes Routing mit statischen Klassifikatoren, adressieren nicht die Notwendigkeit von kontinuierlich sich entwickelnden Fähigkeitsprofilen, die aus Live-Traffic abgeleitet werden.

Methodik: FlyRoute

FlyRoute ist ein sich selbst entwickelndes Agenten-Profilierungs-Framework, das darauf ausgelegt ist, Interaktionen beim Deployment in ein Daten-Flywheel zu verwandeln, das Routing-Evidenz kontinuierlich aktualisiert. Das System arbeitet in einem geschlossenen Regelkreis, der aus drei Kernkomponenten besteht:

1. Adaptive Agentenprofilierung

Anstatt sich ausschließlich auf statische Beschreibungen zu verlassen, führt FlyRoute für jeden Agenten $a_i$ ein dynamisches Profil $P_i$ , bestehend aus:

Seed-Beschreibung ( $d_{seed}$ ): Der initiale, möglicherweise unvollständige, vom Entwickler bereitgestellte Text.
Gelernte Beschreibung ( $d_{learn}$ ): Eine verfeinerte Fähigkeitszusammenfassung, die aus empirischen Evidenzen destilliert wurde.
Erfolgsbeispiel-Speicher ( $E_i$ ): Eine Sammlung hochwertiger Anfrage-Antwort-Paare $(q, r, s)$ , bei denen die Antwort $r$ eine Qualitätsprüfung bestanden hat.

Der Prozess:

Cold Start: Neue Agenten registrieren sich mit minimalen Daten (Name, optionale Seed-Beschreibung und $k$ Seed-Beispiele). Der Router verlässt sich zunächst auf die Seed-Beschreibung und eine spärliche Suche.
Qualitätsgating: Wenn ein Agent eine Antwort generiert, bewertet ein LLM-as-Judge die Qualität. Nur Paare, die einen Schwellenwert $\theta$ überschreiten, werden zum Erfolgs-Speicher hinzugefügt.
Fähigkeits-Destillation: Periodisch (alle $M$ neuen Erfolge) wird ein LLM aufgefordert, die akkumulierten Erfolgsbeispiele und die Seed-Beschreibung zu einer prägnanten, aktualisierten Gelernten Beschreibung zu synthetisieren. Diese Beschreibung erfasst empirische Kompetenzgrenzen, die sich von der ursprünglichen Entwicklerabsicht unterscheiden können.

2. Unsicherheitsgetriebene Exploration

Um Profile effizient aufzubauen, ohne jede Anfrage an alle Agenten zu broadcasten (was kostenintensiv wäre), setzt FlyRoute eine gezielte Explorationsrichtlinie ein. Sie balanciert Exploitation (Routing zu Agenten mit starken Profilen) und Exploration (Erkundung von Agenten mit unsicheren Profilen).

Der Explorations-Score $V^+_{explore}$ für eine Anfrage $q$ und einen Agenten $a_i$ wird berechnet als:
$V^+_{explore}(q, a_i) = U(a_i) \cdot R(q, a_i) \cdot (1 + \beta \cdot N(q, a_i))$

Wobei:

Profil-Unsicherheit ( $U$ ): Umgekehrt proportional zur Größe des Erfolgs-Speichers $|E_i|$ . Agenten mit wenigen Beispielen erhalten einen höheren Explorationsdruck.
Relevanz ( $R$ ): Ein lexikalischer Relevanz-Score (via BM25) zwischen der Anfrage und dem bestehenden Erfolgs-Speicher des Agenten. Dies stellt sicher, dass Exploration nur für Anfragen erfolgt, die plausibel im Bereich des Agenten liegen.
Neuartigkeit ( $N$ ): Eine Redundanz-Strafe ( $1 - R$ ), die Anfragen priorisiert, die relevant sind, aber keine nahen Duplikate bestehender Evidenzen darstellen, um eine effiziente Datenerhebung zu gewährleisten.

3. Profilbewusstes Routing

Die Routing-Entscheidung wird von einem LLM-Router getroffen, der Folgendes erhält:

Globaler Kontext: Die aktive Beschreibung des Agenten (entweder die destillierte $d_{learn}$ oder die Seed-Beschreibung $d_{seed}$ ).
Lokaler Kontext: Top- $k$ per BM25 zurückgewonnene Erfolgsbeispiele aus dem Speicher des Agenten, die lexikalisch der aktuellen Anfrage ähnlich sind.

Dieser Dual-Kontext-Ansatz ermöglicht es dem Router, sowohl die breiten Fähigkeitsgrenzen, die aus dem Datenstrom gelernt wurden, als auch spezifische lexikalische Muster aus jüngsten Erfolgen zu nutzen.

Hauptbeiträge

Problemformalisierung: Das Papier identifiziert und formalisiert die Herausforderung der selbstentwickelnden Agentenprofilierung und verschiebt das Paradigma von der statischen Registrierung hin zur kontinuierlichen Aktualisierung durch Interaktionen beim Deployment.
Unsicherheitsgetriebene Explorationsrichtlinie: Die Autoren schlagen eine neuartige Strategie vor, die Profil-Unsicherheit, lexikalische Relevanz und redundanzbewusste Neuartigkeit kombiniert, um unterdefinierte Agenten effizient zu adressieren und die Verschwendung durch zufälliges Broadcasting zu vermeiden.
Empirische Validierung: Das Framework wurde auf einem proprietären Unternehmensdatensatz validiert und zeigt signifikante Verbesserungen der Routing-Genauigkeit gegenüber statischen Baselines.

Experimentelle Ergebnisse

Die Autoren bewerteten FlyRoute an einem Datensatz von 7.211 realen gerouteten Anfragen über vier Unternehmensdomänen hinweg: Cloud Services, AI Accelerator, Server Hardware und Mobile OS.

Cold-Start-Leistung: Selbst mit nur 5 Seed-Anfragen pro Agent und ohne Streaming-Daten erreichte FlyRoute (unter Verwendung von Seed-Beschreibungen + BM25-Retrieval) eine Genauigkeit von 78,04 % und übertraf einen Zero-Shot-LLM-Router (72,57 %) um 5,47 Prozentpunkte.
Flywheel-Effekt: Nach dem Streaming aller 7.211 Trainingsanfragen durch das System stieg die Genauigkeit auf 89,83 %.
- Dies entspricht einem Gewinn von +17,26 pp gegenüber der Zero-Shot-Baseline.
- Dies entspricht einem Gewinn von +11,79 pp gegenüber dem Cold-Start-Zustand.
Explorationsstrategie: Ablationsstudien zeigten, dass die unsicherheitsgetriebene Explorationsrichtlinie reine Exploitation, $\epsilon$ -greedy-Strategien und zufälliges Broadcasting signifikant übertraf, insbesondere in den frühen Phasen des Profilbaus.
Ablation: Das Entfernen des Qualitätsgates (LLM-as-Judge) oder der Explorationskomponente führte zu messbaren Genauigkeitsabfällen, was die Notwendigkeit sowohl der Filterung hochwertiger Evidenzen als auch der gezielten Datenerhebung bestätigt.

Bedeutung und Behauptungen

Das Papier behauptet, dass FlyRoute die Machbarkeit eines datengetriebenen, sich selbst entwickelnden Agentenmanagements demonstriert. Seine primäre Bedeutung liegt darin zu zeigen, dass:

Profil-Retrieval mächtig ist: Selbst mit minimalen Seed-Daten stärkt das Abrufen von Beispielen aus einem Erfolgs-Speicher die Routing-Entscheidungen sofort.
Kontinuierliches Lernen machbar ist: Systeme können Agentenfähigkeiten autonom aus Live-Traffic entdecken und verfeinern und so das Problem „veralteter Profile" beheben, das in statischen Systemen inherent ist.
Effiziente Exploration möglich ist: Es ist möglich, robuste Profile ohne exhaustives Broadcasting aufzubauen, indem Unsicherheits- und Relevanzsignale genutzt werden, um zu steuern, wo neue Evidenzen gesammelt werden.

Die Autoren weisen auf Einschränkungen hin, darunter die Abhängigkeit von proprietären Daten (was die öffentliche Reproduzierbarkeit einschränkt), die Abhängigkeit von der Qualität des LLM-as-Judge für Feedback und das Fehlen expliziter Drift-Erkennungsmechanismen für plötzliche Agentenänderungen. Die Ergebnisse deuten jedoch darauf hin, dass ein geschlossener Daten-Flywheel eine kritische Komponente für die Skalierung adaptiver Multi-Agent-Systeme in Unternehmensumgebungen darstellt.