💬 NLP

EvolveRouter: Co-Evolving Routing and Prompt for Multi-Agent Question Answering

Der Artikel stellt EvolveRouter vor, ein trainierbares Framework für Multi-Agenten-Fragestellungen, das durch einen geschlossenen Co-Evolutionsprozess die Agentenqualität und die Kollaborationsstruktur gleichzeitig optimiert und dabei die Anzahl der beteiligten Agenten dynamisch anpasst, was zu überlegenen Ergebnissen auf fünf Benchmark-Datensätzen führt.

Ursprüngliche Autoren: Jiatan Huang, Zheyuan Zhang, Kaiwen Shi, Yanfang Ye, Chuxu Zhang

Veröffentlicht 2026-04-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiatan Huang, Zheyuan Zhang, Kaiwen Shi, Yanfang Ye, Chuxu Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast ein riesiges Team von Experten, die alle etwas Besonderes können. Manche sind super gut im schnellen Faktenwissen, andere sind Meister im logischen Denken, und wieder andere sind gut darin, verschiedene Meinungen zu vergleichen.

Das Problem: Wenn du eine Frage stellst, weißt du oft nicht, welcher Experte die beste Antwort geben wird. Und noch schlimmer: Manchmal sind die Anweisungen, die du diesen Experten gibst, gar nicht perfekt formuliert, sodass sie verwirrt sind oder Fehler machen.

Bisherige Systeme haben nur versucht, den „richtigen" Experten auszuwählen (wie ein Manager, der jemanden zur Tür schickt). Aber sie haben die Experten selbst nicht verbessert.

EvolveRouter ist wie ein genialer Chef, der zwei Dinge gleichzeitig tut: Er wählt nicht nur den besten Experten aus, sondern trainiert und verbessert auch deren Arbeitsanweisungen, während das System läuft.

Hier ist die einfache Erklärung, wie das funktioniert, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der starre Werkzeugkasten

Stell dir vor, du hast einen Koffer mit 24 verschiedenen Werkzeugen (die „Agenten").

Bei einer Schraube brauchst du einen Schraubenzieher.
Bei einem Nagel brauchst du einen Hammer.
Aber was, wenn dein Schraubenzieher eigentlich etwas stumpf ist? Oder wenn deine Anweisung „Schraube festziehen" so unklar ist, dass der Schraubenzieher denkt, er soll die Schraube ausschrauben?

Frühere Methoden haben nur geschaut: „Welches Werkzeug passt zur Aufgabe?" und dann das Werkzeug benutzt. Sie haben aber nie versucht, das Werkzeug zu schleifen oder die Anweisung klarer zu formulieren.

2. Die Lösung: Der „Co-Evolving" (Mitentwickelnde) Router

EvolveRouter ist wie ein lebendiger Organismus, der sich ständig verbessert. Es passiert in einem Kreislauf (wie ein Feedback-Loop):

Schritt A: Der Diagnose-Arzt (Routing & Analyse)

Wenn eine Frage kommt, schaut sich der Router an: „Wer von unseren 24 Experten ist hier am besten?"
Er lässt alle Experten kurz antworten und vergleicht die Ergebnisse mit der richtigen Lösung.

Der Clou: Er merkt sich nicht nur, wer gewonnen hat, sondern warum die anderen verloren haben.
Beispiel: „Ach, der Experte 'Logik-Denker' hat wieder einen Fehler gemacht, weil er die Frage missverstanden hat. Er hat die falsche Person im Text gefunden."

Schritt B: Der Coach (Prompt-Optimierung)

Anstatt den Experten einfach zu feuern, geht der Router zu ihm hin und sagt: „Hey, ich habe gesehen, dass du bei diesem Typ von Frage immer die falsche Person nennst. Hier ist ein neuer Hinweis für deine Arbeitsanweisung: Achte genau darauf, ob nach der Person oder nach ihrem Beruf gefragt wird!"

Das nennt man Prompt-Refinement. Der Router schreibt die Anweisungen (Prompts) für die schwächsten Experten um, damit sie besser werden.
Es ist, als würde ein Trainer einem Spieler sagen: „Du hast beim Pass immer zu früh abgefeuert. Versuche es beim nächsten Mal mit einer Sekunde Verzögerung."

Schritt C: Der adaptive Team-Manager (Adaptive Inference)

Früher haben Systeme entweder einen Experten geholt oder alle 24 gleichzeitig (was teuer und langsam ist).
EvolveRouter ist schlauer:

Er ruft den besten Experten auf.
Dann den zweitbesten.
Er hört zu: „Haben die beiden schon die gleiche Antwort?"
- Ja? Super! Er stoppt sofort. Wir brauchen keine weiteren Experten. Das spart Zeit und Geld.
- Nein? Dann ruft er den dritten auf und fragt weiter, bis sich eine klare Einigung ergibt.

Vergleich: Stell dir vor, du fragst einen Freund um Rat. Wenn er eine klare, überzeugende Antwort gibt, fragst du nicht sofort zehn weitere Leute. Wenn er zögert, fragst du vielleicht noch einen zweiten. Du passt die Anzahl der Befragten an die Schwierigkeit der Frage an.

Warum ist das so genial?

Es wird mit der Zeit besser: Je mehr Fragen das System beantwortet, desto besser werden die Anweisungen für die Experten. Das System „wächst" mit.
Es ist effizient: Es fragt nicht unnötig viele Leute, wenn die Antwort schon klar ist.
Es ist robust: In Tests (wie bei Quizfragen oder medizinischen Fragen) hat EvolveRouter deutlich besser abgeschnitten als alle anderen Methoden, weil es nicht nur den „richtigen" Mann suchte, sondern die „richtigen" Männer zu besseren Arbeitern machte.

Zusammenfassung in einem Satz

EvolveRouter ist wie ein selbstoptimierendes Team, das nicht nur den besten Spieler für das Spiel auswählt, sondern während des Spiels die Taktik für jeden Spieler so lange anpasst, bis das ganze Team perfekt zusammenarbeitet – und das alles, ohne unnötig viele Spieler auf das Feld zu schicken.

1. Problemstellung

Große Sprachmodelle (LLMs) zeigen oft komplementäre Stärken: Je nach Aufgabenstellung, Kontext und Prompting-Strategie (z. B. Chain-of-Thought vs. ReAct) können unterschiedliche Agenten-Backbones oder -Rollen besser performen. Bestehende Ansätze für Multi-Agenten-Systeme leiden jedoch unter zwei wesentlichen Einschränkungen:

Statische Agenten-Pools: Herkömmliche Routing-Methoden optimieren nur die Auswahl des besten Agenten aus einem festen Pool, ohne die Qualität der Agenten selbst zu verbessern. Da kleine Änderungen im Prompt (Instruction) die Leistung drastisch beeinflussen können, bleiben suboptimale Konfigurationen oft ungenutzt.
Starre Kollaborationsschemata: Existierende Systeme nutzen entweder eine feste Zuordnung (ein Agent pro Query) oder aggregieren eine feste Menge an Agenten. Dies führt entweder zu verpassten komplementären Fähigkeiten oder zu ineffizienter Rechenleistung durch das Einbeziehen irrelevanter oder schwacher Agenten.

Das Ziel ist es, ein System zu entwickeln, das sowohl die Agentenauswahl (Routing) als auch die Agentenqualität (Prompt-Optimierung) gemeinsam verbessert und die Anzahl der beteiligten Agenten dynamisch an die Komplexität der Frage anpasst.

2. Methodik: EvolveRouter

EvolveRouter ist ein trainierbares Framework, das einen geschlossenen Regelkreis (Closed-Loop) zwischen Routing und Agenten-Verbesserung etabliert. Der Prozess gliedert sich in drei Hauptphasen:

A. Wissensgraph-basiertes Routing (RouterGNN)

Struktur: Jede Frage-Kontext-Paarung wird in einen heterogenen Wissensgraphen $G$ umgewandelt. Dieser enthält Knoten für die Frage, die Agenten und Entitäten aus dem Kontext.
Kanten: Die Kanten kodieren Beziehungen wie Query-Entity, Entity-Entity und Agent-Entity. Die Query-Agent-Kanten sind trainierbar und tragen das eigentliche Routing-Signal.
Modell: Ein RouterGNN (Graph Neural Network) führt typenspezifisches Message Passing durch, um für jede Frage eine Wahrscheinlichkeitsverteilung über die Agenten zu berechnen. Dies ermöglicht eine kontextsensitive Zuordnung, die nicht nur auf der Frage, sondern auch auf den zugrunde liegenden Entitäten und deren Relationen basiert.

B. Geschlossener Regelkreis zur Prompt-Verbesserung (Co-Evolution)

Dies ist der Kerninnovation des Papers. Anstatt Agenten statisch zu lassen, werden sie iterativ verbessert:

Diagnose: Während des Trainings werden für jeden Agenten detaillierte Diagnosesignale gesammelt (z. B. Fehlerarchive, F1-Scores pro Backbone-Rolle, Router-Gewichte).
Ziel-Selektion: Ein Prioritäts-Score identifiziert Agenten, die sowohl schlecht performen als auch vom Router stark genutzt werden (hohe Gewichtung trotz niedriger Genauigkeit). Dies verhindert das Optimieren von Agenten, die ohnehin ignoriert werden.
Prompt-Rewriting: Ein „Rewriter-LLM" generiert basierend auf den Fehlermustern neue Prompt-Varianten. Diese müssen die Kernstrategie des Agenten bewahren, aber spezifische Fehler korrigieren (z. B. explizite Entitäten-Extraktion hinzufügen).
Validierung & Update: Kandidaten-Prompts werden auf einem validierten Teilmenge getestet. Nur Verbesserungen werden akzeptiert. Der Router wird dann inkrementell (Fine-Tuning vom Checkpoint aus) auf den aktualisierten Agenten-Pool angepasst, anstatt von vorne zu beginnen, um gelerntes Routing-Wissen zu bewahren.

C. Adaptive Inferenz durch Antwort-Übereinstimmung

Statt eine feste Anzahl von Agenten ( $K$ ) zu wählen, bestimmt EvolveRouter die Anzahl dynamisch pro Query:

Agenten werden nach der Router-Rangliste sequentiell abgefragt.
Ein gewichteter Übereinstimmungsscore (weighted agreement) wird berechnet, der die Router-Gewichte der Agenten mit ihren Antworten kombiniert.
Der Prozess stoppt, sobald der Score einen Schwellenwert $\tau$ erreicht (nach einem Minimum an Agenten $k_{min}$ ).
Dies ermöglicht es, bei einfachen Fragen nur wenige Agenten zu nutzen und bei komplexen Fragen mehr Ressourcen zuallokieren.

3. Schlüsselbeiträge

Co-Evolution von Routing und Spezialisierung: EvolveRouter ist das erste Framework, das Routing und Prompt-Optimierung in einem Multi-Agenten-Setting gemeinsam optimiert. Router-Diagnosen leiten die Prompt-Verbesserung, und verbesserte Agenten liefern sauberere Supervision für das Routing.
Adaptive Kollaboration: Durch die Antwort-Übereinstimmung wird die effektive Kollaborationsgröße $K$ pro Query dynamisch bestimmt, was Recheneffizienz und Genauigkeit verbessert.
Umfassende Evaluation: Das System wurde auf fünf Benchmarks (u.a. HotpotQA, TriviaQA, NGQA) getestet und übertrifft State-of-the-Art-Baselines signifikant.

4. Ergebnisse

Die Experimente auf fünf Frage-Antwort-Benchmarks zeigen folgende Ergebnisse:

Leistungssteigerung: EvolveRouter erzielt konsistent die besten Ergebnisse in F1 und Exact Match (EM) im Vergleich zu starken Baselines (einschließlich heuristischer Methoden, trainingsfreier Router und strukturierter Router wie GraphRouter).
- Beispiel: Auf TriviaQA verbessert sich der F1-Score um +7,08 und der EM-Score um +8,67 gegenüber dem besten vorherigen Multi-Agenten-Router (AgentRouter).
Ablationsstudien:
- Prompt-Optimierung (PO): Trägt den größten Teil der Leistungssteigerung bei (bis zu +9,21% F1 auf TriviaQA), was zeigt, dass die Qualität der Agenten oft der limitierende Faktor ist.
- Adaptives K: Führt zu einer konsistenten, wenn auch kleineren Verbesserung (+0,70% bis +1,53% F1) und reduziert die Anzahl der Agenten-Aufrufe drastisch.
Effizienz: Durch die adaptive Auswahl werden im Durchschnitt nur 2,9 bis 7,4 Agenten pro Query abgefragt (statt aller 24), was eine Reduktion der Agenten-Aufrufe um 69–88% bei gleichzeitiger Leistungssteigerung bedeutet.
Stabilität: Die Varianz der Ergebnisse ist geringer als bei anderen Methoden, was auf eine robustere Systemleistung hindeutet.

5. Bedeutung und Fazit

EvolveRouter adressiert eine fundamentale Lücke in der Multi-Agenten-Forschung: Die Trennung zwischen der Auswahl von Agenten und deren innerer Konfiguration.

Systemdesign: Es demonstriert, dass Routing und Prompt-Optimierung keine separaten, sondern sich gegenseitig verstärkende Komponenten sind. Ein Router, der nur auf statischen Agenten trainiert wird, kann das volle Potenzial eines Agentenpools nicht ausschöpfen.
Effizienz: Die adaptive Inferenz macht Multi-Agenten-Systeme praktisch einsetzbar, indem sie den Rechenbedarf stark senkt, ohne Kompromisse bei der Genauigkeit einzugehen.
Generalisierung: Die Methode funktioniert über verschiedene Domänen hinweg (von allgemeinem Wissen bis hin zu domänenspezifischen Gesundheitsfragen) und zeigt, dass task-spezifische Optimierung sowohl für Routing als auch für Prompts notwendig ist.

Zusammenfassend bietet EvolveRouter einen neuen Paradigmenwechsel weg von statischen Agenten-Pools hin zu einem selbstverbessernden, adaptiven Multi-Agenten-System, das sowohl die „Intelligenz" (Prompts) als auch die „Orchestrierung" (Routing) kontinuierlich optimiert.