💬 NLP

Talk to Right Specialists: Iterative Routing in Multi-agent Systems for Question Answering

Das Paper stellt RIRS vor, ein trainingsloses Orchestrierungsframework für Multi-Agenten-Systeme, das durch das Zusammenfassen lokaler Korpora in einem Embedding-Raum und eine iterative Routing-Strategie die Latenz reduziert und präzise Antworten auf komplexe Fragen aus dezentralen Wissensbasen ermöglicht.

Ursprüngliche Autoren: Feijie Wu, Zitao Li, Fei Wei, Yaliang Li, Bolin Ding, Jing Gao

Veröffentlicht 2026-04-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Feijie Wu, Zitao Li, Fei Wei, Yaliang Li, Bolin Ding, Jing Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein riesiges, chaotisches Bürogebäude, in dem hunderte von verschiedenen Experten arbeiten. Jeder Experte ist ein Spezialist für ein ganz bestimmtes Thema:

Einer kennt sich nur mit Krankenhäusern aus.
Einer nur mit Autoreifen.
Einer nur mit historischen Dichtern.
Einer nur mit Kochrezepten.

Das Problem: Diese Experten dürfen ihre Akten nicht in einen zentralen Schrank legen. Aus Datenschutzgründen oder wegen strenger Regeln muss jeder seine eigenen Unterlagen in seinem eigenen, verschlossenen Schrank behalten.

Das alte, ineffiziente Problem

Wenn Sie eine Frage haben (z. B. "Wie hat der Dichter über Autoreifen in seinem letzten Kochbuch geschrieben?"), gab es bisher zwei schlechte Möglichkeiten:

Der "Alles-in-einen-Sack"-Ansatz: Man würde alle Akten aller Experten in einen riesigen Haufen werfen. Das ist aber oft verboten (Datenschutz) und macht den Haufen so groß, dass man die Nadel im Heuhaufen nicht mehr findet.
Der "Rundfunk"-Ansatz: Man schreit Ihre Frage durch das ganze Gebäude: "Hey, alle! Wer kann mir helfen?"
- Das Problem: Der Koch antwortet sofort, aber er weiß nichts über Dichter. Der Arzt antwortet auch, aber er weiß nichts über Reifen. Sie bekommen eine Flut von irrelevanten Antworten, die Sie alle lesen müssen. Das dauert ewig, ist teuer und am Ende ist die Antwort oft verwirrt, weil zu viel "Lärm" im Weg ist.

Die neue Lösung: RIRS (Der intelligente Türsteher)

Die Autoren dieses Papiers haben RIRS entwickelt. Man kann sich RIRS wie einen super-intelligenten Türsteher oder einen Kuratoren vorstellen, der genau weiß, wer was kann, ohne jemals in die privaten Schränke der Experten zu schauen.

Hier ist, wie es funktioniert, in drei einfachen Schritten:

1. Die "Visitenkarte" (Offline-Vorbereitung)

Bevor Sie überhaupt eine Frage stellen, macht jeder Experte etwas Cleveres:

Er nimmt alle seine Akten und fasst sie in kleine, zusammengefasste Stichpunkte zusammen.
Er erstellt daraus eine Art Visitenkarte (im Papier "Cluster-Zentrum" genannt), die nur sagt: "Ich bin gut in Thema X und Thema Y."
Er gibt diese Visitenkarte dem Türsteher (dem Server), behält aber seine echten Akten für sich.
Vorteil: Der Türsteher weiß jetzt, wer was kann, ohne jemals die sensiblen Daten zu sehen. Die Privatsphäre bleibt gewahrt.

2. Der "Zielgenaue Anruf" (Routing)

Wenn Sie eine Frage stellen, schaut der Türsteher nicht auf die Visitenkarten aller Experten. Er sucht sich nur die zwei oder drei, deren Visitenkarte Ihrer Frage am ähnlichsten ist.

Statt den ganzen Bau zu durchschreien, ruft er nur den Dichter und den Koch an.
Vorteil: Es ist viel schneller, kostet weniger Energie und Sie bekommen keine Antworten vom Arzt, der nichts mit dem Thema zu tun hat.

3. Das "Puzzle-Lösen" (Iteratives Refinieren)

Manchmal ist die Frage so kompliziert, dass ein Experte sie nicht allein beantworten kann.

Beispiel: "Wo wurde der Regisseur des Films 'Rough Going' geboren?"
- Der Film-Experte weiß: "Der Regisseur heißt Wally Van." (Aber er weiß nicht, wo er geboren wurde).
- Der Türsteher sagt: "Okay, wir haben den Namen. Jetzt rufen wir den Biografie-Experten an, der nur nach 'Wally Van' sucht."
Der Türsteher nimmt die erste Antwort, formuliert die Frage neu und schickt sie zum nächsten Spezialisten.
Am Ende setzt er die Puzzleteile zusammen, um die vollständige Antwort zu geben.

Warum ist das so toll?

Privatsphäre: Niemand muss seine Daten teilen. Jeder behält seine Akten im eigenen Schrank.
Geschwindigkeit: Es wird keine Zeit mit unnötigen Experten verschwendet.
Qualität: Da der Türsteher nur die richtigen Leute ruft, ist die Antwort sauberer und weniger verwirrend.
Kein Training nötig: Das System lernt nicht durch tausende Beispiele, sondern nutzt die "Visitenkarten" der Experten sofort. Es ist "trainingsfrei".

Zusammenfassend:
RIRS ist wie ein perfekter Reiseleiter in einem riesigen Museum. Statt alle Besucher in jeden Raum zu schicken, führt er Sie direkt zu den wenigen Räumen, in denen die Exponate sind, die Sie wirklich sehen wollen. Und wenn Sie ein komplexes Kunstwerk verstehen wollen, führt er Sie von Raum zu Raum, bis Sie das ganze Bild verstehen – ohne dass Sie den ganzen Weg selbst gehen müssen.

1. Problemstellung

Das Paper adressiert eine zentrale Herausforderung im Bereich des Retrieval-Augmented Generation (RAG) in Unternehmensumgebungen: Verteiltes Wissen und Wissenssouveränität.

Dezentralisierung: In der Praxis sind Unternehmensdaten selten zentralisiert. Unterschiedliche Abteilungen, Produkte oder Teams unterhalten separate RAG-Agenten mit disjunkten Korpora (z. B. interne Dokumentation, Verträge, Incident-Reports), die aus Gründen der Datensouveränität, des Datenschutzes und der Compliance nicht in einem einzigen Repository zusammengeführt werden können.
Fehlschläge bestehender Ansätze:
- Broadcast-to-All: Eine naive Strategie, bei der eine Server-Abfrage an alle Agenten gesendet wird, ist ineffizient. Sie führt zu hoher Latenz, unnötigem Rechenaufwand und verschlechterter Antwortqualität durch „Lost-in-the-Middle"-Probleme (das Modell übersieht relevante Beweise in zu langen, verrauschten Kontexten).
- Zentralisierung: Das Zusammenführen aller Daten in einen einzigen Agenten ist aufgrund von Governance- und Zugriffsbeschränkungen oft unmöglich und kann die Abrufqualität sogar verschlechtern.
Die Kernfrage: Wie kann ein nutzerorientierter Server Fragen beantworten, wenn die relevanten Beweise über mehrere spezialisierte Agenten verteilt sind, ohne diese Daten zu zentralisieren?

2. Methodik: RIRS (Routing and Iterative Refining-Solving)

Die Autoren stellen RIRS vor, ein trainingsfreies Orchestrierungsframework, das Multi-Agenten-Systeme für Fragen beantwortet. Es besteht aus zwei Hauptphasen:

A. Offline-Phase: Wissenszusammenfassung (Knowledge Summarization)

Jeder Agent fasst sein lokales Korpus in einem Embedding-Raum zusammen, ohne die Rohdaten zu teilen.

Clustering: Der Agent teilt sein lokales Korpus in $m$ Chunks auf, kodiert diese in Embeddings und gruppiert diese in $n$ kohärente Cluster.
Optimierung: Die Clusterbildung erfolgt durch Maximierung der schlechtesten Ähnlichkeit innerhalb eines Clusters (Max-Min-Objektiv), um sicherzustellen, dass jedes Cluster semantisch konsistent ist.
Upload: Der Agent lädt nur die Cluster-Zentren (Centroids) und eine Agent-ID auf den Server hoch. Die Rohdaten bleiben lokal. Dies dient als kompakte Repräsentation des Wissensspektrums des Agenten.

B. Online-Phase: Abfrage-Lösung durch Routing und Iterative Verfeinerung

Der Server nutzt die hochgeladenen Centroids, um Abfragen intelligent zu routen und iterativ zu lösen.

Routing: Der Server kodiert die Benutzerabfrage und vergleicht sie mit den Centroids aller Agenten. Er wählt die Top- $K$ ähnlichsten Centroids aus und leitet die Abfrage nur an die entsprechenden Agenten weiter (anstatt an alle).
Evaluation: Der Server bewertet die Antworten der ausgewählten Agenten mittels eines „Response Evaluators" (LLM-basiert). Er klassifiziert Antworten als:
- Vollständig beantwortet (Fully addressed)
- Teilweise beantwortet (Partially addressed)
- Nicht beantwortet (Not addressed)
Iterative Verfeinerung (für komplexe/multi-hop Fragen):
- Wenn eine Antwort vollständig ist, wird sie zusammengefasst und als Endergebnis ausgegeben.
- Wenn nur teilweise Antworten vorliegen, aggregiert der Server den Fortschritt, nutzt einen „Question Simplifier", um die verbleibenden, ungelösten Aspekte der Frage zu identifizieren, und formuliert eine neue, verfeinerte Abfrage.
- Dieser Prozess wiederholt sich, bis eine vollständige Antwort gefunden ist oder keine weiteren Fortschritte möglich sind.

3. Wichtige Beiträge

Neues Setting: Die Arbeit untersucht systematisch QA in Multi-RAG-Agenten-Systemen unter strikten Souveränitätsbedingungen, wo Beweise verteilt und nicht zentralisierbar sind.
RIRS Framework: Einführung eines trainingsfreien Ansatzes, der auf zwei Komponenten basiert:
- Wissenszusammenfassung: Repräsentation lokaler Korpora durch Cluster-Zentren im Embedding-Raum.
- Abfrage-Lösung: Selektives Routing, Aggregation von Teilergebnissen und iterative Verfeinerung von Fragen.
Theoretische Analyse: Die Autoren liefern eine theoretische Obergrenze für den Routing-Fehler, die zeigt, dass die Nutzung von Centroids als Surrogat für feingranulares Matching stabil ist, solange die Cluster kohärent sind.
Praktische Effizienz: Das System vermeidet das „Broadcast-to-All"-Problem, reduziert Latenz und Token-Verbrauch erheblich und unterstützt die Zusammensetzung von Beweisen über mehrere Agenten und Runden hinweg.

4. Ergebnisse

Die Autoren führten umfangreiche Experimente auf mehreren Datensätzen durch (Natural Questions, HotpotQA, 2WikiMultiHopQA, MuSiQue, Multi-Hop RAG Benchmark) mit verschiedenen LLM-Backbones (Qwen-Plus, LLaMA-3.1-8B).

Überlegenheit gegenüber Baselines: RIRS übertrifft sowohl beschreibungsbasierte Router (z. B. Chameleon) als auch lernbasierte Router (z. B. RouterDC) signifikant in Bezug auf Genauigkeit (Accuracy) und Effizienz.
- Auf Multi-Hop-Datensätzen verbesserte RIRS die Genauigkeit gegenüber Chameleon um bis zu 8 % und gegenüber RouterDC um bis zu 15 %.
Vergleich mit Gold-Router: Obwohl ein „Gold-Router" (Oracle, der immer die perfekten Agenten kennt) die theoretische Obergrenze darstellt, kommt RIRS diesem sehr nahe und ist deutlich besser als naive Ansätze.
Einzelne vs. Verteilte Agenten: RIRS erreicht eine höhere Genauigkeit und eine geringere Halluzinationsrate als ein zentralisierter Single-Agent-RAG-Ansatz, da es den Suchraum für irrelevante Beweise reduziert.
Effizienz: Durch die selektive Auswahl weniger relevanter Agenten pro Runde wird die Latenz im Vergleich zum Broadcast-Ansatz drastisch reduziert (z. B. von 72s auf 12s in einigen Szenarien).
Rollenverteilung: Ein „Mixed"-Setup, bei dem ein starkes Modell (Qwen-Plus) als Server-Controller/Evaluator dient und leichtere Modelle (LLaMA) als Agenten, zeigt, dass eine starke Evaluierungskomponente entscheidend ist, um Fehlerfortpflanzung zu minimieren.

5. Bedeutung und Ausblick

Das Paper liefert einen wichtigen Baustein für den praktischen Einsatz von RAG in Unternehmen:

Datenschutz & Souveränität: Es ermöglicht die Nutzung verteilter Wissensquellen, ohne dass sensible Daten zentralisiert oder geteilt werden müssen.
Skalierbarkeit: Der Ansatz skaliert gut, da Agenten unabhängig voneinander ihre lokalen Wissensbasen aktualisieren können, während der Server nur leichte Metadaten (Centroids) verwaltet.
Robustheit: Die iterative Verfeinerung ermöglicht die Beantwortung komplexer Fragen, die Beweise aus verschiedenen Domänen erfordern, ohne dass das System in einem einzigen Schritt alle Informationen verarbeiten muss.

Zusammenfassend demonstriert RIRS, wie Multi-Agenten-Systeme durch intelligentes Routing und iterative Verfeinerung effizient, präzise und datenschutzkonform komplexe Fragen beantworten können, ohne auf zentrale Datenpools angewiesen zu sein.