💻 computer science

When Should Multi-Round RAG Stop? Structured Stopping Judgments and Retrieval Reduction in Search-R1

Dieses Paper präsentiert eine Methode, die ein strukturiertes Suffizienz-und-Lücken-Urteilsverfahren auf eine eingefrorene Search-R1-Pipeline adaptiert, wodurch die Anzahl der Retrieval-Aufrufe erfolgreich um 3,70 % reduziert wird, bei einem lediglich marginalen Rückgang der Exact-Match-Genauigkeit um 0,625 Prozentpunkte auf HotpotQA, wobei explizit darauf hingewiesen wird, dass dies keine verbesserte Gesamtgenauigkeit oder geringere Gesamtinferenzkosten garantiert.

Ursprüngliche Autoren: Weimeng Luo

Veröffentlicht 2026-08-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Weimeng Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen intelligenten Roboter-Assistenten vor, der versucht, ein kniffliges Rätsel zu lösen. Um die Antwort zu erhalten, kann der Roboter einen Bibliothekar um Hilfe bitten. Dieser Bibliothekar ist eine riesige Datenbank voller Fakten. Der Roboter hat eine Wahl: Er kann nach einem Buch fragen, es lesen und raten; oder er kann nach einem zweiten, einem dritten Buch fragen und so weitermachen, bis er sich zu 100 % sicher ist. Dies wird als „Retrieval-Augmented Generation“ bezeichnet, kurz RAG. Es ist wie ein Schüler, der eine Prüfung schreibt und dabei ein Lehrbuch benutzen darf, aber der Schüler muss selbst entscheiden, wann er aufhört zu lesen und seine Antwort aufschreibt.

Das große Problem ist zu wissen, wann man aufhören muss. Wenn der Schüler zu früh aufhört, übersieht er vielleicht eine entscheidende Information und beantwortet die Frage falsch. Wenn er weiterliest, nachdem er die Antwort bereits hat, verschwendet er Zeit, Energie und Geduld. In der Welt der Künstlichen Intelligenz bedeuten „Zeit“ und „Energie“ Rechenleistung und Geld. Forscher versuchen daher, einer KI-Assistenz ein „Bauchgefühl“ dafür zu geben, wann sie genug Informationen hat, um aufzuhören. Das Ziel ist es, den optimalen Mittelweg zu finden: rechtzeitig aufzuhören, um Ressourcen zu sparen, ohne die Korrektheit der Antwort zu opfern.

Die Geschichte des Papers: Dem Roboter beibringen, wann er aufhören muss

Dieses Paper befasst sich mit dem „Wann aufhören“-Problem unter Verwendung eines spezifischen KI-Systems namens Search-R1. Stellen Sie sich Search-R1 als einen sehr klugen, aber etwas übereifrigen Detektiv vor. Er hat die Angewohnheit, nach weiteren Hinweisen (Dokumenten) zu fragen, selbst nachdem er die Lösung bereits gefunden hat. Die Forscher wollten sehen, ob sie diesen Detektiv lehren könnten, früher aufzuhören, ohne ihn dabei dümmer zu machen.

Um dies zu erreichen, haben sie nicht das Gehirn des Detektivs oder die Bibliothek verändert. Stattdessen fügten sie einen neuen Charakter hinzu: einen Richter (Judge). Dieser Richter ist eine kleinere, spezialisierte KI (ein Qwen3.5-2B Modell), deren einzige Aufgabe es ist, die Arbeit des Detektivs zu beobachten und zu sagen: „Stopp! Du hast genug!“ oder „Mach weiter, dir fehlt noch etwas.“

Das Experiment: Ein strenger Test
Die Forscher gestalteten ein sehr sorgfältiges Experiment mit 1.000 schwierigen Fragen. Sie teilten diese Fragen in Gruppen auf, um sicherzustellen, dass der Richter nicht einfach die Antworten auswendig lernt.

Das Training: Sie lehrten den Richter anhand von 900 Fragen, wobei sie 3.009 spezifische Zustände (Schnappschüsse des Fortschritts des Detektivs) aus diesen Fragen verwendeten, um ihm Beispiele zu zeigen, wann der Detektiv genug Informationen hatte und wann nicht.
Der Test: Sie fixierten die Einstellungen des Richters und testeten ihn an den verbleibenden 800 Fragen (dem „Bestätigungsdatensatz“, speziell den Indizes 200–999), um zu sehen, wie er bei neuen, unbekannten Fällen abschneidet.

Die Ergebnisse: Zeit sparen, aber mit einem Haken
Die Ergebnisse waren eine Mischung aus guten Nachrichten und einer notwendigen Warnung.

Die guten Nachrichten: Die neue Strategie funktionierte! Durch den Einsatz des Richters, um zu entscheiden, wann gestoppt werden soll, tätigte das System 77 Suchaufrufe weniger als das ursprüngliche Search-R1. Das ist eine Reduktion der Suche um 3,70 %. Der Detektiv war in der Lage, früher aufzuhören und Ressourcen zu sparen.
Die Genauigkeitsprüfung: Hat das frühere Stoppen den Detektiv falsch liegen lassen? Die Antwort lautet: „Ein bisschen, aber nicht zu viel.“ Das ursprüngliche System lieferte etwa 44,88 % der Zeit die richtige Antwort. Das neue System mit dem Richter lieferte sie zu 44,25 % richtig. Das ist ein Rückgang um 0,625 Prozentpunkte.
Das Urteil: Die Forscher hatten vor Beginn eine Regel festgelegt: Sie würden das neue System nur akzeptieren, wenn die Genauigkeit nicht um mehr als 2 Prozentpunkte sinkt. Da der Rückgang nur 0,625 betrug, bestand das System den Test. Es reduzierte erfolgreich die Anzahl der Suchen, während es die Genauigkeit „weitgehend bewahrte“ (was bedeutet, dass sie innerhalb der sicheren Zone blieb).

Was das Paper explizit ausschließt
Es ist wichtig zu verstehen, was dieses Paper nicht behauptet, da der Autor sehr vorsichtig ist, die Ergebnisse nicht überzubewerten:

Es ist KEIN „sicheres Stopp-Regel“: Das Paper stellt explizit fest, dass dies keine „sichere Stopp-Regel“ ist. Von den 69 Mal, als der Richter dem Detektiv sagte, er solle vorzeitig aufhören, waren 27 dieser Stopps „unsicher“. Das bedeutet, in diesen 27 Fällen stoppte der Detektiv, bevor er tatsächlich genug Informationen hatte, auch wenn die endgültige Antwort manchmal durch Glück dennoch richtig war. Das System ist nicht risikofrei.
Es ist KEIN Sieg für die Gesamtkosten: Das Paper behauptet nicht, dass das System insgesamt kostengünstiger ist. Der Richter selbst benötigt Rechenleistung, um zu denken. Die Forscher haben nicht gemessen, ob die durch weniger Suchen eingesparte Zeit die Zeit, die der Richter zum Denken benötigte, wettmacht. Sie haben lediglich gemessen, dass die Anzahl der Suchaufrufe sinkt.
Es ist KEINE Verbesserung der Genauigkeit: Das neue System lieferte nicht bessere Antworten; es lieferte nur etwas weniger korrekte Antworten bei gleichzeitig weniger Suchvorgängen.

Das Fazbeispiel (The Bottom Line)
Dieses Paper zeigt, dass wir einer KI beibringen können, früher mit der Suche aufzuhören, wodurch sie etwa 3,7 % ihrer Suchbemühungen einspart. Dies geht jedoch mit einem Kompromiss einher: Das System macht häufiger Fehler, wenn es entscheidet, aufzuhören. Die Forscher haben bewiesen, dass dieser Kompromiss akzeptabel ist, wenn man bereit ist, einen minimalen Genauigkeitsverlust (weniger als 2 Punkte) hinzunehmen. Sie warnten jedoch auch davor, dass dies keine perfekte, risikofreie Lösung ist. Der „Richter“ ist gut darin, Zeit zu sparen, aber er ist nicht perfekt darin zu wissen, wann der Detektiv wirklich bereit ist aufzuhören. Es ist ein Schritt nach vorn, um KI effizienter zu machen, aber es ist nicht die endgültige Antwort auf das Problem.

Technische Zusammenfassung: Wann sollte Multi-Round RAG aufhören?

Problemformulierung
Multi-Round Retrieval-Augmented Generation (RAG)-Systeme, wie etwa Search-R1, stehen vor einem sequentiellen Selektionsproblem: der Bestimmung des Zeitpunkts, an dem die Informationsbeschaffung (Retrieval) während des laufenden Reasoning-Prozesses gestoppt werden sollte. Im Gegensatz zu unabhängigen Zustands-Klassifizierungsaufgaben wird eine eingesetzte Stopp-Policy durch das erste Überschreiten eines Schwellenwerts auf einer Trajektorie bestimmt. Folglich kann ein verfrühter False Positive alle nachfolgenden korrekten Zustände unterdrücken, während eine übermäßig konservative Klassifizierung möglicherweise die Kosten für das Retrieval nicht ausreichend senkt. Bestehende Methoden (z. B. SIM-RAG, S2G-RAG) berichten oft über Zustands-Scores oder End-to-End-Durchschnitte, die nicht vollständig erklären, warum eine eingesetzte Policy erfolgreich ist oder scheitert. Diese Arbeit adresset die Lücke zwischen der Ranking-Qualität auf Zustands-Ebene und dem Systemverhalten der „First-Crossing“-Entscheidung, indem sie spezifisch fragt, wie viel Retrieval-Kosten reduziert werden können, ohne eine vordefinierte Genauigkeitstoleranz zu verletzen.

Methodik
Die Studie adaptiert den strukturierten Mechanismus der Beurteilung von Hinlänglichkeit und Lücken (sufficiency-and-gap judgment) aus S2G-RAG auf eine eingefrorene Search-R1-Pipeline. Das zentrale experimentelle Design umfasst drei Stufen:

Auditierung des Upstream-Systems: Der Autor verwendet den offiziellen Search-R1 Qwen2.5-7B PPO v0.2 Checkpoint mit einem E5 Top-3 Retriever über dem Wiki-2018 Korpus und einem Budget von vier Suchanfragen. Der Reasoner, der Retriever und das Suchbudget bleiben eingefroren; die einzige Intervention ist die Entscheidung, einen Zustand frühzeitig zu akzeptieren.
Explorative Erreichbarkeits-Auditierung: Unter Verwendung einer eingefrorenen, nicht-intervenierenden „Answer-only“-Sonde auf 200 nativen Trajektorien schätzt der Autor empirische Oracles. Dies bestimmt, wie oft eine korrekte Antwort bereits erreichbar ist, bevor das native System stoppt, und wie viele Suchaufrufe theoretisch entfernt werden könnten, ohne die endgültige Antwort zu verändern.
Judge-Training und Evaluierung:
- Training: Ein Qwen3.5-2B Judge wird auf 3.009 Zuständen trainiert, die aus 900 disjunkten HotpotQA-Fragen abgeleitet wurden. Der Judge gibt ein strukturiertes JSON-Schema aus, das ein boolesches Feld sufficient und eine Liste von gap_items enthält.
- Validierung & Einfrieren: Ein gruppiertes Validierungsset (100 Fragen) wird verwendet, um den Stopp-Schwellenwert zu wählen. Der Schwellenwert wird so gewählt, dass der Recall maximiert wird, unter der Bedingung eines minimalen STOP-Präzisionswerts von 0,90.
- Bestätigungsanalyse: Die abschließende Evaluierung erfolgt auf einem reservierten Testset (Indizes 200–999 eines 1.000-Fragen-HotpotQA-Sets). Die Policy wird gegen zwei eingefrorene Kriterien evaluiert:
  - Nicht-Unterlegenheit (Non-inferiority): Der Verlust der Exact Match (EM) Rate darf 2 Prozentpunkte nicht überschreiten (untere Grenze des 95 % Konfidenzintervalls für $\Delta$ EM > -0,02).
  - Kostensenkung: Die mittlere Anzahl der Suchaufrufe muss sinken (obere Grenze des 95 % Konfidenzintervalls für $\Delta$ search < 0).

Wesentliche Beiträge

Adaption der strukturierten Beurteilung: Die Arbeit adaptiert erfolgreich einen S2G-Stil strukturierten Beurteilungsmechanismus (Vorhersage von Hinlänglichkeit und fehlenden Informationen) auf die Search-R1 Zustands-Schnittstelle und trainiert einen spezifischen Qwen3.5-2B Judge auf Search-R1 Zuständen.
Trajektorien-bewusste Formulierung: Sie führt eine Formulierung ein, die Kandidaten-Erreichbarkeit, Zustands-Ranking, First-Crossing-Policy-Verhalten und Systemausgänge trennt. Dies verdeutlicht, dass die Verbesserung des Zustands-Rankings (Average Precision) nicht automatisch eine verbesserte Systemleistung garantiert, wenn die Schwellenwert-Überschreitung zu aggressiv ist.
Kontrollierter Mechanismus-Aufbau: Die Studie demonstriert einen kontrollierten Mechanismus, bei dem binäre Supervision zwar die Average Precision verbessert, aber die Systemleistung beeinträchtigen kann, während strukturierte Gap-Supervision hilft, das zu frühe Stoppen zu reduzieren, ohne eine Überlegenheit auf Systemebene zu beanspruchen.

Ergebnisse
Auf dem Bestätigungs-Testset (800 Fragen):

Reduktion des Retrievals: Die erweiterte S2G-Policy reduziert die Suchaufrufe um 77 (3,70 %) und senkt den Mittelwert von 2,60125 auf 2,50500. Das 95 % Konfidenzintervall für diese Reduktion liegt bei $[-0,12000, -0,07375]$ und schließt Null aus.
Auswirkung auf die Genauigkeit: Die offizielle Exact Match (EM) Rate sinkt von 0,44875 (Nativ) auf 0,44250 (Erweitert), was einem Verlust von 0,625 Prozentpunkten entspricht. Das 95 % Konfidenzintervall für die Differenz ist $[-0,01250, 0]$ . Dies erfüllt das Kriterium der Nicht-Unterlegenheit (Verlust < 2 Prozentpunkte).
Zustands-Ranking: Der erweiterte Judge verbessert die STOP Average Precision (AP) gegenüber dem Structured Base um 0,03983.
Risikoanalyse: Die Policy führt 69 systemseitige frühe Stopps durch. Davon sind 42 „sicher“ (die eingefrorene Sonde könnte korrekt antworten) und 27 sind „unsicher“. Der gewählte Anteil unsicherer früher Stopps beträgt 39,13 %. Die Validierungs-Präzision von 0,9091 (basierend auf 11 Zuständen) übertrug sich nicht auf das Bestätigungsset (die Präzision sank auf 0,6216).

Bedeutung und Ansprüche
Die Arbeit behauptet, dass der trainierte S2G-Stil strukturierte Judge die Suchaufrufe reduzieren kann, während die Antwortgenauigkeit innerhalb einer vorgegebenen Toleranz weitgehend bewahrt wird. Speziell:

Das Ergebnis stellt fest, dass eine Reduktion der Suchaufrufe um ~3,7 % bei einem EM-Verlust von weniger als 0,63 Prozentpunkten auf dem Bestätigungsset erreichbar ist.
Die Arbeit behauptet explizit nicht, dass die Policy eine „sichere Stopp-Regel“ ist. Der hohe Anteil unsicherer früher Stopps (39,13 %) und die schwache Kalibrierung (Brier Score 0,2952) zeigen, dass die Policy nicht risikozertifiziert ist.
Das Ergebnis impliziert keine verbesserte Genauigkeit, unveränderte Genauigkeit oder geringere Gesamtkosten der Inferenz (da die Rechenkosten des Judges selbst nicht gegen die Retrieval-Einsparungen normalisiert wurden).
Die Studie betont, dass „sicheres Stoppen“ (geringer bedingter Fehler bei akzeptierten Stopps) und „Genauigkeitsbewahrung“ (durchschnittliche Qualität über alle Fragen) unterschiedliche Ziele sind, und die aktuelle Policy letzteres, aber nicht ersteres erreicht.

Der Autor schließt mit dem Hinweis, dass zukünftige Arbeiten eine vierteilige Evaluierung melden müssen: Kandidaten-Erreichbarkeit, Zustands-Ranking, First-Crossing-Policy-Verhalten und gepaarte Qualitäts-Kosten-Risiko-Metriken, da keine einzelne Sichtweise ausreichend ist.

Technische Zusammenfassung: Wann sollte Multi-Round RAG aufhören?

Mehr davon