💬 NLP

When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models

Die Arbeit stellt ReaLM-Retrieve vor, ein Framework, das den Abrufzeitpunkt für große Reasoning-Modelle durch die Erkennung von Wissenslücken auf Ebene der Reasoning-Schritte optimiert, was die Antwortgenauigkeit und Abrufeffizienz erheblich verbessert und im Vergleich zu Standard- und festen Intervallansätzen unnötige Abrufaufrufe reduziert.

Ursprüngliche Autoren: Dongxin Guo, Jikun Wu, Siu Ming Yiu

Veröffentlicht 2026-04-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dongxin Guo, Jikun Wu, Siu Ming Yiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die "Bibliotheksbesuch"-Fehlanpassung

Stellen Sie sich vor, Sie sind ein brillanter Detektiv (das Large Reasoning Model), der versucht, ein komplexes Rätsel zu lösen. Sie haben ein Notizbuch, in dem Sie Ihre Gedanken schrittweise aufschreiben. Manchmal bleiben Sie stecken, weil Sie eine bestimmte Tatsache nicht kennen, wie den Namen eines Zeugen oder das Datum eines Ereignisses.

Der alte Weg (Standard-RAG):
Derzeit handeln die meisten Systeme wie ein Bibliothekar, der Ihnen einen Stapel Bücher bevor Sie überhaupt anfangen, in Ihrem Notizbuch zu schreiben, aushändigt. Sie lesen die Bücher und versuchen dann, das gesamte Rätsel zu lösen.

Der Fehler: Wenn Sie mitten in Ihrem 20-seitigen Denkprozess stecken bleiben, weil Sie ein Detail vergessen haben, können Sie nicht zurückgehen und ein neues Buch anfordern. Sie sind mit den Informationen festgefahren, die Sie am Anfang erhalten haben, selbst wenn sie für die späteren Schritte nicht ausreichten.

Der neue Weg (ReaLM-Retrieve):
Dieses Paper stellt ein System namens ReaLM-Retrieve vor. Anstatt alle Bücher auf einmal zu erhalten, darf der Detektiv mitten im Schreiben seiner Notizen zur Bibliothek gehen, aber nur, wenn er es wirklich braucht.

Wie es funktioniert: Die drei magischen Werkzeuge

Die Forscher haben ein System mit drei Hauptteilen entwickelt, um diesen "Bibliotheksbesuch mitten im Gedanken" perfekt zu gestalten.

1. Der "Vertrauens-Check" (Schrittweise Unsicherheit)

Stellen Sie sich vor, der Detektiv macht nach jedem Absatz in seinem Notizbuch eine Pause. Er fragt sich: "Weiß ich das wirklich, oder rate ich nur?"

Alte Methoden prüften dies bei jedem einzelnen Wort (zu häufig) oder bei jedem Satz (zu starr).
ReaLM-Retrieve prüft auf logischer Ebene. Es fragt: "Habe ich gerade einen vollständigen Gedanken beendet? Fühle ich mich unsicher bezüglich des nächsten logischen Sprungs?"
Wenn der Detektiv eine "Wissenslücke" (Unsicherheit) spürt, markiert das System dies. Es ist wie eine "Motor-Check"-Leuchte, die nur angeht, wenn das Auto tatsächlich Kraftstoff braucht, nicht nur, weil der Motor läuft.

2. Der "Smarte Manager" (Gelernte Interventionsrichtlinie)

Nur weil sich der Detektiv unsicher fühlt, bedeutet das nicht, dass er jedes Mal zur Bibliothek rennen sollte. Manchmal denkt er nur tief nach und vermisst keine Fakten.

Dieses System fungiert wie ein smarter Manager, der neben dem Detektiv sitzt.
Der Manager betrachtet den "Vertrauens-Check" und die Historie des Falls. Er entscheidet: "Okay, wir müssen wirklich genau jetzt diesen spezifischen Fakt nachschlagen," ODER "Nein, denk weiter, du wirst es herausfinden."
Er hilft auch dabei, die perfekte Frage für den Bibliothekar (die Suchanfrage) zu formulieren, damit der Detektiv genau die richtige Seite erhält und nicht ein ganzes Buch mit irrelevanten Informationen.

3. Der "Schnelle Lieferdienst" (Effiziente Integration)

Ein Besuch in der Bibliothek kostet Zeit. Wenn der Detektiv jedes Mal, wenn er einen Fakt braucht, 5 Minuten stoppt, wird der gesamte Prozess langsam.

Die Forscher bauten einen Hochgeschwindigkeits-Lieferdienst.
Anstatt dem Detektiv ein ganzes Buch zu geben, erhalten sie nur den exakten Absatz, den sie benötigen (Komprimierung der Information).
Sie verwenden auch einen "spekulativen" Trick: Wenn der Detektiv wahrscheinlich als Nächstes einen Fakt über "Paris" braucht, holt das System diese Informationen während der Detektiv noch den aktuellen Satz schreibt. Wenn er sie braucht, sind sie sofort da.
Ergebnis: Das System ist 3,2-mal schneller beim Beschaffen von Informationen als ältere Methoden.

Die Ergebnisse: Smarter, schneller, günstiger

Das Team testete dies an drei schwierigen Puzzle-Spielen (MuSiQue, HotpotQA und 2WikiMultiHopQA), die das Verknüpfen vieler Punkte erfordern, um eine Antwort zu finden.

Bessere Antworten: Das System erhielt 10 % häufiger die richtige Antwort als die Standardmethode "alle Bücher auf einmal holen".
Weniger Besuche: Es unternahm 47 % weniger Besuche in der Bibliothek. Anstatt alle paar Sätze die Bibliothek zu überprüfen (wie bei der alten IRCoT-Methode), ging es nur, wenn es absolut notwendig war.
Der Sweet Spot: Bei den schwierigsten Puzzles (die 4 logische Schritte erfordern) war die neue Methode deutlich besser. Es bewies, dass weniger, gut getimte Besuche in der Bibliothek besser sind als häufige, zufällige Besuche.

Ein reales Beispiel aus dem Paper

Das Paper gibt ein Beispiel für eine Frage: "Wer inszenierte den Film, der im Jahr, in dem die Berliner Mauer fiel, den Oscar für den besten Film gewann?"

Der Gedanke des Detektivs:
1. "Die Berliner Mauer fiel 1989." (Vertrauensvoll, kein Bibliotheksbesuch nötig).
2. "Der beste Film von 1989 war Driving Miss Daisy." (Vertrauensvoll, kein Besuch).
3. "Wer hat ihn inszeniert?" (Hier spürt der Detektiv eine Lücke. Das System sagt: ZUR BIBLIOTHEK GEHEN).
4. Das System holt den Namen des Regisseurs sofort.
5. Der Detektiv beendet die Antwort.
Der alte Weg: Hätte den Namen des Regisseurs ganz am Anfang geholt, obwohl der Detektiv ihn erst im Schritt 3 brauchte, was Zeit verschwendet und den Detektiv potenziell durch zu viele Informationen zu früh verwirrt hätte.

Zusammenfassung

ReaLM-Retrieve lehrt KI-Modelle, genau dann anzuhalten und um Hilfe zu bitten, wenn sie stecken bleiben, anstatt vor dem Start um Hilfe zu bitten oder zu oft um Hilfe zu bitten. Es ist wie ein smarter Assistent, der genau weiß, wann er die Enzyklopädie öffnen muss, und so Zeit spart und bessere Ergebnisse liefert.

1. Problemstellung

Das Paper adressiert eine fundamentale temporale Fehlausrichtung zwischen Large Reasoning Models (LRMs) wie DeepSeek-R1 und OpenAI o1 sowie traditionellen Retrieval-Augmented Generation (RAG)-Systemen.

Die Diskrepanz: Standard-RAG folgt einem „Retrieve-then-Generate"-Paradigma, bei dem Kontext vor Beginn des Denkprozesses injiziert wird. LRMs generieren jedoch ausgedehnte Gedankengänge (12.000–25.000 Token), die mehrstufige Inferenz, Selbstverifikation und Backtracking beinhalten. Wissenslücken entstehen oft während der Inferenz und können im Abfragestadium nicht vorhergesagt werden.
Grenzen bestehender iterativer Methoden: Aktuelle iterative Retrieval-Methoden (z. B. IRCoT, FLARE) sind für LRMs ungeeignet aufgrund von:
1. Granularitätsmismatch: Sie lösen Retrieval auf Token- oder Satzebene aus, während LRMs auf der Ebene von Denkschritten operieren (logische Einheiten, die sich über mehrere Sätze erstrecken).
2. Nichtverfügbarkeit von Signalen: Methoden, die auf Token-Wahrscheinlichkeiten (FLARE) oder interne Aufmerksamkeitszustände (DRAGIN) angewiesen sind, scheitern bei „Completion-only"-Modellen (wie o1), die diese Interna nicht offenlegen.
3. Effizienz-Kollaps: Festintervall-Retrieval (z. B. nach jedem Satz) ist für lange Ketten prohibitiv teuer und fügt erhebliche Latenz sowie Token-Overhead hinzu.

2. Methodik: ReaLM-Retrieve

Die Autoren schlagen ReaLM-Retrieve vor, ein denkprozessbewusstes Framework, das Retrieval dynamisch während der Inferenzkette integriert. Es besteht aus drei Kernkomponenten:

A. Segmentierung von Denkschritten

Anstelle einer Segmentierung auf Satzebene identifiziert das System logische Denkschritte.

Mechanismus: Ein leichter 3-Schichten-Transformer-Klassifikator erkennt Schrittgrenzen basierend auf Diskursmarkern („deshalb", „jedoch"), logischen Konnektoren, Themenwechseln (über Embedding-Ähnlichkeit) und Interpunktion.
Training: Trainiert auf menschlich annotierten Spuren von DeepSeek-R1, erreicht es 94,2 % F1 bei der Identifizierung von Grenzen. Dies ermöglicht es dem System, die Denkreihe als Folge diskreter logischer Einheiten und nicht als Tokenstrom zu behandeln.

B. Unsicherheitsdetektion auf Schrittebene (RSUS)

Das System berechnet einen Reasoning Step Uncertainty Score (RSUS), um zu bestimmen, ob ein Schritt externes Wissen benötigt.

Zusammengesetzter Score: $RSUS(r_i) = \alpha \cdot U_{verb} + \beta \cdot U_{ent} + \gamma \cdot U_{cons}$ $R S U S (r_{i}) = α \cdot U_{v er b} + β \cdot U_{e n t} + γ \cdot U_{co n s}$
- $U_{verb}$ (Verbalisierte Unsicherheit): Das Modell wird aufgefordert, sein Vertrauen zu bewerten (0–100). Für Completion-only-Modelle schätzt ein gelernter MLP-Proxy dies basierend auf Oberflächenmerkmalen und Entitätsanzahlen.
- $U_{ent}$ (Entitätsentropie): Misst die Ambiguität/die spärliche Abdeckung von benannten Entitäten im abgerufenen Korpus. Hohe Entropie zeigt an, dass dem Modell Wissen über spezifische Entitäten fehlt.
- $U_{cons}$ (Konsistenz): Misst die Übereinstimmung über mehrere gesampelte Fortsetzungen des aktuellen Schritts.
Effizienz: Diese Berechnung fügt nur ~8 % Overhead hinzu und vermeidet die massiven Kosten semantischer Entropie oder Selbstkonsistenz-Sampling.

C. Gelernte Interventionsrichtlinie und effiziente Integration

Richtlinie ( $\pi$ ): Ein kontextueller Bandit-Modell entscheidet, ob abgerufen werden soll, welche Abfrage zu formulieren ist und wie die Evidenz integriert wird. Es wird via REINFORCE trainiert, um die Antwortgenauigkeit zu maximieren und gleichzeitig Retrieval-Kosten (Latenz und Aufrufanzahl) zu bestrafen.
Abfrageformulierung: Die Richtlinie generiert spezifische Abfragen, die den Informationsbedarf adressieren (z. B. „Wie ist die Beziehung von [Entität] zu [Konzept]?") anstatt nur den aktuellen Schritt zu wiederholen.
Effizienz-Optimierungen:
- Implizite Kompression: Behält nur Sätze aus abgerufenen Dokumenten bei, die einen Wichtigkeitsschwellenwert überschreiten, und reduziert so die Kontextexpansion um 73 %.
- Spekulative Caching: Bezieht Dokumente für wahrscheinliche nächste-Schritt-Abfragen parallel vor; falls die Vermutung stimmt (37 % Trefferquote), wird die Retrieval-Latenz eliminiert.
- KV-Cache-Erhaltung: Für Open-Weight-Modelle werden zwischengespeicherte Key-Value-Zustände für unveränderte Kontextteile erhalten, was die Time-to-First-Token um das 2,1-fache reduziert.

3. Hauptbeiträge

Granularität auf Schrittebene: Verschiebt den Retrieval-Auslöser von Token-/Satzebene auf Denkschrittebene, was mit der logischen Struktur von LRMs übereinstimmt.
Black-Box-kompatible Unsicherheit: Führt RSUS ein, eine Methode, die auf Completion-only-Modellen (wie o1) funktioniert, ohne Zugriff auf Token-Wahrscheinlichkeiten oder interne Aufmerksamkeitszustände zu benötigen.
Effizienzoptimierte Integration: Reduziert den Overhead pro Retrieval um das 3,2-fache im Vergleich zur naiven Integration durch spekulative Caching und Kontextkompression und ermöglicht so eine praktische Einsatzfähigkeit.

4. Experimentelle Ergebnisse

Evaluiert auf MuSiQue, HotpotQA und 2WikiMultiHopQA unter Verwendung von DeepSeek-R1 und QwQ-Modellen.

Genauigkeit: ReaLM-Retrieve erzielt eine durchschnittliche absolute Verbesserung von 10,1 % in F1 gegenüber Standard-RAG und 4,6 % gegenüber der stärksten vorherigen Methode (ReARTeR).
- Auf MuSiQue (2–4 Hop-Denken) erreicht es 71,2 % F1 (vs. 65,4 % für IRCoT).
Effizienz:
- Weniger Aufrufe: Reduziert Retrieval-Aufrufe um 47 % im Vergleich zu Festintervall-Ansätzen (1,8 Aufrufe vs. 3,4 Aufrufe für IRCoT auf MuSiQue).
- Latenz: Erreicht 1,33× geringere End-to-End-Latenz als IRCoT und 1,50× geringer als naive Interleaving.
- Kosten: Reduziert die Output-Token-Kosten um 16 % aufgrund kürzerer Denkketten (Evidenz löst Unsicherheit schneller auf).
Retrieval-Qualität: Verbessert Recall@5 auf 81,3 % (vs. 72,6 % für IRCoT), was beweist, dass das System zum richtigen Zeitpunkt bessere Evidenz abruft.
Generalisierung: Die Richtlinie generalisiert gut auf verschiedene Modellarchitekturen (z. B. QwQ) und überträgt sich über Benchmarks hinweg (auf HotpotQA trainiert, auf MuSiQue getestet) mit minimalem Leistungsabfall.

5. Bedeutung

Paradigmenwechsel: Das Paper zeigt, dass „weniger, besser getimte Retrievals" häufigen, festintervallbasierten Retrievals überlegen sind. Dies etabliert eine neue Pareto-Grenze für den Genauigkeits-Effizienz-Trade-off bei denkintensiven Aufgaben.
Skalierbarkeit: Durch Operation auf Denkschrittebene und Unterstützung von Completion-only-Modellen ist das Framework auf die leistungsfähigsten proprietären LLMs (wie o1) anwendbar, die für viele RAG-Forschungsbemühungen derzeit unzugänglich sind.
Systemdesign: Es liefert einen Bauplan für die Integration von Retrieval in langfristige Denkprozesse und entwickelt RAG von einem statischen Vorverarbeitungsschritt zu einem dynamischen, adaptiven Denkpartner weiter.

Zusammenfassend löst ReaLM-Retrieve den kritischen Timing-Mismatch in der LRM-RAG-Integration und liefert State-of-the-Art-Genauigkeit bei deutlich reduzierten Rechenkosten.