💬 NLP

LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG

LatentRAG ist ein neuartiges Framework, das das agentic RAG-Reasoning und die -Retrieval von einem diskreten Sprachraum in einen kontinuierlichen latenten Raum verlagert, wodurch eine durchgängige gemeinsame Optimierung ermöglicht und die Inferenzlatenz bei gleichzeitiger Aufrechterhaltung einer Leistung, die mit expliziten Mehrschritt-Methoden vergleichbar ist, um etwa 90 % reduziert wird.

Ursprüngliche Autoren: Yijia Zheng, Marcel Worring

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yijia Zheng, Marcel Worring

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Überdenker"-Agent

Stellen Sie sich vor, Sie haben einen sehr klugen, aber schwatzhaften Assistenten (eine KI), der Ihnen hilft, Antworten im Internet zu finden.

Der alte Weg (Naive RAG): Sie stellen eine Frage, der Assistent holt einen Artikel und antwortet. Das ist schnell, aber wenn die Frage komplex ist, liegt die Antwort oft falsch, weil nicht tief genug gegraben wurde.
Der „agente" Weg (aktueller Stand der Technik): Um schwierige Fragen zu bewältigen, gaben wir dem Assistenten eine „Denkmütze". Jetzt schreibt der Assistent vor dem Antworten eine lange Liste von Gedanken und Suchanfragen auf ein Blatt Papier.
- Gedanke: „Ich muss herausfinden, wer das Rennen gewonnen hat."
- Aktion: Schreibt „Wer hat das Rennen 2016 gewonnen?"
- Suche: Googelt es.
- Gedanke: „Okay, jetzt muss ich sein Geburtsjahr herausfinden."
- Aktion: Schreibt „Wer wurde 1988 geboren?"
- Suche: Googelt es erneut.
- Antwort: „1988."

Der Haken: Diese „agente" Methode ist großartig darin, die richtige Antwort zu finden, aber sie ist langsam. Warum? Weil der Assistent jeden einzelnen Wort seiner Gedanken und Suchanfragen nacheinander aufschreiben muss, wie ein Schreibender, der Tasten nacheinander drückt. Wenn der Denkprozess lang ist, muss der Benutzer lange warten. Das Papier stellt fest, dass diese „Schreib"-Phase etwa 90 % der Gesamtzeit in Anspruch nimmt.

Die Lösung: LatentRAG (Der „telepathische" Assistent)

Die Autoren dieses Papiers, LatentRAG, fragten: „Was wäre, wenn der Assistent denken und suchen könnte, ohne tatsächlich etwas aufzuschreiben?"

Sie bauten ein System, in dem der Assistent seine Schlussfolgerungen und Suchplanungen in seinem eigenen Gehirn (in dem, was sie „latenten Raum" nennen) durchführt, anstatt auf einem Blatt Papier (im „Sprachraum").

Die Analogie: Der geheime Handschlag vs. der lange Brief

Traditionelle agente RAG (Der lange Brief): Um einer Bibliothekarin zu sagen, welches Buch Sie wollen, müssen Sie einen langen, detaillierten Brief schreiben, der Ihren Denkprozess erklärt. Die Bibliothekarin liest den ganzen Brief, bevor sie zum Regal geht. Das kostet viel Zeit.
LatentRAG (Der geheime Handschlag): Der Assistent und die Bibliothekarin teilen sich einen geheimen Code. Der Assistent schreibt keinen Brief. Stattdessen sendet er ein einziges, komplexes „Signal" (ein latentes Token), das die gesamte Idee und Suchanfrage sofort übermittelt. Die Bibliothekarin versteht das Signal sofort und holt das Buch.

Wie es funktioniert (Die Zaubertricks)

1. Denken im „stummen" Modus
Anstatt Wörter wie „Ich muss nach X suchen" zu generieren, erzeugt die KI eine versteckte mathematische Darstellung (ein „latentes Token"). Dies geschieht in einem einzigen Moment (ein „Vorwärtsdurchlauf"), anstatt Sekunden zu benötigen, um einen Satz zu tippen.

Ergebnis: Der „Denk"-Teil wird fast augenblicklich.

2. Der Übersetzer (Latente Dekodierung)
Sie könnten fragen: „Wenn die KI nichts schreibt, wie wissen wir dann, woran sie denkt? Ist das nicht eine Blackbox?"
Das Papier fügt eine clevere Funktion namens Parallele latente Dekodierung hinzu.

Stellen Sie sich vor, die KI sendet ihr geheimes Signal an die Bibliothekarin.
Ein separates, winziges „Übersetzer"-Modul kann dieses geheime Signal sofort nach Abschluss der Suche zurück in englische Wörter übersetzen.
Das Tolle daran: Da die KI nicht warten musste, die Wörter zu schreiben, um die Suche durchzuführen, kann der Übersetzer alle Gedanken des gesamten Prozesses gleichzeitig (parallel) entschlüsseln, anstatt nacheinander. Dies hält das System schnell, selbst wenn wir die „Gedanken" sehen wollen.

3. Die Bibliothekarin trainieren
Da die Bibliothekarin (die Suchmaschine) normalerweise eine geschriebene Abfrage erwartet, bringt das Papier der Bibliothekarin bei, diese „geheimen Signale" direkt zu verstehen. Sie verwenden eine spezielle Trainingsmethode, um sicherzustellen, dass das Signal auf die richtigen Dokumente zeigt, genau wie eine geschriebene Abfrage.

Die Ergebnisse: Geschwindigkeit vs. Intelligenz

Die Autoren testeten dies an sieben verschiedenen schwierigen Datensätzen für Frage-Antwort-Spiele (wie komplexe Trivia oder mehrstufige Logikrätsel).

Genauigkeit: LatentRAG ist genauso schlau wie die langsamen, schwatzhaften Agenten. Es liefert die richtigen Antworten mit derselben Rate.
Geschwindigkeit: Es ist 90 % schneller.
- Wenn ein traditioneller „denkender" Agent 5 Sekunden benötigt, um eine schwierige Frage zu beantworten, erledigt LatentRAG dies in etwa 0,5 Sekunden.
- Es schließt die Lücke zwischen „super schlau, aber langsam" und „schnell, aber einfach".

Zusammenfassung

LatentRAG ist wie die Aufrüstung eines Detektivs von einem, der für jeden gefundenen Hinweis einen Tagebucheintrag schreibt, zu einem, der Telepathie verwendet. Sie lösen das Rätsel immer noch genauso gut, aber in einem Bruchteil der Zeit, weil sie keine Zeit damit verschwenden, ihre Gedanken aufzuschreiben. Wenn Sie den Tagebucheintrag wirklich sehen müssen, können sie ihre Telepathie sofort in Worte übersetzen, aber die Kernarbeit findet in der schnellen, stummen Zone statt.

Wichtigste Erkenntnis: Sie müssen nicht auf Geschwindigkeit verzichten, um komplexe Schlussfolgerungen zu erhalten. Indem wir das „Denken" vom sichtbaren Text in die versteckte Mathematik innerhalb der KI verlagern, erhalten wir das Beste aus beiden Welten.

Technische Zusammenfassung: LatentRAG

Problemstellung

Traditionelle Retrieval-Augmented Generation (RAG)-Systeme verlassen sich häufig auf einen einstufigen Abrufprozess, der bei komplexen Fragen, die ein iteratives Schlussfolgern erfordern, an Grenzen stößt. Während Agentic RAG dies adressiert, indem es Large Language Models (LLMs) als Suchagenten einsetzt, die iterativ Zwischenschritte und Teilabfragen generieren, um Informationen zu beschaffen, führt dieser Ansatz zu erheblichen Latenzzeiten.

Der Hauptengpass bei bestehenden Agentic-RAG-Methoden (z. B. Search-R1, AutoRefine) ist die autoregressive, tokenweise Generierung natürlichsprachlicher Gedanken und Teilabfragen. Wie in der Analyse des Papers gezeigt wird, entfallen auf diese Generierungsstadien etwa 90 % der gesamten Inferenzlatenz, was Agentic RAG 15–20 Mal langsamer macht als naive einstufige RAG. Darüber hinaus verhindert die explizite Generierung langer Textsequenzen eine effiziente Parallelisierung und behindert die durchgängige gemeinsame Optimierung des LLM und des Abrufmodells aufgrund der diskreten Natur der Ausgabetokens.

Methodik: LatentRAG

Die Autoren schlagen LatentRAG vor, ein Framework, das sowohl das Schlussfolgern als auch den Abruf vom diskreten Sprachraum in den kontinuierlichen latenten Raum verlagert. Anstatt explizite natürliche Sprachtokens für Gedanken und Teilabfragen zu generieren, operiert das Modell mit „latenten Tokens" – den letzten versteckten Zuständen spezieller Platzhalter-Tokens.

Kernkomponenten

Latente Generierung:
- Das LLM wird mit speziellen Tokens promptet (z. B. <think1>...<thinkm> für Gedanken und <query1>...<queryn> für Teilabfragen).
- Während der Prefill-Phase werden diese speziellen Tokens parallel verarbeitet. Das Modell extrahiert die letzten versteckten Zustände dieser Tokens, um als latenter Gedanke ( $H^\tau_t$ ) und latente Teilabfrage ( $H^s_t$ ) zu dienen.
- Dies ermöglicht dem Modell, interne Berechnungen zuzuweisen, ohne den sequenziellen Overhead der autoregressiven Textgenerierung.
Latenter Abruf:
- Da latente Tokens im Ausgaberium des LLM existieren, überbrückt ein leichtgewichtiges Projektor-Modul ( $Proj_{ret}$ ) die Lücke zum Eingaberaum des Abrufmodells.
- Die projizierte latente Teilabfrage wird in ein trainierbares dichtes Abrufmodell eingespeist, um Embeddings zu erzeugen.
- Trainingsziel: Um die latenten Teilabfrage-Embeddings mit dem Abrufverhalten natürlichsprachlicher Teilabfragen abzugleichen, ohne Ground-Truth-Dokumentannotationen für jeden Zwischenschritt zu benötigen, führen die Autoren einen KL-Divergenz-Verlust ein. Dieser Verlust minimiert die Divergenz zwischen der durch die latente Teilabfrage induzierten Dokumentähnlichkeitsverteilung und der durch eine Referenz (eingefrorene) natürliche Sprachteilabfrage induzierten Verteilung. Dies ermöglicht eine vollständig differentiable, durchgängige gemeinsame Optimierung des LLM und des Abrufmodells.
Parallele latente Dekodierung (Optional):
- Um die „Black-Box"-Natur des latenten Schlussfolgerns zu adressieren und Transparenz sicherzustellen, wird ein paralleler Dekodierungsmechanismus integriert.
- Projektor-Module bilden latente Tokens zurück in den Eingaberaum des LLM ab, wodurch das Modell die entsprechenden natürlichen Sprachgedanken und Teilabfragen dekodieren kann.
- Entscheidend ist, dass, da die latenten Tokens in einem einzigen Vorwärtsdurchlauf generiert werden, die nachfolgende Dekodierung von Gedanken und Teilabfragen über verschiedene Schritte hinweg parallel durchgeführt werden kann, was die Dekodierungslatenz im Vergleich zur sequenziellen autoregressiven Generierung erheblich reduziert.

Hauptbeiträge

LatentRAG-Framework: Ein neuartiges agentic RAG-System, das Schlussfolgern und Abruf vollständig im latenten Raum durchführt und den Latenz-Overhead, der mit der expliziten tokenweisen Generierung von Gedanken und Teilabfragen verbunden ist, eliminiert.
Latent-Raum-Abgleich: Ein auf KL-Divergenz basierendes Trainingsziel, das die latenten Teilabfrage-Repräsentationen des LLM mit einem vortrainierten dichten Abrufmodell abgleicht. Dies erleichtert die durchgängige gemeinsame Optimierung und ermöglicht es latenten Tokens, trotz Datenknappheit in Zwischenschritten als effektive Abrufabfragen zu dienen.
Paralleler Dekodierungsmechanismus: Eine Methode zur Übersetzung latenter Tokens zurück in natürliche Sprache für Transparenz. Dieser Mechanismus unterstützt die parallele Dekodierung über mehrere Schlussfolgerungsschritte hinweg und bietet einen Kompromiss zwischen Effizienz und Interpretierbarkeit, während er einen erheblichen Geschwindigkeitsvorteil gegenüber expliziten Methoden beibehält.

Experimentelle Ergebnisse

Die Autoren bewerteten LatentRAG an sieben Benchmark-Datensätzen (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, Musique, Bamboogle) unter Verwendung verschiedener Abrufmodelle und LLM-Skalen.

Leistung: LatentRAG erzielt eine Leistung, die mit den fortschrittlichsten expliziten Agentic-RAG-Methoden (z. B. Search-R1, AutoRefine) vergleichbar ist, wobei die relativen Leistungsunterschiede im Allgemeinen innerhalb von 5 % liegen.
Effizienz: Die Methode reduziert die Inferenzlatenz um etwa 90 % im Vergleich zu expliziten Agentic-RAG-Baselines.
- Im Durchschnitt reduziert LatentRAG die Latenz von ~5.000 ms (Search-R1) auf ~600 ms.
- Dies bringt die Latenz von Agentic RAG auf ein Niveau, das mit traditioneller einstufiger RAG vergleichbar ist (z. B. ~400–500 ms).
Skalierbarkeit: Die Effizienzgewinne gelten über verschiedene Modellgrößen hinweg (3B bis 14B LLMs und 0,6B bis 8B Abrufmodelle). Die Skalierung der LLM-Größe erhöht die Latenz bei expliziten Methoden aufgrund längerer Dekodierungssequenzen erheblich, während LatentRAG die Effizienz beibehält.
Ablationsstudien: Es wurde gezeigt, dass das KL-Divergenz-Abrufziel überlegen ist gegenüber Kosinus-Verlust oder InfoNCE-Verlust. Das Entfernen des vortrainierten Abrufmodells oder des latenten Dekodierungsverlusts führte zu einer Leistungsverschlechterung, was die Notwendigkeit des induktiven Bias des Abrufmodells und der durch Dekodierung bereitgestellten Regularisierung bestätigt.

Bedeutung und Behauptungen

Das Paper behauptet, dass LatentRAG erfolgreich die Lücke zwischen der hohen Leistung von mehrstufigem Agentic RAG und der Effizienz einstufiger RAG schließt. Indem es Schlussfolgern und Abruf in den latenten Raum verlagert, vermeidet das Framework die rechnerischen Ineffizienzen der autoregressiven Textgenerierung, während es die Fähigkeit zur Zerlegung komplexer Fragen beibehält.

Die Autoren betonen, dass, obwohl latentes Schlussfolgern für reine Generierungsaufgaben untersucht wurde, seine Anwendung auf Agentic RAG einzigartige Herausforderungen hinsichtlich Datenknappheit und Transparenz mit sich bringt. LatentRAG adressiert diese durch die Vorlage einer gemeinsamen Optimierungsstrategie und eines optionalen parallelen Dekodierungsmechanismus. Die Arbeit deutet auf einen Wandel von menschlich orientierten textbasierten Suchmaschinen hin zu agentenorientierten einbettungsbasierten Suchmaschinen hin, die ein effizienteres Paradigma für informationssuchende Agenten im Zeitalter der Large Language Models bieten. Die Autoren weisen bescheiden darauf hin, dass ihr aktueller Ansatz auf überwachtem Fein-Tuning (SFT) unter Verwendung von Trajektorien bestehender Agenten basiert, und zukünftige Arbeiten könnten Reinforcement Learning untersuchen, um Abrufrichtlinien weiter zu optimieren.