🤖 machine learning

Retrieval from Within: An Intrinsic Capability of Attention-Based Models

Das Papier stellt INTRA vor, ein Framework, das Abruf und Generierung in einem einzigen auf Aufmerksamkeitsmechanismen basierenden Encoder-Decoder-Modell vereint, indem es diesem ermöglicht, vorcodierte Evidenz direkt aus seinen internen Repräsentationen abzurufen und wiederzuverwenden, wodurch es traditionelle getrennte Retrieval-Augmented-Generation-Pipelines übertrifft.

Ursprüngliche Autoren: Elad Hoffer, Yochai Blau, Ron Banner, Daniel Soudry, Boris Ginsburg

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Elad Hoffer, Yochai Blau, Ron Banner, Daniel Soudry, Boris Ginsburg

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Rätsel zu lösen. Auf die traditionelle Weise, dies zu tun (genannt RAG, oder Retrieval-Augmented Generation), haben Sie zwei distincte Helfer:

Der Bibliothekar: Ein spezialisierter Experte, dessen einzige Aufgabe es ist, durch eine riesige Bibliothek zu laufen, die wenigen Bücher zu finden, die die Antwort enthalten könnten, und sie Ihnen zu übergeben.
Der Detektiv: Ein brillanter Ermittler, der diese spezifischen Bücher liest und den abschließenden Bericht verfasst.

Das Problem bei dieser Konfiguration ist, dass der Bibliothekar und der Detektiv unterschiedliche Sprachen sprechen. Der Bibliothekar verwendet ein spezifisches Ablagesystem (Embeddings), um Bücher zu finden, aber der Detektiv muss diese Bücher von Grund auf neu lesen und neu interpretieren, bevor er den Bericht schreiben kann. Manchmal übergibt der Bibliothekar die falschen Bücher, oder der Detektiv hat Schwierigkeiten, die Bücher zu verstehen, weil sie durch die Logik eines anderen gefiltert wurden.

Die große Idee des Papers: „INTRA"

Dieses Paper stellt ein neues System namens INTRA (INTrinsic Retrieval via Attention) vor. Anstatt einen separaten Bibliothekar einzustellen, verwandelt INTRA den Detektiv in einen Bibliothekar-Detektiv-Hybrid.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „interne Bibliothek" (Pre-encoding)

Stellen Sie sich vor, der Detektiv hat bereits jedes Buch in der Bibliothek gelesen und für jedes ein Set von mentalen Notizen (genannt „encodierte Zustände") erstellt. Diese Notizen fassen das Wesentliche des Buches zusammen, ohne dass die physischen Seiten benötigt werden.

Traditionelles RAG: Wenn Sie eine Frage stellen, findet der Bibliothekar die Bücher, gibt sie dem Detektiv, und der Detektiv muss die physischen Seiten erneut lesen, um Notizen zu machen.
INTRA: Der Detektiv hat die mentalen Notizen bereits auf einem Regal bereit. Wenn Sie eine Frage stellen, muss der Detektiv die Bücher nicht erneut lesen; er holt einfach die vorgefertigten Notizen vom Regal.

2. Der „Selbst-Scoring"-Mechanismus

Im alten System entscheidet der Bibliothekar basierend auf einem separaten Regelbuch, welche Bücher wichtig sind. In INTRA nutzt der Detektiv seine eigene interne Intuition (den „Attention"-Mechanismus), um zu entscheiden, welche mentalen Notizen relevant sind.

Das Paper argumentiert, dass der Teil der KI, der normalerweise auf Wörter „achtet", tatsächlich ein eingebautes Retrieval-System ist. Es ist so, als würde das Gehirn des Detektivs die wichtigsten Sätze in seinen mentalen Notizen natürlich hervorheben, ohne dass ein externes Werkzeug zum Hervorheben benötigt wird.
Das System fügt einige spezielle „Such-Token" (wie mentale Haftnotizen) hinzu, die dem Detektiv helfen, seine eigene interne Bibliothek zu durchsuchen und zu sagen: „Ah, diese spezifische Notiz ist genau das, was ich für diese Frage brauche."

3. Der Vorteil des „One-Stop-Shop"

Da dasselbe Gehirn (das Modell) sowohl die Suche als auch die Beantwortung übernimmt, verschwinden zwei große Probleme:

Kein Übersetzungsverlust: Der Detektiv muss die Erkenntnisse des Bibliothekars nicht in seine eigene Sprache übersetzen. Sie sprechen dieselbe Sprache, weil sie dieselbe Person sind.
Wiederverwendung von Notizen: Wenn der Detektiv bereits mentale Notizen für ein Buch erstellt hat, kann er diese gleichen Notizen für tausend verschiedene Fragen verwenden. Er muss das Buch nicht jedes Mal erneut lesen.

Die Ergebnisse: Was das Paper herausfand

Die Forscher testeten dies an schwierigen „Multi-Hop"-Fragen (Fragen, die das Verbinden von Punkten zwischen verschiedenen Informationsstücken erfordern, wie ein Detektiv, der Hinweise von verschiedenen Tatorten verbindet).

Besser beim Finden von Hinweisen: INTRA war besser darin, alle notwendigen Beweisstücke zu finden, als Systeme, die einen separaten Bibliothekar verwenden. Es war besonders gut bei komplexen Rätseln, bei denen Informationen aus mehreren Quellen zusammengefügt werden müssen.
Bessere Antworten: Da der Detektiv die richtigen Hinweise fand und keine Zeit damit verbrachte, sie erneut zu lesen, waren die endgültigen Antworten genauer.
Geschwindigkeit: Da die „mentalen Notizen" bereits erstellt sind, ist das System schneller darin, eine Antwort zu generieren, sobald die Suche abgeschlossen ist. Es überspringt den Schritt des erneuten Lesens des Rohtextes.

Der Haken (Einschränkungen)

Das Paper macht deutlich, was dieses System noch nicht tut:

Es funktioniert am besten mit einer festen Bibliothek (einem bestimmten Satz von Dokumenten, die im Voraus vorbereitet wurden). Es ist nicht dafür ausgelegt, jetzt live und sich veränderndes Internet zu durchsuchen.
Es verlässt sich auf eine bestimmte Art von KI-Architektur (Encoder-Decoder), die weniger verbreitet ist als die „Decoder-only"-Modelle (wie die, mit denen Sie möglicherweise täglich chatten).
Es ist derzeit ein Proof-of-Concept, der zeigt, dass die „Retrieval"-Fähigkeit bereits im Modell enthalten ist; sie muss nur entsperrt werden.

Zusammenfassung:
Das Paper behauptet, dass wir nicht immer eine separate „Suchmaschine" bauen müssen, um KI-Modellen zu helfen, Informationen zu finden. Stattdessen können wir das Modell lehren, seine eigenen internen „Attention"-Kräfte zu nutzen, um sein eigenes Gedächtnis zu durchsuchen, wodurch der Prozess schneller, genauer und effizienter wird. Es verwandelt die KI von einem „Leser, der einen Bibliothekar braucht" in einen „selbstsuchenden Detektiv".

Technische Zusammenfassung: Retrieval aus dem Inneren: Eine intrinsische Fähigkeit von auf Aufmerksamkeit basierenden Modellen

1. Problemstellung

Retrieval-Augmented Generation (RAG) hat sich zum Standardansatz für die Beantwortung von Fragen entwickelt, bei denen die notwendigen Informationen in einem großen Korpus nur spärlich vorhanden sind. Die aktuellen RAG-Architekturen behandeln Retrieval und Generierung jedoch typischerweise als separate, modulare Systeme. Ein Retriever wählt Kandidaten-Evidenz aus (oft unter Verwendung von dichten Embeddings oder lexikalischen Methoden), die dann an einen Generator (LLM) übergeben werden, der den Text neu kodiert, um eine Antwort zu erzeugen.

Diese Trennung führt zu zwei Hauptineffizienzen:

Repräsentationsinkongruenz: Retriever und Generator operieren in unterschiedlichen Repräsentationsräumen, was zu einer Diskrepanz zwischen dem, was abgerufen wird, und dem, was für den Generator am nützlichsten ist, führen kann.
Rechenredundanz: Im Standard-RAG müssen ausgewählte Evidenz-Chunks zur Abfragezeit vom Encoder des Generators neu kodiert werden, selbst wenn sie bereits während der Retrieval-Phase kodiert wurden.

Die Autoren fragen, ob ein auf Aufmerksamkeit basierendes Encoder-Decoder-Modell Retrieval intrinsisch aus seinen eigenen internen Repräsentationen durchführen kann, wodurch die Retrieval- und Generierungsprozesse innerhalb eines einzigen Modells ohne externes Retriever-Modul vereinheitlicht werden.

2. Methodik: INTRA

Die Arbeit stellt INTRA (INTrinsic Retrieval via Attention) vor, ein Framework, bei dem ein einziges vortrainiertes Encoder-Decoder-Modell sowohl die Evidenzauswahl als auch die Antwortgenerierung unter Verwendung eines gemeinsamen Repräsentationsraums übernimmt.

Kernmechanismus

Anstelle eines externen Retrievers nutzt INTRA den Cross-Attention-Mechanismus des Decoders, um vorkodierte Evidenz-Chunks zu bewerten. Der Prozess umfasst:

Vorkodierung: Der Korpus wird einmalig vom eingefrorenen Encoder kodiert, wodurch eine Menge von Chunk-Repräsentationen $K = \{k_i\}$ entsteht.
Retrieval-Tokens: Die Eingabeabfrage $x$ wird um $R$ lernbare Retrieval-Tokens $\rho$ erweitert.
Bewertung via Aufmerksamkeit: Der Decoder verarbeitet die erweiterte Abfrage gegen die vorkodierten Chunks. Die Cross-Attention-Queries ( $q_\ell$ ) aus den Decoder-Schichten werden verwendet, um die Chunks zu bewerten.
MaxSim-Bewertung: Um attention-basierte Token-Level-Scores in Chunk-Level-Retrieval-Scores umzuwandeln, wenden die Autoren einen MaxSim-Ansatz (skalierter ColBERT-ähnlicher späte Interaktion) an. Für jedes Abfrage-Token wird die maximale Ähnlichkeit zu einem beliebigen Token in einem Chunk ermittelt, und diese werden über die Schichten hinweg unter Verwendung lernbarer Gewichte $\alpha_\ell$ aggregiert.
Auswahl und Generierung: Die Top- $n$ -Chunks basierend auf diesen Scores werden ausgewählt, um den Kontext $K(S_{INTRA})$ zu bilden, der dann vom Decoder zur Generierung der Antwort verwendet wird.

Wichtige technische Innovationen

Reverse-QWK (Query-Key Weight): Standard-Transformer-Cross-Attention wendet schichtspezifische lineare Projektionen und Normalisierung auf die Keys (Encoder-Zustände) an. Dies würde eine Neuberechnung der Keys für jede Schicht erfordern und die Wiederverwendung eines einzigen vorkodierten Index verhindern. INTRA führt Reverse-QWK ein, eine Technik, die die gelernte Key-Skala und die Projektionsmatrix auf die Query-Seite verlagert. Dies ermöglicht es dem Modell, eine einzige normalisierte Encoder-Repräsentation ( $\bar{K}$ ) zu speichern, die allen Decoder-Schichten dient und eine effiziente Retrieval-Bewertung gegen einen statischen Index ermöglicht.
Gepoolte Embeddings: Um die Rechenkosten von MaxSim über lange Chunks zu reduzieren, ersetzen die Autoren die vollständigen Chunk-Repräsentationen durch feste, mittlere gepoolte Embeddings ( $L_p \ll L_c$ ). Diese Approximation bewahrt das Design der gemeinsamen Repräsentation, ohne ein separates Kompressionsmodell zu erfordern.
Trainingsziel: Die Retrieval-Tokens und Aggregationsgewichte werden unter Verwendung eines weichen Cross-Entropy-Ziels trainiert, um die Wahrscheinlichkeitsmasse auf „Oracle"-Evidenz-Chunks (Ground Truth) zu maximieren, während der zugrunde liegende Encoder-Decoder eingefroren bleibt.

3. Wichtige Beiträge

Vereinheitlichtes Framework: Die Formulierung von INTRA, die die Evidenzauswahl und die Antwortgenerierung innerhalb eines einzigen vortrainierten Encoder-Decoder-Modells unter Verwendung eines gemeinsamen Repräsentationsraums koppelt.
Minimales Architektur-Rezept: Identifikation der notwendigen Komponenten, um intrinsisches Retrieval freizulegen: Wiederverwendung nativer Chunk-Repräsentationen, Verwendung von Encoder-seitiger späte Interaktion für grobes Retrieval und Verfeinerung der Evidenz durch Decoder-seitige Retrieval-Queries ohne externe Module.
Empirische Leistung: Nachweis, dass dieses vereinheitlichte Design starke, technisch ausgefeilte Retrieval-Pipelines (einschließlich dichter Retriever und Reranker) auf Multi-Hop-Frage-Antwort-Benchmarks übertrifft und eine höhere Evidenz-Recall-Rate sowie eine bessere End-to-End-Antwortqualität erzielt.
Rechenleistung: Charakterisierung der Effizienz des Designs, insbesondere des „reusable-context"-Regimes, bei dem statische Evidenz einmal kodiert und wiederverwendet wird, wodurch die Kosten für die Neukodierung während der Generierungs-Prefill-Phase entfallen.

4. Experimentelle Ergebnisse

Die Autoren bewerteten INTRA auf vier Wikipedia-basierten QA-Benchmarks: HotPotQA, 2WikiMultihopQA, MuSiQue und Natural Questions (NQ). Das verwendete Modell war ein T5Gemma2 4B-4B-Checkpoint.

Retrieval-Qualität: INTRA erzielte auf Multi-Hop-Benchmarks (HotPotQA, 2Wiki, MuSiQue) den höchsten Complete-Evidence Recall (der Anteil der Beispiele, bei denen alle unterstützenden Fakten abgerufen werden). Es übertraf sparse Methoden (TF-IDF, BM25), dichte Single-Vector-Modelle (BGE, Qwen-Embedding) und hybride RAG-Pipelines.
End-to-End-QA: Bei Verwendung desselben T5Gemma2-Decoders für die Generierung übertraf INTRA alle Baselines in Exact Match (EM) und F1-Scores bei Multi-Hop-Aufgaben. Bemerkenswerterweise erreichte INTRA dies unter Verwendung eines eingefrorenen Decoders, der nur für die Generierung vortrainiert war, während Baseline-Retriever oft auf großen Retrieval-Korpora vortrainiert wurden.
Effizienz: Benchmarks zur Messung der Time-to-First-Token (TTFT) zeigten, dass INTRA mit zunehmender Anzahl der abgerufenen Chunks ( $k$ ) signifikant schneller als Standard-RAG blieb. Dies liegt daran, dass INTRA vorkodierte Zustände wiederverwendet und die quadratischen Kosten der Neukodierung abgerufenen Texts während der Generierungs-Prefill-Phase vermeidet.
Ablationsstudien: Das Entfernen des initialen Kontexts oder die Reduzierung der Anzahl der Retrieval-Tokens verschlechterte die Leistung erheblich, was die Notwendigkeit sowohl der Initialisierung als auch des gelernten Retrieval-Bewertungsmechanismus bestätigt.

5. Bedeutung und Behauptungen

Die Arbeit postuliert einen konzeptionellen Wandel in der Betrachtung von Retrieval in großen Sprachmodellen. Die Autoren behaupten, dass auf Aufmerksamkeit basierende Modelle bereits über einen intrinsischen Retrieval-Mechanismus verfügen, der aktiviert werden kann, anstatt als externes Modul hinzugefügt zu werden.

Vereinheitlichte Repräsentation: Durch die Vereinheitlichung von Retrieval und Generierung eliminiert INTRA die Repräsentationsinkongruenz zwischen Retrievern und Generatoren.
Intrinsische Fähigkeit: Die Ergebnisse deuten darauf hin, dass das in Aufmerksamkeitsmechanismen inhärente „query-conditioned matching" für effektives Retrieval ausreicht, wenn es über lernbare Tokens und späte Interaktions-Bewertung angemessen freigelegt wird.
Effizienz: Das Framework bietet einen praktischen rechnerischen Vorteil für statische Wissensbasen, indem die Kosten der Kodierung von Evidenz über Abfragen hinweg amortisiert werden.

Einschränkungen

Die Autoren weisen ausdrücklich darauf hin, dass ihre Experimente sich auf einen festen Kontextpool konzentrieren und nicht behaupten, INTRA sei ein Ersatz für RAG in Open-Web- oder dynamischen Retrieval-Szenarien. Die Methode basiert auf Encoder-Decoder-Cross-Attention und ist nicht direkt auf Decoder-only-Modelle anwendbar. Darüber hinaus bleibt die Verallgemeinerung des Ansatzes auf breitere Domänen oder dynamische Korpora, obwohl er bei Kurzantwort-QA effektiv ist, eine offene Frage für zukünftige Arbeiten.