🤖 AI

One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA

Dieses Paper führt Latent Memory ein, ein ressourceneffizientes Paradigma, das multimodale Evidenz in einzelne latente Token für Retrieval und Generierung komprimiert, wodurch der Tokenverbrauch und die Speicherkosten signifikant reduziert werden, während eine wettbewerbsfähige Performance bei Fragen-Antworten über Text-only- sowie multimodale Benchmarks hinweg beibehalten wird.

Ursprüngliche Autoren: Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „schwere Koffer“

Stellen Sie sich vor, Sie sind ein brillanter Detektiv (die KI) und versuchen, ein Rätsel zu lösen. Um Ihren Job zu erledigen, müssen Sie eine riesige Bibliothek voller Hinweise (Textartikel und Fotos) durchforsten.

In der derzeitigen Arbeitsweise (bestehende RAG-Systeme) überreicht Ihnen der Bibliothekar bei jeder neuen Frage die gesamte rohe Bibliothek.

Wenn der Hinweis ein langer Artikel ist, lesen Sie jedes einzelne Wort.
Wenn der Hinweis ein Foto ist, beschreibt der Bibliothekar Ihnen nicht einfach das Foto, sondern er beschreibt jedes einzelne Pixel in tausenden von Wörtern, damit Sie es „sehen“ können.

Das Ergebnis: Sie sind überfordert. Sie gehen die Energie (Speicherplatz) und die Zeit (Verarbeitungsgeschwindigkeit) aus, weil Sie schwere, unkomprimierte Koffer voller Rohdaten mit sich herumtragen, obwohl Sie nur einen einzigen kleinen Fakt daraus benötigen würden. Dies macht den Einsatz auf kleinen Geräten wie Telefonen oder Edge-Computern unmöglich.

Die Lösung: Die „magische Zusammenfassungskarte“ (Latent Memory)

Die Autoren schlagen ein neues System namens Latent Memory vor. Anstatt Ihnen die schweren Rohkoffer zu übergeben, komprimieren sie jedes einzelne Beweisstück (ob es sich um einen Textabsatz oder ein Foto handelt) in eine einzelne, winzige, magische Zusammenfassungskarte.

Denken Sie an Folgendes:

Alter Weg: Sie tragen ein 500-seitiges Buch bei sich, um einen einzigen Satz zu finden.
Neuer Weg: Sie tragen eine einzige Indexkarte bei sich, die die Essenz dieses Buches enthält.

Wie es funktioniert: Der Drei-Schritte-Prozess

1. Die Kompressionsstation (Der „Übersetzer“)
Bevor die KI die Hinweise überhaupt sieht, betrachtet ein kleiner, spezialisierter Assistent (das Kompressionsmodell) jedes einzelne Beweisstück.

Er liest den Text oder betrachtet das Foto.
Er destilliert die gesamte Bedeutung in ein einziges „Token“ (einen hochdimensionalen Zahlenvektor).
Er wirft das ursprüngliche schwere Buch oder das Foto weg und behält nur diese winzige Karte.
Analogie: Stellen Sie sich einen Meisterkoch vor, der eine komplexe Suppe probiert und dann einen einzigen geheimen Code auf eine Serviette schreibt, der den Geschmack perfekt einfängt. Sie brauchen nicht mehr den ganzen Topf Suppe; nur noch den Code.

2. Die Suche (Der „Magische Kompass“)
Wenn Sie eine Frage stellen, sucht das System nicht in den schweren Büchern. Stattdessen wandelt es Ihre Frage in einen ähnlichen „Code“ um und nutzt einen Kompass, um die passenden Zusammenfassungskarten in der Schublade zu finden.

Da nun alles nur noch eine einzige Karte ist, erfolgt die Suche unglaublich schnell und benötigt sehr wenig Platz.

3. Die Antwort (Der „Direkt-Feed“)
Das System nimmt die am besten passenden Zusammenfassungskarten und übergibt sie direkt an die Haupt-KI (den Generator).

Die Haupt-KI muss den ursprünglichen Text nicht lesen oder das ursprüngliche Foto sehen. Sie liest einfach den „geheimen Code“ auf der Karte und versteht sofort den Kontext, um Ihnen die Antwort zu geben.
Entscheidender Punkt: Die Haupt-KI muss nicht neu trainiert werden. Sie lernt einfach, diese neuen Karten statt der alten Bücher zu „lesen“.

Warum ist das eine große Sache?

1. Massive Effizienz (Der „leichte Rucksack“)
Die Arbeit behauptet, dass diese Methode die „Token-Kosten“ (die Menge der Daten, die die KI verarbeiten muss) um das 3- bis 10-fache reduziert.

Text: Anstatt 200 Wörter an Kontext zu senden, verarbeitet die KI 1 Token.
Bilder: Anstatt ein Foto in hunderte von „visuellen Wörtern“ zu expandieren, verarbeitet die KI nur 1 Token.
Ergebnis: Sie können leistungsstarke KI auf kleineren Geräten (wie Telefonen) ausführen, weil der „Rucksack“ an Daten nun federleicht ist.

2. Es funktioniert trotzdem (Das „perfekte Gedächtnis“)
Sie fragen sich vielleicht: „Wenn wir das ursprüngliche Buch wegwerfen, wird die KI dann die Details vergessen?“

Die Autoren haben den Kompressor mit drei speziellen Tricks trainiert, um sicherzustellen, dass die „Zusammenfassungskarte“ nicht nur eine vage Idee ist, sondern ein präziser Schlüssel:
- Rekonstruktion: Das System versucht, den ursprünglichen Text oder die ursprüngliche Bildbeschreibung aus der Karte wieder „aufzubauen“, um sicherzustellen, dass die Details vorhanden sind.
- Kontrast: Es lernt, sicherzustellen, dass die Karte für „Annie Morton“ sehr unterschiedlich von der Karte für „Terry Richardson“ ist, damit sie nicht verwechselt werden.
- Destillation: Es lehrt die Karte, sich exakt so zu verhalten, wie das ursprüngliche Beweisstück agiert hätte, wenn die KI das Ganze gelesen hätte.

3. Die Ergebnisse

Textfragen: Bei Standardtests zum Leseverständnis funktionierte diese Methode genauso gut wie die schweren, langsamen Methoden, verbrauchte aber 3-mal weniger Token.
Bildfragen: Bei Tests, die Fotos beinhalten (wie das Identifizieren von Objekten in einem Bild), war sie 10-mal effizienter und funktionierte tatsächlich besser als andere Methoden, weil sie nicht durch die gewaltige Menge an Daten verwirrt wurde, die normalerweise zur Verarbeitung von Bildern erforderlich ist.

Die Einschränkungen (Was die Arbeit sagt)

Die Arbeit stellt fest, dass dies am besten funktioniert, wenn Beweise in einzelne „atomare“ Einheiten unterteilt werden können (ein Absatz, ein Foto).

Es könnte bei Dingen Schwierigkeiten haben, die auf komplexen Strukturen basieren, wie etwa einer riesigen Tabelle, bei der die Beziehung zwischen Zeilen und Spalten wichtig ist, oder einem langen Video, bei dem die Abfolge der Ereignisse entscheidend ist. Diese in eine einzige Karte zu komprimieren, könnte die „Großstruktur“ des Gesamtbildes verlieren.

Zusammenfassung

Latent Memory ist wie das Verwandeln einer Bibliothek aus schweren, rohen Büchern und Fotos in einen schlanken, digitalen Kartensystem, bei dem jedes einzelne Element durch einen winzigen, perfekten Code repräsentiert wird. Dies ermöglicht es der KI, komplexe Fragen mit einem Bruchteil des Speichers und der Geschwindigkeit zu beantworten, was leistungsstarke KI auf Geräten zugänglich macht, die sie zuvor nicht bewältigen konnten.

Technisches Resümee: Ein Token pro multimodaler Evidenz: Latenter Speicher für ressourcenbeschränkte QA

Problemstellung

Große Sprachmodelle (LLMs) und visuelle-sprachliche Modelle (VLMs) verlassen sich auf externen Speicher, um ihre Ausgaben in relevante multimodale Evidenzen für Aufgaben wie die Beantwortung von Fragen (Question Answering, QA) einzubetten. Das vorherrschende Speicherparadigma ist jedoch rechenintensiv und speicherintensiv. Bestehende Retrieval-Augmented Generation (RAG)-Systeme rufen rohen Text und Bilder ab und übergeben diese unkomprimiert an den Generator. Dieser Ansatz verursacht einen erheblichen Token-Verbrauch und hohe Latenzzeiten, insbesondere bei multimodaler Evidenz, bei der ein einzelnes Bild während der Generierung zu hunderten visuellen Tokens expandieren kann. Diese Kosten behindern den Einsatz von speichergestützten Systemen in ressourcenbeschränkten Umgebungen, wie etwa auf Edge-Geräten oder Online-Assistenten, wo Speicherplatz und Latenz kritische Einschränkungen darstellen.

Methodik: Latenter Speicher

Das Paper schlägt den Latenten Speicher (Latent Memory) vor, ein Paradigma, das rohe multimodale Evidenzelemente durch kompakte, hochdimensionale latente Tokens ersetzt. Die Kernidee besteht darin, jedes Einheit der Evidenz (Text oder Bild) in ein einziges latentes Token zu komprimieren, das einem dualen Zweck dient: Retrieval und Generierung.

Architektur und Pipeline

Speicherkompression: Ein kleines, trainierbares Kompressor-LLM/VLM ( $\theta$ ) kodiert jedes Evidenzelement $x_i$ in ein einzelnes latentes Token $z_i$ . Dies wird erreicht, indem ein lernbares [MEM]-Token an den Input angehängt wird und dessen finaler Hidden State extrahiert wird.
Vereinheitlichter Retrieval-Raum: Die latenten Tokens werden über ein MLP in einen niederdimensionalen Retrieval-Raum projiziert. Zur Abfragezeit wird die Frage in denselben Raum eingebettet, und relevante latente Tokens werden mittels Ähnlichkeitssuche (z. B. Skalarprodukt) abgerufen.
Latent-konditionierte Generierung: Die abgerufenen latenten Tokens werden unter Verwendung eines lernbaren Projektors in die Hidden-Dimension eines eingefrorenen großen LLM/VLM-Generators ( $\phi$ ) projiziert. Der Generator erzeugt die Antwort bas sich auf diesen latenten Tokens, wodurch die Verarbeitung von roher Evidenz oder expandierten visuellen Tokens umgangen wird.
Optionale Rekonstruktion: Um die Interpretierbarkeit zu wahren, kann ein Decoder den ursprünglichen Text oder die Bildunterschriften aus den latenten Tokens rekonstruieren, obwohl dies für die Generierung nicht erforderlich ist.

Trainingsziele

Der Kompressor und die zugehörigen Projektoren werden end-to-end unter Verwendung einer vereinheitlichten Verlustfunktion trainiert, die drei Ziele kombiniert:

Rekonstruktionsverlust ( $L_{Recon}$ ): Stellt sicher, dass das latente Token genügend Informationen bewahrt, um den ursprünglichen Text oder das Bild-Embedding zu rekonstruieren (unter Verwendung eines Teacher-Forcing-Ansatzes für Text und der Vorhersage von CLIP-Embeddings für Bilder).
Kontrastiver Retrieval-Verlust ( $L_{Contrast}$ ): Richtet das Query-Embedding an der unterstützenden positiven latenten Evidenz aus und drängt es von negativer Evidenz weg, wodurch ein vereinheitlichter Retrieval-Raum für gemischte Modalitäten geschaffen wird.
**Distillationsverlust ( $L_{Distill}$ ):
Distillationsverlust ( $L_{Distill}$ ): Gleicht das Generierungsverhalten des eingefrorenen Generators, wenn er mit latenten Tokens aufgefordert wird, mit seinem Verhalten an, wenn er mit roher Evidenz aufgefordert wird. Dies stellt sicher, dass der Generator die latenten Tokens als gültige Evidenz interpretieren kann, ohne dass der große Generator selbst feinjustiert werden muss.

Zentrale Beiträge

Latent Memory Paradigma: Die Autoren schlagen ein neues Speicherparadigma vor, das jedes multimodale Evidenzelement in ein einziges hochdimensionales latentes Token kompiliert, was den Speicherbedarf und den Token-Verbrauch signifikant reduziert.
Vereinheitlichtes Trainingsziel: Sie zeigen, dass ein einzelnes latentes Token durch ein Trainingsziel, das Rekonstruktion, kontrastives Lernen und Distillation kombiniert, gleichzeitig Retrieval, Informationserhaltung und Generierung unterstützen kann.
Effizienz-Leistungs-Trade-off: Die Methode erreicht eine konkurrenzfähige QA-Leistung im Vergleich zu fortgeschrittenen RAG-Baselines bei einem deutlich geringeren Verbrauch an Generator-Tokens (Reduktion um das 3- bis 10-fache).

Experimentelle Ergebnisse

Die Methode wurde auf sieben textbasierten QA-Benchmarks (z. B. HotpotQA, 2WikiMultihopQA, MuSiQue) und multimodalen Benchmarks (WebQA) evaluiert.

Text-only QA: Unter Verwendung eines eingefrorenen Meta-Llama-3-8B-Instruct-Generators erreichte der 1-Token Latent Memory konkurrierende Exact Match (EM) und F1-Scores im Vergleich zu RAG-Baselines (BM25, Dense Retrieval, Qwen3-Embedding), während er etwa 3× weniger Tokens verwendete. Beispielsweise verwendete er bei Out-of-Domain-Durchschnitten 71 Tokens bei $k=5$ im Vergleich zu 209 für BM25 und 208 für Dense Retrieval.
Multimodale QA (WebQA): Unter Verwendung eines eingefrorenen LLaVA-1.5-13B-Generators lieferte Latent Memory die stärkste bildgestützte QA-Leistung. Bei $k=5$ erreichte es ein Bild-F1 von 69,4 mit nur 82 Tokens, während die beste Baseline (Nemo-Emb) 1.885 Tokens benötigte, um ein niedrigeres F1 von 53,0 zu erreichen.
Skalierbarkeit: Der Ansatz skaliert linear mit der Anzahl der Evidenzelemente während der Kompilierung und behält eine geringe Komplexität während der Inferenz bei, wodurch das quadratische Wachstum vermieden wird, das mit Full-Context-Prompting verbunden ist.
Generalisierung: Der auf HotpotQA trainierte Latent Memory transferierte effektiv auf Out-of-Domain-Datensätze (2WikiMultihopQA, MuSiQue) ohne zusätzliches Tuning, was robuste Retrieval-Fähigkeiten demonstriert.

Bedeutung und Ansprüche

Das Paper behauptet, dass Latent Memory eine lebensfähige Lösung für ressourcenbeschränkte Anwendungen bietet, indem es die Art und Weise, wie externes Gedächtnis repräsentiert wird, grundlegend ändert. Durch die Komprimierung multimodaler Evidenz in einzelne Tokens adressiert es die dualen Engpässe von Speicherdruck (insbesondere für Bilder) und Token-Verbrauch während der Generierung.

Die Autoren betonen, dass dieser Ansatz die Bereitstellung von speichergestützten Systemen auf Geräten mit strengen Speicher- oder Latenzvorgaben (z. B. Edge AI) ermöglicht, ohne dass große, teure Generator-Modelle feinjustiert werden müssen. Der vereinheitlichte latente Repräsentationsraum vereinfacht die Retrieval-Generation-Pipeline und ermöglicht eine effiziente Handhabung von Langkontext- und Multi-Turn-Interaktionen. Während das aktuelle Design davon ausgeht, dass Evidenz in atomare Text- oder Bildeinheiten zerlegt werden kann, positioniert das Paper Latent Memory als einen grundlegenden Schritt hin zu effizienteren, multimodalen agentischen Systemen.