💻 computer science

Do You Remember? Toward Memory-Centric Multimodal AI

Das Papier stellt „DoYouRemember“ vor, eine gedächtniszentrierte multimodale KI-Architektur, die die standardmäßige One-Shot-Verarbeitung durch ein rekonstruktives Gedächtnissystem unter Verwendung einer gemeinsamen Matrix und lokaler EMA-Updates ersetzt und demonstriert, dass die Hidden States von LLMs visuelle Informationen verwerfen und Halluzination als eine inhärente Eigenschaft der verlustbehafteten Gedächtnisdekompression statt als einen Defekt umdeutet.

Ursprüngliche Autoren: Xuguang Yu, Weigang Zheng, Minyue Yu

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xuguang Yu, Weigang Zheng, Minyue Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Erinnerst du dich? Warum KI „vergisst“, was sie sieht (und wie wir es behoben haben)

Stell dir vor, du betrachtest das Gesicht eines Freundes. Du speicherst keine perfekte High-Definition-Videodatei in deinem Gehirn. Stattdessen macht dein Gehirn eine Momentaufnahme, komprimiert sie in einige wenige Kernideen (die Form des Lächelns, die Farbe der Augen), und wenn du später versuchst, dich daran zu erinnern, rekonstruiert dein Gehirn ein neues Bild basierend auf diesen Ideen. Es ist kein Abspielen; es ist ein kreatives Neuaufbauen.

Stell dir nun einen superintelligenten KI-Roboter vor, der dein Gesicht betrachtet, dir genau sagt, welche Hauterkrankung du hast, aber dann sofort das Bild deines Gesichts aus seinem Gedächtnis löscht. Genau das machen die heutigen fortschrittlichsten KI-Modelle. Sie „verstehen“ das Bild perfekt, aber „erinnern“ sich an nichts davon.

Eine neue Studie namens DoYouRemember versucht dies zu beheben, indem sie die KI lehrt, sich tatsächlich an das zu erinnern, was sie sieht, indem sie ein System nutzt, das der Funktionsweise des menschlichen Gedächtnisses nachempfunden ist.

Die große Entdeckung: Verstehen $\neq$ Erinnern

Die Forscher begannen mit einer einfachen Frage: Wenn eine KI ein Bild perfekt beschreiben kann, „sieht“ sie das Bild dann noch in ihrem Gehirn?

Sie bauten eine dreistufige Maschine, um dies zu testen:

Der Kompressor: Sie nahmen das Bild eines Gesichts und quetschten es in eine winzige, digitale Kurzschrift zusammen (wie das Umwandeln eines 4K-Films in ein paar Textcodes).
Der Denker: Sie speisten diese Codes in ein riesiges KI-Gehirn (ein Large Language Model) ein, um die Haut zu analysieren.
Der Rebuilder (Wiederaufbauer): Sie versuchten, aus den „Gedanken“ der KI (ihren internen verborgenen Zuständen) wieder ein Bild zu machen.

Das schockierende Ergebnis:
Als sie versuchten, das Gesicht aus den Gedanken der KI wieder aufzubauen, erhielten sie... statisches Rauschen. Reines Rauschen.
Die KI war sehr gut darin zu sagen: „Diese Person hat einen roten Ausschlag auf der Wange“, aber ihr internes Gedächtnis enthielt null rekonstruierbare visuelle Informationen über den Ausschlag. Es war wie ein Übersetzer, der perfektes Englisch spricht, aber die ursprünglichen französischen Wörter komplett vergessen hat. Die KI verstand die Bedeutung, zerstörte aber das Bild.

Das Paper beweist, dass für diese KI-Modelle Verstehen nicht dasselbe ist wie Erinnern. Die KI konsumiert die visuellen Daten, um einen Satz zu bilden, und wirft die visuellen Daten danach weg.

Die gescheiterten Versuche: Warum „Backpropagation“ nicht funktionierte

Bevor sie die Lösung fanden, versuchte das Team viele Wege, um die KI zu zwingen, ein Gedächtnis zu behalten. Sie probierten verschiedene Gedächtnisarchitekturen aus und nutzten eine Standard-Trainingsmethode namens Backpropagation (was so ähnlich ist wie ein Lehrer, der die Hausaufgaben eines Schülers korrigiert, indem er genau berechnet, wie viel dieser falsch gemacht hat).

Sie probierten:

Die KI dazu zu bringen, auf ein gemeinsames Gedächtnis-Board zu schreiben.
Verschiedene Arten von „kontrastivem Lernen“ (der KI beizubringen, ähnliche Dinge zu erkennen).
Den Pfad zwischen dem Fehler und dem Gedächtnis zu verkürzen.

Das Urteil: Jeder einzelne Versuch schlug fehl. Das Gedächtnis-Board blieb eingefroren.

Warum? Das Paper erklärt dies mit einer mathematischen Regel, die sie Gradient Cancellation nennen. Stell dir vor, 99.000 verschiedene Menschen versuchen gleichzeitig, auf dasselbe kleine Whiteboard zu schreiben. Einer möchte eine Katze zeichnen, ein anderer einen Hund, ein weiterer einen Baum. Wenn sie alle gleichzeitig mit ihren Markern drücken, heben sich die Kräfte gegenseitig auf und das Board bleibt leer. Das Paper zeigt, dass der „Druck“ von jedem Bild, wenn man versucht, ein gemeinsames Gedächtnis mit Standardmethoden zu trainieren, so schwach ist (er schrumpft um den Faktor $\sqrt{N}$ , wobei $N$ die Anzahl der Bilder ist), dass das Gedächtnis niemals etwas Neues lernt.

Die Lösung: Der „lokale“ Gedächtnis-Trick

Da der „globale“ Lehrer (Backpropagation) das Problem nicht lösen konnte, versuchten die Forscher einen anderen Ansatz, der inspiriert ist davon, wie Neuronen im Gehirn tatsächlich miteinander verbunden sind: Lokale Lernregeln.

Anstatt das gesamte System zu bitten, sich selbst zu korrigieren, ließen sie jedes Bild nur die top 8 relevantesten Stellen auf dem Gedächtnis-Board aus insgesamt 64 Stellen aktualisieren. Sie verwendeten eine Methode namens Exponential Moving Average (EMA), was so ähnlich ist wie das sanfte Einarbeiten einer neuen Erinnerung, ohne die alten zu löschen.

Die Ergebnisse:

Das Gedächtnis-Board funktionierte: Indem sie die Bilder erlaubten, nur ihre spezifischen „Slots“ zu aktualisieren, blieb das Gedächtnis-Board vielfältig und wurde nicht zu einem verschwommenen Brei.
Die Rekonstruktion wurde besser: Als sie versuchten, Gesichter aus diesem neuen Gedächtnis wieder aufzubauen, erhielten sie klare, erkennbare Gesichter.
- Bei 10 ungesehenen Testbildern erreichte das Gedächtnissystem eine Rekonstruktionsqualitätsbewertung (LPIPS) von 0,123, was sehr nah am bestmöglichen Wert (der „Obergrenze“) von 0,071 liegt.
- Das Gedächtnis nutzte nur 229.000 Parameter (eine winzige Menge an Speicherplatz), um Informationen zu speichern, die normalerweise 16 Mal so viel Platz benötigen würden.

Die Überraschung des „Super-Gedächtnisses“:
Als sie das Gedächtnis-Board noch größer machten (Skalierung auf 1.024 Slots), passierte etwas Erstaunliches. Das Gedächtnissystem wurde tatsächlich besser als die ursprüngliche „perfekte“ Kompressionsmethode!

Das neue Gedächtnissystem erreichte bei ungesehenen Bildern einen Wert von 0,056 (LPIPS) und schlug damit den ursprünglichen Kompressionswert von 0,071.
Warum? Weil die ursprüngliche Kompression „blockartige“ digitale Schritte (Quantisierung) verwendete, während das neue Gedächtnis glatte, kontinuierliche Zahlen nutzte. Mit genügend Slots konnte das glatte Gedächtnis die Lücken besser füllen als das blockartige.

Was dies für die Zukunft bedeutet

Das Paper kommt zu dem Schluss, dass Halluzinationen (wenn eine KI Dinge erfindet) kein Bug sind, sondern ein Feature der Art und Weise, wie verlustbehaftetes Gedächtnis funktioniert. Genau wie man sich vielleicht an ein Gesicht erinnert, aber die exakte Nuance der Augenfarbe falsch im Kopf hat, wird eine KI, die Informationen komprimiert, beim Versuch, sich zu erinnern, die fehlenden Details „raten“ müssen.

Die Autoren schlagen einen neuen Weg vor, KI zu bauen:

Gedächtniszentrierte KI: Anstatt Bilder einfach nur in ein Gehirn zu speisen und Text auszugeben, sollten wir KIs mit einer permanenten „Gedächtnismatrix“ bauen, in die alle Sinne (Sehen, Hören, Tasten) schreiben.
Lokale Regeln: Wir sollten aufhören, dieses Gedächtnis mit globalen Korrekturen (Backpropagation) zu trainieren, und statfangen, lokale Regeln (wie das Top-8-Slot-Update) zu verwenden, die die Art und Weise imitieren, wie biologische Gehirne lernen.

Sie testeten dies an Hautgesundheitsbildern (unter Verwendung von 3D-Hautanalysatoren, die über 20 verschiedene Arten von Bildern der Haut eines Patienten aufnehmen). Dieser Bereich ist perfekt, da er sowohl das Verständnis der medizinischen Erkrankung als auch das Erinnern an die exakten visuellen Details erfordert.

Kurz gesagt: Das Paper beweist, dass die heutige KI in dem Moment, in dem sie spricht, vergisst, was sie sieht. Aber indem wir die Art und Weise ändern, wie wir das Gedächtnis trainieren – durch lokale, sanfte Updates statt globale Korrekturen –, können wir eine KI bauen, die sich tatsächlich erinnert, rekonstruiert und verifiziert, was sie sieht, genau wie ein Mensch.

Technisches Resümee: Do You Remember? Toward Memory-Centric Multimodal AI

1. Problemstellung

Aktuelle multimodale große Sprachmodelle (MLLMs) operieren nach einem unidirektionalen Paradigma: Bilder werden durch einen eingefrorenen visuellen Encoder verarbeitet, in den Embedding-Raum eines LLM projiziert und konsumiert, um Text zu generieren. Sobald der Text produziert wurde, werden die visuellen Informationen innerhalb der Hidden States des LLM verworfen. Die Autoren argumentieren, dass diese Architektur keinen Mechanismus für „rekonstruktives Gedächtnis“ besitzt – die Fähigkeit, das Wahrgenommene abzurufen und zu verifizieren.

In Anlehnung an die Kognitionswissenschaft (Bartlett, 1932) postuliert das Paper, dass das menschliche Gedächtnis kein getreues Aufzeichnungsinstrument, sondern ein rekonstruktiver Prozess ist. Die zentrale Hypothese lautet, dass MLLMs erst dann wirklich „erinnern“ können, wenn sie in der Lage sind, den perzeptuellen Inhalt aus ihren internen Repräsentationen zu rekonstruieren. Die Autoren identifizieren jedoch eine fundamentale Diskrepanz: Während MLLMs ein Bild zwar „verstehen“ mögen (eine präzise semantische Analyse generieren), enthalten ihre Hidden States möglicherweise keine „dekodierbare visuelle Repräsentation“, die für eine Rekonstruktion notwendig wäre. Zudem sind Versuche, eine gemeinsame Gedächtnismatrix zur Überbrückung dieser Lücke zu trainieren, historisch aufgrund von Gradientenkancellation und der irreversiblen Natur der Informationstransformation durch das LLM gescheitert.

2. Methodik: Die DoYouRemember-Architektur

Die Autoren schlagen die DoYouRemember-Architektur vor, eine dreistufige Struktur, die darauf ausgelegt ist, rekonstruktives Gedächtnis in MLLMs einzuführen:

Sensorische Kompression (Stufe 0): Ein Vector Quantized Variational Autoencoder (VQ-VAE) komprimiert 256×256 Bilder in 1.024 diskrete visuelle Token. Diese Stufe dient als reversible, verlustbehaftete Kompression (Verhältnis ca. 200:1), die diagnostisch relevante Merkmale bewahrt, während sie Pixel-Redundanz verwirft.
Bewusstes Denken (Stufe 1): Visuelle Token und Textprompts werden von einem mittels LoRA feinjustierten LLM (Qwen2.5-7B-Instruct) verarbeitet. Das Modell generiert dermatologische Analysetexte, während es die Hidden States an den Positionen der visuellen Token bewahrt.
Rekonstruktive Verifizierung (Stufe 2): Ein Diffusion Transformer (DiT-Stil) Decoder versucht, das ursprüngliche Bild aus den Hidden States des LLM oder einer dedizierten Gedächtnismatrix zu rekonstruieren.

Experimentelles Design

Die Autoren führten eine Reihe kontrollierter Experimente durch, um den Informationsfluss zu isolieren:

Upper-Bound-Experiment: Vergleich der Rekonstruktion aus VQ-VAE-Token (prä-LLM) gegenüber LLM-Hidden-States (post-LLM) unter Verwendung desselben Diffusion-Decoders.
Gedächtnisarchitekturen: Vier Generationen gemeinsamer Gedächtnismodulien (SM-v1 bis SM-v4) wurden getestet, einschließlich aufmerksamkeitsbasierter Schreibvorgänge, räumlicher Sharding-Verfahren und direkter Gradientenpfade.
Trainingsstrategien: Die Autoren testeten Backpropagation-basierte Methoden (MSE, DDPM) sowie kontrastives Lernen (SimCLR, BYAL, SimSiam), bevor sie sich auf Local EMA (Exponential Moving Average) festlegten.

Datensätze

Gelabelt: 1.000 3D-Gesichtstextur-Maps mit Expertenanalysen der Dermatologie.
Unlabeled: 99.000 ungelabelte Frontalaufnahmen von Gesichtern für die unüberwachte Akkumulation des Gedächtnisses.

3. Zentrale Erkenntnisse und Ergebnisse

A. Die Lücke zwischen „Verständnis und Gedächtnis“

Die kritischste Erkenntnis ist, dass LLM-Hidden-States etwa null rekonstruierbare visuelle Informationen enthalten.

Evidenz: Der Diffusion-Decoder konnte klare Gesichtsmerkmale aus den VQ-VAE-Token (prä-LLM) erfolgreich rekonstruieren, erzeugte jedoch reines hochfrequentes Rauschen, wenn er mit LLM-Hidden-States (post-LLM) gespeist wurde.
Implikation: Das LLM transformiert visuelle Information in semantische Bedeutung für die Textgenerierung, wodurch das visuelle Substrat unwiederbringlich verloren geht. Dies ist nicht bloß „verlustbehaftete Kompression“ (wie bei VQ-VAE), sondern eine „irreversible Informationstransformation“. Das Modell versteht das Bild, aber es erinnert sich nicht daran.

B. Das Scheitern von Backpropagation für Shared Memory

Die Autoren zeigten systematisch auf, dass das Training einer gemeinsamen Gedächtnismatrix ( $M$ ) via Backpropagation über alle getesteten Architekturen und kontrastiven Methoden hinweg fehlschlägt.

Gradientenkancellation: Wenn eine gemeinsame Matrix $N$ heterogene Inputs bedient, heben sich die pro-Sample-Gradienten gegenseitig auf. Die effektive Gradientenamplitude skaliert als $O(1/\sqrt{N})$ . Bei $N=99.000$ wird das Gradientensignal um den Faktor ~314 abgeschwächt, was unter das Niveau des Initialisierungsrauschens fällt.
Das Henne-Ei-Dilemma: Der Rekonstruktionsverlust kann den Kompressor nicht trainieren, da der Kompressor bereits wissen muss, was er bewahren muss, um den Verlust zu minimieren, aber er kann nicht lernen, was zu bewahren ist, ohne ein Gradientensignal zu erhalten.
Globaler EMA-Fehler: Die globale Glättung der Gedächtnisslots via EMA zerstört die Diversität zwischen den Slots, was dazu führt, dass alle Slots zu nahezu identischen Vektoren konvergieren.

C. Der Erfolg von Local EMA

Die Autoren schlagen Local EMA als eine Nicht-Backpropagation-Lösung vor, die die identifizierten Grundursachen löst.

Mechanismus: Jedes Bild aktualisiert nur seine top- $k$ (z. B. 8) relevantesten Gedächtnisslots von insgesamt $K$ (z. B. 64) mittels exponentiellen gleitenden Durchschnitts. Es werden keine Gradienten berechnet; die Updates werden durch Aktivierungsähnlichkeit getrieben.
Ergebnisse:
- Diversität: Local EMA bewahrt und erhöht die Inter-Slot-Diversität (die Varianz stieg von 0,040 auf 0,194) und vermeidet den Kollaps, der bei globalem EMA auftritt.
- Rekonstruktionsqualität: Eine 229K-Parameter starke Gedächtnismatrix ( $K=64$ ) erreichte eine Rekonstruktionsqualität, die dem VQ-Upper-Bound auf ungesehenen Testbildern nahekommt (LPIPS 0,123 vs. 0,071; SSIM 0,775 vs. 0,877).
- Skalierung: Die Erhöhung der Gedächtnisslots auf $K=1024$ (3,67M Parameter) ermöglichte es dem Gedächtnis, den VQ-Upper-Bound zu übertreffen (LPIS 0,056 vs. 0,071). Dies verifiziert, dass die kontinuierliche Repräsentation von $M$ den VQ-Quantisierungsfehler vermeidet, sofern die Anzahl der Slots ausreicht, um die EMA-Cancellation unter die Quantisierungsschwelle zu senken.

4. Theoretische Beiträge

Das Paper vereint diese Erkenntnisse unter einem informationstheoretischen Rahmen:

Gedächtnis als verlustbehaftete Kompression: Gedächtnis wird als verlustbehaftete Kompression definiert, und Abruf als Dekompression.
Rate-Distortion-Limit: Gradientenkancellation wird als die mathematische Manifestation des Rate-Distortion-Limits identifiziert, wenn eine einzige gemeinsame Repräsentation heterogene Inputs bedient.
Lokale Lernregeln: Das Paper argumenttiert, dass gemeinsames Gedächtnis lokale Lernregeln (wie Hebbsche Plastizität) erfordert, statt globaler Backpropagation. Local EMA ist erfolgreich, weil es die Gradientenkancellation umgeht, indem es Updates auf semantisch ähnliche Cluster beschränkt.
Halluzination als Dekompressionsartefakt: Die Autoren rahmen Halluzination nicht als Defekt, sondern als inhärente Eigenschaft der verlustbehafteten Dekompression um. Wenn Informationen während der Kompression verloren gehen, muss der Dekompressor fehlende Daten interpolieren, was zu plausiblen, aber potenziell ungenauen Ausgaben führt. Dies gilt gleichermaßen für LLMs, das menschliche Erinnern und Diffusionsmodelle.

5. Bedeutung und Ansprüche

Das Paper beansprucht, ein neues Paradigma für gedächtniszentrierte multimodale KI etabliert zu haben:

Architektonischer Wandel: Es schlägt vor, sich von der „Bolt-on“-Vision-Encoder + LLM-Pipeline wegzubewegen hin zu einer gemeinsamen Gedächtnismatrix ( $M$ ) als Zentrum der Berechnung. In diesem Paradigma fungieren Perzeptions-Encoder als Schreibköpfe, das LLM agiert als Bewusstseinsschicht für die semantische Organisation, und der Abruf ist ein iterativer Dekompressionsprozess.
Validierung lokaler Regeln: Es liefert die erste experimentelle Validierung dafür, dass lokale Lernregeln (Local EMA) ein gemeinsames Gedächtnis erfolgreich trainieren können, wo Backpropagation versagt.
Domänenanwendung: Die Autoren identifizieren die Hautgesundheits-Bildgebung als ideales Validationsfeld aufgrund der hohen Dichte an korregistrierten multimodalen Daten (über 20 verschiedene Bildtypen pro Patient), was das Testen der „redundanten Kodierung“-Hypothese (dass multimodale Kodierung Halluzinationen reduziert) ermöglicht.

Das Werk schließt mit der Feststellung, dass die Unterscheidung zwischen „Verstehen“ (semantische Extraktion) und „Gedächtnis“ (Retention einer dekodierbaren perzeptuellen Repräsentation) fundamental für aktuelle Transformer-Architekturen ist. Das Erreichen eines echten rekonstruktiven Gedächtnisses erfordert architektonische Änderungen, die lokale Lernregeln und persistente, geteilte Gedächtnissubstrate gegenüber unidirektionalen Textgenerierungszielen priorisieren.