🤖 AI

Tensor Memory: Fixed-Size Recurrent State for Long-Horizon Transformers

Dieser Beitrag stellt Tensor Memory vor, ein leichtgewichtiges Modul, das Transformer um einen festgroßen, rekurrenten 3D-Memory-Tensor erweitert, um die Zustandskapazität von der Sequenzlänge zu entkoppeln und gleichzeitig räumliche induktive Verzerrungen für ein verbessertes Verständnis von Videos mit langem Horizont und eine okklusionssensitive Schlussfolgerung zu bewahren.

Ursprüngliche Autoren: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, Antonio Torralba

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, Antonio Torralba

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine lange, komplexe Geschichte zu erinnern, wie einen Film mit hunderten von Szenen.

Das Problem: Das „Infinite-Scroll"-Gedächtnis
Aktuelle KI-Modelle (Transformer) funktionieren ein wenig wie eine Person, die versucht, einen Film zu erinnern, indem sie jeden einzelnen Frame, den sie je gesehen hat, auf einem riesigen, ständig wachsenden Tisch vor sich aufbewahrt.

Das Problem: Je länger der Film wird, desto riesiger wird der Tisch. Es wird teuer, ihn zu verwalten, und die Person wird überwältigt, wenn sie versucht, spezifische Details unter Tausenden von verstreuten Frames zu finden.
Die Schwäche: Wenn ein Charakter im Film eine Zeit lang hinter einem Baum versteckt ist (Okklusion), muss die KI durch all diese verstreuten Frames zurückblicken, um zu erraten, wo sich der Charakter befindet. Sie verfügt nicht über eine einzige, organisierte „mentale Karte" darüber, wo sich Dinge gerade befinden.

Die Lösung: Der „intelligente Aktenschrank"
Die Autoren schlagen ein neues Modul namens Tensor Memory vor. Stellen Sie sich dies vor, als würde man der KI einen kleinen, fest dimensionierten 3D-Aktenschrank (ein Voxel-Gitter) geben, der neben ihrem Gehirn steht. Unabhängig davon, wie lang der Film oder das Dokument ist, bleibt der Schrank gleich groß.

So funktioniert es, Schritt für Schritt:

Schreiben in den Schrank (Der „Soft Drop"):
Anstatt eine Notiz in eine bestimmte, starre Schublade zu stopfen, sagt die KI voraus, wo im 3D-Raum des Schranks die Information hingehört. Sie „lässt" die Information dann wie eine weiche, leuchtende Wolke (ein Gauß-Volumen) um diesen Punkt fallen.
- Analogie: Stellen Sie sich vor, Sie lassen einen Tintentropfen in einen Schwamm fallen. Er trifft nicht nur eine einzelne Faser; er breitet sich leicht aus und füllt den Bereich um das Ziel herum. Dies ermöglicht der KI, flexibel zu sein, wo genau sie das Gedächtnis ablegt.
Aktualisieren des Schranks (Die „Rekurrenz"):
Der Schrank ist nicht statisch. Er verfügt über einen eingebauten Mechanismus (wie eine sanfte, lokale Brise), der die neuen Informationen mit dem vermischt, was bereits dort war. Dies ermöglicht der KI, ihre „Überzeugung" über die Szene zu aktualisieren. Wenn ein Charakter hinter einem Baum war und dann herausgeht, aktualisiert der Schrank die neue Realität, ohne dass der gesamte Film neu gelesen werden muss.
Lesen aus dem Schrank (Die „zielgerichtete Suche"):
Wenn die KI etwas erinnern muss, scannt sie nicht den gesamten Tisch mit Frames. Sie sagt eine Koordinate (eine bestimmte X-, Y-, Z-Stelle) im Schrank voraus und „schnuppert" in diesem Bereich, um den relevanten Kontext zu extrahieren.
- Analogie: Anstatt jede Seite eines Buches zu blättern, um einen Namen zu finden, gehen Sie direkt zum Index, finden die Seitenzahl und lesen diese spezifische Zeile.
Das Sicherheitsventil (Das „Gate"):
Das System verfügt über einen intelligenten Schalter (ein „Gate"), der entscheidet, ob der Schrank überhaupt genutzt wird. Wenn die Aufgabe einfach ist und kein Langzeitgedächtnis benötigt, schließt das Gate, und die KI ignoriert den Schrank, um Energie zu sparen. Wenn die Aufgabe schwierig ist (wie das Verfolgen eines versteckten Objekts), öffnet sich das Gate, und die KI stützt sich auf den Schrank.

Warum dies wichtig ist (laut dem Papier)
Die Autoren haben diese Idee an drei Hauptpunkten getestet:

Sprache: Auf einem Textdatensatz (WikiText-2) half die Nutzung dieses Schranks der KI, lange Sätze viel besser zu verstehen, und reduzierte ihre Verwirrung (Perplexität) erheblich im Vergleich zu Standardmodellen.
Bilder: Beim Versuch, fehlende Teile eines Bildes wiederherzustellen, leistete die KI mit dem Schrank eine etwas bessere Arbeit, die Struktur korrekt zu halten.
Video: In einer videogameähnlichen Aufgabe (UCF-101) war die KI mit dem Schrank besser darin, Aktionen zu erkennen, insbesondere weil sie einen „Zustand" der Szene aufrechterhalten konnte, selbst wenn Objekte vorübergehend versteckt waren.

Der Kompromiss
Das Papier räumt ein, dass es Kosten gibt. Da die KI diesen 3D-Gitter ständig aktualisieren muss, dauert das Training länger (die „Realzeit" war für Videotasks deutlich höher). Der Vorteil besteht jedoch darin, dass die KI keinen unendlich wachsenden Tisch vergangener Tokens mehr benötigt; sie verfügt über eine kompakte, persistente und organisierte Möglichkeit, sich an die Welt zu erinnern.

Kurz gesagt, gibt Tensor Memory Transformern ein kleines, fest dimensioniertes „Weltmodell", in das sie schreiben und aus dem sie lesen können, was es ihnen ermöglicht, lange, komplexe Geschichten zu bewältigen, ohne in einem Meer von Daten verloren zu gehen.

Technische Zusammenfassung: Tensor Memory: Feste rekurrente Zustände für Transformers mit langem Horizont

1. Problemstellung

Transformers verarbeiten Bilder und Videos, indem sie räumliche und zeitliche Dimensionen in lange Token-Sequenzen flachen. Während Aufmerksamkeitsmechanismen und KV-Caching vergangene Merkmale bewahren, leiden sie mit wachsendem Sequenzhorizont unter zwei Hauptbeschränkungen:

Speicherskalierung: Die praktische Inferenz beruht auf der Speicherung vergangener Schlüssel und Werte, was linear mit der Anzahl der Token skaliert. Dies wird für lange Videos und Dokumente rechnerisch und speichertechnisch untragbar.
Fehlender persistenter Zustand: Herkömmliche Transformers verfügen über keinen expliziten, persistenten Zustand. Sie achten auf vergangene Merkmale, pflegen jedoch keine strukturierte Repräsentation, die bei sich ändernden Eingaben aktualisiert und abgefragt werden kann. Dies führt zu Fragilität bei Verdeckungen, fehlenden Beobachtungen und der Notwendigkeit, den globalen Kontext wiederholt aus einer ständig wachsenden Historie neu zu konstruieren, anstatt einen kompakten, persistenten Zustand zu bewahren.

Bestehende Ansätze wie sparse Attention, Komprimierung der Historie oder retrieval-verstärkte Kontexte erweitern zwar oft die Kontextlänge, speichern Informationen jedoch als unstrukturierte Sammlungen von Token-Vektoren oder Slots. Sie bewahren die räumliche Struktur nicht explizit und pflegen keinen kompakten „Weltzustand", der für zustandsbasierte Aufgaben wie das Verständnis von Videos geeignet ist.

2. Methodik: Tensor Memory

Die Autoren schlagen Tensor Memory vor, ein leichtgewichtiges Modul, das Standard-Transformer-Blöcke um einen festgroßen rekurrenten 3D-Memory-Tensor erweitert. Dieses Modul entkoppelt die Zustandskapazität von der Eingabelänge, während es eine räumliche induktive Verzerrung bewahrt.

Kernarchitektur

Der Speicher ist als Paar von Volumina (versteckter Zustand $h_t$ und Zellzustand $c_t$ ) mit den Dimensionen $C \times D \times H \times W$ definiert, wobei die räumlichen Dimensionen unabhängig von der Eingabelänge konstant bleiben. Das Modul arbeitet pro Token-Chunk in einem Zyklus:

Chunking: Eingabetoken werden zu Chunks gruppiert. Eine „Leseabfrage" wird aus dem ersten Token des Chunks abgeleitet, und eine „Schreibzusammenfassung" ist eine gelernte Projektion des gesamten Chunks.
Kontinuierliche Adressierung: Ein gemeinsamer Koordinatenprädiktor (unter Verwendung gekoppelter Gewichte) generiert kontinuierliche 3D-Koordinaten für das Lesen ( $\mu_{read}$ ) und Schreiben ( $\mu_{write}$ ) innerhalb des Voxel-Gitters.
Lesen (Kontinuierliches Sampling): Das Modell liest aus dem versteckten Zustand $h_t$ an $\mu_{read}$ mittels trilinearer Interpolation. Das abgerufene Merkmal wird zurück auf die Token-Dimension projiziert und über eine gatede Restverbindung in den Token-Stream eingefügt. Ein gelernter skalärer Gate-Wert $\gamma$ steuert die Stärke dieser Fusion und ermöglicht es dem Modell, den Speicherpfad zu unterdrücken, wenn er für eine bestimmte Aufgabe nicht vorteilhaft ist.
Schreiben (Differentiable Soft Write): Das Modell schreibt Informationen, indem es einen Inhaltsvektor und einen Streuungsparameter $\sigma$ vorhersagt. Es legt diesen Inhalt als gaussisch gewichtetes Volumen um die vorhergesagte 3D-Position $\mu_{write}$ ab. Dieser „weiche Schreibvorgang" vermeidet eine harte Zuweisung von Voxeln und ermöglicht es Gradienten, zu formen, wo Informationen platziert werden.
Rekurrente Aktualisierung: Das Schreibvolumen wird mit dem aktuellen versteckten Zustand konkateniert. Ein leichtgewichtiges, faktorisiertes 3D-Operator (depthwise 3D-Faltungen gefolgt von einer pointwise-Mischung) berechnet ConvLSTM-artige Gates ( $i_t, f_t, o_t, g_t$ ). Diese Gates aktualisieren den Zell- und den versteckten Zustand, sodass Informationen persistieren, lokal propagieren und auch bei fehlenden Beobachtungen verfügbar bleiben.

Wichtige Designentscheidungen

Festgroßer Zustand: Die Größe des Memory-Tensors ist konstant und verhindert das lineare Speicherwachstum, das mit KV-Caching verbunden ist.
Räumliche Struktur: Das 3D-Voxel-Gitter bewahrt räumliche Beziehungen explizit, im Gegensatz zu unstrukturierten Token-Slots.
Differentiable Soft Writes: Die Verwendung gaussisch gewichteter Volumina ermöglicht glatte, kontinuierliche Aktualisierungen anstelle von diskreten, harten Zuweisungen.
Gatede Fusion: Das gelernte Gate $\gamma$ stellt sicher, dass das Modul an vortrainierte Modelle angehängt werden kann, ohne das Training zu destabilisieren; falls Speicher unnötig ist, unterdrückt das Gate den Pfad.

3. Hauptbeiträge

Neuer Speichermechanismus: Einführung eines festgroßen, rekurrenten 3D-Voxel-Zustands, in den Token über kontinuierliche Koordinaten schreiben und aus dem sie lesen können, und der als expliziter räumlicher Zustand fungiert.
Integration: Das Modul lässt sich nahtlos in Standard-Transformer-Trainingspipelines integrieren und kann ohne architektonische Änderungen an bestehende Blöcke angehängt oder von diesen entfernt werden.
Diagnosesuite: Entwicklung einer kontrollierten „Toy"-Diagnosesuite, die Szenarien isoliert, in denen ein persistenter Zustand vorteilhaft ist (z. B. Koordinatenbindung, Verdeckung, Kartenerstellung), im Gegensatz zu Szenarien, in denen er es nicht ist.

4. Experimentelle Ergebnisse

Die Autoren bewerteten Tensor Memory auf Standard-Benchmarks in den Bereichen Sprache, Bild und Video sowie auf der Diagnosesuite.

Sprachmodellierung (WikiText-2): Tensor Memory erzielte die größten absoluten Gewinne und reduzierte die Test-Perplexität von 130,30 (Basis-Transformer) auf 100,07. Es übertraf Baselines einschließlich Transformer-XL, Local Attention und Linear Attention.
Rekonstruktion von Bild-Patches (CUB-200-2011): Bei einer Aufgabe zur rekonstruierten Verdeckung von Patches zeigte die Tensor-Memory-Variante (Spatial ViT) konsistente Verbesserungen bei PSNR und SSIM über Maskenverhältnissen (25 %, 50 %, 75 %) im Vergleich zu Base ViT, Local ViT und Registers ViT.
Video-Action-Erkennung (UCF-101): Das Modell übertraf sowohl eine gemeinsame spatiotemporale Transformer-Baseline als auch eine starke „Register-Token"-Baseline bei Top-1 (89,21 % vs. 82,12 %) und Top-5-Genauigkeit. Die Autoren stellen fest, dass dies auf Kosten einer signifikant höheren Trainings-Wandzeit aufgrund der pro-Schritt-Voxel-Rekurrenz geschah.
Toy-Diagnosen:
- Koordinatenbindung: Tensor Memory behielt eine hohe Genauigkeit (75–91 %) bei, während die Anzahl der Schreibvorgänge zunahm, wohingegen attention-basierte Baselines auf nahezu zufällige Leistung (7–14 %) kollabierten.
- No-Harm-Control: Bei Aufgaben, die keinen Speicher erfordern, blieb das gelernte Gate $\sigma(\gamma)$ nahe seiner Initialisierung (Unterdrückung des Speicherpfads), und alle Modelle erreichten 100 % Genauigkeit.
- Kartenerstellung: Tensor Memory übertraf Baselines bei lang-horizontigen Gitter-Navigationstasks, bei denen Informationen über die Zeit hinweg bewahrt werden müssen, signifikant.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Tensor Memory einen praktischen Weg bietet, um lang-horizontiges Schlussfolgern zu handhaben, indem es Transformers einen expliziten, kompakten und strukturierten Zustand bietet.

Entkoppelung von Kapazität und Länge: Durch die Verwendung eines festgroßen Tensors vermeidet das Modell die lineare Speicherskalierung von KV-Caches und ist theoretisch besser für lange Sequenzen skalierbar.
Robustheit gegenüber Verdeckungen: Der persistente Zustand ermöglicht es dem Modell, einen „Glaubenszustand" über die Szene aufrechtzuerhalten, was es robuster gegenüber fehlenden Beobachtungen oder Verdeckungen macht als Modelle, die sich ausschließlich auf die Rekonstruktion des Kontexts aus einem Token-Stream verlassen.
Vielseitigkeit: Obwohl motiviert durch lang-horizontige Videos, zeigt sich der Mechanismus auch für Sprache (Akkumulierung globalen Kontexts) und Bilder (strukturierte räumliche Aggregation) vorteilhaft.
Grundlage für zukünftige Arbeiten: Die Autoren betrachten die aktuelle Implementierung als Fundament. Sie schlagen zukünftige Richtungen vor, darunter höherdimensionale Speicher (z. B. 4D für zeitbewusste räumliche Speicher), reichhaltigere Dynamiken (z. B. optischer Fluss-Warping) und sparse Updates zur Verbesserung der Effizienz.

Die Autoren bleiben bescheiden bezüglich der aktuellen Grenzen und erkennen an, dass die dichten Voxel-Aktualisierungen einen Durchsatz-Engpass darstellen und dass der festgroße Zustand sättigen kann, wenn eine Aufgabe die Speicherung einer großen Anzahl unterschiedlicher Details erfordert. Dennoch behaupten sie, dass das Hinzufügen eines kleinen strukturierten Zustands ein gangbarer Weg hin zu leistungsfähigeren Systemen für lang-horizontige Wahrnehmung und Schlussfolgern ist.