🤖 machine learning

Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference

Dieses Paper führt den Latent Memory Palace (LMP) ein, ein Framework, das kontrolliertes Schließen als autoregressive Variationelle Inferenz innerhalb eines latenten Raums modelliert und dadurch eine adaptive Zuweisung von Testzeit-Rechenleistung sowie eine verbesserte Policy-Leistung durch iterativen Abruf und einen neuartigen Variable-Length-Action-Tokenizer ermöglicht.

Ursprüngliche Autoren: Chuning Zhu, Eva Xu, Jose Barreiros, Krishnan Srinivasan, Paarth Shah, Abhishek Gupta

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chuning Zhu, Eva Xu, Jose Barreiros, Krishnan Srinivasan, Paarth Shah, Abhishek Gupta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter eine schwierige Aufgabe beizubringen, wie zum Beispiel das Aufheben einer rutschigen Aubergine und das vorsichtige Platzieren in einer Schüssel. Sie könnten dem Roboter einfach sagen: „Hier ist das Bild, hier ist die Bewegung“, und hoffen, dass er es sofort richtig macht. Aber Menschen funktionieren nicht so. Manchmal handeln wir aus einem Reflex heraus (wie beim Auffangen eines fallenden Bechers), aber manchmal halten wir inne, denken nach und wägen ab (wie bei der Planung eines Schachzugs). Wir investieren mehr mentale Energie in schwierige Entscheidungen und weniger in einfache.

Dieses Paper stellt eine neue Art vor, Robotern dieses flexible Denken beizubringen, das Latent Memory Palace (LMP) genannt wird.

Das Problem: Roboter sind zu „Einheitsmaß-orientiert“

Aktuelle Robotergehirne versuchen oft, eine Bewegung in einem einzigen riesigen Sprung zu lösen. Die Autoren argumentieren, dass dies so ist, als würde man versuchen, ein komplexes mathematisches Problem zu lösen, indem man sofort die Antwort rät. Das funktioniert für einfache Dinge, aber für präzise, schwierige Aufgaben reicht es nicht aus.

Einige Forscher versuchten dies zu beheben, indem sie Roboter dazu brachten, „in Worten zu denken“ (ähnlich wie ein Chatbot), indem sie eine lange Liste von Textschritten generierten, bevor sie sich bewegten. Aber das Paper legt nahe, dass dies eine schlechte Idee für Roboter ist. Warum? Weil Worte großartig für Ideen sind, aber schrecklich für die winzigen, präzisen Bewegungen, die man braucht, um ein Werkzeug zu greifen oder einen Block zu verschieben. Ein Roboter muss in Bewegung denken, nicht nur in Sätzen.

Die Lösung: Der unsichtbare Palast

Anstatt in Worten zu denken, schlagen die Autoren vor, dass der Roboter in einem „Latent Memory Palace“ denken sollte.

Stellen Sie sich einen magischen, unsichtbaren Flur im Inneren des Robotergehirns vor.

Der Palast: Dieser Flur ist eine Serie von verborgenen „Räumen“ (latente Token).
Der Gang: Wenn der Roboter eine Aufgabe sieht, springt er nicht einfach zur Antwort. Er beginnt, diesen Flur entlangzugehen.
Die Stopps: An jedem Schritt hält er inne und prüft: „Muss ich mehr nachdenken?“
- Wenn die Aufgabe einfach ist (wie „bewege den Arm nach vorne“), geht er vielleicht nur zwei Schritte und sagt: „Verstanden!“
- Wenn die Aufgabe schwer ist (wie „einen Stift in ein winziges Loch führen“), geht er weiter, besucht mehr Räume und sammelt mehr Details, bis er sich sicher fühlt.
Der Ausgang: Der Gang endet automatisch, wenn der Roboter ein spezielles „Stopp“-Signal (ein sogenanntes EOS-Token) generiert. Dies ist der entscheidende Punkt: Der Roboter entscheidet selbst, wie viel Nachdenken nötig ist.

Dies wird als adaptive Berechnung bezeichnet. Der Roboter verwendet mehr „Gehirnleistung“ (Testzeit-Rechenleistung) nur dann, wenn die Situation es erfordert, und spart Energie, wenn die Antwort offensichtlich ist.

Wie sie es gelehrt haben: Das „Raten und Prüfen“-Spiel

Man kann einem Roboter nicht einfach sagen: „Denk intensiver“. Die Autoren mussten es ihm mit einem cleveren „Raten und Prüfen“-Spiel beibringen, das auf der Mathematik der Variational Inference basiert.

Stellen Sie sich das wie einen Detektiv vor, der versucht, ein Verbrechen aufzuklären:

Der Detektiv (der Roboter): Betrachtet den Tatort (die Beobachtung) und versucht, die Handlungen des Täters (die Bewegung) zu rekonstruieren.
Die Hinweise (latente Token): Der Detektiv generiert eine Sequenz verborgener Hinweise (den Gang durch den Palast), um das Verbrechen zu erklären.
Die Regel: Der Detektiv wird belohnt, wenn er die Aktion perfekt rekonstruieren kann und wenn er nicht zu viele unnötige Schritte macht. Wenn er für ein einfaches Verbrechen zu viele Schritte macht, erhält er eine Strafe. Wenn er zu früh für ein komplexes Verbrechen stoppt, scheitert er daran, das Geschehen zu erklären.

Das Paper zeigt, dass der Roboter durch das Spielen dieses Spiels lernt, die perfekte Anzahl an „Denkschritten“ für jede Situation zu generieren. Sie haben dies sowohl in Computersimulationen als auch an echten Robotern getestet, und die Ergebnisse waren vielversprechend: Der Robot wurde bei schwierigen Aufgaben besser und konnte eine größere Vielfalt an Jobs bewältigen als bisherige Methoden.

Der „Token“-Trick

Das Paper entdeckte auch einen coolen Nebeneffekt. Da der Roboter lernte, Aktionen in diese variablen „Schritte“ im Palast aufzuteilen, kann dieses System als Tokenizer verwendet werden.

Stellen Sie sich vor, Sie haben einen langen, chaotischen Satz. Ein Tokenizer zerlegt ihn in ordentliche, kleine Wörter. Die Autoren fanden heraus, dass dieser „Memory Palace“-Ansatz komplexe Roboterbewegungen in ein viel besseres Set von „Wörtern“ (Token) zerlegt als andere Methoden. Als sie diese speziellen Token verwendeten, um andere Robotergehirne zu trainieren, schnitten diese Gehirne signifikant besser ab. Es ist, als würde man einem Roboter ein besseres Vokabular geben, um seine Bewegungen zu beschreiben.

Was das Paper sagt (und was nicht)

Es funktioniert: Das Paper zeigt, dass diese Methode in Simulationen (wie LIBERO und RoboMimic) und an echten Robotern (wie der DROID-Plattform) gut funktioniert. In Tests unter realen Bedingungen übertraf die neue Roboter-Policy (LMP-π) die bisher beste Methode (Diffusion Policy) bei mehreren Aufgaben und erreichte Erfolgsraten wie 95 % bei einer „Tisch reinigen“-Aufgabe.
Es ist keine Magie: Die Autoren schließen explizit die Idee aus, dass Roboter einfach „in Worten denken“ sollten (wie ein Chatbot) für die physische Steuerung. Sie argumentieren, dass Worte der räumlichen Präzision fehlen, die für Bewegungen erforderlich ist.
Es ist noch keine perfekte Lösung: Das Paper gibt zu, dass die Methode empfindlich auf die Einstellung (Hyperparameter) reagiert und manchmal stecken bleiben kann, wenn sie nicht sorgfältig trainiert wird. Es legt nahe, dass zukünftige Arbeiten den „Flur“ kontinuierlich statt in diskreten Schritten gestalten oder den Roboter befähigen könnten, sich über längere Zeiträume an seine Gedanken zu erinnern.

Das Fazente

Dieses Paper legt nahe, dass das Geheimnis smarterer Roboter nicht nur darin liegt, sie größer oder schneller zu machen, sondern ihnen beizubringen, in einem verborgenen, effizienten Raum innezuhalten und abzuwägen. Indem wir dem Roboter erlauben, selbst zu entscheiden, wie viel er basierend auf der Schwierigkeit der Aufgabe nachdenken muss, erhalten wir eine Maschine, die sowohl schnell auf den Beinen als auch nachdenklich ist, wenn es darauf ankommt. Es ist ein Schritt hin zu Robotern, die nicht nur reagieren, sondern tatsächlich darüber nachdenken, wie sie sich bewegen sollen.

Technisches Resümee: Latent Memory Palace (LMP)

Problemstellung

Menschliche Entscheidungsfindung zeigt ein Spektrum von reflexiven Handlungen bis hin zu deliberativen, mehrstufigen Denkprozessen, wobei sich Zeitaufwand und Anstrengung mit der Komplexität der Aufgabe skalieren. Während Large Language Models (LLMs) ähnliche adaptive „Reasoning“-Fähigkeiten durch iterative Token-Generierung erfolgreich demonstriert haben (z. B. Chain-of-Thought), bleibt die Übertragung dieser Fähigkeit auf kontinuierliche robotische Steuerungsrichtlinien (Control Policies) eine Herausforderung. Direkt im Sprachraum zu „reasoning“ lässt oft die notwendige Granularität für räumliches Verständnis und präzise Bewegungssteuerung vermissen. Zudem verlassen sich Standardansätze der variativen Inferenz für die Steuerung typischerweise auf festdimensionale latente Variablen, die ihre rechnerische Tiefe nicht an die spezifischen Anforderungen der jeweiligen Eingabe anpassen können. Das Kernproblem besteht darin, wie robotische Richtlinien in der Lage gemacht werden können, iteratives, adaptives Rechnen in einem latenten Raum durchzuführen, der end-to-end für die Aktionsvorhersage gelernt wurde, um so ein Gleichgewicht zwischen effizienter Entscheidungsfindung und verbesserter Generalisierung zu finden.

Methodik

Die Autoren schlagen den Latent Memory Palace (Lertent Memory Palace, LMP) vor, ein Framework, das das „Reasoning“ für die Steuerung als autoregressive variable Inferenz formuliert.

1. Kernformulierung

LMP behandelt eine Aktion $a$ nicht als direkte Vorhersage aus einer Beobachtung $o$ , sondern als Ergebnis einer intermediären latenten Berechnung $z$ . Die Richtlinie (Policy) wird durch eine variable untere Schranke (ELBO) definiert:
$\log p(a | o) \geq \mathbb{E}_{z \sim q_\theta(z|o,a)} [\log p_\phi(a | o, z)] - D_{KL}(q_\theta(z | o, a) \parallel p_\theta(z | o))$
Im Gegensatz zu Standardansätzen ist die latente Variable $z$ nicht ein einzelner Vektor, sondern eine variabel lange autoregressive Sequenz $z = (z_1, z_2, \dots, z_{T(z)})$ , die aus einem Vokabular einschließlich eines End-of-Sequence (EOS)-Tokens gezogen wird. Die Sequenz terminiert, wenn das EOS-Token generiert wird, was es dem Modell ermöglicht, die Berechnungsschritte adaptiv basierend auf der Komplexität der Entscheidung zuzuweisen.

2. Adaptives Reasoning via Kompression

Um ein adaptives Verhalten zu induzieren, bei dem das Modell nur bei Bedarf mehr Schritte verwendet, führt LMP einen Kompressionsmechanismus ein. Die Aktions-Decoder-Funktion $p_\phi$ ist als isotrope Gauß-Verteilung parametrisiert, deren Varianz $\sigma(T(z))$ exponentiell mit der Länge der latenten Sequenz $T(z)$ abnimmt.
$\sigma(T(z)) = \gamma^{T(z)} \sigma_0, \quad \gamma \in (0, 1)$
Dies erzwingt eine Längenstrafe: Jeder zusätzliche latente Schritt schärft die Gauß-Verteilung. Folglich kann sich das Modell nur „leisten“, einen weiteren Schritt zu generieren, wenn die Präzision der vorhergesagten Aktion die Reduktion der Varianz rechtfertigt. Dies zwingt die Richtlinie, mehr Rechenleistung für komplexe Entscheidungen und weniger für einfache oder unumstöflich unsichere Entscheidungen (z. B. den exakten Zeitpunkt eines Greiferchlusses) aufzuwenden.

3. Traktable Optimierung via Latent-Space RL

Die Optimierung der ELBO durch nicht-differenzierbare autoregressive Stichprobenziehung (Sampling) ist über Standard-Backpropagation nicht handhabbar. Die Autoren leiten ein Reinforcement Learning (RL) Ziel über latente Trajektorien ab:

Latente Episode: Eine Trajektorie wird aus der Posterior-Verteilung $q_\theta$ bis zum EOS gezogen.
Belohnung (Reward): Bestehend aus einer Rekonstruktionsbelohnung ( $\log p_\phi(a|o,z)$ ) und einer KL-Strafe gegenüber der Prior-Verteilung.
Varianzreduktion: Der KL-Term wird mittels der autoregressiven Struktur in pro-Schritt-Belohnungen zerlegt, was eine schrittweise Credit Assignment ermöglicht.
Optimierung: Die Autoren verwenden ein PPO-ähnliches, gekapptes Surrogate-Ziel (clipped surrogate objective), um das Training zu stabilieren und den „Latent Collapse“ zu verhindern, unter Verwendung von On-Policy-Rollouts, die in einem Buffer gesammelt werden.

4. Aktions-Tokenisierung (LMP-tok)

Durch das Entfernen der Beobachtungs-Konditionierung aus dem variativen Framework instanziiert dieselbe Architektur LMP-tok, einen variabel langen Aktions-Tokenizer. Dieser komprimiert kontinuierliche Aktions-Chunks in diskrete latente Tokens, die anschließend verwendet werden können, um nachgeschaltete autoregressive Richtlinien zu trainieren. Im Gegensatz zu Tokenizern, die eine exakte Rekonstruktion diskreter Transformationen erfordern (z. B. FAST), erlaubt LMP-tok die Dekodierung von Sequenzen beliebiger Länge in gültige Aktionen.

Wichtige Beiträge

Latent Memory Palace (LMP): Eine neuartige Formulierung von „Reasoning“ als variable Inferenz mit einer autoregressiven latenten Verteilung, die iteratives und adaptives Rechnen für die robotische Steuerung ermöglicht.
LMP- $\pi$ (Policy): Eine Steuerungsrichtlinie, die zur Testzeit variabel lange „Reasoning“-Spuren generiert und die Rechenleistung basierend auf Aufgabenkomplexität und Unsicherheit adaptiv zuweist.
LMP-tok (Tokenizer): Ein variabel langer Aktions-Tokenizer, der die Leistung nachgeschalteter autoregressiver Richtlinien durch die Kompression von Aktionen in diskrete latente Räume signifikant verbessert.
Optimierungs-Framework: Eine handhabbare RL-basierte Methode zur Optimierung der variablen unteren Schranke für die variabel lange autoregressive Stichprobenziehung, einschließlich Techniken zur Stabilisierung des Trainings gegen Latent Collapse.

Experimentelle Ergebnisse

Die Autoren evaluierten LMP sowohl auf realen (DROID) als auch auf simulierten (LIBERO, D3IL, RoboMimic) Benchmarks.

Performance der Richtlinie (LMP- $\pi$ ):
- Zero-Shot & Fine-tuning: Auf der DROID-Plattform übertraf LMP- $\pi$ die Diffusion Policy (DP) in Zero-Shot-Settings und erreichte höhere Erfolgsraten (z. B. 95 % bei Reinigungsaufgaben mit mehreren Objekten) in fein abgestimmten Hochpräzisionsaufgaben.
- Generalisierung: Auf LIBERO-90 zeigte LMP- $\pi$ im Vergleich zu DP eine signifikant höhere „Leistungsgrenze“ bei den 10 schwierigsten Aufgaben, was auf reduzierte Cross-Task-Interferenzen und bessere Retrieval-Fähigkeiten hindeutet.
- Iterativ vs. Nicht-iterativ: LMP- $\pi$ übertraf konsistent nicht-iterative Baselines (VAE Policy, VQ-BeT), was zeigt, dass fest definierte latente Repräsentationen nicht die erforderliche Granularität für komplexe Manipulationen besitzen.
Performance des Tokenizers (LMP-tok):
- Beim Training nachgeschalteter autoregressiver Richtlinien übertraf LMP-tok die Baselines (VQ-VAE, FAST, OAT) auf RoboMimic- und LIBERO-Aufgaben signifikant.
- Bemerkenswerterweise war LMP-tok die einzige Methode, die eine nicht-vernachlässigbare Leistung bei der hochpräzisen RoboMimic „Tool-Hang“-Aufgabe erzielte, bei der andere Tokenizer aufgrund von Präzisions- oder Rekonstruktionsbeschränkungen scheiterten.
Analyse des adaptiven Rechnens (Adaptive Compute):
- Interpretierbarkeit: Visualisierungen zeigen, dass die Anzahl der latenten Reasoning-Schritte mit der Aufgabenkomplexität korreliert. Das Modell nutzt weniger Schritte bei Greiferbewegungen (wo das Timing unumstöflich variabel ist) und mehr Schritte bei präzisen Ausrichtungsaufgaben.
- Kompression: Ablationsstudien bestätigten, dass stärkere Kompression (schnellere Varianzabnahme) zu einer besseren Generalisierung führt, sofern sie ausgewogen ist, um übermäßige Rekonstruktionsfehler zu vermeiden.
- Mode-Seeking: Das Abschneiden (Truncating) der latenten Schritte zur Testzeit verschlechterte die Leistung nicht signifikant; stattdessen zeigte das Modell ein „Mode-Seeking“-Verhalten, indem es sich auf spezifische, gültige Aktionsmodi festlegte, anstatt diese zu mitteln.

Bedeutung und Ansprüche

Das Paper beansprucht, die autoregressive variable Inferenz als einen praktischen und fundierten Rahmen für iteratives, adaptives Rechnen im Robotik-Lernen etabliert zu haben. Durch die Analogie zur „Gedächtnispalast“-Mnemonik (Memory Palace) demonstriert die Arbeit, dass die Organisation von Informationen in einem variabel langen latenten Raum es Richtlinien ermöglicht:

Menschliche Entscheidungs-Variabilität nachzuahmen: Den Rechenaufwand mit der Entscheidungs-Komplexität zu skalieren.
Generalisierung zu verbessern: Robuste Leistung über vielfältige Aufgaben und Umgebungen hinweg zu erzielen, indem die Rechenleistung effizient zugewiesen wird.
Tokenisierung zu optimieren: Einen überlegenen Weg zur Diskretisierung kontinuierlicher Aktionen für die autoregressive Modellierung bereitzustellen.

Die Autoren positionieren LMP als Brücke zwischen den Reasoning-Fähigkeiten von Foundation Models und den Präzisionsanforderungen der robotischen Steuerung – ein neuer Ansatz, bei dem „Reasoning“ als ein impliziter, latenter Prozess verstanden wird, der durch variable Inferenz und Reinforcement Learning optimiert wird.