Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

Die Autoren stellen MIKASA vor, eine umfassende Benchmark-Suite mit einem neuen Klassifizierungsrahmen und spezifischen Roboteraufgaben, um die Gedächtnisleistungen von Reinforcement-Learning-Agenten in komplexen Szenarien systematisch zu bewerten.

Das Wesentliche

Stell dir vor, du möchtest einem Roboter beibringen, wie ein menschlicher Diener zu sein. Nicht nur, dass er Dinge greifen und bewegen kann, sondern dass er sich erinnert, was er gesehen hat, auch wenn diese Dinge gerade nicht mehr zu sehen sind.

Das ist das Kernproblem, das die Forscher in diesem Papier (veröffentlicht bei ICLR 2026) angehen. Sie nennen ihre Lösung MIKASA.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der vergessliche Roboter

Bisher waren Roboter wie Goldfische: Sie sehen etwas, tun etwas, und wenn es weg ist, ist es auch aus ihrem Kopf verschwunden.

• Beispiel: Ein Roboter sieht einen roten Würfel. Dann wird der Tisch abgedeckt. Wenn der Roboter den Deckel hebt, weiß er nicht mehr, ob dort der rote Würfel lag oder ein blauer. Er muss raten.
• In der echten Welt ist das katastrophal. Stell dir vor, du putzt eine Mikrowelle. Du wischt einmal ab, aber du weißt nicht, ob du den ganzen Schmutz weggemacht hast oder nur einen Teil. Ohne Gedächtnis würdest du ewig weiterwischt oder aufhören, bevor es sauber ist.

Bisher gab es keine einheitliche "Prüfung", um zu testen, wie gut ein Roboter sich eigentlich erinnert. Jeder Forscher hat seine eigenen, kleinen Tests gemacht, wie wenn jeder Schüler eine andere Mathearbeit schreibt. Man konnte die Ergebnisse nicht vergleichen.

2. Die Lösung: MIKASA – Der "Gedächtnis-Fitness-Test" für Roboter

Die Autoren haben MIKASA entwickelt. Das ist wie ein riesiger, standardisierter Sportplatz für Roboter-Gedächtnis.

Sie haben das Konzept des Gedächtnisses in vier Kategorien unterteilt, ähnlich wie bei uns Menschen:

1. Objekt-Gedächtnis: "Ich weiß, dass der Apfel im Kühlschrank ist, auch wenn ich ihn gerade nicht sehe." (Wie ein Kind, das weiß, dass sein Spielzeug unter dem Bett ist).
2. Raum-Gedächtnis: "Ich weiß, wo der Stuhl stand, bevor ich ihn bewegt habe." (Wie ein Navigator, der eine Karte im Kopf behält).
3. Reihenfolge-Gedächtnis: "Zuerst habe ich das Ei geschlagen, dann das Mehl." (Wie ein Koch, der ein Rezept im Kopf hat).
4. Kapazitäts-Gedächtnis: "Ich kann mir merken, wo 7 verschiedene Gegenstände gleichzeitig waren." (Wie ein Kellner, der 7 Bestellungen auf einmal im Kopf behält).

3. Der Test: 32 verschiedene Aufgaben

MIKASA-Robo (der Roboter-Teil des Tests) besteht aus 32 verschiedenen Aufgaben, die wie kleine Spiele aufgebaut sind:

• Das "Schalen-Spiel" (Shell Game): Stell dir vor, ein Roboter sieht, wohin ein Ball unter eine Tasse gelegt wird. Dann werden alle Tassen verdeckt. Der Roboter muss die richtige Tasse berühren. Ohne Gedächtnis wäre das reines Raten.
• Das "Farb-Gedächtnis": Der Roboter sieht einen roten Würfel. Der Würfel verschwindet. Dann tauchen 9 Würfel in verschiedenen Farben auf. Der Roboter muss den roten wiederfinden.
• Das "Ketten-Spiel": Der Roboter muss sich merken, in welcher Reihenfolge Farben gezeigt wurden, und sie dann in genau derselben Reihenfolge berühren.

4. Was sie herausfanden: Die harte Realität

Die Forscher haben viele moderne KI-Modelle (sogenannte "VLA-Modelle", die sehen, lesen und handeln können) durch diesen Test geschickt. Das Ergebnis war ernüchternd, aber wichtig:

• Wenn alles sichtbar ist: Die Roboter waren super. Sie konnten die Aufgaben leicht lösen.
• Wenn etwas verdeckt ist (Gedächtnis nötig): Die meisten modernen Roboter versagten komplett. Sie wurden sozusagen "amnesisch".
• Der Vergleich: Es ist, als würde man einem Schüler eine Matheprüfung geben, bei der er die Formel auf einem Zettel nachschauen darf (erfolgreich), und dann eine zweite Prüfung, bei der der Zettel weggenommen wird und er sich die Formel merken muss (er scheitert).

Die Studie zeigt: Unsere aktuellen Roboter-KIs sind extrem gut darin, was sie gerade sehen, zu verarbeiten. Aber sie sind noch sehr schlecht darin, was sie vor 10 Sekunden gesehen haben, zu behalten, wenn sie nicht mehr direkt davor stehen.

5. Warum ist das wichtig?

Ohne ein gutes Gedächtnis können Roboter keine komplexen Aufgaben in echten Häusern oder Fabriken erledigen. Sie können nicht "nachdenken" über Dinge, die gerade nicht da sind.

MIKASA ist jetzt wie ein offenes Werkzeugkasten-Set für alle Forscher. Jeder kann seine neuen Roboter-Algorithmen auf diesen 32 Aufgaben testen und genau sehen: "Ah, mein Roboter ist gut im Merken von Farben, aber er vergisst sofort die Reihenfolge."

Zusammenfassung in einem Satz

Die Autoren haben einen standardisierten "Gedächtnis-Fitness-Test" für Roboter entwickelt, der beweist, dass unsere heutigen KIs zwar sehen können, aber noch sehr vergesslich sind, sobald Dinge aus dem Blickfeld verschwinden – und sie bieten nun den Maßstab, um diese Lücke zu schließen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „MEMORY, BENCHMARK & ROBOTS: A BENCHMARK FOR SOLVING COMPLEX TASKS WITH REINFORCEMENT LEARNING" auf Deutsch:

Problemstellung

Das Paper adressiert ein zentrales Defizit im Bereich des Reinforcement Learning (RL) und der Robotik: Das Fehlen eines universellen, standardisierten Benchmarks zur Bewertung der Gedächtnisfähigkeiten (Memory Capabilities) von Agenten.

• Herausforderung: Viele reale Aufgaben, insbesondere in der robotischen Manipulation, sind teilweise beobachtbar (POMDPs) und erfordern, dass der Agent historische Informationen speichert, um zeitliche und räumliche Abhängigkeiten zu lösen.
• Aktuelle Limitierungen: Bestehende Benchmarks (wie POPGym, DMLab-30 oder MemoryGym) sind oft auf spezifische Domänen (z. B. Navigation oder abstrakte Puzzles) beschränkt oder nutzen künstlich erzeugte Teil-Beobachtbarkeit. Es fehlt an einer systematischen Klassifizierung, die es erlaubt, verschiedene Gedächtnistypen (z. B. Objekterinnerung vs. sequenzielles Gedächtnis) objektiv zu vergleichen.
• Robotik-Spezifik: In der physischen Robotik sind Aufgaben oft komplexer (z. B. verdeckte Objekte, mehrstufige Prozesse), doch existierende Frameworks behandeln diese meist als vollständig beobachtbare MDPs oder nutzen zu grobe Abstraktionen, was die Bewertung echter Gedächtnisleistungen unmöglich macht.

Methodik und Framework

Die Autoren stellen MIKASA (Memory-Intensive Skills Assessment Suite for Agents) vor, ein umfassendes Ökosystem zur Evaluierung von Gedächtnis-RL.

1. Taxonomie der Gedächtnisaufgaben

Das Paper führt eine systematische Klassifizierung von Gedächtnisaufgaben in vier Hauptkategorien ein, die auf kognitiver Wissenschaft basieren:

1. Objektgedächtnis (Object Memory): Fähigkeit, Informationen über Objekte zu behalten, wenn diese vorübergehend nicht sichtbar sind (Objektpermanenz).
2. Räumliches Gedächtnis (Spatial Memory): Erinnern von Positionen und Navigationspfaden in der Umgebung.
3. Sequenzielles Gedächtnis (Sequential Memory): Behalten und Reproduzieren von zeitlich geordneten Ereignissen oder Aktionsfolgen.
4. Gedächtniskapazität (Memory Capacity): Fähigkeit, mehrere Informationen gleichzeitig zu verarbeiten und zu speichern (Analog zum menschlichen Arbeitsgedächtnis).

2. MIKASA-Base

Ein standardisiertes, Gymnasium-basiertes Framework, das bestehende Open-Source-Umgebungen unter einer einheitlichen API konsolidiert. Es dient als diagnostische Basis für verschiedene Gedächtnismechanismen, von vektorbasierten Aufgaben bis hin zu komplexen bildbasierten Szenarien.

3. MIKASA-Robo (Der Kernbeitrag)

Ein neuartiger Benchmark für robotische Tischmanipulation, bestehend aus 32 sorgfältig gestalteten Aufgaben in 12 Kategorien.

• Umgebung: Basierend auf dem ManiSkill3-Framework mit GPU-Parallelisierung.
• Aufgabenbeispiele:
  • ShellGame: Ein Ball wird unter Tassen versteckt; der Roboter muss die Position merken.
  • RememberColor/Shape: Ein Objekt wird gezeigt, dann verdeckt, und der Roboter muss es später aus einer Auswahl wiedererkennen.
  • Intercept: Ein sich bewegendes Objekt muss verfolgt und abgefangen werden (erfordert Vorhersage und räumliches Gedächtnis).
  • ChainOfColors: Eine sequenzielle Abfolge von Farben muss in exakt derselben Reihenfolge reproduziert werden.
• Konfiguration: Die Aufgaben bieten verschiedene Modi (z. B. "Touch", "Push", "Pick") und Schwierigkeitsgrade (Anzahl der Objekte, Dauer der Verdeckung).
• Beobachtungsmodi: Um das Gedächtnis zu testen, werden Modi wie RGB + Joint-States (Kamera + Gelenkdaten) verwendet, während der "State"-Modus (vollständige Oracle-Information) als Obergrenze für die Lösbarkeit dient.

Wichtige Beiträge

1. Klassifizierungsrahmen: Eine klare Taxonomie, die hilft, Gedächtnisaufgaben zu strukturieren und Lücken in der Evaluierung zu identifizieren.
2. MIKASA-Base: Ein vereinheitlichter Benchmark für allgemeine RL-Agenten.
3. MIKASA-Robo: Der erste umfassende Open-Source-Benchmark (MIT-Lizenz) für gedächtnisintensive robotische Manipulation mit 32 Aufgaben.
4. Datensätze: Veröffentlichung von Expert-Datasets (1000 erfolgreiche Trajektorien pro Aufgabe) für Offline-RL und Imitationslernen.

Ergebnisse und Evaluation

Die Autoren evaluierten den Benchmark mit einer Vielzahl von Baselines:

• Online RL (PPO, SAC, TD-MPC2):

  • In State-Modus (vollständige Information) erreichen einfache MLP-Agenten 100 % Erfolg, was beweist, dass die Aufgaben physikalisch lösbar sind.
  • In RGB+joints-Modus (Gedächtnis erforderlich) scheitern MLP-Agenten (ohne Gedächtnis) fast vollständig.
  • LSTM-basierte Agenten zeigen Verbesserungen bei einfachen Aufgaben (z. B. 3 Farben), versagen aber bei höherer Komplexität (5–9 Farben) oder langen Zeithorizonten.
  • Selbst moderne Algorithmen wie SAC und TD-MPC2 zeigen ohne explizite Gedächtnismechanismen drastische Leistungseinbrüche.

• Offline RL (Decision Transformer, RATE, CQL, Diffusion Policy):

  • Selbst Modelle mit Transformer-Architektur (RATE, DT) oder Diffusion-Policies scheitern bei den meisten Aufgaben, insbesondere bei solchen mit hoher Gedächtniskapazität oder sequenziellen Anforderungen. Die Erfolgswerte liegen oft nahe Null.

• Visual-Language-Action (VLA) Modelle (Octo, OpenVLA, π0, SpatialVLA):

  • State-of-the-Art VLA-Modelle zeigen auf einfachen, vollständig beobachtbaren Aufgaben gute Ergebnisse.
  • Sobald jedoch Verdeckung (Occlusion) und lange Zeithorizonte eingeführt werden (z. B. RememberColor9), bricht die Leistung drastisch zusammen.
  • Real-World-Experimente: Ein physischer Roboter (SO-101 Arm) mit einem feinabgestimmten π0.5-Modell bestätigte die Simulationsergebnisse: Das Modell scheiterte fast vollständig an der Aufgabe, ein verdecktes Objekt zu identifizieren, obwohl es einfache Pick-and-Place-Aufgaben meisterte.

Bedeutung und Fazit

Das Paper zeigt eindeutig, dass aktuelle State-of-the-Art-Methoden in RL und Robotik (sowohl Online- als auch Offline-Methoden sowie VLA-Modelle) erhebliche Schwierigkeiten haben, langfristige zeitliche Abhängigkeiten und Gedächtnis in komplexen, teilweise beobachtbaren Umgebungen zu bewältigen.

• Schlussfolgerung: Die aktuellen Architekturen sind für reale Anwendungen, die robustes Gedächtnis erfordern (z. B. Service-Robotik), noch nicht ausreichend.
• Zukünftige Arbeit: MIKASA dient als Werkzeug, um neue Architekturen mit expliziten und robusten Langzeitgedächtnismechanismen zu entwickeln und zu testen.
• Verfügbarkeit: Der gesamte Code, die Benchmarks und die Datensätze sind unter der MIT-Lizenz verfügbar (pip install mikasa-robo-suite).

Zusammenfassend stellt MIKASA einen Meilenstein dar, um die Lücke zwischen theoretischen Gedächtnismodellen und der praktischen Anwendung in der Robotik zu schließen, indem es eine standardisierte, vergleichbare und realistische Evaluierungsplattform bietet.