💻 computer science

SlotVLA: Towards Modeling of Object-Relation Representations in Robotic Manipulation

Dieser Beitrag stellt LIBERO+, einen feinabgestuften Benchmark mit objektkonzentrierten Annotationen, sowie SlotVLA, ein auf Slot-Attention basierendes Framework, vor, das kompakte Objekt-Relation-Repräsentationen nutzt, um effiziente, interpretierbare und wettbewerbsfähige Multitask-Roboter-Manipulation zu erreichen.

Ursprüngliche Autoren: Taisei Hanyu, Nhat Chung, Huy Le, Toan Nguyen, Yuki Ikebe, Anthony Gunderman, Duy Nguyen Ho Minh, Khoa Vo, Tung Kieu, Kashu Yamazaki, Chase Rainwater, Anh Nguyen, Ngan Le

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Taisei Hanyu, Nhat Chung, Huy Le, Toan Nguyen, Yuki Ikebe, Anthony Gunderman, Duy Nguyen Ho Minh, Khoa Vo, Tung Kieu, Kashu Yamazaki, Chase Rainwater, Anh Nguyen, Ngan Le

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboterarm beizubringen, wie man eine unordentliche Küche aufräumt.

Der alte Weg: Der „pixelintensive" Ansatz
Die meisten aktuellen Roboter versuchen zu lernen, indem sie die gesamte Küchenszene als ein riesiges, hochauflösendes Foto betrachten. Sie zerlegen dieses Foto in hunderte winziger Quadrate (Pixel) und versuchen herauszufinden, was jedes einzelne Quadrat bedeutet.

Das Problem: Es ist wie der Versuch, ein Buch zu lesen, indem man auf jedes einzelne Papierkorn der Seite starrt. Der Roboter wird von nutzlosen Details überwältigt (wie der Textur der Arbeitsplatte oder dem Muster an der Wand) und verschwendet eine massive Menge an Rechenkraft, nur um herauszufinden, dass „hier eine Schüssel ist". Es ist langsam, teuer und schwer nachzuvollziehen, warum der Roboter einen Fehler gemacht hat.

Der neue Weg: SlotVLA (Der „intelligente Listen"-Ansatz)
Die Autoren dieses Papiers, SlotVLA, schlagen einen intelligenteren Weg vor. Anstatt das gesamte Bild zu betrachten, bringen sie dem Roboter bei, spezifische „Charaktere" in der Szene zu identifizieren und zu verstehen, wie diese Charaktere interagieren.

Stellen Sie es sich so vor:

Objekt-Slots (Die Besetzung): Anstatt 500 Pixel zu sehen, erstellt der Roboter eine kurze Liste von „Slots". Jeder Slot ist ein mentaler Platzhalter für ein spezifisches Objekt, wie „Die Schüssel", „Der Herd" oder „Die Roboterhand".
Relation-Slots (Die Handlung): Der Roboter listet nicht nur die Objekte auf; er erstellt auch Slots für die Beziehungen zwischen ihnen. Er fragt: „Berührt die Hand die Schüssel?" oder „Ist die Schüssel über dem Herd?"
Der Filter (Der Regisseur): Dies ist der Trick. Der Roboter liest die Anweisung (z. B. „Stellen Sie den Orangensaft in den Korb") und agiert wie ein Filmregisseur. Er betrachtet die gesamte Küche und sagt: „Okay, wir müssen uns jetzt nicht um den Toaster oder den Kühlschrank kümmern. Wir müssen uns nur auf den Orangensaft, den Korb und die Roboterhand konzentrieren." Er verwirft alle anderen „Slots", um die Liste kurz und effizient zu halten.

Der neue Datensatz: LIBERO+
Um Roboter diese neue Denkweise beizubringen, erstellten die Autoren einen neuen Trainingsdatensatz namens LIBERO+.

Die Analogie: Stellen Sie sich vor, die alten Trainingsvideos waren nur Rohmaterial von sich bewegenden Robotern. Der Roboter musste raten, was vor sich ging.
Das Upgrade: LIBERO+ ist wie Rohmaterial, das mit einem Drehbuch und einem Storyboard geliefert wird. Es kennzeichnet jedes Objekt explizit mit einem Kasten, einer Maske (einer ausgeschnittenen Form) und einer Verfolgungs-ID (damit der Roboter weiß, dass „Schüssel #1" im Bild 1 dasselbe ist wie „Schüssel #1" im Bild 10). Dies gibt dem Roboter klare, strukturierte Daten zum Lernen, anstatt zu raten.

Was sie herausfanden

Effizienz: Durch den Wechsel von hunderten „Pixel-Tokens" zu nur einer Handvoll „Objekt- und Relation-Tokens" wurde der Roboter viel schneller und benötigte deutlich weniger Rechenleistung (etwa 3- bis 4-mal weniger).
Leistung: Bei einfacheren Aufgaben mit wenigen Objekten (wie das Bewegen einer Schüssel zu einem Herd) funktionierte die neue Methode genauso gut wie die schweren, langsamen Methoden.
Der Haken: Wenn die Szene sehr überladen war (wie eine Küche mit 20 verschiedenen Gegenständen), hatte die „kurze Liste"-Methode ein wenig Schwierigkeiten, da sie zu viele Dinge ignorieren musste. Sie funktioniert am besten, wenn der Roboter sich nur auf einige wenige spezifische Gegenstände konzentrieren muss.

Warum es wichtig ist
Das Papier argumentiert, dass dieser Ansatz Roboter interpretierbarer macht. Wenn ein Roboter versagt, können wir in seine „Liste" schauen und genau sehen, woran er dachte: „Ich konzentrierte mich auf die Tasse, aber ich habe die Beziehung zwischen der Tasse und dem Tisch übersehen." Es ist viel einfacher, eine kurze, logische Liste zu debuggen als eine riesige, verwirrende Wolke aus Pixeln.

Kurz gesagt zeigt das Papier, dass Roboter nicht jeden Sandkorn im Raum anstarren müssen, um eine Aufgabe zu erledigen; sie müssen nur wissen, welche wenigen Sandkörner wichtig sind und wie sie zusammenpassen.

Technische Zusammenfassung: SlotVLA – Hin zur Modellierung von Objekt-Relations-Repräsentationen in der robotischen Manipulation

Problemstellung

Jüngste Fortschritte bei Vision-Language-Action (VLA)-Modellen haben die robotische Manipulation verbessert, indem sie Sprachbedingungen mit visuellen Hinweisen integriert haben. Derzeitige State-of-the-Art-Architekturen (z. B. OpenVLA, $\pi^0$ ) verlassen sich jedoch auf dichte visuelle Embeddings, die von vortrainierten Encodern (z. B. DINOv2, SigLIP) generiert werden. Diese Encoder produzieren pro Bildhundert visuelle Tokens (typischerweise 256–512), was zu prohibitiven Rechenkosten führt, wenn die Tokenanzahl steigt. Darüber hinaus verflechten dichte Embeddings oft Objektfunktionen mit Hintergrundhinweisen und redundanten Informationen, was die Interpretierbarkeit einschränkt und aufgabenrelevante Signale für den Aktionsdecoder verschleiert.

Während objektszentriertes Lernen in der Computer Vision entflochtene Repräsentationen bietet, ist die direkte Anwendung auf die Robotik suboptimal. Rein objektszentrierte Ansätze erfassen oft wesentliche Relationshinweise nicht, wie etwa Greifer-Objekt-Interaktionen, die für die inkarnierte Manipulation entscheidend sind. Bestehende Methoden ignorieren diese Relationen entweder oder verlassen sich auf externe Annotationen (Begrenzungsrahmen/Keypoints), die die Flexibilität einschränken. Es besteht Bedarf an einem Framework, das sowohl Objekte als auch ihre Interaktionen mittels einer kompakten, token-effizienten Repräsentation modelliert, die Multitask-Reasoning unterstützt.

Methodik: SlotVLA

Die Autoren schlagen SlotVLA vor, ein Framework, das entwickelt wurde, um dichte visuelle Embeddings in kompakte, strukturierte Objekt-Relations-Repräsentationen zu transformieren. Der Ansatz besteht aus drei Hauptkomponenten:

1. Aufgabenbewusster objektszentrierter Encoder

Dieses Modul komprimiert dichte visuelle Tokens in eine kleine Menge objektszentrierter Slots ( $S_t$ ), die durch sprachbasierte Aufgabenfilterung geleitet werden.

Slot-Aufmerksamkeit mit temporaler Konsistenz: Der Encoder nutzt Slot-Aufmerksamkeit (unter Verwendung eines GRU), um dichte visuelle Patches in lernbare Slots abzubilden. Ein „Slot-Carryover"-Mechanismus initialisiert Slots bei $t=0$ zufällig und propagiert sie vom vorherigen Zeitschritt, um eine konsistente Objektidentität über die Frames hinweg sicherzustellen.
Aufgabenbewusste Slot-Filterung: Nicht alle erkannten Objekte sind für eine spezifische Aufgabe relevant. Ein bidirektionaler Cross-Attention-Mechanismus (BCA) berechnet Relevanzwerte zwischen den Objektslots und den Embeddings der Aufgabenbeschreibung. Eine Top- $k$ -Auswahl behält nur die relevantesten Slots (typischerweise 2–4) und filtert Hintergrund und irrelevante Objekte heraus.

2. Relationszentrierter Encoder

Um das Fehlen einer relationalen Modellierung in Standard-objektszentrierten Ansätzen zu adressieren, führt SlotVLA einen relationszentrierten Encoder ein, der Relationstokens ( $R_t$ ) generiert.

Interaktionsmodellierung: Lernbare Relationsabfragen integrieren Informationen sowohl aus den dichten visuellen Patches ( $V_t$ ) als auch aus den gefilterten Objektslots ( $S_t$ ) über einen Cross-Attention-Block (CAB).
Ausgabe: Dieser Prozess erfasst explizit Interaktionen, wie etwa Greifer-Objekt-Beziehungen und Objekt-Hintergrund-Kontexte, und erzeugt eine Menge von Relationstokens, die die Objektslots ergänzen.

3. Aktionsdecodierung

Die finale Repräsentation kombiniert die aufgabenbewussten Objektslots ( $S_t$ ), Relationstokens ( $R_t$ ), Sprachembeddings ( $P$ ) und die robotische Propriozeption ( $o_t$ ).

LLM-Integration: Diese multimodalen Eingaben werden in einen Large-Language-Model (LLM)-Decoder eingespeist, der mit LoRA (Low-Rank Adaptation) für die Aktionsdecodierung ausgestattet ist.
Token-Effizienz: Die Gesamtzahl der Tokens ( $N_S + N_R$ ) ist deutlich kleiner als die dichte Eingabe ( $N$ ), was ein effizientes nachgelagertes Reasoning ermöglicht.

Trainingsstrategie

Das Modell wird in zwei Stufen trainiert:

Stufe 1 (Encoder-Training): Der aufgabenbewusste objektszentrierte Encoder wird mittels Begrenzungsrahmen-, Objektigkeits- und Maskenverlusten (Hungarian Matching) sowie einem Tracking-Verlust für temporale Konsistenz und einem Klassen-ungleichgewichts-Verlust für Aufgabenrelevanz überwacht.
Stufe 2 (Fine-Tuning): Die Encoder-Parameter werden eingefroren. Der relationszentrierte Encoder und der Aktionsdecoder werden gemeinsam unter Verwendung eines Cross-Entropy-Verlusts auf Aktionslogits feinabgestimmt.

Hauptbeiträge

1. LIBERO+-Datensatz

Die Autoren stellen LIBERO+ vor, einen feinabgestuften Benchmark, der die bestehende LIBERO-Suite erweitert.

Annotationen: Im Gegensatz zum ursprünglichen LIBERO bietet LIBERO+ explizite Objekt-Level-Überwachung, einschließlich 2D-Begrenzungsrahmen, Pixel-Level-Objektmasken und instanzspezifischer temporaler IDs über RGB-D-Modalitäten hinweg.
Aufgabenrelevanz: Es enthält aufgabenspezifische natürliche Substantive zur Identifizierung aktiver, aufgabenrelevanter Objekte, was die Evaluierung von Objekt-Relations-Reasoning ermöglicht.
Teilmenge: Der Datensatz umfasst vier Teilmengen (LIBERO-Goal, LIBERO-Object, LIBERO-Spatial, LIBERO-Long) mit variierenden Objektanzahlen und Layoutkomplexitäten.

2. SlotVLA-Framework

SlotVLA ist das erste VLA-Framework, das objektszentrierte Slots mit relationszentrierten Tokens für die robotische Manipulation kombiniert.

Es erreicht eine kompakte Repräsentation durch Filterung nach Aufgabenrelevanz und explizite Modellierung von Interaktionen.
Es reduziert die visuelle Tokenanzahl im Vergleich zu dichten Baselines um eine Größenordnung, während gleichzeitig wettbewerbsfähige Leistung beibehalten wird.

Experimentelle Ergebnisse

Experimente wurden am LIBERO+-Benchmark durchgeführt, wobei SlotVLA-Varianten mit der dichten-Token-Baseline OpenVLA verglichen wurden.

Token-Effizienz: SlotVLA reduziert die Tokenanzahl von 256 (OpenVLA) auf ungefähr 4–28 Tokens, was zu einer 3–4 $\times$ -Reduktion der GFLOPs führt.
Leistung bei einfachen Aufgaben: Bei Teilmengen mit einfachen Layouts und wenigen Objekten (LIBERO-Goal und LIBERO-Object) erreicht SlotVLA wettbewerbsfähige oder überlegene Erfolgsquoten im Vergleich zu OpenVLA.
- LIBERO-Goal: OpenVLA (0,77) vs. SlotVLA-ORC (0,86).
- LIBERO-Object: OpenVLA (0,70) vs. SlotVLA-ORC (0,91).
Leistung bei komplexen Aufgaben: Bei Teilmengen mit komplexen räumlichen Layouts und hohen Objektanzahlen (LIBERO-Spatial und LIBERO-Long) verschlechtert sich die Leistung.
- LIBERO-Long: OpenVLA (0,56) vs. SlotVLA-ORC (0,31). Die Autoren führen dies auf die Begrenzung zurück, zu wenige Slots (z. B. 4) zu haben, um Szenen mit bis zu 29 Objekten darzustellen, wobei dichte Baselines mehr globalen Kontext erfassen.
Ablationsstudien:
- Aufgabenbewusste Filterung: Das Filtern irrelevanter Slots ist entscheidend; ohne diese sinkt die Leistung erheblich, insbesondere in komplexen Umgebungen.
- Temporale Konsistenz: Das Entfernen der temporalen Konsistenz führt zu einem starken Leistungsabfall (z. B. fällt ORC bei LIBERO-Goal von 0,86 auf 0,40), was die Notwendigkeit stabiler Slot-Identitäten unterstreicht.
- Slot-Anzahl: Eine Erhöhung der Slot-Anzahl über die optimale kleine Anzahl (4) hinaus führt oft zu Rauschen oder verwässert die relationale Verankerung, anstatt die Leistung zu verbessern.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass eine objekt- und relationszentrierte Tokenisierung einen vielversprechenden Ausgleich aus Effizienz, Interpretierbarkeit und Wirksamkeit für die Multitask-robotische Manipulation bietet.

Effizienz: Durch die drastische Reduzierung der Anzahl visueller Tokens ermöglicht SlotVLA die robotische Steuerung unter begrenzten Rechenbudgets.
Interpretierbarkeit: Der slotbasierte Ansatz entflechtet Entitäten und filtert nach Aufgabenrelevanz, wodurch der Reasoning-Prozess des Modells transparenter wird im Vergleich zu dichten, verflochtenen Embeddings.
Einschränkungen: Die Autoren räumen bescheiden ein, dass der Ansatz, obwohl effektiv für einfache Layouts, Schwierigkeiten hat, auf stark überfüllte, langfristige Aufgaben zu skalieren, bei denen die Objektanzahl die Slot-Kapazität überschreitet. Sie weisen darauf hin, dass die Abhängigkeit von überwachten Begrenzungsrahmen und Masken für das Training die unmittelbare Anwendbarkeit in realen Umgebungen ohne solche Annotationen einschränken kann.

Zusammenfassend gehen die Autoren davon aus, dass LIBERO+ und SlotVLA einen grundlegenden Schritt hin zu strukturiertem, effizientem und erklärbarem inkarniertem KI darstellen und das Paradigma von der dichten Wahrnehmung hin zu kompakter, relationsbewusster Reasoning verschieben.