Technische Samenvatting: SlotVLA – Naar Modellering van Object-Relatie Representaties in Robotische Manipulatie

Probleemstelling

Recente vooruitgang in Vision-Language-Action (VLA)-modellen heeft robotische manipulatie verbeterd door taalcondities te integreren met visuele aanwijzingen. Echter, de huidige state-of-the-art architecturen (bijv. OpenVLA, $\pi^0$) vertrouwen op dichte visuele embeddings gegenereerd door vooraf getrainde encoders (bijv. DINOv2, SigLIP). Deze encoders produceren honderden visuele tokens (typisch 256–512) per frame, wat leidt tot verbodsfactoren computatiekosten naarmate het aantal tokens toeneemt. Bovendien verstrengelen dichte embeddings vaak objectkenmerken met achtergrondaanwijzingen en overbodige informatie, wat de interpreteerbaarheid beperkt en taakrelevante signalen voor de actie-decoder verduistert.

Hoewel object-gerichte learning in computer vision gedesentraliseerde representaties biedt, is directe toepassing daarvan op robotica suboptimaal. Puur object-gerichte benaderingen slagen er vaak niet in om essentiële relatie-aanwijzingen vast te leggen, zoals gripper-object interacties, die cruciaal zijn voor belichaamde manipulatie. Bestaande methoden negeren deze relaties dan wel vertrouwen ze op externe annotaties (boksjes/sleutelpunten) die flexibiliteit beperken. Er is behoefte aan een kader dat zowel objecten als hun interacties modelleert met behulp van een compacte, token-efficiënte representatie die meertakenredenering ondersteunt.

Methodologie: SlotVLA

De auteurs stellen SlotVLA voor, een kader ontworpen om dichte visuele embeddings te transformeren naar compacte, gestructureerde object-relatie representaties. De aanpak bestaat uit drie hoofdcomponenten:

1. Taalbewuste Object-gerichte Encoder

Deze module comprimeert dichte visuele tokens naar een kleine set object-gerichte slots ($S_t$), geleid door taalgebaseerde taakfiltering.

• Slot Attention met Temporele Consistentie: De encoder maakt gebruik van slot attention (met een GRU) om dichte visuele patches te mappen naar leerbare slots. Een "slot carryover"-mechanisme initialiseert slots willekeurig bij $t=0$ en propageert ze vanaf het vorige tijdstip om consistente objectidentiteit over frames te waarborgen.
• Taakbewuste Slot Filtering: Niet alle gedetecteerde objecten zijn relevant voor een specifieke taak. Een bidirectionele cross-attention (BCA) mechanisme berekent relevantiescores tussen de objectslots en de taakbeschrijvings-embeddings. Een Top-$k$ selectie behoudt alleen de meest relevante slots (typisch 2–4) en filtert achtergrond en irrelevante objecten eruit.

2. Relatie-gerichte Encoder

Om het gebrek aan relationele modellering in standaard object-gerichte benaderingen aan te pakken, introduceert SlotVLA een Relatie-gerichte Encoder die relatietokens ($R_t$) genereert.

• Interactie Modellering: Leerbare relatiequeries integreren informatie van zowel de dichte visuele patches ($V_t$) als de gefilterde objectslots ($S_t$) via een Cross-Attention Block (CAB).
• Output: Dit proces legt interacties expliciet vast, zoals gripper-object relaties en object-achtergrond context, en produceert een set relatietokens die de objectslots aanvullen.

3. Actie Decoding

De uiteindelijke representatie combineert de taalbewuste objectslots ($S_t$), relatietokens ($R_t$), taal-embeddings ($P$) en robotproprioceptie ($o_t$).

• LLM Integratie: Deze multimodale inputs worden ingevoerd in een Large Language Model (LLM) decoder uitgerust met LoRA (Low-Rank Adaptation) voor actie decoding.
• Token Efficiëntie: Het totale aantal tokens ($N_S + N_R$) is aanzienlijk kleiner dan de dichte input ($N$), wat efficiënte downstream redenering mogelijk maakt.

Trainingsstrategie

Het model wordt in twee fasen getraind:

1. Fase 1 (Encoder Training): Superviseert de Taalbewuste Object-gerichte Encoder met behulp van bounding box-, objectheid- en mask-verliezen (Hongaarse matching), samen met een trackingverlies voor temporele consistentie en een klasse-ongelijkheidsverlies voor taakrelevantie.
2. Fase 2 (Fine-tuning): De encoderparameters worden bevroren. De Relatie-gerichte Encoder en Actie Decoder worden gezamenlijk gefine-tuned met behulp van cross-entropy verlies op actie-logits.

Belangrijkste Bijdragen

1. LIBERO+ Dataset

De auteurs introduceren LIBERO+, een fijnmazige benchmark die de bestaande LIBERO-suite uitbreidt.

• Annotaties: In tegenstelling tot de originele LIBERO, biedt LIBERO+ expliciete objectniveau supervisie, inclusief 2D bounding boxes, pixelniveau objectmasks en instantieniveau temporele ID's over RGB-D modaliteiten.
• Taakrelevantie: Het bevat taakspecifieke natuurlijke zelfstandige naamwoorden om actieve, taakrelevante objecten te identificeren, wat de evaluatie van object-relatie redenering mogelijk maakt.
• Subsets: De dataset bestaat uit vier subsets (LIBERO-Goal, LIBERO-Object, LIBERO-Spatial, LIBERO-Long) met variërende objectaantallen en lay-outcomplexiteiten.

2. SlotVLA Kader

SlotVLA is het eerste VLA-kader dat object-gerichte slots combineert met relatie-gerichte tokens voor robotische manipulatie.

• Het bereikt een compacte representatie door te filteren op taakrelevantie en interacties expliciet te modelleren.
• Het reduceert het aantal visuele tokens met een orde van grootte ten opzichte van dichte baselines, terwijl het concurrerende prestaties behoudt.

Experimentele Resultaten

Experimenten werden uitgevoerd op de LIBERO+ benchmark, waarbij SlotVLA-varianten werden vergeleken met de dichte-token baseline OpenVLA.

• Token Efficiëntie: SlotVLA reduceert het aantal tokens van 256 (OpenVLA) tot ongeveer 4–28 tokens, wat resulteert in een 3–4$\times$ reductie in GFLOPs.
• Prestaties op Simpele Taken: Op subsets met simpele lay-outs en weinig objecten (LIBERO-Goal en LIBERO-Object) bereikt SlotVLA concurrerende of superieure slagingspercentages vergeleken met OpenVLA.
  • LIBERO-Goal: OpenVLA (0,77) vs. SlotVLA-ORC (0,86).
  • LIBERO-Object: OpenVLA (0,70) vs. SlotVLA-ORC (0,91).
• Prestaties op Complexe Taken: Op subsets met complexe ruimtelijke lay-outs en hoge objectaantallen (LIBERO-Spatial en LIBERO-Long) verslechtert de prestatie.
  • LIBERO-Long: OpenVLA (0,56) vs. SlotVLA-ORC (0,31). De auteurs schrijven dit toe aan de beperking van te weinig slots (bijv. 4) om scènes met tot 29 objecten te representeren, waarbij dichte baselines meer globale context vastleggen.
• Ablatiestudies:
  • Taakbewuste Filtering: Het filteren van irrelevante slots is cruciaal; zonder dit daalt de prestatie aanzienlijk, vooral in complexe omgevingen.
  • Temporele Consistentie: Het verwijderen van temporele consistentie veroorzaakt een scherpe prestatiedaling (bijv. ORC daalt van 0,86 naar 0,40 op LIBERO-Goal), wat de noodzaak van stabiele slotidentiteiten benadrukt.
  • Slot Aantal: Het verhogen van het aantal slots boven het optimale kleine aantal (4) introduceert vaak ruis of verdunt relationele gronding, in plaats van de prestatie te verbeteren.

Betekenis en Claims

Het artikel beweert dat object-relatie-gerichte tokenisatie een veelbelovende balans biedt tussen efficiëntie, interpreteerbaarheid en effectiviteit voor meertaken robotische manipulatie.

• Efficiëntie: Door het aantal visuele tokens drastisch te reduceren, maakt SlotVLA robotische controle mogelijk onder beperkte computatiebudgetten.
• Interpreteerbaarheid: De slot-gebaseerde aanpak desverstrengelt entiteiten en filtert op taakrelevantie, waardoor het redeneerproces van het model transparanter wordt in vergelijking met dichte, verstrengelde embeddings.
• Beperkingen: De auteurs erkennen bescheiden dat de aanpak, hoewel effectief voor simpele lay-outs, moeite heeft om te schalen naar sterk rommelige, lange-horizont taken waarbij het aantal objecten de slotcapaciteit overschrijdt. Zij merken op dat de afhankelijkheid van gesuperviseerde bounding boxes en masks voor training de directe toepasbaarheid in real-world settings zonder dergelijke annotaties kan beperken.

Concluderend stellen de auteurs dat LIBERO+ en SlotVLA een fundamentele stap vormen naar gestructureerde, efficiënte en verklaarbare belichaamde AI, waarbij het paradigma verschuift van dichte perceptie naar compacte, relatie-bewuste redenering.