Technische Samenvatting: Ruimtelijk Geprompte Visuele Trajectvoorspelling voor Egocentrische Manipulatie

Probleemdefinitie: Ruimtelijk Geprompte Visuele Trajectvoorspelling (SP-VTP)

Huidige robotmanipulatiebeleidssystemen vertrouwen vaak op taalinstructies of discrete taakidentificatoren om doelen te specificeren. Echter, in rommelige omgevingen met visueel vergelijkbare objecten kunnen linguïstische beschrijvingen (bijvoorbeeld "pik de vork op") of taak-ID's dubbelzinnig zijn of falen in het identificeren van het specifieke exemplaar of het plaatsingsgebied. De auteurs betogen dat in dergelijke scenario's de doelomschrijving inherent ruimtelijk is voordat deze linguïstisch is: "pik dit object op en plaats het daar."

Om dit aan te pakken, formaliseren de auteurs een nieuwe setting genaamd Ruimtelijk Geprompte Visuele Trajectvoorspelling (SP-VTP). In dit kader:

• Invoer: Het model ontvangt een egocentrische afbeelding van het eerste frame met statische ruimtelijke prompts (punten of omhullende rechthoeken) die het doelobject en het doelplaatsingsgebied aangeven.
• Taak: Het model moet toekomstige trajecten van de eindgrijper (EE) voorspellen op basis van stromende egocentrische waarnemingen.
• Uitvoer: In tegenstelling tot visuele grounding of tracking, die maskers of rechthoeken outputten, is de output een reeks relatieve 6D EE-bewegingen en grijperstatussen.
• Uitdagingen: Het probleem combineert vier verschillende moeilijkheden:
  1. Statische Taalspecificatie: Object en doel zijn alleen gedefinieerd in het eerste frame.
  2. Dynamische Uitvoering: De camera beweegt, de EE verbergt het tafereel, en objecten verplaatsen zich na het grijpen.
  3. Exemplaarontwarring: Rommel en afleidende objecten van dezelfde categorie vereisen aanhoudende tracking op exemplaarniveau.
  4. Fase-afhankelijke Beweging: Dezelfde object-doelpaar kan verschillende bewegingen vereisen in verschillende uitvoeringsfasen.

Methodologie

Dataset: EgoSPT

Om SP-VTP te bestuderen, introduceren de auteurs EgoSPT, een dataset van egocentrische ruimtelijk geprompte manipulatietrajecten.

• Verzameling: Data is verzameld met behulp van een aangepaste Universal Manipulation Interface (UMI) uitgerust met een GoPro (170° visiooglenzen) voor egocentrische video en een iPhone voor 6-DoF EE-trajecttracking via visueel-inertiale SLAM.
• Inhoud: De dataset bevat 2.841 pick-and-place-episoden met vijf visueel vergelijkbare vorken en negen doelen (borden, kommen, koppen).
• Structuur: Het is georganiseerd in drie scènes met toenemende moeilijkheidsgraad:
  • Scène 1: Gestructureerde lay-outs (schone omstandigheden).
  • Scène 2: Rommelige lay-outs (afleidende objecten en ruimtelijke ambiguïteit).
  • Scène 3: Willekeurig rommelige subscènes met schaarse demonstraties per configuratie.
• Annotaties: Elk episode bevat annotaties voor grounding van object en doel in het eerste frame (omhullende rechthoeken) en herstelde 3D EE-trajecten.

Model: SPOT (Ruimtelijk Geprompt Object-Doel Beleid)

De auteurs stellen SPOT voor, een beleid ontworpen om ruimtelijke prompts te fuseren met visuele waarnemingen om toekomstige trajectstukken te genereren. De architectuur bestaat uit drie hoofdmodules:

1. Taak-encoder:

   • Verwerkt het eerste frame ($I_0$) en de ruimtelijke prompts (object $p_{obj}$ en doel $p_{tgt}$).
   • Dual Prompt Representatie: Prompts worden op twee complementaire manieren gecodeerd:
     • Visueel: Omhullende rechthoeken worden op het eerste frame gerenderd.
     • Coördinaat: Rechthoekcoördinaten worden gecodeerd als ruimtelijke tokens met behulp van Fourier-positiekenmerken en een MLP.
   • Fusie: Een bevroren DINOv2 ViT-B/14 backbone haalt beeldtokens op. Prompt-tokens (rol-geëmbed) bevragen deze visuele tokens via cross-attention om taakrelevante bewijs te extraheren, waarbij globale scènecontext wordt gefuseerd met specifieke object/doelinformatie.

2. Waarnemings-encoder:

   • Codeert het huidige egocentrische frame ($I_t$) met behulp van dezelfde bevroren visuele backbone om een gedeelde visuele ruimte met de taak-encoder te garanderen.
   • Integreert recente trajectgeschiedenis ($h_t$) via een lichtgewicht MLP en temporele positie-embeddings.
   • Concateneert huidige visuele tokens en geschiedenis-tokens om de uitvoeringscontext te vormen.

3. Trajectgenerator:

   • Neemt de geconcateneerde taak- en waarnemingstokens als conditionering.
   • Voorspelt een toekomstig trajectstuk ($A_t \in \mathbb{R}^{H \times 10}$) dat relatieve translatie, 6D rotatie en grijperbreedte vertegenwoordigt.
   • Doel: De standaardimplementatie maakt gebruik van Flow Matching om het snelheidsveld van het traject te voorspellen, hoewel ook een diffusihoofd wordt ondersteund. Het model wordt getraind om geïnterpoleerde trajecttokens te ontdoen van ruis.

Evaluatieprotocol

Het artikel benadrukt scènebewuste splitsingen om datalekken en een overschatting van generalisatie te voorkomen. Alle episodes uit dezelfde scèneneenheid worden binnen één partition (train of validatie) gehouden. Evaluatiemetrics omvatten Final Displacement Error (FDE), Position L2, Rotation L2 en Gripper Width L1.

Belangrijkste Resultaten

Prompt-baselines

Experimenten die verschillende prompt-modaliteiten vergelijken (Geen Prompt, Punt, BBox, Visueel, BBox+Visueel) tonen aan dat ruimtelijke prompts de prestaties aanzienlijk verbeteren ten opzichte van niet-geprompte baselines.

• De combinatie van Visuele Prompts (gerenderde rechthoeken) en Coördinaat Prompts (rechthoektokens) levert de beste algemene resultaten op, waarbij FDE wordt verlaagd van 0,1739 (Geen Prompt) naar 0,1147.
• Visuele prompts alleen zijn bijzonder effectief voor rotatie-accuraatheid, terwijl coördinaatprompts expliciete geometrie bieden die gunstig is voor translatie in rommelige scènes.

Ablatiestudies

• Visie-encoder: DINOv2-Base presteert beter dan andere foundation-modellen (SigLIP, SAM, EVA2, PE) in eindpunt- en translatie-accuraatheid, met name in rommelige scènes (Scène 2 en 3).
• Bevroren vs. Niet-bevroren: Het houden van de visuele backbone bevroren levert betere generalisatie op dan het fine-tunen ervan, wat suggereert dat het aanpassen van de backbone aan de beperkte taakverdeling leidt tot overfitting.
• Trajecthoofd: Het Flow Matching-hoofd presteert consistent beter dan het Diffusiehoofd over alle metrics.
• Geschiedenis-horizon: Een gematigde geschiedenis-horizon ($K=4$) biedt de beste balans, met voldoende bewegingscontext zonder verouderde waarnemingen in te brengen.

Kwalitatieve Prestaties

Visualisaties tonen aan dat SPOT succesvol de juiste lokale bewegingsfase afleidt uit statische prompts en huidige waarnemingen. Hoewel het samenvoegen van lange horizon lokale drift accumuleert (cumulatieve fouten), behoudt het model de grove geometrische structuur van het manipulatietraject, inclusief naderings- en terugkeerbewegingen.

Betekenis en Claims

Het artikel claimt SP-VTP te vestigen als een nieuwe, eenvoudige en schaalbare taakconditie voor egocentrische manipulatie. De primaire bijdragen zijn:

1. Formalisatie: Het definiëren van de eerste setting die egocentrische manipulatie frameert als visie-centric, ruimtelijk geprompte trajectvoorspelling, onderscheiden van taalkundig geconditioneerde planning of standaard tracking.
2. Dataset: Het introduceren van EgoSPT, dat de nodige grounding-annotaties en 3D-bewegingsherstel biedt om dit probleem te bestuderen.
3. Beleid: Het voorstellen van SPOT, wat aantoont dat het fuseren van gerenderde en coördinaat-ruimtelijke prompts met visuele geschiedenis effectief toekomstige trajecten voorspelt in nieuwe scèneconfiguraties.
4. Evaluatie: Het vestigen van een scènebewust evaluatieprotocol dat ware cross-scène generalisatie test in plaats van lay-out memorisatie.

De auteurs positioneren ruimtelijke prompting als een directe, laag-ambiguïteitsinterface voor het specificeren van manipulatie-doelen in rommelige omgevingen, en bieden een praktisch alternatief voor taakgebaseerde instructies waar visuele context van het grootste belang is.