GMT: Goal-Conditioned Multimodal Transformer for 6-DOF Object Trajectory Synthesis in 3D Scenes

Probleemstelling

Het genereren van controleerbare, realistische 6-DOF (zes vrijheidsgraden) objectmanipulatietrajecto's in complexe 3D-omgevingen is een fundamentele uitdaging in robotica en computer vision. Bestaande aanpakken kampen met drie hoofdproblemen:

1. Beperkte representatie: Veel methoden vertrouwen op 2D- of gedeeltelijke 3D-representaties, wat de nauwkeurigheid van de ruimtelijke redenering en de trajectprecisie beperkt.
2. Fysieke haalbaarheid: Genereren van trajecto's die vrij zijn van botsingen, stabiel zijn en rekening houden met de fysieke eigenschappen van objecten (affordances) is moeilijk, vooral in rommelige scènes.
3. Mens- versus object-centriciteit: Bestaande modellen voor Mens-Object Interactie (HOI) behandelen objecten vaak als passieve entiteiten die reageren op menselijke bewegingen. Dit beperkt de generalisatie naar verschillende robotplatforms, omdat de strategie gebonden is aan specifieke menselijke morfologieën.

Het doel is een model te ontwikkelen dat direct 6-DOF objecttrajecto's genereert, losgekoppeld van de specifieke robot, zodat deze via inverse kinematica (IK) op elk platform kunnen worden uitgevoerd.

Methodologie: GMT (Goal-Conditioned Multimodal Transformer)

De auteurs introduceren GMT, een multimodaal transformer-framework dat objecttrajecto's voorspelt op basis van waargenomen beweging, scènecontext en een doeltoestand. Het model ziet objecten als primaire dynamische entiteiten.

1. Probleemformulering:
Het probleem wordt opgevat als conditionele sequentiemodellering. De input bestaat uit:

• Een historische trajecto ($X_{1:H}$) van posities en rotaties.
• Scènecontext ($S$): Een puntwolk ($P$) en semantische bounding boxes van vaste objecten ($B$).
• Een doelconditie ($G$): De gewenste eindtoestand (positie en oriëntatie).
  Het doel is de toekomstige trajecto ($\hat{X}_{H+1:T}$) te voorspellen die fysiek haalbaar is en semantisch consistent met de scène.

2. Multimodale Scene Encoding:
Het model integreert vier soorten informatie:

• Trajecto-features: Temporele bewegingscontext, gekoppeld aan semantische categorie-features om overfitting te voorkomen.
• Ruimtelijke features:
  • Globaal: Een samenvatting van de puntwolk.
  • Lokaal: Features worden via inverse-afstandsgewogen interpolatie van de puntwolk naar de hoekpunten van de object-bounding box gepropageerd. Dit geeft het model bewustzijn van de directe omgeving (bijv. tafelblad vs. vloer).
  • Interactie: Self-attention wordt toegepast op de bounding boxes van vaste objecten om botsingsrisico's en ruimtelijke relaties te modelleren.
• Semantische features: Gebruikmakend van een bevroren CLIP-encoder voor labels van objecten en natuurlijke taalbeschrijvingen van de actie. Dit helpt bij het onderscheiden van objecten met vergelijkbare vormen maar verschillende functies.
• Doel-features: Een leerbare embedding van de gewenste eindtoestand. Dit fungeert als een "knop" om verschillende, fysiek geldige toekomstige trajecto's te genereren vanuit dezelfde starttoestand.

3. Multimodale Feature Fusie:
In plaats van features simpelweg te concateneren, gebruikt GMT een Transformer-gebaseerde fusiemodule (geïnspireerd op Perceiver IO):

• Een learnable latent array fungeert als een informatie-flesnek om schaalbalans tussen modaliteiten te garanderen.
• Er wordt gebruikgemaakt van cross-attention en self-attention om informatie te fusioneren.
• Hiërarchische fusie: Het ontwerp prioriteert harde geometrische constraints (botsingsvrij) boven zachte semantische voorkeuren.
• De gefuseerde latent representatie wordt direct gebruikt als input voor de voorspellingskop, zonder een aparte decodestap, wat stabiliteit voor lange-termijn controle verbetert.

4. Trainingsdoel:
De loss-functie bestaat uit vier termen:

• Translatie- en oriëntatieverlies voor de toekomstige voorspelling.
• Reconstructieverlies voor de waargenomen historische frames.
• Een bestemmingsverlies (destination loss) om de voorspelde eindpositie te laten overeenkomen met de ground truth.

Kernbijdragen

1. GMT Architectuur: Een unificerend framework dat scènegeometrie, semantiek en taakdoelen combineert voor 6-DOF objecttrajecto-generatie.
2. Aangepaste Fusiestrategie: Een innovatieve aanpak die lokale geometrie (via puntwolk-propagatie), semantische embeddings (CLIP), contextuele features en doel-embeddings hiërarchisch fuseert, waarbij geometrische haalbaarheid voorrang krijgt.
3. Object-centric Paradigma: Een verschuiving van mens-centric HOI naar object-centric generatie, waardoor trajecto's platform-onafhankelijk worden en via inverse kinematica op diverse robots kunnen worden toegepast.
4. State-of-the-Art Prestaties: Uitgebreide experimenten tonen superioriteit ten opzichte van bestaande benchmarks.

Resultaten

Het model is getest op twee datasets: ADT (Aria Digital Twin, synthetisch/ideaal) en HD-EPIC (echt, met ruis en occlusies).

• Vergelijking met Baselines: GMT presteert significant beter dan aangepaste versies van GIMO (mens-object interactie) en CHOIS (generatief framework).
  • Ruimtelijke Nauwkeurigheid: GMT behaalt de laagste Average Displacement Error (ADE) en Final Displacement Error (FDE). Op de ADT dataset was de FDE bijvoorbeeld 0.072m (GMT) versus 1.062m (CHOIS).
  • Temporele Consistentie: Hoogste Angular Consistency (AC) en laagste Fréchet Distance (FD), wat aangeeft dat de voorspelde trajecto's beter overeenkomen met de vorm en timing van de echte beweging.
  • Fysieke Haalbaarheid: Hoewel de botsingsratio (Collision Rate) soms iets hoger is dan bij statische voorspellingen, is GMT het enige model dat zowel een lage FDE als een acceptabele botsingsratio bereikt. Baselines zoals CHOIS accumuleren fouten en falen uiteindelijk, terwijl GIMO faalt zonder oogvolgsinformatie.
• Ablatiestudie:
  • Het verwijderen van geometrische features (puntwolk) leidt tot een duidelijke daling in nauwkeurigheid.
  • Het verwijderen van semantische informatie verslechtert de prestaties, maar het model blijft redelijk functioneren.
  • Het verwijderen van de doelconditie leidt tot een catastrofale daling in alle metrieken, wat aantoont dat expliciete doelgerichtheid essentieel is voor lange-termijn coherentie.
  • Het gebruik van slechts één frame als input resulteert in zeer hoge botsingsratios en onstabiele bewegingen.

Betekenis en Toekomstperspectief

Deze studie markeert een belangrijke stap in het veld van robotica en 3D-scènebegrip.

• Brug tussen Perceptie en Controle: Door objecttrajecto's als een universele tussenrepresentatie te gebruiken, kan het model worden gekoppeld aan elke robot via inverse kinematica, wat cross-embodiment generalisatie mogelijk maakt zonder simulator-afhankelijke beleidsleer.
• Robuustheid: Het model toont aan dat het zelfs in rommelige, realistische omgevingen (HD-EPIC) met ruis en occlusies stabiele en efficiënte trajecto's kan genereren.
• Toekomst: De auteurs identificeren beperkingen, zoals de afhankelijkheid van nauwkeurige annotaties en de noodzaak van een expliciet doel. Toekomstig werk richt zich op het integreren van visuele taalmodellen (VLM) voor doelinferentie (het raden van het doel uit de scène) en het gebruik van reinforcement learning voor langere planning en aanpassing aan onbekende omstandigheden.

Kortom, GMT biedt een nieuw referentiekader voor het leren van manipulatieplanning, waarbij het de complexiteit van 3D-ruimtelijke redenering en fysieke haalbaarheid combineert met flexibele, doelgerichte generatie.