Compositional Motion Generation from Demonstration with Object-Centric Neural Fields

Technische Samenvatting: Compositionele Bewegingsgeneratie uit Demonstraties met Object-Centrische Neurale Velden

Probleemstelling
Learning from Demonstration (LfL) staat voor een centrale uitdaging bij het representeren van diverse, langdurige gedragingen vanuit een beperkt aantal demonstraties. Het behandelen van beweging als een monolithische sequentie negeert vaak de compositionele structuur van taken, die doorgaans ontvouwen via sequentiële, object-niveau interacties (bijv. reiken, grijpen, plaatsen). Hoewel Movement Primitives (MP's) een compacte representatie van trajecten bieden, is hun compositionaliteit vaak handmatig opgelegd en vertrouwen ze op handmatig ontworpen, laag-dimensionale kenmerken die moeilijk consistent te schatten zijn. Daarentegen vereist het direct leren van kenmerken uit afbeeldingen doorgaans grote datasets, waarbij de efficiëntie van MP's verloren gaat. Bovendien werken bestaande op neurale velden gebaseerde benaderingen vaak op scèneniveau, wat slecht schaalt met het aantal objecten, of falen ze in het ondersteunen van visuele conditionering voor volledige trajectgeneratie.

Methodologie
De auteurs stellen een generatief LfD-framework voor dat perceptie en beweging verbindt via gedeelde object-niveau representaties. De aanpak bestaat uit twee primaire stadia:

1. Compositionele Scène Modellering (Spatial MoE):
   Het framework modelleert scènes met een ruimtelijke Mixture-of-Experts (MoE) gebaseerd op object-centrische neurale velden. Elke afbeelding wordt gerenderd als een compositie van een vaste achtergrond en $N$ object-specifieke velden.

• Representatie: Elk object $i$ wordt gerepresenteerd door een latente vector $z_i$ en een coördinaat-gebaseerde MLP ($F_i$) die verschijning voorspelt. Een deformatienetwerk ($\Delta_i$), geconditioneerd op $z_i$, brengt canonieke coördinaten naar gedeformeerde coördinaten om positionele en geometrische variaties te vangen.
• Training: Het model maakt gebruik van een soft mask-gebaseerde importance sampling strategie. Dit zorgt ervoor dat elke expert onafhankelijk leert zonder samen te vallen op hetzelfde object, zelfs als de invoermaskers grof zijn. De training verloopt in stadia: achtergrondschatting, object-centrische pretraining met een position-aware zoom curriculum, en gezamenlijke compositionele verfijning.
• Latente Relabeling: Om consistentie te waarborgen, definiëren de auteurs een "corner set" $C_i$ voor elk object, die de grenzen van geobserveerde variaties vertegenktwoordigt. Tijdens training en inferentie worden latente vectoren teruggewonnen door te zoeken naar convexe combinaties van deze hoekpunten die de invoerafbeelding het best reconstrueren. Dit canonicaliseert de latente ruimte en beperkt generalisatie tot de gedemonstreerde support.

2. Compositionele Bewegingsgeneratie (Temporal MoE):
   Beweging wordt gegenereerd met een temporele MoE die trajectgeneratie conditioneert op de object-latente vectoren.

• Gating Mechanisme: Een tijd-afhankelijk gating mechanisme berekent gewichten $w_i(t)$ voor elke object-expert. Dit maakt het mogelijk dat verschillende trajectsegmenten worden beïnvloed door verschillende subsets van objecten (bijv. een "pick"-fase hangt af van de locatie van het object, terwijl een "place"-fase afhangt van het doel).
• Conditionering: Het framework gebruikt Feature-wise Linear Modulation (FiLM) om object-specifieke informatie in de trajectgenerator te injecteren. Het geaggregeerde conditioneringssignaal moduleert de netwerkparameters, waardoor het model vloeiende, object-geconditioneerde movement primitives direct uit visuele input kan leren.
• Optimalisatie: Het model minimaliseert de negatieve log-likelihood van gedemonstreerde trajecten, waarbij tijdens de vroege training latent dropout wordt toegepast om spuriële afhankelijkheden te voorkomen.

Belangrijkste Bijdragen

• Object-Centrisch Generatief Scène Model: Een methode om vloeiende, interpreteerbare object-centrische representaties te leren van afbeeldingen met behulp van een ruimtelijke MoE met latente-geconditioneerde deformaties.
• Temporele Gating voor Beweging: Een bewegingsgeneratie-framework dat een temporele MoE gebruikt om sequentiële compositionaliteit te bereiken, waarbij beweging wordt gegrond in de visuele structuur terwijl de data-efficiëntie van primitives behouden blijft.
• Data-Efficiënt LfD Framework: Een geïntegreerd systeem dat movement primitives direct uit visuele input leert met aanzienlijk minder demonstraties dan beeldgebaseerde baselines, wat generalisatie ondersteunt over diverse scèneconfiguraties.
• 3D en Real-World Validatie: Het framework is aangetoond te werken op 3D scène-representaties (via occupancy fields) en te generaliseren op categorie-niveau met behulp van taal-gebaseerde segmentatiemodellen.

Experimentele Resultaten
Het framework werd geëvalueerd in simulatie en real-world robotexperimenten:

• Simulatie: De methode werd getest op vier manipulatietaken (Wall Avoidance, Incline Pick-and-Place, Cup Stacking, Cube Stacking) met variërende objectlocaties en geometrische veranderingen.
  • Data Efficiëntie: De voorgestelde methode bereikte een lage Mean Euclidean Distance (MED) en hoge succespercentages met 10–30 demonstraties. Het presteerde consequent beter dan baselines (inclusief Conditional Neural Movement Primitives, Diffusion Policy en CNN-FiLM) die getraind zijn met 3 tot 10 keer meer data.
  • Ablaties: Het verwijderen van de temporele gating resulteerde in hogere fouten, wat de waarde van tijd-variërende latente aggregatie bevestigt. De object-centrische aanpak presteerde beter dan globale feature baselines (CNN-FiLM, DINO-FiLM).
• Real-World Experimenten:
  • Robuustheid: Het systeem voltooide succesvol pick-and-place taken met afleidende objecten en variërende verlichting.
  • Categorie-Level Generalisatie: Door gebruik te maken van visie-taal modellen voor segmentatie, generaliseerde de robot naar ongeziene objecten binnen dezelfde semantische categorie (bijv. verschillende mokken of ballen) zonder hertraining.
  • 3D Generalisatie: In een lade-openings-taak maakte het model gebruik van 3D occupancy fields afgeleid van ESDF scans. Getraind op slechts vier demonstraties, generaliseerde het succesvol naar nieuwe lade-openingshoeken en doosposities, waarbij een grijpprecisie van sub-centimeter werd bereikt.

Betekenis
Het artikel stelt dat compositionele modellering op objectniveau een krachtig paradigma biedt voor LfD. Door object-centrische neurale representaties te koppelen aan een temporele mixture-of-experts, biedt het framework een interpreteerbare latente structuur en systematische generalisatie. De betekenis ligt in het vermogen om een hoge taakprestatie te leveren met beperkte demonstraties, waarmee de kloof tussen de data-efficiëntie van traditionele primitives en de perceptuele rijkdom van deep learning wordt overbrugd. De auteurs merken op dat hoewel de methode robuust is tegen matige ruis en distractoren, het steunt op de aanname dat objecten afzonderlijke regio's bezetten en dat de scène-layout consistent blijft. Toekomstig werk beoogt het framework uit te breiden om neural radiance field-gebaseerde scène-representaties te incorporeren voor bredere scène-niveau generalisatie.