Diffusion Sequence Models for Generative In-Context Meta-Learning of Robot Dynamics

Titel: Diffusie-sequentiemodellen voor generatief in-context meta-leren van robotdynamica

1. Probleemstelling

Accurate modellering van robotdynamica is essentieel voor modelgebaseerde besturingstechnieken zoals Model Predictive Control (MPC) en modelgebaseerd reinforcement learning. Traditionele fysica-gebaseerde benaderingen worstelen vaak met de complexiteit van echte wereldsystemen, terwijl data-gedreven "black-box" methoden vaak kampen met slechte generalisatie en gebrek aan robuustheid bij distributieveranderingen (distributional shifts).

Bestaande meta-leringsbenaderingen, zoals Transformer-modellen (bijv. RoboMorph), bieden sterke deterministische baselines voor in-context leren. Echter, deze modellen:

• Bieden geen rigoureuze onzekerheidskwantificatie.
• Lijden onder ernstige prestatiedalingen wanneer ze worden blootgesteld aan data buiten de trainingsdistributie (OOD - Out-of-Distribution).
• Zijn beperkt tot het voorspellen van een enkel punt (point estimate) in plaats van een kansverdeling.

Het doel van dit werk is om systemidentificatie te formuleren als een in-context meta-leringsprobleem en te onderzoeken of generatieve sequentiemodellen, specifiek diffusiemodellen, de robuustheid en generalisatie kunnen verbeteren ten opzichte van deterministische baselines, zonder de real-time toepasbaarheid te verliezen.

2. Methodologie

De auteurs stellen een unificerend experimenteel kader voor waarin systemidentificatie wordt behandeld als een meta-leringsopdracht. Een meta-model $\mathcal{M}_\phi$ leert de besturingsregels van een hele klasse van dynamische systemen uit contextuele input-output trajecten.

A. Architecturale Vergelijking
De studie vergelijkt drie benaderingen:

1. Deterministische Baseline (RoboMorph): Een Transformer-gebaseerd encoder-decoder model dat een enkel punt schat ($\hat{y}_{m:N}$) gegeven context en toekomstige inputs. Dit model is snel maar kwetsbaar voor OOD-scenario's.
2. Inpainting Diffusie (Diffuser): Een generatief model dat de gezamenlijke verdeling van input en observatie ($p(u, y | u_{1:N}, y_{1:m})$) leert. Het gebruikt een U-Net backbone en "inpainting" om bekende waarden (historische data en toekomstige besturing) te forceren tijdens het denoising-proces. Dit model is zeer expressief en multi-modaal.
3. Gecombineerde Diffusie (Conditioned Diffusion): Modellen die de toekomstige observaties conditioneren op de besturing ($p(y_{m:N} | u_{1:N}, y_{1:m})$). Dit wordt geïmplementeerd met twee backbones:
   • CDCNN: Gebruikt Convolutional Neural Networks voor lokale temporale gladheid.
   • CDT: Gebruikt Transformers voor lange-afstand afhankelijkheden.

B. Training en Data

• Dataset: Gesimuleerde data van de Franka Emika Panda robotarm, gegenereerd in IsaacGym met extensive randomisatie van fysieke parameters (300.000 tot 1.000.000 robots).
• Excitatie: Gebruik van Chirp (CH) en Multi-Sinusoidale (MS) signalen met variërende frequenties en amplitudes om zowel in-distribution (ID) als out-of-distribution (OOD) scenario's te testen.
• Trainingsdoel: Het minimaliseren van de verwachte log-likelihood voor generatieve modellen (via een vereenvoudigde variatiele bound voor DDPMs) versus Mean Squared Error (MSE) voor deterministische modellen.

C. Inferentie en Real-time Toepasbaarheid
Diffusiemodellen vereisen normaal gesproken iteratieve denoising-stappen, wat computatieduurzaamheid in de weg staat voor real-time besturing. De auteurs introduceren warm-started sampling:

• In plaats van te starten met puur ruis, wordt het denoising-proces geïnitieerd vanuit een eerdere schatting (bijv. de oplossing van de vorige besturingsstap).
• Hierdoor hoeft slechts een klein deel van de denoising-stappen (bijv. 5 stappen in plaats van 100) te worden uitgevoerd, wat de latentie drastisch verlaagt.

3. Belangrijkste Resultaten

De experimenten, uitgevoerd op grote schaal in gesimuleerde omgevingen, tonen de volgende bevindingen:

• Robuustheid bij Distributieverandering: Diffusiemodellen presteren significant beter dan de deterministische RoboMorph-baseline in OOD-scenario's. Vooral bij complexe, niet-stationaire dynamica (zoals hoge frequentie MS-signalen) degradeert RoboMorph sterk, terwijl diffusiemodellen stabiele nauwkeurigheid behouden.
• Expressiviteit vs. Efficiëntie:
  • De Inpainting Diffuser behaalde de beste algehele prestaties en het hoogste niveau van robuustheid door de volledige trajectverdeling te modelleren, maar is computatie-intensief.
  • Gecombineerde Diffusie (CDCNN/CDT) biedt een uitstekend compromis. Ze behouden sterke robuustheid en zijn efficiënter dan de Inpainting variant.
• Invloed van Architectuur: CNN-gebaseerde modellen produceren van nature gladde trajecten door lokale inductieve bias, terwijl Transformer-gebaseerde modellen (RoboMorph en CDT) vatbaar zijn voor hoge-frequentie oscillaties ("jitter") als ze niet goed worden getraind of gefilterd.
• Real-time Inference: Door warm-starting te gebruiken, kunnen diffusiemodellen binnen een inferentie-tijd van ongeveer 40 ms opereren (ongeveer 5% van de oorspronkelijke stappen). Dit maakt ze geschikt voor real-time receding-horizon besturing, hoewel ze nog steeds trager zijn dan deterministische Transformers.

4. Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. Uitbreiding van in-context meta-leren voor robotdynamica naar een grootschalige, gerandomiseerde simulatieomgeving.
2. Introductie en vergelijking van twee diffusie-gebaseerde generatieve modellen (inpainting en conditioneel) voor dynamica-meta-modellering.
3. Het aantonen dat warm-started conditionele diffusie real-time, besturingscompatibele inferentie mogelijk maakt terwijl de robuustheid van generatieve modellen behouden blijft.

5. Betekenis en Conclusie

Dit onderzoek markeert een belangrijke stap in de overgang van deterministische naar generatieve systemidentificatie voor robotica. Het bewijst dat diffusiemodellen niet alleen nuttig zijn voor beleidsgeneratie (policy learning), maar ook effectief zijn voor het expliciet modelleren van systeemdynamica.

De kernboodschap is dat generatieve meta-modellen een veelbelovende richting zijn voor robuuste systemidentificatie, vooral in situaties waar onzekerheid en distributieveranderingen kritiek zijn. Hoewel deterministische modellen sneller zijn, bieden diffusiemodellen een superieure generalisatie. De conditionele diffusie met warm-starting wordt gepresenteerd als de meest praktische oplossing voor besturingsapplicaties, omdat deze het beste evenwicht biedt tussen prestatie, robuustheid en computatievereisten.

Toekomstig werk richt zich op validatie in de echte wereld en integratie in MPC-pijplijnen, evenals het exploreren van mechanistische interpreteerbaarheid om fysisch betekenisvolle parameters uit de geleerde modellen te halen.