Multimodal Diffusion Forcing for Forceful Manipulation

Dit artikel introduceert Multimodal Diffusion Forcing, een unificerend raamwerk dat door het trainen van een diffusiemodel op gedeeltelijk gemaskeerde multimodale robottrajecten, robuuste en veelzijdige vaardigheden voor krachtige manipulatie leert door complexe tijdelijke en kruismodale afhankelijkheden te modelleren.

De kern

Stel je voor dat je een robot wilt leren om een moeilijke klus te doen, zoals een moer op een bout draaien of een dop van een olievulopening halen. Normaal gesproken leer je een robot door hem te laten kijken (via camera's) en hem te vertellen welke bewegingen hij moet maken. Maar in de echte wereld is dat niet genoeg. Je moet ook voelen (hoe hard duw je?), horen (is er een vreemd geluid?) en weten (waar zit het object precies?).

Deze paper introduceert een slimme nieuwe manier om robots te leren, genaamd Multimodal Diffusion Forcing (MDF).

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Eenzijdige" Robot

Stel je voor dat je een robot leert om een sleutel in een slot te steken.

• Oude robots kijken alleen naar de foto van het slot en proberen een beweging te raden. Als de camera even wazig is of als de robot de sleutel niet goed voelt, faalt hij.
• Ze kijken niet naar het geheel: ze negeren hoe de kracht op de motor werkt, hoe het geluid verandert, of hoe het puntje van de sleutel het metaal raakt. Ze zijn als een kok die alleen naar de foto van het gerecht kijkt, maar niet proeft of ruikt.

2. De Oplossing: De "Meester-Verhaalleraar" (MDF)

De auteurs van deze paper hebben een model bedacht dat niet alleen naar één ding kijkt, maar naar alles tegelijk: beelden, puntwolken (3D-gegevens), krachten, bewegingen en beloningen.

Hun geheim? Ze gebruiken een trucje dat lijkt op "Verstopte Spellen" (Masked Training).

De Vergelijking: Het Puzzelboek

Stel je voor dat je een boek leest, maar op elke pagina ontbreken er zinnen.

• De oude methode: Het boek heeft ofwel geen ontbrekende zinnen (te makkelijk), ofwel hele pagina's die weg zijn (te moeilijk). De leerling raakt in de war.
• De MDF-methode: Hier zijn op elke pagina willekeurig een paar woorden of zinnen weggehaald. Soms ontbreekt een woord over het geluid, soms een zin over de kleur. De leerling (de robot) moet de ontbrekende stukjes invullen door naar de rest van de tekst te kijken.

Dit dwingt de robot om te leren hoe alles samenhangt:

• "Als ik deze beweging maak, verandert het geluid dan?"
• "Als de camera wazig is, kan ik dan nog steeds voelen waar het object zit?"

3. De "Magische Ruit" (De 2D Raster)

Het slimme aan dit model is dat het een 2D raster van ruis gebruikt.

• Tijd: Hoe ver in de toekomst kijken we?
• Modus: Welke zintuigen gebruiken we? (Kijken, voelen, horen).

Je kunt dit vergelijken met een geluidsmixer in een studio. Je kunt het volume van de "camera" lager zetten (alsof hij wazig is) en het volume van de "krachtsensor" hoger zetten. Het model leert om de muziek (de robotbeweging) perfect te maken, ongeacht welke instrumenten (sensoren) stil zijn of ruis maken.

4. Wat kan deze robot nu allemaal doen?

Omdat het model zo flexibel is, kan het op verschillende manieren worden ingezet, net als een Zwitsers zakmes:

1. De Uitvoerder (Policy): "Hier is wat ik zie, wat moet ik doen?" (Bijvoorbeeld: Draai de moer vast).
2. De Voorspeller (World Model): "Als ik dit doe, wat gaat er dan gebeuren?" (Bijvoorbeeld: Als ik harder duw, zal de dop loslaten).
3. De Detective (Anomaly Detection): Dit is misschien wel het coolste. Stel je voor dat de robot iets raars voelt. Omdat hij precies weet hoe het moet klinken en voelen, kan hij zeggen: "Hé, de camera ziet er raar uit, maar de kracht is normaal. Er is iets mis met de camera!" Of: "De kracht is plotseling heel hoog, iemand duwt tegen me aan!"
   • Het kan precies zeggen waar en wanneer het probleem zit.

5. De Resultaten: Robuust in de Chaos

De onderzoekers hebben dit getest op echte taken, zoals het vastdraaien van doppen op een auto.

• Oude robots (zoals DP3) faalden vaak als de camera-beelden ruisig waren of als er een beetje stof op zat. Ze werden "panisch" en hielden op.
• De MDF-robot bleef kalm. Omdat hij tijdens het leren had geoefend met "verkeerde" of "wazige" gegevens, wist hij precies hoe hij moest vertrouwen op zijn andere zintuigen (zoals kracht en 3D-gevoel) om de klus te klaren.

Samenvatting

Kortom: Multimodal Diffusion Forcing is een robotbrein dat leert door te spelen met "ontbrekende stukjes" in zijn waarneming. Hierdoor wordt hij niet alleen slimmer in het uitvoeren van taken, maar ook veel sterker tegen storingen. Hij is niet langer een robot die alleen naar een foto kijkt, maar een robot die voelt, hoort en begrijpt hoe de wereld werkt, zelfs als de camera's het even niet doen.

Het is alsof je een robot leert om te zwemmen in een zwembad met modderig water: hij leert niet alleen te zwemmen, maar ook te navigeren zonder te kunnen zien, puur door het gevoel van het water en de stroming.

Technische samenvatting

Titel: Multimodal Diffusion Forcing voor Krachtige Manipulatie

Auteurs: Zixuan Huang, Huaidian Hou, Dmitry Berenson (University of Michigan)

---

1. Het Probleem

Bestaande imitatieleer-methoden voor robots leren vaak een directe mapping van observaties (bijv. RGB-beelden) naar acties. Deze benaderingen hebben echter twee fundamentele beperkingen:

1. Onderschatting van modale interacties: Ze negeren de rijke wisselwerking tussen verschillende sensormodi (visueel, tactiel, kracht, actie, beloning) die cruciaal is voor het begrijpen van taakuitkomsten, vooral bij contactrijke taken.
2. Rigiditeit: Bestaande modellen veronderstellen een vastgestelde set invoermodaliteiten en zijn vaak niet robuust tegen gedeeltelijke observaties, sensorruis of corruptie tijdens de inferentie. Robots moeten in staat zijn om te redeneren over onvolledige of ruisende data (bijv. een geblokkeerde camera of een verstoorde krachtsensor).

2. Methodologie: Multimodal Diffusion Forcing (MDF)

De auteurs stellen Multimodal Diffusion Forcing (MDF) voor, een unificerend raamwerk dat de gezamenlijke verdeling van multimodale robottrajecten leert. In plaats van een vaste verdeling te modelleren, gebruikt MDF een trainingsstrategie op basis van gedeeltelijke masking via ruis.

Kerninnovaties:

• 2D Ruis-Niveau Matrix (Time-Modality Noise Level Matrix):
  In tegenstelling tot standaard diffusiemodellen die één globaal ruisniveau toepassen, introduceert MDF een matrix $K \in \{0, \dots, K\}^{T \times M}$. Hierbij vertegenwoordigt $T$ de tijdstappen en $M$ de modaliteiten.

  • Dit maakt het mogelijk om elke modale component op elk tijdstip onafhankelijk te corrumperen met een specifiek ruisniveau.
  • Een ruisniveau van 0 betekent "ongemaskerd" (zuivere data), terwijl een maximaal niveau volledige masking betekent. Dit creëert een continu spectrum van corruptie, wat beter aansluit bij natuurlijke sensorruis dan binaire masking.

• Trainingsdoel:
  Het model wordt getraind om een traject te reconstrueren dat willekeurig is gemaskeerd. Dit dwingt het model om:

  • Temporele afhankelijkheden te leren (wat gebeurt er in de toekomst op basis van het verleden?).
  • Cross-modale afhankelijkheden te leren (bijv. hoe beïnvloedt een actie de krachtsensor? Hoe kan een gedeeltelijke puntwolk worden aangevuld met kennis van de actie?).
  • Privileged Learning: Tijdens training kan het model toegang hebben tot "bevoorrechte" informatie (zoals volledige puntwolken of objectposities) die tijdens de inferentie niet beschikbaar zijn. Het model leert hierdoor om deze informatie impliciet te infereren uit partiële observaties.

• Architectuur:

  • Point Cloud Autoencoder: Omdat puntwolken hoogdimensionaal en ongeordend zijn, worden deze eerst verwerkt door een diffusie-gebaseerde autoencoder (PointNet encoder + Diffusion decoder) om compacte latent embeddings te genereren.
  • Latent Diffusion Transformer: De embeddings van alle modaliteiten (puntwolk, kracht, actie, proprioceptie, beloning) worden geconcateneerd met hun ruisniveau-embeddings en ingevoerd in een transformer die bidirectionele temporele en cross-modale relaties modelleert in de latent ruimte.

3. Flexibiliteit tijdens Inferentie

Een unieke eigenschap van MDF is dat dezelfde getrainde model kan worden geconfigureerd voor diverse downstream taken door het ruisniveau-matrix $K$ aan te passen:

• Policy: Conditioneren op historische observaties om toekomstige acties te voorspellen.
• World Action Model: Voorspellen van zowel toekomstige acties als observaties (toestand).
• Inverse Dynamics: Voorspellen van acties op basis van gewenste toekomstige toestanden.
• Variabele Invoer: Het model kan werken met willekeurige subsets van modaliteiten (bijv. zonder krachtsensor) en variabele geschiedenisleningen.
• Fine-grained Anomaly Detection: Door selectief ruis toe te voegen aan specifieke tijdstippen en modaliteiten, kan het model de waarschijnlijkheid van een traject schatten. Afwijkingen in de reconstructie wijzen op anomalieën, en de locatie van de afwijking (welke sensor op welk moment) kan worden gelokaliseerd.

4. Resultaten

De auteurs evalueren MDF op vijf taken: drie in simulatie (Nvidia IsaacSim) en twee in de echte wereld (KUKA robotarm).

• Contactrijke Manipulatie (Simulatie):

  • Taken: Schroefdraad in een moer, tandwiel inpassing, en pen-in-gat insertie.
  • Prestatie: MDF presteert gelijkwaardig aan of beter dan gespecialiseerde state-of-the-art modellen (zoals DP3 en UWM). Bijvoorbeeld, MDF bereikte 100% succes bij "Nut Thread" tegenover 96% voor DP3.
  • Robuustheid: Bij het introduceren van ruis in de puntwolk (camera-calibratiefouten) daalde de prestatie van MDF slechts marginaal (2-4%), terwijl DP3 aanzienlijk achteruitging (12-18%). Dit bevestigt de superioriteit van de "noise-as-masking" training.

• Echte Wereld Taken (Oliekap installatie/verwijdering):

  • MDF overtrof DP3 met tot 26% hogere succespercentages.
  • Bij corrupte puntwolk-invoer (verhoogde ruis en ontbrekende data) presteerde MDF 23% tot 70% beter dan DP3. DP3 faalde vaak catastraal door verkeerde uitlijning, terwijl MDF robuust bleef.

• Anomalie Detectie:

  • MDF slaagde erin om anomalieën niet alleen te detecteren, maar ook precies te lokaliseren (welke modale sensor en op welk tijdstip).
  • In vergelijking met baselines zoals ImDiffusion en een globale MDF-versie, behaalde de "MDF-sweeping" methode de hoogste nauwkeurigheid in het lokaliseren van zowel tijdstippen als modaliteiten (bijv. onderscheid maken tussen een visuele verstoring en een fysieke duw).

5. Belangrijkste Bijdragen

1. Unificerend Raamwerk: MDF is een enkel model dat fungeert als policy, wereldmodel, dynamischemodel en anomaliedetector, afhankelijk van de configuratie.
2. 2D Ruis-Matrix: De introductie van een tijd-modale ruisniveau-matrix stelt het model in staat om continu variabele corruptie te hanteren en cross-modale redenering te leren.
3. Robuustheid: Het model is uitzonderlijk robuust tegen sensorruis en ontbrekende modaliteiten dankzij de trainingsstrategie waarbij het model moet leren herstellen uit gedeeltelijk corrupte data.
4. Fine-grained Anomalie Detectie: Het vermogen om anomalieën te lokaliseren op het niveau van individuele sensoren en tijdstippen, wat essentieel is voor veilige robotoperatie.

6. Significatie

Dit werk markeert een verschuiving van rigide, taak-specifieke modellen naar flexibele, multimodale generatieve modellen. MDF toont aan dat het leren van de gezamenlijke verdeling van diverse sensoren en acties via diffusie-forcing niet alleen de prestaties verbetert bij contactrijke taken, maar ook robuustheid biedt in realistische, ruisende omgevingen. De mogelijkheid om het model dynamisch aan te passen aan beschikbare sensoren en taakeisen maakt het zeer geschikt voor complexe, semi-gestructureerde omgevingen zoals fabrieken of onderhoudstaken.