💻 computer science

Towards Dexterous Embodied Manipulation via Deep Multi-Sensory Fusion and Sparse Expert Scaling

Dit paper introduceert DeMUSE, een innovatief framework dat RGB-, diepte- en krachtsensoren integreert via een Diffusion Transformer met Sparse Experts en AdaMN, waardoor state-of-the-art prestaties worden bereikt voor dexterous embodied manipulation in zowel simulatie als de echte wereld.

Oorspronkelijke auteurs: Yirui Sun, Guangyu Zhuge, Keliang Liu, Jie Gu, Zhihao xia, Qionglin Ren, Chunxu tian, Zhongxue Ga

Gepubliceerd 2026-02-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yirui Sun, Guangyu Zhuge, Keliang Liu, Jie Gu, Zhihao xia, Qionglin Ren, Chunxu tian, Zhongxue Ga

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt bouwen die net zo handig is als een mens. Je wilt dat hij een glas cola inschenkt zonder te morsen, een lade opent, of een bezem vasthoudt om te vegen. Dit klinkt simpel, maar voor een robot is dit een enorme uitdaging.

De meeste robots die we vandaag de dag zien, kijken alleen. Ze zijn als een fotograaf die alleen met zijn ogen werkt. Ze zien een object, maar ze voelen niet hoe zwaar het is, of ze weten niet of ze te hard duwen. Als ze een glas vastpakken, weten ze niet of ze het moeten knijpen of voorzichtig moeten aanraken.

Dit artikel introduceert DeMUSE, een nieuwe manier om robots slim en behendig te maken. Hier is hoe het werkt, vertaald naar alledaags taal:

1. De "Super-Sensor" (Meer dan alleen kijken)

Stel je voor dat je een taak moet doen, zoals een ei in een kom breken. Als je alleen zou kijken, zou je het ei kunnen zien, maar je zou niet voelen hoe stevig de schaal is. Je zou het misschien te hard breken en de schaal in het ei gooien, of te zacht en het ei niet open krijgen.

DeMUSE geeft de robot drie zintuigen tegelijk:

Oog (RGB): Ziet de wereld zoals wij.
Dieptezintuig (Depth): Voelt de afstand en vorm, alsof het een blindstokje gebruikt.
Gevoel (Kracht): Dit is het nieuwe en belangrijke deel. De robot voelt precies hoe hard hij duwt of trekt, net als je eigen handen.

In plaats van deze drie zintuigen als aparte signalen te behandelen, pakt DeMUSE ze allemaal en maakt er één grote, samengevoegde stroom van informatie van. Het is alsof je niet alleen naar een film kijkt, maar ook het geluid hoort en de trillingen van de stoel voelt, allemaal tegelijk.

2. De "Gouden Regel" voor verschillende signalen (AdaMN)

Hier komt het lastige deel: deze drie zintuigen praten in totaal verschillende talen.

Een foto is een enorme hoeveelheid pixels (heel veel informatie).
Kracht is slechts één klein getal (heel weinig informatie).

Als je deze twee door elkaar gooit in een gewone computer, wordt het kleine kracht-signaal vaak "overstemd" door het grote beeld-signaal. Het is alsof je probeert te luisteren naar een fluisterende vriend in een drukke discotheek; je hoort alleen de muziek.

DeMUSE gebruikt een slimme truc genaamd AdaMN. Stel je voor dat dit een geluidsdrukkers is die automatisch de volume-regelaar voor elke zintuig apart aanpast.

Het maakt het beeld iets zachter.
Het maakt het kracht-signaal harder.
Zo kan de robot echt luisteren naar wat zijn handen voelen, zonder dat zijn ogen het verhaal overnemen.

3. De "Slimme Team" (MoE)

Om al deze complexe taken te leren, heb je een heel groot brein nodig. Maar robots moeten ook snel werken; ze kunnen niet 10 seconden nadenken voordat ze een glas vastpakken.

DeMUSE gebruikt een architectuur die MoE (Mixture of Experts) heet.

Stel je een groot kantoor voor met duizenden werknemers.
Bij een gewone robot moet iedere werknemer elke taak doen. Dat is traag en inefficiënt.
Bij DeMUSE is er een gemeenschappelijk team (de "Shared Experts") dat altijd aan het werk is voor de basisdingen.
Daarnaast zijn er specialisten. Als het gaat om het vastpakken van een broodje, schakelt de robot automatisch de "brood-specialist" in. Als het gaat om het vegen, schakelt hij de "veeg-specialist" in.

Dit betekent dat de robot enorm slim kan worden (veel kennis opslaan), maar toch supersnel blijft werken, omdat hij alleen de juiste specialisten laat werken voor de specifieke taak.

4. Het "Toekomstvoorspellen" (Diffusie)

Hoe weet de robot wat hij moet doen? DeMUSE gebruikt een techniek die lijkt op het maken van een tekening uit een vlek.
Stel je voor dat je een foto van een rommelige kamer ziet, maar je ziet ook een wazige toekomstige foto van een schone kamer. De robot moet de weg vinden van de rommel naar de schoonheid.

DeMUSE doet dit door toekomst en actie tegelijk te bedenken. Het zegt niet alleen: "Ik pak dit kopje op." Het zegt: "Ik pak dit kopje op, en ik zie in mijn hoofd hoe het water erin stroomt, en ik voel hoe zwaar het wordt."
Het zorgt ervoor dat wat de robot ziet, wat hij voelt en wat hij doet, allemaal logisch bij elkaar passen. Hij "droomt" de toekomst vooruit, zodat hij geen fouten maakt.

Wat leverde dit op?

De onderzoekers testten DeMUSE op echte robots met echte taken, zoals:

Een lade openen en gereedschap erin leggen.
Een glas precies één derde volmaken met cola.
Een handdesinfectiemiddel op de juiste druk uitknijpen.
Vegen met een bezem.

Het resultaat?
De robot slaagde in 72,5% van de pogingen in de echte wereld. Andere robots (die alleen keken of minder zintuigen hadden) haalden vaak veel minder. Vooral bij taken waar je kracht moet voelen (zoals het inschenken van cola of het openen van een lade) was DeMUSE veel beter.

Conclusie

Kortom: DeMUSE is een robotbrein dat niet alleen kijkt, maar ook voelt en denkt in één keer. Door de verschillende zintuigen slim te combineren en een team van specialisten te gebruiken, kan deze robot complexe, fysieke taken doen die tot nu toe te moeilijk waren voor machines. Het is een grote stap richting robots die echt handig en betrouwbaar zijn in onze huizen en fabrieken.

Titel

DeMUSE: Deep Multimodal Unified Sparse Experts voor Dextere Manipulatie

1. Het Probleem

Het realiseren van dextere (behendige) robotmanipulatie vereist een naadloze integratie van heterogene multimodale sensorische inputs. Bestaande paradigma's zijn echter vaak te visueel gecentreerd (vision-centric) en negeren kritieke feedback zoals krachten en geometrie, die essentieel zijn voor complexe fysieke taken.
De belangrijkste uitdagingen zijn:

Multimodale Alignatie-falen: Significante statistische heterogeniteit tussen verschillende signalen (bijv. hoge dimensie RGB-beelden versus spaarzame 6-assen krachtsignalen) zorgt voor een onbalans. Dit verhindert dat kritieke signalen effectief aligneren binnen de gezamenlijke verdeling, waardoor hun bijdrage aan self-attention wordt onderdrukt.
Fysieke consistentie: Traditionele, ontkoppelde paradigma's leiden tot temporele misalignatie tussen sensorische voorspelling en actiegeneratie. Dit resulteert in gebrekkige prestaties bij hoge precisie en taken met een lange horizon, omdat de "latente verbeelding" niet synchroon loopt met de motorische uitvoering.

2. Methodologie: Het DeMUSE Framework

De auteurs stellen DeMUSE (Deep Multimodal Unified Sparse Experts) voor, een unificatie van Diffusion Transformers die specifiek is ontworpen voor multimodale synthese.

Kernarchitectuur:

Unificatie van Tokens: RGB-beelden, geometrische diepte en 6-assen krachten worden omgezet in een uniek, geserialiseerd tokenstroom. Alle modaliteiten worden in één Transformer-ruggengraat verwerkt met een globaal receptief veld, wat een holistische diepe fusie mogelijk maakt.
Gemeenschappelijk Denuizen (Joint Denoising): In plaats van afzonderlijke modellen voor omgevingsevolutie en acties, gebruikt DeMUSE een gezamenlijk denuisdoelwit. Het synthetiseert gelijktijdig de toekomstige visuele evolutie en de actiesequenties. Dit zorgt ervoor dat visuele verbeelding en fysieke uitvoering strikt voldoen aan dezelfde causale wetten van de omgeving.

Belangrijke Innovaties:

Adaptive Modality-specific Normalization (AdaMN):
- Om de numerieke schaalverschillen en statistische heterogeniteit op te lossen, vervangt AdaMN standaard normalisatie.
- Het gebruikt gespecialiseerde affiene expert-paden per modality om features te herschalen ( $\gamma_m$ ) en te verschuiven ( $\beta_m$ ), geconditioneerd op de globale context.
- Dit voorkomt dat dominante visuele signalen de spaarzame maar kritieke krachtsignalen onderdrukken.
Sparse Mixture-of-Experts (MoE) met Gedeelde Experts:
- Om de modelcapaciteit te vergroten zonder de inferentielatentie te verhogen (cruciaal voor realtime controle), wordt een standaard Feed-Forward Network vervangen door een Sparse MoE-laag.
- Residueel Gedeeld Expert: Het ontwerp bevat een permanent actieve "shared expert" die universele fysieke priors vastlegt, terwijl de "routed experts" zich specialiseren in specifieke modaliteiten of dynamieken.
- Dit zorgt voor een hoge parametercapaciteit (tot 1.57B parameters) bij een lage rekenkosten (135 GFLOPs), vergelijkbaar met veel kleinere dichte modellen.

3. Belangrijkste Bijdragen

DeMUSE Model: Een unificatie van perceptie en actie via token-concatenatie en een gezamenlijk denuisparadigma, wat fysieke consistentie garandeert in gegenereerde sequenties.
AdaMN Mechanisme: Een oplossing voor numerieke schaaldispariteiten die zorgt voor een evenwichtige multimodale fusie, in tegenstelling tot eerdere methoden die modaliteiten als louter conditionele parameters behandelden.
Efficiënte Schaalbaarheid: Het gebruik van een Sparse MoE-architectuur met gedeelde experts, waardoor het model grote hoeveelheden fysieke kennis kan opslaan zonder realtime responsiviteit te verliezen.
Nieuwe Benchmark en Data: De publicatie van een uitgebreide MetaWorld MT50-benchmark met gesynchroniseerde 6-DoF krachten en dieptesignalen, evenals een robuust framework voor het verzamelen van real-world data met een teleoperatie-interface.

4. Resultaten

DeMUSE werd getest in zowel simulatie (MetaWorld MT50) als in de echte wereld.

Simulatie (MetaWorld MT50):
- DeMUSE behaalde een succespercentage van 83,2%, wat een nieuwe state-of-the-art is.
- Dit is een verbetering van 7,1% en 6,5% ten opzichte van de sterkste baselines (ForceVLA en RDT-1B) op respectievelijk medium en harde taken.
- In contact-intensieve taken (zoals hameren en basketbal) werden successpercentages van 96,0% bereikt.
Real-world Experimenten:
- Op een UR10-robotarm met een kracht-geregelde gripper en een RealSense-camera behaalde DeMUSE een succespercentage van 72,5% over vier complexe taken (zoals het vullen van een beker en het openen van laden).
- Dit is aanzienlijk beter dan de baselines (Diffusion Policy: 26,5%, RDT-1B: 59,0%).
Analyse:
- Contactdynamiek: DeMUSE reageert binnen ~~80ms op contact en handhaaft een stabiele compliantie (~~10N), terwijl baselines gevaarlijke krachtoplopen (>15N) vertonen.
- Ablatiestudies: Het bewijst dat diepe fusie (tokens in één stroom) superieur is aan conditionele modulatie. Ook toont het aan dat AdaMN essentieel is voor de stabiliteit van de training en dat de MoE-architectuur de rekenkosten met 42,6% verlaagt ten opzichte van dichte modellen met vergelijkbare prestaties.

5. Betekenis en Impact

Dit paper markeert een verschuiving van visueel-gedomineerde robotbesturing naar een diep geïntegreerde, multimodale aanpak.

Het toont aan dat het combineren van visie, diepte en kracht in één unificatie-model (geïnspireerd op de menselijke hersenen, specifiek de cerebrum in plaats van het cerebellum) essentieel is voor complexe fysieke interacties.
De combinatie van AdaMN en Sparse MoE biedt een blauwdruk voor het schalen van embodied AI-modellen: ze worden krachtiger door meer parameters, maar blijven snel genoeg voor realtime controle.
De resultaten onderstrepen dat gesynchroniseerde perceptie-actie synthese een kritieke grens is voor het bouwen van robuuste, algemene embodied foundation modellen voor ongestructureerde omgevingen.