Technische Samenvatting: MuseVLA

Probleemstelling

Huidige Vision-Language-Action (VLA) modellen voor robotische manipulatie vertrouwen voornamelijk op RGB-observaties. Hoewel effectief voor visuele taken, beperkt deze beperking het vermogen van de robot om fysieke eigenschappen waar te nemen die moeilijk of onmogelijk af te leiden zijn uit standaard camera's, zoals temperatuur, geluid of radarrespons. Bestaande pogingen om niet-visuele modaliteiten te integreren (bijv. diepte, tactiele informatie, audio) lijden onder drie primaire beperkingen:

1. Gebrek aan Aanpassingsvermogen: Ze vereisen doorgaans gespecialiseerde modelarchitecturen of encoders voor elke specifieke sensor, wat het moeilijk maakt om te schalen naar diverse of evoluerende sensor sets.
2. Datascarciteit: Ze zijn afhankelijk van grootschalige, dure multisensorische datasets, die tijdrovend zijn om te verzamelen.
3. Statisch Sensorgebruik: Bestaande modellen gaan vaak uit van een vaste sensorconfiguratie en missen het vermogen om adaptief de meest relevante sensorische input te selecteren op basis van de specifieke taak, wat leidt tot inefficiëntie en suboptimale prestaties.

Mensen behandelen sensorische modaliteiten daarentegen als taakgeoriënteerde instrumenten, waarbij ze adaptief de juiste sensor selecteren en aanroepen (bijv. thermisch voor warmte, audio voor geluid) alleen wanneer dat nodig is. MuseVLA streeft ernaar deze adaptieve capaciteit binnen een verenigd VLA-framework te repliceren.

Methodologie

MuseVLA is een adaptief multimodal sensing VLA-model dat is ontworpen om diverse sensoren te integreren als "on-demand tools". De architectuur en pipeline zijn als volgt gestructureerd:

1. Adaptief Sensorselectiemechanisme

In plaats van alle sensorische inputs simultaan te verwerken, deelt MuseVLA de taak op in drie stadia:

• Generatie van Sensor en Doelwit: Gegeven een taalinstructie ($l$) en een RGB-observatie ($o_t$), genereert het VLA-model ($\pi$) eerst een sensortoken (bijv. <thermal>, <acoustic>, <mmWave>, of <none>) en een doelwitbeschrijving ($l_d$). Dit is analoog aan een tool call met argumenten, waarbij de specifieke modaliteit en het object van belang worden geselecteerd.
• Gegronde Sensorische Beeldconstructie: De geselecteerde sensorische meting ($s_{i,t}$) wordt verwerkt door een grondingsfunctie ($G$). Met behulp van de doelwitbeschrijving creëert een segmentatiemodule (SAM3) een binaire masker van het doelwitobject op de RGB-afbeelding. De sensordata wordt vervolgens als een heatmap over dit gemaskeerde gebied gelegd, wat een gegronde sensorische afbeelding ($m_{i,t}$) creëert.
• Actiegeneratie: De gegronde sensorische afbeelding wordt aan de input van het model toegevoegd. Het VLA-model genereert vervolgens de actie-chunk ($A$) op basis van de instructie, de RGB-afbeelding en de verenigde gegronde sensorische afbeelding.

2. Verenigde Representatie

Om modality-specifieke encoders te vermijden, gebruikt MuseVLA gegronde sensorische afbeeldingen als een verenigde intermediaire representatie. Door heterogene sensorische metingen (thermisch, radar, audio) op het RGB-cameravlak over het doelwitobject te projecteren, kan het model een enkele vooraf getrainde visuele encoder (SigLIP) gebruiken voor alle modaliteiten. Dit ontkoppelt de sensor-specifieke verwerking van de VLA-backbone, waardoor de integratie van nieuwe sensoren mogelijk is zonder volledige hertraining.

3. Data Synthese Pipeline

Om de schaarste aan real-world multisensorische datasets aan te pakken, stellen de auteurs een data synthese pipeline voor:

• Keyword Injectie: Fysieke eigenschap-keywords (bijv. "heet", "ringend", "bezet") worden in bestaande RGB-only datasets in de taakinstructies geïnjecteerd.
• Synthetische Gronding: Een VLM genereert een doelwitbeschrijving, SAM3 segmenteert het object, en een kleurgecodeerd masker dat overeenkomt met de fysieke eigenschap wordt over het gesegmenteerde gebied gelegd.
• Dataset Expansie: Dit proces genereert multisensorische trainingsdata (9,6K episodes) uit bestaande RGB-datasets (MolmoAct, AgiBotWorld-Alpha, VITRA), wat efficiënte training en zero-shot generalisatie mogelijk maakt.

4. Modelarchitectuur en Training

• Backbone: Het model gebruikt PaliGemma-2 (Gemma-2 + SigLIP) als de VLM-backbone en een Diffusion Transformer (DiT) als de actie-expert.
• Trainingsstrategie: Het model ondergaat co-training. De VLM wordt getraind om de cross-entropy loss te minimaliseren voor de generatie van het sensortoken en de doelwitbeschrijving. De VLA wordt end-to-end getraind met een gecombineerde loss functie: de VLM loss plus de diffusion MSE loss voor actievoorspelling. Dit zorgt ervoor dat het model nauwkeurige sensorselectie behoudt terwijl het effectieve manipulatieacties genereert.

Belangrijkste Bijdragen

1. MuseVLA Model: Een adaptief multimodal sensing VLA dat sensoren behandelt als on-demand tools, wat schaalbare en efficiënte sensorintegratie mogelijk maakt voor dexterous hand manipulatie.
2. Nieuwe Representaties en Mechanismen: De introductie van leerbare sensortokens voor adaptieve selectie en gegronde sensorische afbeeldingen als een verenigde representatie die de noodzaak voor modality-specifieke encoders elimineert.
3. Data Synthese Pipeline: Een methode om multisensorische datasets te genereren uit bestaande RGB-data, wat training op ongeziene taken faciliteert zonder dure hardware-datacollectie.
4. Empirische Evaluatie: Uitgebreide evaluatie op een real-world robot met een 12-DoF dexterous hand over thermische, akoestische en radar-gestuurde taken.

Experimentele Resultaten

Het model werd geëvalueerd op een real-world robotopstelling met thermische camera's, mmWave radar en microfoonarrays.

• Taaksuccespercentages: MuseVLA behaalde een gemiddeld succespercentage van 80,6% over thermisch-gestuurde pick-and-place, audio-gestuurde objectzoekopdrachten en radar-ondersteunde verborgen objectretrieval.
  • Dit presteerde aanzienlijk beter dan de RGB-only baselines (bijv. $\pi_0$-RGB met 20,8%) en baselines die raw sensor heatmaps gebruiken zonder adaptieve selectie (bijv. $\pi_0$-Raw met 27,8%).
  • Specifiek presteerde MuseVLA 58% beter dan de beste RGB-only baseline en 47% beter dan de beste raw-sensor baseline in gemiddeld succespercentage.
• Adaptieve Selectienauwkeurigheid: Het model vertoonde een hoge nauwkeurigheid bij het selecteren van het juiste sensortoken en de doelwitbeschrijving, waarbij het 100% nauwkeurigheid in sensorselectie behaalde op trainings-taken en 82,0% nauwkeurigheid in doelwitbeschrijving op ongeziene taken na pretraining.
• Efficiëntie: Door alleen de relevante sensor te selecteren, verminderde MuseVLA het GPU-geheugengebruik tijdens inferentie van 13,23 GB (verwerken van alle sensoren) naar 6,61 GB.
• Zero-Shot Generalisatie: Wanneer getraind op de gesynthetiseerde dataset, behaalde MuseVLA een succespercentage van 66,7% op ongeziene taken (taken met nieuwe objectcombinaties of instructiestructuren), wat sterke generalisatiecapaciteiten aantoont.
• Multi-stage Taken: Het model kon succesvol opeenvolgende taken afhandelen (bijv. Radar $\to$ Thermal), waarbij het een succespercentage van 75,0% behaalde bij het wisselen van modaliteiten binnen een enkele end-to-end executie.

Betekenis en Claims

Het artikel claimt dat MuseVLA een schaalbaar pad vormt naar algemene multisensorische manipulatie. Door sensorverwerking te ontkoppelen van de VLA-backbone en sensoren als conditionele tools te behandelen, stelt deze aanpak robots in staat om efficiënt taakgeoriënteerde fysieke observaties te verkrijgen zonder de computationele overhead van het verwerken van alle beschikbare sensoren. De auteurs stellen dat hun data synthese pipeline de bottleneck van datascarcity effectief mitigeert, wat robuuste zero-shot generalisatie naar taken die multimodale sensing vereisen mogelijk maakt.

De auteurs erkennen huidige beperkingen, specifelijk de bescheiden schaal van hun real-world dataset en de afhankelijkheid van een performante segmentatiemodule (SAM3), waarbij zij opmerken dat deze beperkingen kunnen worden verzacht naarmate grotere datasets en sterkere segmentatiemodellen beschikbaar komen. Het werk wordt gepresenteerd als een stap naar het in staat stellen van robots om met dezelfde adaptieve, taakgeconditioneerde sensorische flexibiliteit als mensen met de fysieke wereld te interageren.