💻 computer science

Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force

Dit artikel stelt MuSe voor, een multisensorisch continual learning-framework dat vooraf getrainde visuele robotbeleid effectief aanpast aan nieuwe kracht-koppel-modaliteiten met behulp van multi-stage fusie en experience replay, waardoor de prestaties op contactrijke taken worden verbeteren zonder de oorspronkelijke capaciteiten te vergeten.

Oorspronkelijke auteurs: Jaden Clark, Changhao Wang, Yihuai Gao, Seongheon Hong, Hojung Choi, Mark Cutkosky, Yifan Hou, Shuran Song

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaden Clark, Changhao Wang, Yihuai Gao, Seongheon Hong, Hojung Choi, Mark Cutkosky, Yifan Hou, Shuran Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot hebt getraind om een meesterkok te zijn, maar je hebt hem alleen geleerd door te kijken met ogen. Het heeft leren snijden, roeren en opmaken door duizenden video's te bekijken. De robot is geweldig in zien wat er moet gebeuren, maar weet niet hoe hard hij moet drukken of wanneer iets wegglijdt.

Stel je nu voor dat je de robot een nieuwe vaardigheid wilt aanleren: voelen. Je wilt dat de robot een krachtsensor gebruikt (zoals een gevoelige tastzin) om delicate taken uit te voeren, zoals het afnemen van een vaas zonder deze te breken of het indraaien van een gloeilamp zonder deze te barsten.

Hier is het probleem: je hebt geen enorme bibliotheek met video's die zowel de ogen van de robot als zijn nieuwe "tast"-sensoren bevatten. Je hebt alleen een kleine, nieuwe dataset met deze nieuwe sensoren. Als je de robot alleen met deze kleine nieuwe data probeer te leren, kan hij in de war raken en alles vergeten wat hij heeft geleerd door te kijken. Dit wordt "catastrofale vergetelheid" genoemd.

Dit artikel introduceert een oplossing genaamd MuSe (Multisensory Continual Learning). Denk aan MuSe als een slimme studiehandleiding die de robot helpt een nieuwe zintuig te leren zonder zijn oude te vergeten.

Zo werkt MuSe, met eenvoudige analogieën:

1. De "Tweerichtingsverkeer" Verbinding (Multi-Stage Fusion)

Normaal gesproken, wanneer je een nieuw zintuig aan een robot toevoegt, plak je het gewoon aan het einde vast, zoals het toevoegen van een bijgerecht aan een maaltijd. MuSe is anders. Het creëert een tweerichtingsverkeer tussen de ogen van de robot en zijn nieuwe tastzensoren.

Vroege Fusie (Early Fusion): Het mengt de "tast"-data met de "zicht"-data direct aan het begin, zoals het mengen van bloem en eieren voordat je bakt. Dit laat de robot direct begrijpen hoe tast en zicht met elkaar samenhangen.
Late Fusie (Late Fusion): Het controleert ook later in het proces, zoals een proever die halverwege het koken de kruiden aanpast.
Het Resultaat: De robot ziet niet alleen of hij voelt; hij leert een verenigd begrip waarbij zicht en tast elkaar helpen.

2. De "Toekomstige Kristallen Bol" (Multisensory Future Prediction)

Om ervoor te zorgen dat de robot de nieuwe zintuig echt begrijpt, vraagt MuSe de robot niet alleen om "de taak uit te voeren". Het vraagt de robot om de toekomst te voorspellen.

De robot wordt getraind om te raden: "Wat ga ik de volgende seconde zien? Wat ga ik de volgende seconde voelen? Welke actie moet ik ondernemen?"
De Analogie: Stel je een bestuurder voor die leert rijden in de regen. In plaats van alleen maar te rijden, wordt de bestuurder gevraagd te voorspellen: "Als ik nu aan het stuur draai, zal de auto dan slippen?" en "Zullen de ruitenwissers het water wegvegen?".
Door de robot te dwingen om zowel de visuele scène als de krachtsignalen te voorspellen, bouwt het een diepe, interne kaart van hoe de fysieke wereld werkt. Dit helpt de robot te generaliseren, wat betekent dat hij zijn nieuwe "tast"-vaardigheden zelfs kan gebruiken voor taken die hij nog niet eerder heeft gezien.

3. De "Flashcard Review" (Experience Replay)

Dit is het meest cruciale deel voor het voorkomen van vergetelheid bij de robot. Wanneer de robot de nieuwe "tast"-vaardigheden leert, dwingt MuSe hem om tegelijkertijd zijn oude "zicht"-vaardigheden te blijven oefenen.

De Analogie: Stel je een student voor die een nieuwe taal (Frans) leert terwijl hij probeert zijn Spaanse vaardigheden scherp te houden. Als hij een maand lang alleen Frans studeert, kan hij Spaans vergeten. MuSe is als een leraar die zegt: "Voor elk uur dat je Frans studeert, moet je 30 minuten de tijd besteden aan het herhalen van Spaans."
In het geval van de robot mengt het de kleine nieuwe "tast"-data met de enorme oude "zicht"-data. Wanneer de robot een taak ziet waarbij hij geen tast-data heeft (omdat de oude data die niet had), dekt MuSe simpelweg het "tast"-gedeelte af en laat de robot de vraag beantwoorden op basis van zicht alleen. Dit houdt de oude vaardigheden levend.

Wat hebben ze ontdekt?

De onderzoekers hebben dit getest op een echte robotarm.

Forward Transfer (Nieuwe dingen leren): De robot werd veel beter in contact-intensieve taken (zoals het afnemen van een vaas of het insteken van een pen) met behulp van de nieuwe tastzensoren. Hij leerde niet alleen de taak; hij leerde hoe hij moest voelen tijdens de uitvoering.
Backward Transfer (Niet vergeten): Verrassend genoeg werd de robot, nadat hij had geleerd om de tastzensoren te gebruiken, zelfs beter in zijn oorspronkelijke taken die alleen op zicht gebaseerd waren. Het lijkt erop dat het leren om te "voelen" hielp om de fysica van de wereld beter te begrijpen, wat zijn "zicht"-vaardigheden ook scherper maakte.
Cross-Modal Generalization: Zelfs bij taken waarbij de robot tijdens de training nooit de tast-data te zien kreeg, kon de robot nog steeds voorspellen welke krachten er zouden zijn geweest. Hij leerde een algemeen concept van "kracht" dat hij overal kon toepassen.

De Kern van het Verhaal

MuSe laat zien dat je geen enorme, perfecte dataset nodig hebt van elke mogelijke sensor om een robot te trainen. Je kunt een robot nemen die al een expert is in zien, hem een kleine hoeveelheid nieuwe "tast"-data geven, en deze speciale trainingsmethode gebruiken om hem te upgraden. De robot leert het nieuwe zintuig, behoudt zijn oude vaardigheden en wordt zelfs slimmer als geheel.

Technische Samenvatting: Multisensoriële Continuele Leren (MuSe)

Probleemstelling

Robotmanipulatie, met name in contactrijke scenario's, vertrouwt vaak op sensorische gegevens die verder gaan dan visie, zoals kracht-koppel (F/T), tactiele of audio-feedback, om interactiestaten zoals slippen of contactkrachten af te leiden die niet direct zichtbaar zijn. Echter, grootschalige multisensorische datasets zijn schaars, en sensoren zijn vaak hardware- of taakspecifiek, wat het onpraktisch maakt om beleid (policies) voor te trainen met elke potentiële sensorale modaliteit.

Dit artikel formaliseert de uitdaging als multisensorieel continueel leren: het aanpassen van een vooraf getraind robotbeleid (getraind op visuele data) om nieuwe sensorale modaliteiten te integreren voor nieuwe taken, terwijl de prestaties op de oorspronkelijke taken behouden blijven. Het doel is om drie specifieke doelstellingen te bereiken:

Forward Transfer: De prestaties op nieuwe taken verbeteren door gebruik te maken van de nieuwe modaliteit vergeleken met training vanaf nul.
Backward Transfer: De prestaties op pretraining-taken behouden of verbeteren na het leren van nieuwe taken met nieuwe sensorische data.
Cross-Modal Generalisatie: Een nieuw geïntroduceerde modaliteit begrijpen en benutten op taken waar deze tijdens de training nooit is waargenomen.

Naïve fine-tuning op nieuwe multisensorische data leidt vaak tot catastrofaal vergeten van pretraining-vaardigheden en faalt in het correct integreren van de nieuwe invoerdimensies zonder er te veel op te vertrouwen.

Methodologie: MuSe Framework

De auteurs stellen MuSe voor (Multi-Sensory continual learning), een framework dat ontworpen is om nieuwe sensorale modaliteiten efficiënt te integreren in vooraf getrainde visie-actie modellen. Het framework wordt geïnstantieerd door kracht-koppel sensing toe te voegen aan een vooraf getraind Unified Video-Action (UVA) model. MuSe rust op drie cruciale componenten:

1. Multi-Stage Fusie

Om een balans te vinden tussen diepe cross-modale interactie en het behoud van vooraf getrainde representaties, gebruikt MuSe een dual-pathway fusiearchitectuur:

Early Fusion: De nieuwe modaliteit (bijv. F/T) wordt gecodeerd door een modaliteit-specifieke encoder en geprojecteerd in de gedeelde embedding-ruimte. Deze tokens worden samengevoegd met de bestaande observatie- en actietokens voordat ze door de backbone transformer worden verwerkt. Dit stelt de backbone in staat om cross-modale aandacht uit te voeren gedurende alle lagen.
Late Fusion: Kenmerken van de nieuwe modaliteit worden via lichtgewicht cross-attention adapters in de intermediaire transformer-lagen geïnjecteerd.
Deze combinatie zorgt ervoor dat de nieuwe modaliteit directe toegang heeft tot het sequentie-verwerkingspad, terwijl het ook modaliteit-specifieke conditionering ontvangt, wat voorkomt dat de nieuwe sensor de visuele-actie kennis overschrijft.

2. Multisensorische Toekomstvoorspelling (World Modeling)

MuSe wordt getraind met een flexibele toekomstvoorspellingsdoelstelling die een verenigde, fysiek gefundeerde latente ruimte stimuleert. In plaats van alleen acties te voorspellen, voorspelt het model:

Toekomstige acties ( $L_{act}$ ).
Toekomstige originele observaties (bijv. videoframes, $L_{obs}$ ).
Toekomstige waarden van de nieuw geïntroduceerde modaliteit ( $L_{new}$ , bijv. F/T-signalen).

De totale loss is een gewogen som: $L = \lambda_a L_{act} + \lambda_o L_{obs} + \lambda_{n+1} L_{new}$ . Het voorspellen van de nieuwe modaliteit dwingt de representatie om sensorische data te coderen, terwijl het voorspellen van toekomstige beelden de representatie verankert aan de visuele dynamiek die gedeeld wordt over verschillende datasets.

3. Experience Replay

Om catastrofaal vergeten tijdens fine-tuning te mitigeren, maakt MuSe gebruik van experience replay. Trainingsbatches worden gesampled uit een mengeling van de nieuwe multisensorische dataset ( $D_{new}$ ) en de oorspronkelijke pretraining-dataset ( $D_{pre}$ ).

Voor $D_{new}$ samples ontvangt het model volledige multisensorische input en wordt het gesuperviseerd op alle voorspellings-losses.
Voor $D_{pre}$ samples is de nieuwe modaliteit afwezig. De input wordt vervangen door een geleerd "modality-mask" token, en de loss voor de nieuwe modaliteit ( $L_{new}$ ) wordt gemaskeerd, terwijl de supervisie voor acties en originele observaties behouden blijft.

Experimentele Opzet en Resultaten

De auteurs evalueerden MuSe op real-world manipulatietaken met een UVA-backbone die vooraf was getraind op 1.271 episodes van 21 visuele-only taken. Het model werd vervolgens gefinetuned op 434 episodes van vijf contactrijke taken met F/T supervisie.

Belangrijkste Resultaten

Cross-Modal Generalisatie: MuSe demonstreerde het vermogen om F/T-signalen te voorspellen op pretraining-taken waar F/T wel werd opgenomen maar nooit werd gebruikt voor supervisie. MuSe behaalde de laagste L2-voorspellingsfout (8.42) vergeleken met ablaties (bijv. het verwijderen van experience replay verhoogde de fout naar 12.38).
Forward Transfer: Op contactrijke fine-tuning taken presteerde MuSe significant beter dan de baselines:
- Vase Wiping: 11.5/15 succes (MuSe) vs. 5/15 (No F/T) en 8/15 (No Pretrain).
- Peg Insertion: 13/15 succes (MuSe) vs. 9/15 (No F/T) en 6/15 (No Pretrain).
  MuSe gebruikte F/T effectief om contactkrachten te reguleren en te herstellen van blokkades (jams), terwijl de "No F/T" baseline faalde door slechte contactregulatie.
Backward Transfer: MuSe behield of verbeterde de prestaties op de oorspronkelijke pretraining-taken vergeleken met de visuele-only baseline:
- Whiteboard Wiping: 12.5/15 (MuSe) vs. 8.5/15 (Pretraining Only).
- Peg Insertion: 10/15 (MuSe) vs. 8/15 (Pretraining Only).
  Cruciaal was dat de "No Experience Replay" (No ER) baseline ernstig vergeten leed (bijv. 0.5/15 op whiteboard wiping), wat het belang van replay onderstreept voor het behoud van visuele vaardigheden.

Betekenis en Claims

Het artikel claimt dat MuSe aantoont dat een bescheiden multisensorische dataset de algemene modelcapaciteit kan verbeteren buiten de fine-tuning distributie. Specifiek:

Generaliseerbaarheid van F/T: Kracht-koppel sensing, zelfs wanneer geleerd van beperkte data, kan worden voorspeld en benut over een breed scala aan taken, inclusief taken waarvoor het nooit expliciet werd gesuperviseerd.
Verbeterde Representatie: Conditionering op F/T maakt rijkere representatie-lering mogelijk voor contactrijke gedragingen, terwijl het voorspellen van toekomstige F/T een schatting geeft van het vereiste compliantieprofiel voor precieze interactie.
Praktische Implementatie: De aanpak stelt robot-policies in staat om post-hoc te worden aangepast aan nieuwe sensoren zonder dat hiervoor grootschalige multisensorische pretraining nodig is, wat de beperkingen van hardware en dataschaarste in de echte wereld aanpakt.

De auteurs merken beperkingen op, waaronder de focus op een enkele sensorale expansie (F/T) en de afhankelijkheid van toegang tot de originele pretraining data voor replay, wat suggereert dat toekomstig werk andere modaliteiten en methoden moet verkennen die geen opslag van voorgaande data vereisen.