🤖 machine learning

Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities

Oorspronkelijke auteurs: Hassan Ismkhan, Hamid Bouchahcia

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Hassan Ismkhan, Hamid Bouchahcia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een maaltijd te koken. Meestal laat je het een video zien van een chef die groenten snijdt (visuele data) en geef je het een gesproken recept (taaldata). De robot leert door te kijken en te luisteren, en probeert vervolgens de bewegingen van de chef na te doen.

Maar wat gebeurt er als de camera halverwege kapot gaat, of de microfoon stopt met werken? In de echte wereld vallen sensoren uit, worden ze geblokkeerd door objecten, of sturen ze simpelweg geen signalen meer. De meeste huidige methoden voor robotleren raken in paniek wanneer dit gebeurt; ze gaan ervan uit dat de camera en de microfoon altijd perfect zullen werken. Als één van de twee faalt, bevriest de robot vaak of maakt hij een fout.

Dit artikel introduceert een nieuwe methode genaamd RL4IL die werkt als een superintelligente bibliothecaris voor robots. Het stelt de robot in staat om perfect door te werken, zelfs wanneer een camera of sensor uitvalt, zonder dat de robot opnieuw getraind of nieuwe lessen hoeft te krijgen.

Zo werkt het, gebruikmakend van eenvoudige analogieën:

1. De "Slimme Bibliothecaris" (Reinforcement Learning)

Normaal gesproken, wanneer een robot moet uitzoeken wat hij moet doen, kijkt hij naar zijn bibliotheek van eerdere demonstraties (video's van experts die taken uitvoeren) en kiest hij degene die het meest lijkt op wat hij op dit moment ziet. Het is als een student die probeert de juiste pagina in een tekstboek te vinden door vluchtig naar de plaatjes te kijken.

Het probleem is, als de afbeelding ontbreekt (omdat de camera kapot is), kiest de student misschien de verkeerde pagina.

RL4IL vervangt deze eenvoudige "vluchtige blik" door een Slimme Bibliothecaris. Deze bibliothecaris is een Reinforcement Learning-agent (een type AI die leert door middel van vallen en opstaan). In plaats van alleen de "dichtstbijzijnde" match te kiezen, leert de bibliothecaris om de beste kandidaten in de bibliotheek te rangschikken op basis van hoe nuttig ze zijn voor de huidige situatie. Het is als een bibliothecaris die niet alleen het boek zoekt met de meest vergelijkbare cover, maar het boek vindt dat daadwerkelijk de juiste instructies bevat voor het specifieke probleem dat je hebt, zelfs als de cover beschadigd is.

2. De "Groepschat" (Soft Fusion)

Oude methoden kiezen vaak slechts één beste match uit de bibliotheek en zeggen: "Oké, we kopiëren deze specifieke video." Als die ene video een beetje ruis bevat of imperfect is, faalt de robot.

RL4IL gebruikt een Soft Fusion-aanpak. Stel je voor dat de robot in plaats van naar slechts één expert te luisteren, de top 5 of 10 meest relevante experts om advies vraagt. Hij kiest niet zomaar één; hij luistert naar hen allemaal en mengt hun advies samen, waarbij hij meer gewicht geeft aan de experts die het meest zelfverzekerd lijken. Dit is als een "groepschat" waar de robot het advies van de experts middelt om de ruis weg te filteren. Als één expert er iets naast zit, corrigeren de anderen hem, wat resulteert in een veel vloeiendere en betrouwbaardere actie.

3. De "Magische Invulling" (Missing Modality Imputation)

Dit is de grootste truc van het artikel. Wat als de camera volledig dood is? De robot heeft helemaal geen visuele data meer.

In plaats van op te geven, heeft RL4IL een Magische Invullingsmechanisme.

De Detective: Een gespecialiseerde AI-detective kijkt naar de andere dingen die de robot wel heeft (zoals de taalinstructies of de camera aan de hand) en zegt: "Op basis van deze aanwijzingen, welke expert in de bibliotheek had een soortgelijke situatie?"
De Reconstructie: Zodra hij die experts heeft gevonden, kopieert hij niet alleen hun video. Hij gebruikt een "cross-attention"-mechanisme om naar de ontbrekende delen van de video's van die experts te kijken en reconstrueert wiskundig wat de ontbrekende camera zou hebben gezien.
Het Resultaat: Het creëert een nepversie, maar een zeer nauwkeurige versie, van de ontbrekende camerabeelden. De robot gebruikt deze gereconstrueerde feed, net alsof de camera nooit kapot was gegaan.

Waarom is dit een grote zaak?

Geen hertraining: De meeste methoden vereisen dat je de robot vanaf nul opnieuw traint elke keer dat je wilt dat hij met een defecte sensor omgaat. RL4IL is "zero-shot". Je traint het één keer, en als een camera morgen kapot gaat, handelt hij het direct af zonder nieuwe lessen.
Beter dan de rest: De auteurs hebben hun methode getest op drie verschillende sets robottaken (het verplaatsen van objecten, het volgen van doelen en ruimtelijk redeneren). Wanneer ze simuleerden dat camera's uitvielen, slaagde hun methode (RL4IL) ongeveer 70% tot 73% van de tijd. De op één na beste methode slaagde slechts ongeveer 29% van de tijd.
Robuustheid: Het werkt zelfs wanneer de robot zich in een chaotische omgeving bevindt waar sensoren geblokkeerd kunnen worden of volledig kunnen uitvallen.

Samenvatting

Beschouw RL4IL als een robot die niet alleen een script uit het hoofd leert. Het heeft een Slimme Bibliothecaris om de beste hulp te vinden, een Groepschat om advies van meerdere experts te mengen, en een Magische Invulling-tool om te raden wat een kapotte camera gezien zou hebben. Dit stelt de robot in staat om soepel door te werken in de rommelige, onvoorspelbare echte wereld waarin sensoren vaak falen.

Technische Samenvatting: RL4IL voor Robuuste Multimodale Imitatieleerprocessen

Probleemstelling

Robotische manipulatiesystemen vertrouwen op heterogene sensoriële stromen, die doorgaans visuele camerabeelden (bijv. agent-view en in-hand camera's) combineren met natuurlijke taalinstructies. Hoewel recente imitatieleer-methoden (Imitation Learning, IL) sterke prestaties hebben behaald op gestructureerde benchmarks, opereren ze onder de onrealistische aanname dat alle sensorische modaliteiten permanent beschikbaar blijven. In real-world implementaties kunnen sensoren falen, worden geblokkeerd of degraderen, wat leidt tot scenario's met "ontbrekende modaliteiten" (missing modality). Bestaande robuustheidsmethoden vereisen vaak hertraining of fijnafstemming om nieuwe uitvalpatronen aan te pakken, en veel retrieval-gebaseerde benaderingen falen wanneer de query-observatie incompleet is. Bovendien zijn huidige multimodale leermethoden voor ontbrekende data vaak beperkt tot statische taken (bijv. classificatie) of domeinspecifieke modaliteiten (bijv. MRI), waardoor ze ongeschikt zijn voor de sequentiële actie-outputs die vereist zijn in robotica.

Methodologie: RL4IL

Het artikel introduceert RL4IL, een framework dat ontbrekende modaliteiten aanpakt via een retrieval-gebaseerde benadering die wordt gestuurd door Reinforcement Learning (RL) en soft fusion, waarbij geen hertraining van het kernbeleidsnetwerk (policy network) nodig is tijdens de inferentie.

1. Kernarchitectuur

Het systeem werkt op een bevroren bibliotheek van expert-demonstraties $\mathcal{D}_{tr}$ . Elke demonstratie bestaat uit multimodale observaties (visuele frames, taal) en een bijbehorende actiesequentie.

Bevroren Encoders: Pretrained encoders mappen ruwe sensoriële inputs naar vastdimensionale embeddings. Deze gewichten worden nooit bijgewerkt.
Modality-Fair Normalisatie: Om heterogene embedding-dimensies af te handelen, past het systeem modaliteit-specifieke z-score normalisatie toe en definieert het een afstandmetriek die de bijdrage van elke modaliteit gelijkmatig weegt.

2. RL-gestuurde Retrieval

In plaats van een heuristische afstandweging te gebruiken om buren te aggregeren, gebruikt RL4IL een geleerde selectiestrategie:

BFS-Augmented Candidate Sets: Voor een query-observatie identificeert het systeem eerst een $k$ -nearest neighbor (k-NN) set. Deze set wordt uitgebreid via een Breadth-First Search (BFS) op een trainings k-NN graaf om een rijkere, diversere kandidaat-pool $B(s)$ te creëren.
PPO Policy: Een beleid getraind via Proximal Policy Optimization (PPO) rangschikt kandidaten binnen de BFS-geaugmenteerde set. Het beleid leert de meest relevante demonstratie (de "oracle") te selecteren op basis van de query-toestand.
Beloningssignaal: De beloning wordt gedefinieerd ten opzichte van een oracle (de kandidaat met hetzelfde label en de minimale graafafstand), wat het beleid stimuleert om de optimale selectie te matchen.

3. Soft Cross-Attention Fusion

In plaats van zich vast te leggen op één enkele "beste" buur (hard argmax), wat ruisgevoelig kan zijn, maakt RL4IL gebruik van een soft fusion head:

De top- $K'$ kandidaten die door de RL-policy zijn gerangschikt, worden geaggregeerd met behulp van een cross-attention mechanisme.
Deze head berekent attention-gewichten over de kandidaat-embeddings en hun bijbehorende actiesequenties (labels), wat resulteert in een gewogen gemiddelde voorspelling.
Deze benadering blijkt robuuster tegen retrieval-ruis dan het selecteren van een enkele demonstratie.

4. Zero-Shot Missing Modality Imputation

Wanneer een sensor faalt tijdens de inferentie (bijv. een camera wordt geblokkeerd), reconstrueert het systeem de ontbrekende embedding zonder hertraining:

Per-Modality RL Retrieval: Een specifieke RL-policy, die specifiek voor elke modaliteit is getraind, identificeert "donor"-demonstraties uit de bibliotheek waar de ontbrekende modaliteit aanwezig is.
Soft Imputation Head: Vergelijkbaar met de predictie-fusion, gebruikt een soft imputation head cross-attention over de top-gerangschikte donoren om de ontbrekende embedding-vector te reconstrueren.
Continuïteit van de Pipeline: Zodra de ontbrekende embedding is gereconstrueerd, wordt de volledige observatie doorgegeven aan de standaard predictie-pipeline. Het systeem vereist geen wijziging aan het downstream policy netwerk.

Belangrijkste Bijdragen

RL-Gestuurde Demonstratie Retrieval: De eerste toepassing van reinforcement learning voor het selecteren van expert-demonstraties voor imitatieleer, waarbij heuristische aggregatie wordt vervangen door een geleerde rangschikkingsstrategie over BFS-geaugmenteerde kandidaat-sets.
Soft Cross-Attention Fusion: Een lichtgewicht mechanisme dat signalen van meerdere top-gerangschikte kandidaten aggregeert, wat beter presteert dan harde selectiemethoden, met name onder ruisgevoelige retrieval-condities.
Zero-Shot Robuustheid: Het vermogen om sensoruitval tijdens de inferentie af te handelen zonder het policy netwerk te hertrainen. Dit wordt bereikt via specifieke per-modaliteit RL-retrieval policies en soft imputation heads die ontbrekende embeddings reconstrueren.
State-of-the-Art Prestaties: Gedemonstreerd superieur presteren op de LIBERO benchmarks onder volledige camera-uitval vergeleken met bestaande baselines.

Experimentele Resultaten

De auteurs evalueerden RL4IL op drie LIBERO benchmark suites: LIBERO-Spatial, LIBERO-Object, en LIBERO-Goal. De experimenten simuleerden volledige camera-uitval (ofwel de agent-view of de in-hand camera afwezig).

Prestaties: RL4IL presteerde aanzienlijk beter dan alle baselines, inclusief Behavior Cloning (BC), Disentangled BC (DisBC), BESO-ACT, en Disentangled Diffusion Policy (DisDP).
- Op LIBERO-Goal met de ontbrekende agent-view camera, bereikte RL4IL een succesrate van 0.700, terwijl de sterkste baseline (DisDP) slechts 0.004 behaalde.
- Op LIBERO-Object met de ontbrekende in-hand camera, bereikte RL4IL 0.677, vergeleken met 0.226 voor DisDP.
Ablatie-studies:
- Soft Fusion: Presteerde consistent gelijk aan of beter dan de harde argmax selectie over alle suites.
- Modality-Fair Normalisatie: Zorgde voor consistente prestaties over de suites door te voorkomen dat een enkele modaliteit met een grote embedding-norm de afstandmetriek domineerde.
- Trainingsepochs: Het systeem behield competitieve prestaties zelfs na een enkele trainingsepoch, waarmee het alle gerapporteerde baselines in de literatuur overtrof.
- Hyperparameters: De prestaties bleven stabiel over een redelijke reeks top- $K$ fusion kandidaten ( $K' \in \{4, 8, 12, 16, 32\}$ ).

Betekenis en Claims

Het artikel claimt dat RL4IL een praktische en effectieve strategie biedt voor het implementeren van robotische systemen in omgevingen waar de beschikbaarheid van sensoren niet gegarandeerd kan worden. Door de retrieval en imputation mechanismen te ontkoppelen van de training van het policy netwerk, bereikt de methode robuustheid zonder de computationele kosten van hertraining. De auteurs benadrukken dat hun benadering een fundamentele vereiste voor real-world implementatie aanpakt — het afhandelen van sensor-uitval — terwijl een hoge prestatie wordt behouden bij complexe manipulatietaken. Het werk suggereert dat retrieval-gebaseerd imitatieleer, wanneer dit wordt uitgebreid met geleerde ranking en soft imputatie, een levensvatbaar pad is naar robuuste autonome systemen.