Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

Titel: Self-Supervised Multisensory Pretraining voor Contact-Rijke Robotversterkende Leer (RL)

1. Het Probleem

Robotmanipulatie taken die veel contact met de omgeving vereisen (zoals het invoegen van een pen, duwen van objecten of het sluiten van een lade), zijn extreem uitdagend voor Versterkende Leer (Reinforcement Learning - RL) agenten. De uitdagingen zijn:

• Multisensorische complexiteit: Robots moeten visuele data, kracht/torque-sensoren (FT) en proprioceptie (gewrichtspositie/snelheid) synergetisch combineren. De dynamiek van deze sensoren verschilt sterk.
• Dynamische prioriteiten: De relevantie van een sensor verandert tijdens een taak (bijv. visie voor grove oriëntatie, krachtfeedback voor fijne aanpassing bij contact).
• Sensornuis en dynamische veranderingen: RL-agenten worstelen vaak met ruis in sensoren en veranderingen in objecteigenschappen (zoals massa of wrijving).
• Data-efficiëntie: Bestaande methoden vereisen vaak enorme hoeveelheden data of gespecialiseerde imitatie-lering, wat de generalisatie en robuustheid beperkt.

2. Methodologie: MultiSensory Dynamic Pretraining (MSDP)

De auteurs stellen MSDP voor, een nieuw raamwerk dat offline pretraining combineert met online RL om robuuste multisensorische representaties te leren.

A. Pretraining-fase (Offline)

• Architectuur: Gebaseerd op Masked Autoencoders (MAE) met een transformer-encoder.
• Input: Sensoren worden eerst verwerkt via aparte encoders (CNN voor visie, lineaire projecties voor FT en proprioceptie) naar een gemeenschappelijke embedding-ruimte.
• Maskeringsschema: Tijdens training wordt een willekeurige subset (70%) van de sensor-tokens gemaskeerd. Een leerbare "mask-embedding" vult deze gaten aan.
• Doel: De decoder moet de gemaskeerde sensoren (of de volgende observatie) reconstrueren op basis van de overgebleven sensoren. Dit dwingt het netwerk om cross-sensor voorspellingen te maken (bijv. het voorspellen van kracht op basis van visie en positie, of visie op basis van proprioceptie).
• Resultaat: Een gefuseerde, expressieve latent-representatie die robuust is tegen het ontbreken of de ruis van individuele sensoren.

B. Policy Learning-fase (Online)

• Asymmetrische Latent Bridging: Een cruciale innovatie is het gebruik van verschillende methoden om de gefrozen encoder-embeddings om te zetten naar input voor de Actor en de Critic:
  • Critic (Waardefunctie): Gebruikt een Cross-Attention laag met een leerbare query. Dit staat de critic toe om dynamische, taakspecifieke features (zoals objectpositie of contactstatus) uit de embeddings te extraheren voor betere waarde-schatting.
  • Actor (Beleid): Gebruikt Mean Pooling over de sensor-embeddings. Dit biedt een stabiele, parameterloze representatie die de training stabiliseert en voorkomt dat de actor te gevoelig wordt voor ruis in de attention-mechanismen.
• Algoritme: De auteurs gebruiken SAC (Soft Actor-Critic) in simulatie en RLPD (RL from Pretrained Demonstrations) voor de real-world toepassing.

3. Belangrijkste Bijdragen

1. MSDP Framework: Een nieuwe pretraining-strategie gebaseerd op gemaskeerde autoencoding die rijke multisensorische representaties leert zonder gesuperviseerde data.
2. Asymmetrische Architectuur: Een innovatief ontwerp waarbij de critic dynamische features extrahiert via cross-attention, terwijl de actor een stabiele gepoolde representatie ontvangt. Dit lost het probleem op van hoe je gefrozen embeddings het beste gebruikt voor RL.
3. Data-efficiëntie en Robuustheid: Het systeem leert effectieve beleidslijnen met zeer weinig online interacties en is uiterst robuust tegen sensornuis en veranderingen in objectdynamiek.

4. Resultaten

De methode is getest in simulatie en op een echte Franka-robotarm op vier uitdagende taken: Pen-invoegen, Kubus duwen, Lade zachtjes sluiten en Dubbel-arm pen-invoegen.

• Simulatie: MSDP versnelt het leren aanzienlijk en bereikt hogere successpercentages dan baselines (zoals PoE, Concat en Vision Transformer-baselines) in alle taken. Het kan zich snel aanpassen aan veranderende objecteigenschappen (zoals massa).
• Real World:
  • De policy wordt direct op de echte robot getraind zonder sim-to-real transfer.
  • Data-efficiëntie: Het systeem bereikt bijna optimale prestaties met slechts 6.000 online interacties (inclusief datacollectie en pretraining), wat minder dan 55 minuten duurt.
  • Krachtsensoren: Het gebruik van FT-sensoren verbetert de prestaties met 14% in de real-world taken.
  • Robuustheid: De getrainde policy behoudt hoge successpercentages (90-100%) onder zware verstoringen zoals achtergrondlicht, flitslichten, visuele obstructie en externe krachten, die niet tijdens training zijn gezien.
• Sensor Ablatie: Experimenten tonen aan dat proprioceptie essentieel is voor positiebepaling onder visuele ruis, terwijl de FT-sensor cruciaal is voor precieze exploratie en het voorkomen van schade aan de omgeving.

5. Betekenis en Toekomstperspectief

Dit werk toont aan dat self-supervised pretraining met gemaskeerde autoencoding een krachtige aanpak is voor complexe robotmanipulatie.

• Schaalbaarheid: Het raamwerk schaalbaar is naar meer sensormodaliteiten (zoals tactiele of audiosensoren).
• Efficiëntie: Het reduceert de noodzaak voor enorme datasets en lange trainingstijden, wat RL praktischer maakt voor de echte wereld.
• Generalisatie: Door cross-sensor voorspelling te leren, kan de robot beter omgaan met onzekerheid en variatie in de omgeving, wat een belangrijke stap is naar autonome robots die in ongestructureerde omgevingen kunnen opereren.

Kortom, MSDP biedt een eenvoudige maar krachtige oplossing om robots te leren complexe, contact-rijke taken te beheersen door visie, kracht en proprioceptie naadloos te integreren via een zelflerend pretraining-proces.