Riepilogo Tecnico: VE2VF – Distillazione da Abilitata alla Visione a Libera dalla Visione

Enunciato del Problema

L'assemblaggio robotico e la manipolazione ricca di contatti richiedono alta precisione e adattabilità a componenti e ambienti diversificati. Gli approcci tradizionali basati su modelli faticano a causa della difficoltà nel modellare accuratamente le dinamiche di contatto, l'attrito e la deformazione. Sebbene gli approcci basati sull'apprendimento, come l'Apprendimento per Rinforzo (RL), offrano prospettive promettenti, affrontano ostacoli significativi:

• Divario Simula-Realtà: I simulatori spesso non riescono a catturare interazioni di contatto complesse, rendendo difficile il trasferimento delle politiche nel mondo reale.
• Inefficienza Campionale: L'RL diretto senza modello su hardware richiede tempi di interazione eccessivi e strategie di esplorazione sicure.
• Sovradattamento Visivo: Le politiche abilitate alla visione, sebbene efficaci durante l'addestramento, tendono a sovradattarsi a condizioni visive specifiche (illuminazione, texture, sfondi). Ciò ne limita la robustezza e la generalizzazione a compiti fuori distribuzione (OOD) o ambienti non visti.
• Parzialità dell'Osservazione: Addestrare direttamente da zero politiche libere dalla visione utilizzando solo la proprioccezione (posizione, velocità, forza/torsione) è impegnativo a causa della mancanza di guida visiva per l'esplorazione.

Metodologia: Framework VE2VF

Gli autori propongono VE2VF (da Abilitata alla Visione a Libera dalla Visione), un framework RL con uomo nel ciclo (HIL) che impiega un approccio di distillazione insegnante-studente per ottenere una manipolazione robusta e libera dalla visione. Il processo consta di tre fasi principali:

1. Configurazione RL con Uomo nel Ciclo

Il sistema utilizza Soft Actor-Critic (SAC) con RLPD (Apprendimento per Rinforzo con Dati Precedenti). Il ciclo di apprendimento integra:

• Esplorazione Autonoma: L'agente genera le proprie transizioni.
• Guida Umana: Un operatore umano fornisce dimostrazioni offline e interventi di teleoperazione online (sovrascrittura delle azioni dell'agente) per guidare l'esplorazione e fornire segnali di ricompensa.
• Struttura di Ricompensa: Viene utilizzata una ricompensa binaria sparsa (1 per il successo del compito, 0 altrimenti), evitando una modellazione complessa delle ricompense.

2. Fase I: Addestramento dell'Insegnante Abilitato alla Visione

Una politica "insegnante" ($\pi_t$) viene addestrata su un insieme di compiti rappresentativi utilizzando input multimodali completi:

• Osservazioni: Immagini dalle telecamere ($I$), posizione dell'effettore finale ($p$), velocità ($v$), forza ($f$) e coppia ($\tau$).
• Rappresentazione: La posizione è rappresentata rispetto allo stato iniziale dell'episodio per facilitare il servoing visivo reattivo.
• Obiettivo: L'insegnante impara a sfruttare feedback visivi ricchi per padroneggiare i compiti, raggiungendo alti tassi di successo. Tuttavia, rimane dipendente dalle condizioni visive.

3. Fase II: Distillazione dello Studente Libero dalla Visione

Una politica "studente" ($\pi_s$) viene addestrata per replicare il comportamento dell'insegnante ma si basa esclusivamente su input propriocettivi (posizione, velocità, forza/torsione), scartando i dati visivi.

• Meccanismo di Distillazione: Lo studente viene addestrato utilizzando lo stesso framework HIL-RL, ma con termini di perdita aggiuntivi per allinearsi all'insegnante:
  • Distillazione del Critico: Un termine di Errore Quadratico Medio (MSE) forza la funzione Q dello studente ($Q_s$) a corrispondere alla funzione Q dell'insegnante ($Q_t$).
  • Distillazione dell'Attore: Un termine di divergenza di Kullback-Leibler (KL) regolarizza la politica dello studente ($\pi_s$) per corrispondere alla distribuzione delle azioni dell'insegnante ($\pi_t$).
• Rappresentazione dello Stato: Lo studente utilizza un sistema di coordinate relativo al compito ($T_z$) per garantire l'invarianza rispetto al posizionamento spaziale assoluto.
• Risultato: Lo studente eredita le "abilità" e le strategie di esplorazione apprese dall'insegnante, ma diventa invariante rispetto agli spostamenti visivi.

4. Fase III: Affinamento (Opzionale)

Per compiti altamente impegnativi o non visti, lo studente libero dalla visione può essere affinato. Ciò comporta l'addestramento di un nuovo insegnante abilitato alla visione specializzato per il compito specifico e la distillazione della sua conoscenza nello studente, piuttosto che addestrare lo studente da zero.

Contributi Chiave

1. Framework di Distillazione Cross-Modale: Un metodo innovativo che distilla la conoscenza da un insegnante abilitato alla visione a uno studente libero dalla visione. Questo mantiene l'efficienza campionaria dell'apprendimento visivo durante la fase di addestramento, producendo al contempo una politica di deployment invariante rispetto alle condizioni visive.
2. Generalizzazione Efficiente delle Abilità: L'approccio dimostra che il co-addestramento su un piccolo insieme di compiti rappresentativi abilita un trasferimento zero-shot robusto a scenari di inserimento non visti.
3. Validazione nel Mondo Reale: Il metodo è validato interamente su hardware reale (Franka FR3) senza randomizzazione del dominio o aumento dei dati, raggiungendo alti tassi di successo in circa 50 minuti di tempo totale di interazione del robot.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark NIST Assembly Board I, che coinvolge vari compiti di inserimento di perni, ingranaggi e connettori.

• Prestazioni: Il metodo VE2VF ha raggiunto un tasso di successo complessivo del 95% su compiti di addestramento, disturbati e fuori distribuzione.
• Confronto con le Baseline:
  • RL Abilitato alla Visione (HIL-SERL VPTW): Ha raggiunto un successo quasi perfetto sui compiti di addestramento ma è collassato (0% di successo) su compiti fuori distribuzione e si è degradato significativamente sotto disturbi visivi.
  • RL Libero dalla Visione da Zero (HIL-SERL PTW): Ha mostrato prestazioni moderate (47,1%) ma ha faticato a imparare strategie di inserimento efficaci senza guida visiva, non raggiungendo il successo completo.
  • Primitivi di Movimento Dinamici (DMP): Hanno performato male (35,7%), confermando la necessità di comportamenti adattivi e appresi.
  • RL Residuale: Ha performato bene (85,7%) ma è stato superato da VE2VF, in particolare nei comportamenti di recupero (ad esempio, scivolare via da una presa e riprovare).
• Studi di Ablazione:
  • La distillazione è stata dimostrata essenziale; l'addestramento dello studente libero dalla visione da zero, anche con tempo esteso (fino a 75 minuti), ha portato a sovradattamento su compiti più semplici e fallimenti su quelli complessi.
  • La combinazione di input di posizione, velocità e forza/torsione ha fornito la migliore robustezza rispetto all'uso di sottoinsiemi di queste modalità.
• Affinamento: Per il compito di inserimento DSUB impegnativo (50% di successo zero-shot), l'affinamento dello studente con un insegnante specifico per il compito tramite distillazione ha raggiunto il 100% di successo in soli 10 minuti aggiuntivi.

Significato e Affermazioni

Il paper afferma che VE2VF affronta il compromesso critico tra l'efficienza campionaria dell'apprendimento guidato dalla visione e la robustezza richiesta per il deployment nel mondo reale. Utilizzando la visione solo come un "insegnante" per guidare l'esplorazione e distillando poi tale conoscenza in uno "studente" propriocettivo, il sistema ottiene:

• Robustezza: Politiche che generalizzano attraverso diverse illuminazioni, texture e pose dei target.
• Adattabilità: La capacità di recuperare dai fallimenti (ad esempio, scivolamenti) attraverso comportamenti reattivi appresi dall'insegnante.
• Efficienza: Acquisizione rapida di complesse abilità ricche di contatti (circa 50 minuti) senza la necessità di simulazioni estese o modellazione manuale delle ricompense.

Gli autori concludono che questo approccio offre un percorso pratico per il deployment di abilità di manipolazione robuste e ricche di contatti in ambienti di assemblaggio ad alta varietà e basso volume, dove le condizioni visive sono imprevedibili.