Enhancing Vision-Based Policies with Omni-View and Cross-Modality Knowledge Distillation for Mobile Robots

Titolo

Miglioramento delle Policy Basate sulla Visione tramite Distillazione della Conoscenza Omni-Vista e Cross-Modale per Robot Mobili

1. Il Problema

Le policy basate sulla visione sono fondamentali per compiti robotici come la manipolazione e la locomozione. Tuttavia, l'implementazione su robot mobili leggeri e a basso costo affronta un "trilemma" critico:

1. Scarsa trasferibilità della scena: Le policy che utilizzano telecamere monococulari (singola vista) faticano a generalizzare in ambienti non visti durante l'addestramento, a causa della limitata diversità dei dati e della sensibilità ai cambiamenti di illuminazione e texture.
2. Risorse di calcolo limitate: I robot mobili hanno vincoli energetici e strutturali che impediscono l'uso di encoder visivi ad alta capacità o di grandi volumi di dati in tempo reale.
3. Costo dell'hardware: Sensori avanzati come telecamere RGB-D o LiDAR offrono informazioni di profondità invarianti all'aspetto e una visione a 360°, ma sono costosi, ingombranti e computazionalmente onerosi da elaborare in tempo reale.

L'obiettivo è quindi sviluppare una policy che utilizzi una singola telecamera RGB a basso costo, ma che raggiunga prestazioni di navigazione e sicurezza paragonabili a quelle ottenute con sistemi multi-sensore (profondità + vista omnidirezionale).

2. Metodologia Proposta

Gli autori propongono un framework di Knowledge Distillation (Distillazione della Conoscenza) che trasferisce la conoscenza da una policy "Maestra" (Teacher) ricca di informazioni a una policy "Studente" (Student) leggera.

• Policy Maestra (Teacher - $\pi_T$):

  • Utilizza immagini di profondità omnidirezionali (360°) generate da un sistema multi-camera o sintetizzate (usando DepthAnyThingV2 su immagini RGB).
  • Queste input sono ricchi di informazioni spaziali e invarianti all'aspetto (la profondità non cambia con l'illuminazione).
  • Viene addestrata tramite Imitation Learning (IL) per imitare le azioni di un esperto (basato su RL o MPC).
  • Produce embedding latenti ($z_1$) che codificano il contesto ambientale completo.

• Policy Studente (Student - $\pi_S$):

  • Utilizza un singolo input RGB monoculare (singola vista).
  • È progettata per essere computazionalmente leggera e adatta all'implementazione on-board.
  • Non imita solo le azioni finali dell'esperto, ma deve anche allineare i suoi embedding latenti ($z_2$) a quelli della policy Maestra.

• Meccanismo di Distillazione:

  • Oltre alla perdita standard di regressione dell'azione ($L_{act}$), viene introdotta una perdita di contrasto (Contrastive Loss - $L_{con}$) basata su InfoNCE.
  • Questa perdita forza gli embedding dello studente a essere simili a quelli del maestro quando corrispondono a stati spazialmente vicini, e diversi quando corrispondono a stati lontani.
  • Vantaggio: Lo studente apprende implicitamente il contesto ambientale (invisibile alla singola telecamera) e le informazioni di profondità invarianti, agendo come una forma di augmentation dei dati e regularizzazione.
  • L'architettura dello studente include un modulo LSTM per fondere le informazioni temporali, aiutando a colmare il divario semantico tra l'input monovista e quello omnivista.

3. Contributi Chiave

1. Framework di Distillazione Cross-Modale: Introduzione di un metodo che trasferisce conoscenza da input di profondità omnidirezionali a input RGB monoculare, migliorando significativamente la robustezza.
2. Prestazioni Superiori con Hardware Limitato: Le policy addestrate con questo metodo mostrano un aumento del 15% nel tasso di successo della navigazione e un aumento del 19% nella distanza percorsa senza collisioni rispetto alle policy che imitano solo le azioni.
3. Efficienza On-Board: Il metodo elimina la necessità di sensori di profondità fisici o sistemi multi-camera complessi durante l'esecuzione. L'inferenza avviene in circa 20 ms su hardware limitato (NVIDIA Jetson Orin NX), rendendolo ideale per robot mobili economici.
4. Validazione Reale: Dimostrazione pratica su un robot mobile leggero in ambienti reali, confermando la fattibilità del approccio.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sia in simulazione (ROS Gazebo) che nel mondo reale.

• Analisi degli Embedding: Le visualizzazioni t-SNE mostrano che gli embedding della policy studente (con distillazione) sono molto più coerenti tra scenari diversi rispetto a encoder pre-addestrati standard (es. DINOv2, CLIP), indicando una migliore capacità di trasferimento della scena.
• Errori di Azione (Action Error - AE): La policy studente con distillazione raggiunge un errore di azione significativamente inferiore rispetto alle policy RGB standard, avvicinandosi alle prestazioni delle policy che usano direttamente input di profondità omnidirezionali.
• Navigazione e Sicurezza:
  • Tasso di Successo (SR): Aumento del 23% rispetto alle migliori baseline RGB.
  • Distanza di Movimento (MD): Aumento del 20%.
  • La policy riesce a evitare ostacoli e a seguire target dinamici in modo sicuro, mentre le policy senza distillazione tendono a collidere a causa della scarsa percezione della profondità e del campo visivo limitato.
• Confronto con lo Stato dell'Arte: Il metodo supera approcci esistenti come RoboSaGA, VISARL e lavori basati su apprendimento contrastivo cross-modale (es. Zhang et al.), principalmente perché addestra l'encoder visivo in modo end-to-end con la policy, invece di congelarlo, e integra informazioni omni-vista.

5. Significato e Impatto

Questo lavoro risolve una delle principali sfide nell'automazione robotica mobile: come ottenere un'intelligenza artificiale robusta e sicura su hardware economico e leggero.

• Democratizzazione della Robotica: Permette di utilizzare robot a basso costo (con una sola telecamera) per compiti di navigazione complessi in ambienti dinamici, senza la necessità di costosi sensori LiDAR o sistemi multi-camera.
• Efficienza Computazionale: Dimostra che è possibile "compattare" la conoscenza di un sistema sensoriale complesso in una rete neurale leggera, mantenendo le prestazioni di sicurezza.
• Generalizzazione: L'approccio migliora la capacità del robot di operare in ambienti non visti durante l'addestramento, un requisito fondamentale per l'adozione commerciale su larga scala.

In sintesi, il paper propone una soluzione elegante che combina visione artificiale, apprendimento per imitazione e distillazione della conoscenza per superare i limiti hardware dei robot mobili, garantendo sicurezza ed efficienza.