Enhancing Vision-Based Policies with Omni-View and Cross-Modality Knowledge Distillation for Mobile Robots

Titre : Amélioration des politiques basées sur la vision par distillation de connaissances Omni-Vue et Cross-Modale pour les robots mobiles

1. Problématique

Les politiques basées sur la vision (visuomotrices) sont essentielles pour la manipulation et la locomotion des robots. Cependant, leur déploiement sur des robots mobiles légers et peu coûteux se heurte à un « trilemme » difficile à résoudre :

1. Faible transférabilité de scène : Les politiques utilisant une seule caméra monoculaire (RGB) peinent à généraliser dans des environnements non vus lors de l'entraînement, en raison de variations d'éclairage, de textures et d'un champ de vision (FOV) limité.
2. Ressources de calcul limitées : Les robots mobiles ont une puissance de traitement embarquée restreinte, ce qui empêche l'utilisation de modèles lourds ou de capteurs complexes en temps réel.
3. Coût du matériel : Les capteurs riches en informations (comme les caméras de profondeur RGB-D ou le LiDAR) et les systèmes multi-caméras omnidirectionnels sont souvent trop chers, encombrants ou gourmands en énergie pour les robots légers.

L'objectif est donc de concevoir une politique utilisant uniquement une caméra monoculaire RGB peu coûteuse, capable d'égaler les performances de politiques utilisant des données de profondeur et des vues omnidirectionnelles.

2. Méthodologie

Les auteurs proposent un cadre de distillation de connaissances qui transfère l'expertise d'une politique « enseignante » riche en informations vers une politique « étudiante » légère.

• Architecture du système :

  • Politique Enseignante (Teacher) : Entraînée sur des données de démonstration (collectées par une politique experte basée sur l'état, via RL). Elle utilise des images de profondeur omnidirectionnelles (générées à partir de multiples caméras ou par un modèle de profondeur monoculaire comme DepthAnyThingV2). Cette politique bénéficie d'une perception à 360° et d'une invariance aux apparences (grâce à la profondeur).
  • Politique Étudiante (Student) : Déployée sur le robot. Elle ne reçoit qu'une séquence d'images RGB monoculaires (vue unique). Elle est conçue pour être légère et rapide.

• Processus d'apprentissage :

  • L'approche ne se contente pas de faire imiter les actions de l'expert à l'étudiant (Imitation Learning classique).
  • Elle introduit une distillation de connaissances par apprentissage contrastif. L'étudiant est contraint d'aligner ses embeddings latents (représentations intermédiaires) avec ceux de l'enseignant.
  • Fonction de perte : La fonction de coût totale de l'étudiant combine :
    1. Une perte d'action ($L_{act}$) : Minimise l'erreur entre l'action de l'étudiant et celle de l'expert.
    2. Une perte contrastive ($L_{con}$) : Utilise la fonction de perte InfoNCE pour rapprocher les embeddings de l'étudiant et de l'enseignant lorsque les états spatiaux sont proches, et les éloigner s'ils sont distants.

• Avantages de l'alignement :

  • Cela permet à l'étudiant d'acquérir implicitement des informations sur l'environnement qui ne sont pas visibles depuis une seule caméra (contexte global) et des informations invariantes à l'apparence (géométrie/depth).
  • L'utilisation d'un module LSTM dans l'étudiant aide à accumuler l'information temporelle, comblant ainsi l'écart sémantique entre la vue unique statique et la vue omnidirectionnelle dynamique.

3. Contributions Clés

1. Cadre de distillation Omni-Vue et Cross-Modale : Une méthode innovante qui transfère les connaissances d'une politique utilisant des vues 360° et de la profondeur vers une politique monoculaire RGB.
2. Amélioration des performances : Par rapport aux méthodes d'apprentissage par imitation standard, la méthode proposée améliore le taux de réussite de navigation d'environ 15 % et la distance parcourue sans collision d'environ 19 %.
3. Déploiement pratique et économique : La méthode élimine le besoin de capteurs de profondeur ou de systèmes multi-caméras coûteux sur le robot final. L'inférence embarquée prend environ 20 ms, ce qui est compatible avec le contrôle temps réel sur des calculateurs légers (ex: NVIDIA Jetson Orin NX).
4. Validation rigoureuse : Des expériences extensives en simulation et dans le monde réel (sur un robot léger) confirment l'efficacité de l'approche.

4. Résultats Expérimentaux

Les expériences ont été menées dans des environnements simulés (Gazebo) et réels avec des obstacles dynamiques et statiques.

• Comparaison des erreurs d'action (AE) : La politique étudiante distillée (Ours-Rnet50) atteint une erreur d'action de 0,0067 en test, se rapprochant des performances des politiques utilisant des entrées de profondeur omnidirectionnelles (0,0033) et surpassant largement les politiques monoculaires RGB classiques (0,0229).
• Taux de réussite (SR) et Distance de déplacement (MD) :
  • La méthode proposée atteint un taux de réussite de 72 % et une distance moyenne de 8,49 m sans collision.
  • Cela représente une augmentation de 23 % du taux de réussite et de 20 % de la distance parcourue par rapport aux meilleures politiques monoculaires RGB de référence.
• Analyse des embeddings : Les visualisations t-SNE montrent que les embeddings de la politique distillée sont beaucoup plus cohérents entre différents environnements que ceux des modèles pré-entraînés (comme DINOv2), prouvant une meilleure transférabilité de scène.
• Cartes d'attention : Les cartes d'attention générées par la méthode distillée se concentrent correctement sur les obstacles et les tâches pertinentes, contrairement aux politiques sans distillation qui se distraient avec des caractéristiques visuelles non pertinentes.
• Efficacité computationnelle : Contrairement aux méthodes utilisant la profondeur en temps réel (qui ajoutent 25-55 ms de latence et augmentent la charge CPU/GPU), la méthode distillée maintient une latence faible (24 ms) sans module de profondeur externe.

5. Signification et Impact

Cet article démontre qu'il est possible de surmonter les limitations matérielles des robots mobiles légers sans sacrifier la sécurité ou la robustesse de la navigation. En utilisant la distillation de connaissances, les auteurs réussissent à « compresser » la richesse informationnelle des vues omnidirectionnelles et de la profondeur dans un modèle monoculaire léger.

Cela ouvre la voie à un déploiement plus large de robots autonomes dans des environnements complexes et non structurés, en réduisant la dépendance aux capteurs coûteux et en permettant une exécution efficace sur du matériel embarqué standard. La méthode résout efficacement le compromis entre la qualité de la perception, le coût du matériel et les ressources de calcul.