Sim-to-reality adaptation for Deep Reinforcement Learning applied to an underwater docking application

Cet article présente une approche systématique de l'adaptation sim-to-réalité pour l'atterrissage autonome d'un AUV sous-marin, utilisant un jumeau numérique haute fidélité et l'apprentissage par renforcement profond (PPO) pour entraîner un agent qui a démontré un taux de réussite supérieur à 90 % en simulation et une validation réussie dans un bassin physique.

L'essentiel

🌊 L'histoire : Apprendre à se garer sous l'eau sans se faire mal

Imaginez que vous devez apprendre à garer une voiture de course dans un garage très étroit, mais avec deux contraintes bizarres :

1. Vous êtes sous l'eau, où tout est mouvant et imprévisible (courants, vagues).
2. Vous ne pouvez pas vous entraîner avec la vraie voiture, car si vous ratez, c'est la catastrophe (le véhicule coûte cher et l'eau est dure).

C'est exactement le défi que les chercheurs de l'Université de Gérone (en Espagne) ont relevé avec leur robot sous-marin, le Girona AUV. Ils ont utilisé une intelligence artificielle (l'IA) pour apprendre à ce robot à se "garer" (s'amarrer) sur une station fixe, tout seul.

Voici comment ils ont fait, étape par étape, avec des images simples :

1. Le "Jeu Vidéo" ultra-réaliste (Le Jumeau Numérique)

Au lieu d'entraîner le robot dans la vraie mer (ce qui serait lent et dangereux), les chercheurs ont créé un monde virtuel parfait appelé Stonefish.

• L'analogie : C'est comme un simulateur de vol pour pilotes, mais pour des robots sous-marins. Sauf que ce simulateur est si réaliste qu'il simule l'eau, les courants, et même les collisions.
• L'astuce : Pour aller plus vite, ils ont fait tourner ce simulateur sur 20 ordinateurs en même temps (comme 20 joueurs qui s'entraînent en parallèle). Cela permet au robot d'accumuler des années d'expérience en quelques heures seulement.

2. L'entraîneur invisible (L'Intelligence Artificielle)

Le robot doit apprendre par lui-même, sans qu'un humain lui dise quoi faire. C'est là qu'intervient l'algorithme PPO (Proximal Policy Optimization).

• L'analogie : Imaginez un chien qui apprend à faire des tours.
  • S'il s'approche bien du garage, on lui donne une friandise (récompense).
  • S'il tape le mur, on lui donne une petite pichenette (pénalité).
  • S'il arrive doucement et sans secousse, on lui donne une super friandise.
• Au début, le robot se cogne partout et rate tout. Mais après des milliers d'essais dans le "jeu vidéo", il commence à comprendre la logique : "Tiens, si je tourne un peu à gauche et que je ralentis en plongeant la tête, j'arrive mieux !"

3. Le grand saut : Du virtuel au réel (Sim-to-Real)

C'est le moment de vérité. Le robot a appris dans le jeu vidéo, mais va-t-il réussir dans la vraie piscine de test ? C'est souvent là que ça rate (le "fossé" entre le simulé et le réel).

• Le secret de la réussite : Les chercheurs ont rendu le jeu vidéo si réaliste (bruit des capteurs, imperfections des moteurs) que le robot ne fait pas la différence. C'est comme si vous appreniez à conduire sur un simulateur qui reproduit exactement la sensation du volant et du sol, pour que vous puissiez prendre le volant d'une vraie voiture sans hésiter.

4. Les super-pouvoirs découverts (Comportements émergents)

Le résultat le plus fascinant, c'est que le robot a inventé des techniques que les humains n'avaient pas programmées !

• Le freinage par "plongée" : Pour ralentir avant de toucher le garage, le robot a appris à pencher sa tête vers le bas (comme un plongeur qui freine avec ses palmes) pour utiliser la résistance de l'eau.
• Le "tremblement" intelligent : Juste avant de se garer, le robot a commencé à vibrer légèrement de gauche à droite (oscillation). Pourquoi ? Pour glisser plus facilement dans le trou, comme si on cherchait la bonne position avec le coude dans une serrure.
• L'analogie : C'est comme si un enfant apprenait à enfiler un pull et découvrait tout seul qu'il faut tirer sur le col pour que ça passe, sans que personne ne lui ait appris la technique.

🏆 Le résultat final

• Dans le jeu vidéo : Le robot réussit son parking dans 90 % des cas.
• Dans la vraie piscine : Il réussit 8 fois sur 10. C'est une performance incroyable pour un robot qui n'a jamais vu la vraie station avant son premier essai réel !

En résumé

Ce papier nous dit que l'on peut maintenant apprendre à des robots complexes à faire des tâches difficiles (comme se garer sous l'eau) en les entraînant dans un monde virtuel ultra-réaliste et accéléré. Grâce à une IA qui apprend par essais et erreurs, le robot développe des astuces naturelles pour gérer l'eau et les imprévus, prouvant qu'on peut passer de la simulation à la réalité sans catastrophe.

C'est une victoire majeure pour l'avenir des robots sous-marins qui devront un jour réparer des câbles, inspecter des pipelines ou aider à la conservation des océans, tout en restant autonomes et sûrs.

Résumé technique

Titre

Adaptation Sim-to-Réalité pour l'Apprentissage par Renforcement Profond (DRL) appliqué à une application d'amarrage sous-marin.

1. Problématique

L'amarrage autonome de véhicules sous-marins autonomes (AUV) est une tâche complexe en raison des environnements dynamiques imprévisibles (courants, bruit des capteurs) et des contraintes physiques strictes.

• Limites des méthodes traditionnelles : Les contrôleurs classiques (PID, MPC) peinent à s'adapter à des conditions non modélisées ou à des perturbations complexes.
• Défis du DRL : Bien que l'Apprentissage par Renforcement Profond (DRL) offre une grande robustesse, son déploiement réel est entravé par deux goulots d'étranglement majeurs :
  1. La latence d'entraînement (le temps nécessaire pour apprendre une politique optimale).
  2. Le fossé Sim-to-Réalité (la difficulté à transférer une politique apprise en simulation vers un véhicule physique sans perte de performance).

2. Méthodologie

Les auteurs proposent un cadre systématique utilisant le véhicule Girona AUV et une jumeau numérique haute fidélité.

A. Environnement de Simulation (Stonefish)

• Moteur de simulation : Utilisation du simulateur Stonefish, connu pour sa modélisation précise de l'hydrodynamique des AUV.
• Accélération de l'entraînement : Adaptation de Stonefish dans un cadre multiprocessus (20 threads d'entraînement + 1 thread d'évaluation). Cela permet d'accélérer la simulation jusqu'à 5 fois la vitesse réelle (selon la puissance CPU), bien que moins que des solutions comme MJX ou Isaac Sim, mais avec une fidélité physique supérieure (modèles de collision, bruit de capteurs).
• Environnement : Entraînement en mode « headless » (sans interface graphique) pour maximiser la vitesse, avec une interface graphique réservée à l'évaluation.

B. Configuration du Problème d'Amarrage

• Généralisation : Les positions de départ de l'AUV et de la station d'amarrage (DS) sont randomisées à chaque épisode pour éviter le surapprentissage à une trajectoire spécifique.
• Modélisation : La station d'amarrage est simplifiée pour ne conserver que les entonnoirs de guidage (tolérance de ±25 cm), omettant le cadre métallique externe pour des raisons de performance de calcul.
• Perception : Utilisation d'un servo-commande visuelle basée sur la position (3DBM - Three Dimensional Binary Marker). En mode « headless », le modèle de caméra est simplifié en une condition de visibilité, avec injection de bruit gaussien dynamique proportionnel à la distance pour simuler l'incertitude des capteurs réels.

C. Algorithme et Politique

• Algorithme : PPO (Proximal Policy Optimization) a été sélectionné pour sa stabilité et sa facilité de réglage dans les tâches de contrôle continu. Bien que SAC (Soft Actor-Critic) ait été testé, PPO a montré de meilleures performances lors des essais physiques.
• Espace d'État (Observation) : Vecteur incluant l'erreur de position relative ($e_x, e_y, e_z$), l'erreur de lacet ($e_\psi$), les vitesses linéaires/angulaires, les accélérations (IMU) et le bruit injecté pour simuler l'incertitude.
• Espace d'Action : Vecteur de forces et de couples ($F_x, F_y, F_z, T_r, T_p, T_\psi$) exprimés dans le repère du corps de l'AUV.
• Fonction de Récompense : Conception complexe combinant :
  • $r_{dist}$ : Récompense basée sur la distance (pénalisant les axes X et Y plus que Z).
  • $r_{angle}$ : Pénalité exponentielle pour l'erreur d'orientation (lacet).
  • $r_{smooth}$ : Pénalité pour les variations brutales entre les actions successives (lissage).
  • $r_{collision}$ : Pénalité adaptative basée sur les variations d'accélération (détection d'impact), avec un seuil dynamique pour éviter les pénalités multiples pour un même choc.
  • $r_{mission}$ : Récompense finale élevée pour la réussite, pénalité pour l'échec.

3. Contributions Clés

1. Adaptation Multiprocessus de Stonefish : Intégration réussie de Stonefish dans un cadre RL parallèle, accélérant considérablement l'apprentissage tout en conservant une haute fidélité hydrodynamique.
2. Environnement Haute Fidélité : Développement d'un jumeau numérique incluant la dynamique du véhicule, des modèles de collision précis et du bruit de capteur réaliste pour faciliter le transfert Sim-to-Réalité.
3. Intégration DRL/Servo-commande : Remplacement des systèmes de contrôle standard et des arbres de comportement par une politique DRL couplée au servo-commande de position.
4. Validation Physique : Démonstration réussie de l'amarrage autonome sur un AUV réel dans un bassin d'essai, validant l'efficacité de l'approche.

4. Résultats

A. Performance en Simulation

• Taux de réussite : Plus de 90 % de réussite à l'amarrage.
• Temps d'entraînement : Environ 3 heures sur un processeur Intel Core i7 avec une carte graphique RTX 4060.
• Comportements émergents : L'agent a appris des stratégies non programmées explicitement :
  • Utilisation du tangage (pitch) pour freiner et ralentir l'approche.
  • Oscillations de lacet (yaw) pour aider l'AUV à glisser et s'aligner mécaniquement dans la station d'amarrage.

B. Expériences en Bassin d'Essai (Test Tank)

• Configuration : Bassin de 19x9x5 m avec le Girona AUV réel.
• Résultats : Sur 10 missions exécutées, 8 ont été couronnées de succès (taux de réussite de 80 %).
• Comparaison Sim-Réel : Les trajectoires et les demandes de forces/torsions en réalité correspondent étroitement à la simulation. Les oscillations de lacet observées en simulation ont été reproduites avec succès en réalité, confirmant une adaptation Sim-to-Réalité efficace.
• Sécurité : Les forces ont été limitées à 25-50 % de la capacité maximale de l'AUV pour des raisons de sécurité lors des tests.

5. Signification et Conclusion

Cette recherche démontre qu'il est possible de combler le fossé Sim-to-Réalité pour les AUV en utilisant une simulation haute fidélité couplée à une ingénierie de récompense robuste.

• Robustesse : Le contrôleur DRL gère mieux le bruit des capteurs et les contacts physiques que les contrôleurs PID/MPC traditionnels, qui tendent à se déstabiliser dans ces conditions.
• Efficacité : L'approche permet de réduire la latence d'entraînement tout en produisant des politiques transférables.
• Perspectives : Les travaux futurs viseront à introduire des courants dynamiques et à randomiser la position des propulseurs pendant l'entraînement pour compenser les différences entre la simulation et la réalité physique.

En résumé, cet article valide une pipeline fiable pour le déploiement de contrôleurs autonomes basés sur l'IA dans des environnements sous-marins sensibles, en prouvant que des comportements tactiques complexes peuvent émerger et être transférés avec succès du virtuel au réel.