Résumé Technique : Contrôle Multiplateforme pour Véhicules de Surface Autonomes via l'Apprentissage par Renforcement Adaptatif

1. Énoncé du Problème

Les véhicules de surface autonomes (ASV - Autonomous Surface Vehicles) présentent une grande diversité de caractéristiques hydrodynamiques et d'actionnement. Les stratégies de contrôle actuelles font face à un goulot d'étranglement lors du déploiement :

• Les contrôleurs basés sur des modèles (ex: MPC) nécessitent une identification précise du système et un réglage spécifique à chaque plateforme, ce qui est laborieux pour des flottes hétérogènes.
• Les approches classiques d'apprentissage par renforcement (RL) se concentrent généralement sur une plateforme unique et fixe ou sur un simulateur qui doit capturer avec précision la dynamique spécifique de la cible. Le déploiement de ces politiques sur un nouveau navire nécessite généralement une ré-identification et un ré-entraînement.

Le défi central consiste à développer un contrôleur généraliste unique capable d'un déploiement "zero-shot" sur différentes plateformes d'ASV de même classe, sans connaissance préalable de la dynamique de la plateforme de déploiement ni de réglage fin par plateforme. Cela est formulé comme un problème d'observabilité partielle, où la dynamique réelle du système ($\theta$) est inconnue au moment du déploiement, rendant l'état partiellement observable malgré la nature markovienne de la physique sous-jacente.

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage par renforcement adaptatif utilisant une architecture Enseignant-Étudiant pour inférer les dynamiques latentes à partir de l'historique d'interaction.

A. Dynamique du Système et Formulation

• Modèle : Le système utilise un modèle simplifié à 3 degrés de liberté (3-DoF : translation longitudinale, translation latérale, lacet) dans le plan horizontal, basé sur la formulation de Fossen. La dynamique est paramétrée par sept paramètres physiques ($\theta$), incluant la masse, les coefficients de masse ajoutée, l'amortissement linéaire et l'inertie.
• Formulation MDP : Le suivi de trajectoire est formulé comme un processus de décision markovien partiellement observable (POMDP). L'état $s_t$ est observable, mais le paramètre de dynamique $\theta$ ne l'est pas. La politique se conditionne sur l'historique d'interaction pour restaurer une markovianité approximative.
• Espace d'Action : La politique produit des commandes de force et de couple normalisées dans le référentiel du corps ($\bar{\tau} \in [-1, 1]^3$). Celles-ci sont mises à l'échelle selon les limites d'actionnement spécifiques à la plateforme lors du déploiement, découplant ainsi la politique des magnitudes de force absolues.

B. Architecture Enseignant-Étudiant

L'approche utilise un pipeline d'entraînement en deux phases inspiré de l'apprentissage privilégié :

1. Phase 1 : Entraînement de l'Enseignant (Apprentissage Privilégié)

   • Une politique "Enseignant" est entraînée en simulation avec accès à un vecteur privilégié $e \in \mathbb{R}^9$. Ce vecteur encode les paramètres de dynamique normalisés (accélérations de pointe, taux d'amortissement et coefficients de couplage de Coriolis) dérivés des équations du mouvement à 3-DoF.
   • L'enseignant apprend une représentation latente $z = \mu(e)$ de la dynamique du système.
   • L'entraînement utilise l'Optimisation de Politique Proximale (PPO) avec une randomisation de domaine sur une large gamme de paramètres de dynamique.

2. Phase 2 : Entraînement de l'Étudiant (Adaptation)

   • Le vecteur privilégié $$e$$ est supprimé. L'encodeur $\mu$ est remplacé par un module Adaptateur $\phi$.
   • L'Adaptateur, implémenté sous la forme d'une unité récurrente de type GRU suivie d'un MLP, estime la représentation latente $\hat{z}$ uniquement à partir de l'historique d'interaction $h_t$ (différences d'état récentes, vitesses et actions normalisées).
   • La politique de l'Étudiant (l'acteur figé de l'Enseignant) est conditionnée par l'estimation $\hat{z}$ de l'Adaptateur.
   • L'Adaptateur est entraîné via un apprentissage supervisé pour minimiser l'erreur de reconstruction $\|\hat{z} - z\|^2$, où $z$ est la vérité terrain latente de la Phase 1.

C. Configuration de l'Entraînement

• Simulation : L'entraînement repose sur un modèle de dynamique analytique léger plutôt que sur un simulateur hydrodynamique haute fidélité.
• Curriculum : Un curriculum progressif augmente la difficulté en élargissant la plage de paramètres de dynamique randomisés et la complexité des trajectoires (passant de lignes droites à des virages serrés).
• Perturbations : Les perturbations environnementales (courants, vent, vagues) sont modélisées par des processus d'Ornstein–Uhlenbeck. Les délais d'actionnement sont randomisés.
• Récompense : Une fonction de récompense composite inclut des termes pour le suivi de la position, du cap et de la vitesse, ainsi que des bonus auxiliaires pour le mouvement vers l'avant et des pénalités pour la dérive latérale, l'excès de lacet, et la magnitude ou la fluidité des actions.

3. Contributions Clés

1. Politique Cross-Plateforme Zero-Shot : Première démonstration d'une politique RL unique déployée zero-shot sur plusieurs plateformes d'ASV distinctes (même classe, dynamiques différentes) sans ré-entraînement ni identification du système.
2. Adaptation Enseignant-Étudiant : Adaptation du cadre enseignant-étudiant de la locomotion des robots quadrupèdes à la robotique marine, permettant l'inférence de la dynamique latente uniquement à partir de l'historique d'interaction.
3. Pipeline d'Entraînement Simplifié : La méthode atteint de hautes performances en utilisant uniquement un modèle analytique simple à 3-DoF, évitant le coût computationnel et la complexité des simulateurs hydrodynamiques haute fidélité.
4. Interprétabilité : L'espace latent appris capture efficacement les dynamiques pertinentes, l'analyse en composantes principales montrant que le latent à 9 dimensions occupe un sous-espace de faible dimension.

4. Résultats Expérimentaux

A. Expériences Réelles

Les expériences ont été menées sur deux plateformes physiques distinctes (Plateforme A et Plateforme B) présentant des différences de masse, d'inertie et de limites d'actionnement.

• Performance : La politique Étudiante adaptative a atteint une Erreur Absolue Moyenne (MAE) de Position de 4,0 cm sur les deux plateformes.
• Comparaison :
  • Elle a surpassé la baseline PPO générale non-adaptative jusqu'à 58% (Plateforme B : 4,0 cm vs 9,5 cm).
  • Elle a surpassé la baseline PPO spécifique à la plateforme (entraînée uniquement sur une plateforme) en termes d'erreur de position.
  • Elle s'est approchée de la précision de suivi d'un contrôleur prédictif basé sur le modèle (MPC) ajusté spécifiquement à la plateforme (Étudiant : 4,0 cm vs MPC : 4,1–4,6 cm).
• Cap (Heading) : L'Étudiant a obtenu une précision de cap comparable ou supérieure aux baselines non-adaptatives.

B. Expériences de Simulation

Les simulations sur cinq plateformes (incluant des variantes de Roboat) sous conditions idéales ont confirmé les résultats du monde réel :

• L'Étudiant a réduit l'erreur de position de 44% et l'erreur de cap de 55% par rapport à la PPO générale non-adaptative.
• L'Étudiant a performé de manière presque identique à la politique "Enseignant" (oracle), validant que l'Adaptateur récupère avec succès l'information latente nécessaire.
• Les études d'ablation ont montré que remplacer la sortie de l'Adaptateur par un latent moyen statique ("Étudiant avg. z") doublait plus que l'erreur de suivi, confirmant la nécessité d'une adaptation en ligne.

5. Signification et Revendications

L'article affirme que ce travail fournit une recette pratique pour le contrôle généraliste d'ASV. En se conditionnant sur l'historique d'interaction, une politique unique peut se généraliser à une flotte hétérogène de navires sans la surcharge d'ingénierie liée au réglage ou à l'identification par plateforme.

• Efficacité : L'ensemble du pipeline d'entraînement (phases Enseignant et Étudiant) se termine en environ 30 minutes sur un seul GPU grand public (NVIDIA RTX 4090).
• Scalabilité : L'approche élimine le "goulot d'étranglement par plateforme", permettant le déploiement de flottes hétérogènes via une stratégie de contrôle unifiée.
• Modestie sur les Limites : Les auteurs reconnaissent que le modèle actuel de l'amortissement linéaire à 3-DoF est valide pour les régimes de déplacement à basse vitesse. L'adaptateur gère les effets dépendants de la vitesse (comme la traînée quadratique) en ré-estimant l'amortissement effectif dans la plage randomisée, mais l'approche ne couvre pas encore le régime de déjaugement à haute vitesse ou les couplages forts entre le pilonnement, le roulis et le tangage. Des travaux futurs sont suggérés pour une adaptation continue en ligne et une intégration plus étroite avec les objectifs de contrôle basés sur les modèles.