💻 computer science

OGR-MARL: Option-Guided Residual Multi-Agent Reinforcement Learning for Heterogeneous USV Cooperative Pursuit in Constrained Port Waterways

Cet article propose OGR-MARL, un cadre d'apprentissage par renforcement multi-agents résiduel découplé et guidé par des options qui améliore la poursuite coopérative de USV hétérogènes dans les voies navigables portuaires contraintes en permettant aux agents guidés par des règles d'apprendre des actions correctives, atteignant ainsi des taux de capture élevés et une généralisation zero-shot à travers divers noyaux MARL.

Auteurs originaux : Mao Jiayang, Wang Lanfeng, Peng Zhao-Han

Publié 2026-08-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mao Jiayang, Wang Lanfeng, Peng Zhao-Han

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les robots apprennent à penser et à agir non pas en suivant un manuel d'instructions rigide, mais en jouant à un jeu, en essayant des choses et en apprenant de leurs erreurs. C'est le cœur de l'Apprentissage par Renforcement Multi-Agents (MARL - Multi-Agent Reinforcement Learning). Voyez cela comme un groupe d'amis apprenant à jouer ensemble à un sport d'équipe complexe. Au lieu d'un seul entraîneur qui dit à tout le monde exactement quoi faire chaque seconde, chaque joueur observe le jeu, comprend ce que font ses coéquipiers et apprend les meilleurs mouvements par essais et erreurs. La partie « Multi-Agent » signifie simplement qu'il y a toute une équipe de ces robots apprenants travaillant ensemble, et non un simple loup solitaire.

Maintenant, imaginez que vous preniez cette équipe de robots apprenants et que vous les placiez dans un environnement très complexe et encombré : un port très fréquenté. C'est là que les choses se compliquent. Dans l'océan ouvert, les robots ont beaucoup d'espace pour se déplacer. Mais dans un port, ils doivent esquiver d'autres navires, éviter de heurter le rivage, suivre des voies de circulation strictes et travailler ensemble pour attraper un « évadé » rapide (un bateau qui tente de s'échapper). C'est une partie de chat perché à enjeux élevés où les règles sont strictes, l'espace est restreint et l'autre équipe est intelligente. Les scientifiques s'y intéressent car si nous pouvons apprendre aux robots à naviguer dans ces eaux encombrées et dangereuses de manière sûre et efficace, nous pourrions les utiliser pour des tâches du monde réel comme les patrouilles de sécurité, la surveillance environnementale ou la recherche et le sauvetage, sans risquer de vies humaines.

La grande idée de l'article : Le « Coach » et le « Joueur »

Cet article présente une nouvelle façon d'enseigner à ces équipes de robots comment jouer au jeu de « Attraper l'Évadé » dans un port très fréquenté. Les auteurs appellent leur nouveau système OGR-MARL. Pour comprendre ce qui le rend spécial, utilisons une analogie.

Imaginez que vous enseignez à un groupe de nouveaux joueurs de football comment jouer dans un petit jardin encombré. Si vous leur dites simplement : « Allez botter le ballon ! » et que vous les laissez se débrouiller seuls (ce qui est ce que fait souvent l'apprentissage de l'IA standard), ils pourraient passer des heures à courir contre la clôture, à se trébucher les uns sur les autres ou à envoyer le ballon chez le voisin. Ils pourraient ne jamais apprendre le jeu parce que les règles sont trop confuses et que les erreurs sont trop coûteuses.

D'un autre côté, si vous donnez un entraîneur strict qui leur dit exactement où courir et quand frapper, ils suivront les règles parfaitement. Mais voici le pièment : si l'autre équipe (l'évadé) change soudainement de stratégie ou court dans une direction bizarre, le plan de l'entraîneur strict peut échouer car il ne peut pas s'adapter assez rapidement.

OGR-MARL est le mélange parfait des deux. C'est comme avoir un entraîneur intelligent qui donne un plan de jeu général (l'« Option Guidance » ou Guidage par Option) tout en laissant les joueurs utiliser leur propre cerveau pour faire de petits ajustements rapides (le « Residual Learning » ou Apprentissage Résiduel).

Comment cela fonctionne : L'équipe de robots

Dans cette étude, l'équipe de robots est composée de différents types de bateaux, appelés USV (Véhicules de Surface Sans Équipage). Ils ne sont pas tous identiques ; c'est une équipe « hétérogène », ce qui signifie qu'ils ont des super-pouvoirs différents :

Les Éclaireurs : Ce sont des bateaux plus lents, mais ils ont de grands yeux (un immense rayon de détection). Leur travail est de repérer l'évadé de loin et de suivre sa position.
Les Intercepteurs : Ce sont des bateaux rapides avec de petits yeux. Ils ne voient pas loin, mais ils sont les seuls assez rapides pour réellement attraper l'évadé.

Le but est d'attraper l'évadé avant qu'il ne s'échappe du port, tout en respectant des règles strictes : ne pas heurter le rivage, ne pas entrer en collision avec d'autres navires de charge et rester dans les bonnes voies de circulation.

La recette secrète : L'apprentissage résiduel guidé par options

L'innovation principale de l'article est la façon dont elle combine le « Coach » et le « Joueur ».

Le Coach (Option Guidance) : Le système utilise un algorithme simple, basé sur des règles (comme une carte de base et un ensemble de lois de circulation), pour suggérer un objectif de haut niveau. Par exemple, le coach pourrait dire : « Éclaireur, va chercher la cible », ou « Intercepteur, déplace-toi pour bloquer la sortie ». Cela donne aux robots un point de départ sûr afin qu'ils ne perdent pas de temps à s'écraser contre les murs.
Le Joueur (Residual Learning) : C'est là que la magie de l'IA opère. Les robots ne se contentent pas de suivre aveuglément le coach. Ils possèdent un cerveau « résiduel » qui apprend à faire de minuscules ajustements correctifs. Si le coach dit « Va à gauche », mais que l'évadé part soudainement à droite, le cerveau du robot dit : « D'accord, je vais aller principalement à gauche, mais je vais ajuster légèrement mon angle vers la droite pour l'attraper ».

Cette partie « Résiduelle » est cruciale. Elle permet aux robots d'apprendre des comportements coopératifs complexes — comme les Éclaireurs gardant la cible en vue pendant que les Intercepteurs s'approchent furtivement pour l'attraper — sans avoir à tout apprendre à partir de zéro dans un environnement chaotique.

Ce qu'ils ont trouvé : Les résultats

Les chercheurs ont testé leur système OGR-MARL dans un port simulé (basé sur un lieu réel appelé Xiazhimen en Chine). Ils ont opposé leur nouveau système à des méthodes plus anciennes et ont obtenu des résultats passionnants :

Les anciennes méthodes ont eu du mal : Lorsqu'ils ont utilisé uniquement les règles strictes, les robots n'ont attrapé l'évadé que 35 % du temps. Lorsqu'ils ont utilisé uniquement l'apprentissage par IA sans l'aide du coach, le taux de réussite était catastrophique (parfois aussi bas que 1 % ou 2 %). L'IA se perdait, s'écrasait ou abandonnait.
La nouvelle méthode a réussi : Lorsqu'ils ont combiné le coach et l'IA, le taux de réussite a grimpé en flèche. La meilleure version de leur système, appelée OGR-MASAC, a réussi à attraper l'évadé 75 % du temps.
Elle a respecté les règles : Non seulement ils ont attrapé l'évadé plus souvent, mais ils ont aussi bien mieux respecté les règles du port. Ils ne se sont pas autant écrasés contre le rivage ou d'autres navires que les autres méthodes.
Cela a fonctionné sur une vraie carte (sans réentraînement) : La partie la plus impressionnante ? Les chercheurs ont pris le système entraîné sur une carte simple et abstraite et l'ont transposé directement sur une carte détaillée et réelle du port (en utilisant des données réelles de trafic maritime). Ils n'ont pas réentraîné les robots du tout. Même dans ce transfert « zero-shot », le système a quand même attrapé l'évadé environ 66,7 % du temps. Cela suggère que le système est assez intelligent pour gérer le désordre du monde réel sans avoir besoin d'être enseigné à nouveau.

Pourquoi cela importe

L'article suggère qu'en donnant aux robots d'IA un « filet de sécurité » composé de règles et d'objectifs de haut niveau, nous pouvons leur apprendre à résoudre des problèmes de travail d'équipe incroyablement difficiles beaucoup plus rapidement et plus de manière plus fiable. Il ne s'agit pas seulement de fabriquer des robots capables d'attraper un bateau ; il s'agit de créer un cadre où différents types de robots peuvent apprendre à travailler ensemble dans des environnements complexes du monde réel, comme des ports très fréquentés.

Bien que les résultats soient basés sur des simulations (et que le test du monde réel était encore une simulation utilisant des données réelles), les auteurs montrent que cette approche est une étape prometteuse. Elle comble le fossé entre la sécurité rigide basée sur les règles et l'IA flexible et intelligente, prouvant que parfois, la meilleure façon d'enseigner à un robot est de lui donner un peu de guidage et de laisser le reste de l'apprentissage se faire à la volée.

Résumé Technique : OGR-MARL pour la poursuite coopérative de USV hétérogènes

1. Formulation du Problème

L'article traite du défi de la poursuite coopérative de multi-USV (Véhicules de Surface Sans Équipage) hétérogènes au sein de voies navigables portuaires contraintes. Contrairement aux scénarios en haute mer, les environnements portuaires imposent des contraintes de navigation strictes, notamment des voies étroites, des zones de mouillage, des régions tampons et des flux de trafic bidirectionnels.

Le problème spécifique implique une équipe de quatre poursuivants hétérogènes chargés d'intercepter un évadé tentant de s'échapper vers une limite est. L'équipe se compose de :

Intercepteurs ( $P_1, P_2$ ) : USV à haute vitesse dotés d'une capacité de capture mais d'un rayon de détection limité.
Éclaireurs ( $P_3, P_4$ ) : USV plus lents avec de grands rayons de détection, chargés de maintenir la visibilité de la cible et de mettre à jour un état de croyance partagé.

L'évadé est modélisé comme un point de masse utilisant un planificateur global A* et un module de planification locale d'évitement de collision par Champ de Potentiel Artificiel (APF) pour naviguer autour des côtes, des navires de cargaison et des poursuivants. L'environnement est partiellement observable ; seuls les éclaireurs peuvent détecter l'évadé à longue portée, ce qui nécessite que l'équipe maintienne un état de croyance partagé qui décroît avec le temps s'il n'est pas mis à jour.

La difficulté centrale réside dans l'équilibre entre la conformité aux règles (éviter les côtes, les violations de trafic et les intrusions dans les zones de mouillage) et l'efficacité de la mission (capturer un évadé tactique capable de replanifier) sous une observabilité partielle et des dynamiques hétérogènes.

2. Méthodologie : OGR-MARL

Les auteurs proposent l'OGR-MARL (Option-Guided Residual Multi-Agent Reinforcement Learning), un cadre agnostique de l'algorithme conçu pour découpler les comportements guidés par des règles du processus d'apprentissage. Le cadre fonctionne sous un paradigme d'Entraînement Centralisé et d'Exécution Décentralisée (CTDE).

Composantes Architecturales Clés :

Couche de Guidage par Options :
- Un module léger basé sur des règles qui assigne des « options » de haut niveau (modes) aux agents en fonction de leur rôle, de la confiance de leur croyance et de leur état de conformité aux règles.
- Options : {recherche (search), suivi (track), interception (intercept), blocage (block), récupération (recover)}.
- Fonction : Les éclaireurs choisissent recherche ou suivi pour maintenir la couverture ; les intercepteurs choisissent interception ou blocage pour former des manœuvres de pincement ; récupération guide les agents loin des violations.
- Cette couche génère une cible géométrique et une action de haut niveau ( $a^{opt}$ ) indépendamment de l'algorithme MARL spécifique utilisé.
Apprentissage de Politique Résiduelle :
- Un noyau MARL générique (ex: MADDPG, MATD3, MAPPO, MASAC) apprend une action résiduelle ( $a^{rl}$ ) conditionnée par les observations locales.
- L'action finale exécutée ( $a_i$ ) est un mélange borné entre l'action de l'option guidée par la règle et l'action résiduelle apprise :
  $a_i = \text{clip}((1 - \beta_i)a^{rl}_i + \beta_i a^{opt}_i, -1, 1)$
- Cela permet à l'agent MARL d'apprendre des actions correctives (timing, ajustements de mouvement local, coordination) sur la base de priors sûrs et conformes aux règles, plutôt que d'explorer l'environnement contraint à partir de zéro.
Récompense Structurée et Apprentissage par Curriculum :
- Façonnage de la Récompense (Reward Shaping) : La fonction de récompense ( $r_{ind}$ $r_{in d}$ ) est décomposée en :
  - Progrès de la tâche : Encourage le départ du port, le suivi et la formation de pincement.
  - Conformité aux règles : Pénalise l'intrusion dans les côtes/zones de mouillage et les violations de trafic.
  - Rôle Hétérogène : Favorise les comportements complémentaires (éclaireurs assurant le suivi, intercepteurs réduisant la distance).
  - Terminale : Récompense la capture ou pénalise l'évasion/le dépassement de temps.
- Apprentissage par Curriculum : L'entraînement se déroule à travers cinq étapes ( $S_0$ à $S_4$ ), augmentant progressivement la vitesse de l'évadé, resserrant le rayon de capture et renforçant les pénalités de règles pour guider les agents des comportements de base vers une coordination précise et conforme.

3. Principales Contributions

L'article présente trois contributions principales :

Scénario de Référence : L'établissement d'un scénario réaliste de voie navigable portuaire contrainte (abstraction du port de Xiazhimen) présentant des USV hétérogènes, un trafic mobile, des zones de mouillage et une observabilité partielle.
Cadre OGR-MARL : La proposition d'un cadre agnostique de l'algorithme qui intègre la croyance partagée de l'évadé, des cibles d'options conditionnées par le rôle, des pénalités de règles adaptatives et un apprentissage de politique résiduelle. Il permet à différents noyaux MARL d'apprendre des actions correctives sur des comportements guidés par des règles.
Évaluation Complète : Une évaluation rigoureuse impliquant des comparaisons de noyaux, des études d'ablation de récompense et un transfert zero-shot vers une carte réelle informée par QGIS et l'AIS (Système d'Identification Automatique).

4. Résultats Expérimentaux

Les expériences ont été menées dans un domaine abstrait de 1000x400 et transférées vers une carte réelle sans réentraînement.

Comparaison de Performance :
- Les contrôleurs purement basés sur des règles ont atteint un taux de capture de 35,0 %.
- Les bases MARL pures (sans guidage par option) ont mal performé (taux de capture de 1,0 % à 16,0 %), peinant face aux récompenses éparses et aux violations de règles.
- Les variantes OGR-MARL ont nettement surpassé leurs homologues pures.
- OGR-MASAC (instancié avec Soft Actor-Critic) a obtenu la meilleure performance avec un taux de capture de 75,0 %, le coût de temps de tâche moyen le plus bas (121,94s) et le score de coordination hétérogène le plus élevé (HCS : 0,6802).
- L'OGR-MATD3 a également montré une amélioration significative, passant de 1,0 % à 59,0 %.
Études d'Ablation :
- La suppression des récompenses de règles ou de rôles a considérablement dégradé les performances (ex: OGR-MASAC sans règles est tombé à 31,0 % de SR), confirmant la nécessité de récompenses structurées dans les environnements contraints.
Transfert Zero-Shot :
- Lors du transfert vers une carte réelle de Xiazhimen informée par QGIS/AIS, l'OGR-MASAC a atteint un taux de capture de 66,67 %.
- Bien que inférieur à la simulation abstraite, cela démontre un potentiel de généralisation malgré les défis tels que les côtes courbes et les modèles de trafic irréguliers.
Analyse d'Échec :
- Les échecs étaient principalement attribués à une interception terminale de rapprochement inefficace plutôt qu'à une perte totale de visibilité de la cible. Les épisodes réussis montraient des intercepteurs se rapprochant significativement plus de l'évadé (distance moyenne 4,17) par rapport aux épisodes échoués (8,19).

5. Signification et Revendications

L'article affirme que l'OGR-MARL comble efficacement le fossé entre l'interprétabilité des méthodes basées sur des règles et l'adaptabilité de l'apprentissage par renforcement. En découplant l'algorithme MARL de la logique de contrôle spécifique, le cadre permet aux agents de :

Apprendre des actions correctives sur la base de comportements sûrs et guidés par des règles, évitant l'inefficacité de l'exploration d'environnements contraints à partir de zéro.
Atteindre une coordination hétérogène où les éclaireurs et les intercepteurs remplissent des rôles complémentaires de manière efficace.
Se généraliser à des scénarios portuaires réels complexes via le transfert zero-shot, suggérant que le cadre est robuste aux variations environnementales sans réentraînement.

Les auteurs concluent que bien que la méthode soit prometteuse, les travaux futurs devraient se concentrer sur l'amélioration de l'efficacité d'échantillonnage à l'aide de modèles de monde (world models) et sur la validation des performances dans des environnements maritimes physiques ou plus réalistes.