🤖 machine learning

Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning

Cet article propose un cadre de blindage compositionnel basé sur des contrats pour l'apprentissage par renforcement multi-agents qui garantit des garanties de sécurité déterministes et rétablit un comportement optimal pour l'équipe lors de l'exécution décentralisée en certifiant des tuples d'obligations LTL locales via un sélecteur de bandits multi-bras non stationnaire.

Auteurs originaux : Omar Adalat, Edwin Hamel-De le Court, Francesco Belardinelli

Publié 2026-06-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Omar Adalat, Edwin Hamel-De le Court, Francesco Belardinelli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formez une équipe de robots pour travailler ensemble, comme une escouade de drones livrant des colis ou des robots organisant un entrepôt. L'objectif est qu'ils apprennent à faire leur travail le plus rapidement et le plus efficacement possible. Cependant, il y a un piège : s'ils commettent une erreur, ils pourraient s'entrechoquer ou casser quelque chose.

Le problème est que ce qui est « sûr » pour un robot dépend souvent de ce que font les autres robots. Si le Robot A se déplace vers la gauche, c'est sûr. Mais si le Robot B se déplace aussi vers la gauche au même moment, ils s'entrechoquent.

L'ancienne méthode : Le parent surprotecteur

Traditionnellement, pour garder les robots en sécurité, les chercheurs utilisaient un « bouclier central ». Imaginez cela comme un parent strict surveillant toute l'équipe. Le parent voit chaque mouvement possible et dit : « D'accord, tu peux aller à gauche, mais seulement si tu es absolument certain que personne d'autre ne va aller à gauche. »

Pour être en sécurité, ce parent devient souvent trop prudent. Ils peuvent dire : « Je ne peux laisser personne aller à gauche, juste au cas où », parce qu'ils ne peuvent pas prédire parfaitement les autres robots. Cela empêche les robots d'effectuer les mouvements coordonnés et ingénieux qui permettraient de terminer la tâche rapidement. C'est comme un parent qui dirait à un groupe d'enfants : « Ne jouez pas au chat et à la souris parce que quelqu'un pourrait trébucher », de sorte qu'ils restent simplement assis sans rien faire. Ils sont en sécurité, mais ils n'apprennent pas et ne s'amusent pas.

La nouvelle méthode : Le système de « Contrat »

Ce document présente une manière plus intelligente de garder l'équipe en sécurité sans être aussi restrictif. Ils appellent cela le Blindage Compositionnel Basé sur des Contrats (Contract-Based Compositional Shielding).

Voici comment cela fonctionne, en utilisant une analogie simple :

1. Le contrat de l'équipe
Au lieu d'un seul grand livre de règles, l'équipe se met d'accord sur un ensemble de contrats locaux.

Le Robot A dit : « Je promets de toujours rester du côté gauche de la pièce. »
Le Robot B dit : « Je promets de toujours rester du côté droit de la pièce. »

Ce sont des « obligations locales ». Ce sont des promesses simples que chaque robot fait concernant son propre comportement.

2. La vérification magique (Certification)
Avant même que les robots ne commencent à apprendre, un ordinateur vérifie si ces promesses fonctionnent ensemble. Il demande : « Si le Robot A tient sa promesse et que le Robot B tient sa promesse, est-ce qu'ils ne s'entrechoqueront jamais ? »

Si la réponse est OUI, le contrat est « certifié ».
Si la réponse est NON, le contrat est rejeté.

C'est la partie « circulaire ». Le Robot A dépend de la promesse du Robot B, et le Robot B dépend de la promesse du Robot A. Tant que l'ordinateur prouve que les deux promesses ensemble garantissent la sécurité, l'équipe est prête.

3. Les boucliers locaux
Une fois le contrat certifié, chaque robot reçoit son propre petit « bouclier » (un filtre).

Le bouclier du Robot A ne regarde que les mouvements du Robot A. Il dit : « Tu peux aller à gauche, à droite ou en avant, tant que tu restes du côté gauche. » Il n'a pas besoin de savoir ce que fait le Robot B car il fait confiance au contrat du Robot B.
Le Robot B reçoit un bouclier similaire.

Parce que les boucliers sont basés sur ces promesses de confiance, le Robot A est autorisé à faire des choses que l'ancien « parent strict » aurait interdites. Le Robot A peut se déplacer vers la gauche parce qu'il sait que le Robot B a promis de rester à droite. Cela permet à l'équipe d'effectuer les mouvements coordonnés et rapides qui étaient auparavant impossibles.

Le processus d'apprentissage : Le sélecteur de type « Jeu télévisé »

Le document décrit également comment les robots apprennent à choisir le meilleur contrat.
Imaginez que les robots possèdent une bibliothèque de différents contrats (par exemple, « Rester à gauche », « Rester à droite », « Bouger lentement », « Bouger vite »).

Ils essaient un contrat pendant un certain temps.
Ils observent leurs résultats (ont-ils livré le colis ? ont-ils eu un accident ?).
Un « sélecteur » (comme un animateur de jeu télévisé) choisit le contrat qui a donné les meilleurs résultats jusqu'à présent et s'y tient.
Si un contrat ne fonctionne plus bien, ils passent à un nouveau contrat de la bibliothèque.

Crucialement, ils ne passent que à des contrats qui ont déjà été certifiés comme sûrs. Ils ne testent jamais un contrat basé sur une « supposition sauvage » qui n'a pas été vérifié. Cela signifie qu'ils peuvent apprendre et améliorer leur vitesse sans jamais risquer un accident.

Les résultats

Les auteurs ont testé cela sur six scénarios de robots différents (comme des robots d'entrepôt et des essaims de drones). Ils ont constaté que :

Sécurité : Les robots ne se sont jamais entrechoqués car les contrats étaient mathématiquement prouvés comme étant sûrs.
Performance : Les robots ont appris à mieux travailler ensemble que la méthode de l'ancien « parent strict ». Ils ont retrouvé la méthode « optimale » (la meilleure possible) pour se coordonner, ce que les anciennes méthodes avaient abandonnée.

Résumé

En bref, ce document résout le problème de « comment permettre aux robots de se coordonner sans qu'un chef central ne micro-gère chaque mouvement ? »

Ancienne méthode : « Ne bougez pas tant que je ne dis pas que c'est 100 % sûr pour tout le monde. » (Trop lent, trop prudent).
Nouvelle méthode : « Tu promets de faire X, je promets de faire Y. Si nous tenons tous les deux nos promesses, nous sommes en sécurité. Allons faire notre travail rapidement ! » (Rapide, coordonné et toujours sûr !).

Le document prouve que cette approche par « contrat » permet à des équipes de robots d'apprendre un travail d'équipe complexe et sûr sans avoir besoin d'un contrôleur central pour les surveiller à chaque seconde.

Résumé Technique : Blindage Compositionnel Basé sur des Contrats pour l'Apprentissage par Renforcement Multi-Agent Sécurisé

Énoncé du Problème

Dans l'apprentissage par renforcement multi-agent (MARL) coopératif, garantir la sécurité pendant l'entraînement et le déploiement est un défi lorsque les contraintes de sécurité globales ne peuvent pas être imposées unilatéralement par un seul agent. Dans les « problèmes de coordination sécurisés », l'admissibilité de l'action d'un agent dépend des politiques non stationnaires de ses coéquipiers. Les approches standard reposent souvent sur un blindage centralisé, qui calcule une relation d'action sûre globale, ou sur un masquage unilatéral (factorisé), où chaque agent restreint indépendamment ses actions en se basant sur des hypothèses de pire cas.

Le papier identifie une limitation critique du masquage unilatéral : il rejette souvent des comportements sûrs optimaux qui nécessitent une coordination. Comme l'illustre l'exemple de motivation du papier (Figure 1), si l'action sûre de l'Agent A dépend du choix d'une action spécifique par l'Agent B, un masque unilatéral pur interdira l'action de l'Agent A pour rester sûr face à toutes les actions possibles de l'Agent B. Cela conduit à une « décomposition cartésienne conservatrice » qui exclut des actions conjointes coordonnées sûres et à haut rendement. L'objectif est d'atteindre une exécution décentralisée (où les agents agissent sur la base d'informations locales) tout en récupérant un comportement sûr optimal pour l'équipe sans revenir à un contrôle centralisé au moment de l'exécution.

Méthodologie

Les auteurs proposent le Blindage Compositionnel Basé sur des Contrats, un cadre qui décompose une spécification de sécurité globale partagée en contrats temporels locaux. La méthodologie se compose de trois phases principales :

1. Cadre Formel et Hypothèses

Spécification Globale : La sécurité est définie par une formule globale unique $\Phi_{safe}$ dans le fragment de sécurité de la Logique Temporelle Linéaire ( $LTL_{safe}$ ).
Contrats Locaux : La spécification globale est décomposée en un tuple d'obligations locales $C = \langle \phi_i \rangle_{i=1}^n$ , où chaque $\phi_i$ est une formule $LTL_{safe}$ sur l'alphabet local de l'agent $i$ .
Assume-Guarantee Circulaire : Contrairement aux travaux précédents qui nécessitent des structures de dépendance acycliques, cette approche permet des hypothèses circulaires. L'agent $i$ suppose que tous les autres agents $j \neq i$ satisfont leurs obligations $\phi_j$ . Cette circularité n'est pas résolue par un ordre fixe, mais par la certification simultanée de l'ensemble du tuple.

2. Synthèse du Blindage (Hors ligne)

Le processus de synthèse construit une bibliothèque de contrats certifiés :

Construction d'Automates : Chaque obligation locale $\phi_i$ est compilée en un automate de sécurité déterministe $A^C_i$ avec un ensemble d'« états mauvais » représentant les violations.
Produit de Contrats : Un automate produit global est construit sur l'espace d'états $S \times Q_1 \times \dots \times Q_n$ .
Certification par Point Fixe : Les auteurs calculent un plus grand point fixe (la « région gagnante rectangulaire » $Win^\square_C$ $W i n_{C}^{□}$ ) en utilisant un opérateur de prédécesseur assume-guarantee. Cette région représente les états à partir desquels un produit cartésien non vide de masques d'actions locaux (un « rectangle ») peut être maintenu de telle sorte que :
1. L'action conjointe reste dans la région gagnante.
2. Aucun état mauvais n'est atteint.
Critères de Certification : Un tuple de contrat est « certifié » si :
1. La conjonction des obligations locales entraîne sémantiquement l'objectif de sécurité globale ( $C \models^\uparrow \Phi_{safe}$ ).
2. L'état initial du système se trouve dans la région gagnante calculée.
Projection : Une fois certifiée, la région gagnante est projetée pour générer des masques d'actions locaux pour chaque agent. Ces masques sont « localement identifiables par masque », ce qui signifie qu'un agent peut déterminer ses actions autorisées en utilisant uniquement son historique d'observation locale et l'identifiant du contrat actif, sans reconstruire les masques des autres agents.

3. Apprentissage et Sélection (En ligne)

Construction de la Bibliothèque : Avant l'entraînement, une recherche bornée énumère des tuples de contrats candidats (limités par la profondeur de la formule et un langage fini). Chaque candidat est testé pour certification. L'ensemble des tuples réussis forme la Bibliothèque Certifiée ( $\mathcal{L}_{cert}$ ).
Sélectionneur Bandit : Pendant l'entraînement, un algorithme de bandit multi-bras non stationnaire sélectionne le contrat à appliquer pour un bloc d'entraînement donné.
- Chaque contrat agit comme un « bras ».
- Le sélectionneur optimise le rendement de l'équipe tout en garantissant la sécurité.
- Il utilise une stratégie de Borne Supérieure Discountée (D-UCB) pour s'adapter à la nature non stationnaire du processus d'apprentissage (à mesure que les politiques s'améliorent, la valeur de différents contrats change).
Garantie de Sécurité : Le Théorème 3 garantit que tant que le sélectionneur ne change de contrat qu'aux limites des épisodes et choisit toujours parmi la bibliothèque pré-certifiée, le système reste sûr de bout en bout.

Contributions Clés

Le papier présente quatre contributions principales :

Décomposition et Compilation : Une méthode pour décomposer une spécification $LTL_{safe}$ globale partagée en obligations locales candidates et les compiler en automates de sécurité déterministes pour la synthèse du blindage.
Correction Formelle et Récupérabilité : Des garanties formelles pour le blindage décentralisé basées sur le raisonnement assume-guarantee circulaire et les points fixes de produits de contrats. Les auteurs prouvent que si la politique déterministe sûre optimale est représentable par un contrat dans la bibliothèque, le cadre peut la récupérer.
Optimisation sous Certification : Un mécanisme utilisant la recherche de profils certifiés bornée et la sélection D-UCB pour réduire le conservatisme. Cela permet au système de sélectionner des contrats qui exposent des comportements coordonnés à haut rendement sans sacrifier la sécurité déterministe.
Évaluation Empirique : Évaluation étendue à travers 6 environnements multi-agents coopératifs (incluant Flatland, RWARE et Pressure Plate) et 15 variantes algorithmiques, démontrant l'efficacité de l'approche.

Résultats

L'évaluation empirique compare le Contract-IPPO et le Contract-IQL proposés par rapport aux algorithmes MARL standards (IPPO, IQL, MAPPO) et à divers benchmarks de blindage (blindages unilatéraux, blindages centralisés).

Performance : Dans les environnements où les masques factorisés unilatéraux sont trop conservateurs (ex: RWARE, Pressure Plate, Connector), le blindage basé sur des contrats améliore significativement le rendement de l'équipe, convergeant vers la performance des blindages centralisés (comme Shielded-Joint-PPO).
Sécurité : La sécurité est structurellement imposée ; les courbes de la Figure 4 mesurent le rendement conservé, impliquant que les violations de sécurité sont empêchées par les masques eux-mêmes.
Scalabilité : Dans les environnements les plus larges, la recherche bornée a considéré jusqu'à 12 001 profils, dont 390 ont été certifiés comme sûrs, démontrant la faisabilité de l'approche d'énumération hors ligne.
Constatations Spécifiques : Dans l'environnement « Pressure Plate », les blindages factorisés standards forçaient le coureur à rester en dehors des zones de portes protégées pour être sûr face à tout comportement du porteur. L'approche basée sur les contrats a permis au coureur de traverser en se fiant à l'engagement certifié des porteurs à rester sur leurs plaques, récupérant ainsi le comportement coordonné optimal.

Signification et Revendications

Le papier affirme traiter le compromis fondamental en MARL sécurisé entre exécution décentralisée et coordination optimale.

Récupération de la Coordination : Les auteurs affirment que leur méthode récupère un « comportement sûr optimal pour l'équipe » qui est typiquement perdu par les blindages purement factorisés (unilatéraux). En permettant aux agents de s'appuyer sur des hypothèses circulaires certifiées simultanément, le système évite la « décomposition cartésienne conservatrice » qui rejette des actions conjointes sûres.
Sécurité de Bout en Bout : Le cadre sépare l'adaptation de la récompense (apprentissage) de l'imposition de la sécurité (blindage). Le processus d'apprentissage peut explorer et optimiser à l'intérieur des limites des contrats pré-certifiés, garantissant qu'aucun comportement non sûr n'est admis pendant l'entraînement ou le déploiement.
Portée Modeste : Le papier est modeste quant à ses limites. Il reconnaît que la capacité à récupérer l'optimum global dépend de la représentabilité de la politique optimale au sein de la bibliothèque finie de contrats locaux. Si le langage des contrats n'est pas assez expressif (par exemple, si la profondeur $D$ est trop faible) pour capturer la coordination nécessaire, le système ne peut pas récupérer l'optimum global. De plus, l'approche actuelle repose sur une énumération exhaustive (bien que bornée) des contrats, et des travaux futurs sont suggérés pour explorer des heuristiques de recherche de contrats quasi-optimaux sans énumération complète.

En résumé, le papier présente une approche rigoureuse et formellement vérifiée pour le MARL sécurisé qui permet aux agents décentralisés de se coordonner efficacement sans contrôle centralisé au moment de l'exécution, comblant ainsi le fossé entre la vérification formelle et l'optimisation par apprentissage par renforcement.