🤖 machine learning

Distributionally Robust and Safe Imitation Learning

Cet article propose un cadre unifié d'apprentissage par imitation robuste à la distribution et sûr qui combine l'apprentissage par imitation par série de Taylor et le contrôle adaptatif robuste à la distribution afin d'atténuer les décalages de distribution induits par la politique et par l'incertitude, garantissant des performances sûres et efficaces dans des environnements incertains comme le démontre une étude de cas sur un UAV.

Auteurs originaux : Ahmed Aboudonia, Naira Hovakimyan

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ahmed Aboudonia, Naira Hovakimyan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot une tâche complexe, comme faire voler un drone à travers une forêt ou conduire une voiture dans le trafic urbain. Vous ne voulez pas écrire des milliers de lignes de code pour dire au robot exactement quoi faire à chaque seconde ; à la place, vous voulez qu'il apprenne en observant un expert humain. C'est le monde de l'Apprentissage par Imitation. Considérez cela comme un étudiant qui suit l'ombre d'un chef cuisinier : l'étudiant regarde le maître couper les légumes et retourner les crêpes, puis essaie de copier les mouvements.

Cependant, il existe un problème délicat. Si l'étudiant commet une petite erreur au début — par exemple, en coupant une carotte légèrement trop épaisse — il pourrait être confus plus tard, ce qui entraînerait une cascade d'erreurs gâchant tout le repas. Dans le monde de la robotique, c'est ce qu'on appelle le décalage de distribution (distribution shift) : le robot se retrouve dans des situations que l'expert n'a jamais vues et, parce qu'il n'a appris à copier l'expert que dans des conditions parfaites, il panique. De plus, le monde réel est désordonné. Le vent peut souffler, le sol peut être glissant ou les capteurs peuvent dysfonctionner. Ce sont les incertitudes. Si un robot apprend uniquement dans une simulation calme et ensoleillée, il pourrait s'écraser dès qu'il fait face à une rafale de vent. C'est pourquoi les chercheurs sont désespérément déterminés à construire des robots qui ne se contentent pas de copier les experts, mais qui les copient de manière sûre et robuste, même quand les choses tournent mal.

La grande idée du papier : Le drone « Super-Étudiant »

Dans cet article, Ahmed Aboudonia et Naira Hovakimyan proposent une nouvelle façon d'enseigner aux robots qui agit comme un « super-étudiant » qui apprend non seulement à copier, mais aussi à comprendre le pourquoi et le et si derrière les mouvements. Ils appellent leur méthode un cadre d'Apprentissage par Imitation Distributionnellement Robuste et Sûr (Distributionally Robust and Safe Imitation Learning framework).

Pour comprendre ce qu'ils ont fait, imaginez que vous apprenez à faire du vélo.

Apprentissage standard (Clonage de comportement) : Vous regardez un cycliste professionnel et essayez de copier ses mouvements corporels exacts. Si vous vacillez, vous pourriez tomber parce que vous n'avez pas appris comment corriger le vacillement.
Le premier tour de main du papier (TaSIL) : Les auteurs utilisent une technique appelée Apprentissage par Imitation par Séries de Taylor (TaSIL). Au lieu de simplement copier la position du cycliste, le robot apprend à copier les dérivées du cycliste. En langage clair, il apprend non seulement où se trouve le cycliste, mais aussi à quelle vitesse il tourne, à quelle vitesse il accélère et comment ces changements évoluent. C'est comme apprendre le « flux » du mouvement, et non pas seulement une image figée. Cela aide le robot à rester sur sa trajectoire même s'il dévie légèrement de sa course.
Le second tour de main du papier (L1-DRAC) : Mais qu'en est-il s'il y a une rafale de vent soudaine ? Le robot a besoin d'un filet de sécurité. Les auteurs ajoutent une couche appelée Contrôle Adaptatif Distributionnellement Robuste L1 (L1-DRAC). Voyez cela comme un copilote invisible et ultra-rapide. Si le vent pousse le drone, ce copilote calcule instantanément la correction nécessaire pour maintenir le drone sur sa trajectoire prévue, « annulant » ainsi l'effet du vent avant même que le drone ne s'aperçoive de sa présence.

Le nouveau tournant : Apprendre avec un filet de sécurité

La véritable innovation de ce papier réside dans la manière dont ils ont combiné ces deux idées pour gérer simultanément l'incertitude et la sécurité.

Habituellement, lorsqu'un robot apprend d'un expert, il essaie de correspondre exactement au chemin de l'expert. Mais que se passe-t-il si le chemin de l'expert passe juste à côté d'une falaise et que le vent souffle ? Un robot intelligent ne devrait pas copier aveuglément l'expert vers la falaise. Les auteurs ont réalisé que les méthodes d'apprentissage standard ne tiennent pas compte du fait que le « monde réel » pourrait être légèrement différent du « monde d'entraînement ».

Ils ont créé un nouveau jeu d'entraînement pour le robot :

La « Boule du pire scénario » : Au lieu de simplement apprendre à partir du chemin exact emprunté par l'expert, le robot imagine une « boule » de chemins possibles autour du chemin de l'expert. Cette boule représente toutes les façons possibles dont le vent ou les erreurs de capteurs pourraient pousser le robot hors de sa trajectoire.
La contrainte de sécurité : Le robot est ensuite entraîné pour être performant même dans le pire scénario à l'intérieur de cette boule. C'est comme un pilote s'entraînant pour une tempête, et pas seulement pour une journée ensoleillée.
La pénalité de sécurité : Ils ont ajouté un « terme de sécurité » spécial aux devoirs du robot. Si le plan du robot le place trop près d'une zone dangereuse (comme une zone d'exclusion aérienne), il reçoit une grosse pénalité. Cela force le robot à apprendre : « Je peux suivre l'expert, mais si le vent me pousse vers la zone de danger, je dois m'en écarter pour rester en sécurité. »

Ce qu'ils ont trouvé (La simulation)

Les auteurs ont testé leur idée sur un Véhicule Aérien Non Managé (UAV) — concrètement, un drone. Ils ont mis en place une simulation où le drone devait voler en cercle tout en évitant une « zone non sûre » spécifique (une zone qu'il ne doit pas pénétrer). Ils ont introduit une incertitude épistémique (comme des forces aléatoires et imprévisibles agissant sur le drone) et une incertitude aléatoire (comme du bruit aléatoire, tels des ratés de capteurs).

Voici ce qui s'est passé dans leurs simulations :

Le robot standard : Lorsqu'ils ont utilisé un robot d'apprentissage par imitation standard dans un monde parfait, il volait le cercle parfaitement. Mais dès qu'ils ont ajouté le vent et le bruit, le robot a commencé à vaciller et a fini par s'écraser dans la zone non sûre. Il était trop rigide.
Le robot avec un copilote (L1-DRAC) : Lorsqu'ils ont ajouté le « copilote invisible » au robot standard, celui-ci a beaucoup mieux géré le vent et est resté plus proche du cercle. Cependant, il ne savait toujours pas comment éviter la zone non sûre si le vent le poussait vers elle. Il était robuste face au vent, mais pas « sûr » au sens strict.
Le « Super-Étudiant » (Le nouveau cadre) : Le robot entraîné avec la nouvelle méthode Distributionnellement Robuste et Sûre a été le vainqueur. Dans les simulations, il volait le cercle aussi bien que l'expert. Mais quand le vent l'a poussé vers la zone non sûre, il n'a pas paniqué. Au lieu de cela, il a intentionnellement dévié du chemin exact de l'expert pour s'éloigner du danger, puis est revenu en douceur sur son cercle une fois le danger passé.

Le papier démontre qu'en apprenant au robot à anticiper le pire scénario dans une certaine plage d'incertitude, et en le pénalisant explicitement pour s'approcher du danger, on peut créer un système qui est à la fois hautement qualifié et incroyablement sûr.

L'essentiel

Ce papier ne prétend pas avoir résolu tous les problèmes d'apprentissage robotique pour toujours. Il démontre plutôt, à travers des simulations approfondies, que son nouveau cadre fonctionne. Il montre qu'en combinant une méthode qui apprend le « flux » du mouvement (TaSIL) avec une méthode qui combat activement l'incertitude (L1-DRAC), et en ajoutant une règle de sécurité qui force le robot à anticiper, on peut construire un drone qui vole avec assurance même lorsque le monde est désordonné et imprévisible. C'est une étape vers des robots qui ne se contentent pas de nous copier, mais qui apprennent à être aussi intelligents et prudents que nous l'espérons.

Résumé Technique : Apprentissage par Imitation Distributionnellement Robuste et Sûr

Énoncé du Problème
L'apprentissage par imitation (IL - Imitation Learning) a démontré son succès dans des tâches de prise de décision complexes, mais reste hautement sensible aux décalages de distribution, ce qui pose des risques importants pour la sécurité. Le document identifie deux sources primaires de ces décalages :

Décalage de distribution induit par la politique : De légères déviations dans une politique apprise peuvent s'accumuler au fil du temps, entraînant des erreurs en cascade (l'« écart d'imitation »).
Décalage de distribution induit par l'incertitude : Des variations mineures dans l'environnement, modélisées comme des incertitudes épistémiques (incertitude du modèle) et aléatoires (bruit stochastique), se propagent à travers le système, dégradant les performances.

Les méthodes existantes traitent souvent ces problèmes séparément. Par exemple, le TaSIL (Taylor Series Imitation Learning) atténue les décalages induits par la politique en alignant les dérivées d'ordre supérieur de la politique, tandis que le L1-DRAC (L1-Distributionally Robust Adaptive Control) gère les décalages induits par l'incertitude. Cependant, le TaSIL standard ne tient pas compte des décalages induits par l'incertitude et n'intègre pas explicitement de contraintes de sécurité lors de l'entraînement.

Méthodologie
Les auteurs proposent un cadre unifié qui intègre le TaSIL avec le L1-DRAC pour traiter les deux types de décalages de distribution tout en garantissant la sécurité. L'approche est structurée comme suit :

Modélisation du Système : Le système est modélisé comme un système dynamique incertain régi par un processus d'Itô, incorporant à la fois des incertitudes de dérive (épistémiques) et de diffusion (aléatoires).
Robustesse via le L1-DRAC : Pour gérer les décalages induits par l'incertitude, le cadre utilise le L1-DRAC. Cette couche de contrôle adaptatif augmente l'entrée de commande nominale, fournissant une borne théorique sur la distance de 2-Wasserstein entre la distribution du système incertain réel et un système nominal. Cette borne ( $\rho$ ) quantifie la déviation maximale causée par les incertitudes.
TaSIL Distributionnellement Robuste (Performance) : L'innovation centrale est la reformulation de l'objectif TaSIL. Au lieu de minimiser la perte uniquement le long des trajectoires de l'expert, les auteurs définissent une fonction de perte distributionnellement robuste. Cette fonction optimise les performances sur un « ensemble d'ambiguïté » de distributions d'états centrées autour de la trajectoire de l'expert.
- La fonction de perte aligne la politique apprise et ses dérivées (jusqu'à l'ordre $p$ ) avec celles de l'expert non seulement sur le chemin de l'expert, mais aussi sur les trajectoires les plus défavorables échantillonnées à partir d'une boule de distributions (définie par la distance de Wasserstein $\rho_L$ ).
- Comme les dérivées de l'expert ne sont pas disponibles sur ces trajectoires échantillonnées, le cadre approxime la politique de l'expert localement à l'aide d'un développement de Taylor autour de la trajectoire connue de l'expert.
Intégration de la Sécurité : Pour traiter la sécurité, le cadre incorpore des contraintes de probabilité (spécifiquement la Valeur à Risque Conditionnelle, CVaR) afin de garantir que le système reste dans une région sûre avec une haute probabilité.
- Un terme de sécurité est ajouté à la fonction de perte, pénalisant les violations de ces contraintes.
- Le terme de sécurité utilise la borne de Wasserstein établie précédemment pour approximer la CVaR dans le pire des cas sur l'ensemble d'ambiguïté, garantissant que la politique respecte les exigences de sécurité même sous incertitude distributionnelle.
Objectif Unifié : L'objectif d'entraînement final combine le terme TaSIL distributionnellement robuste et la pénalité de sécurité, créant une politique qui est robuste à la fois aux décalages de distribution induits par la politique et par l'incertitude, tout en respectant les contraintes de sécurité.

Contributions Clés

Cadre Unifié : Le document présente une architecture novatrice qui traite simultanément les décalages de distribution induits par la politique et par l'incertitude, en s'appuyant sur l'architecture DRIP tout en reformulant l'objectif d'entraînement.
Formulation Distributionnellement Robuste : Les auteurs généralisent le TaSIL pour optimiser les performances sur un ensemble d'ambiguïté de distributions d'états, tenant explicitement compte de l'incertitude de distribution pendant la phase d'apprentissage.
Entraînement Sensible à la Sécurité : Contra s'aux approches d'IL standard qui reposent sur la sécurité des démonstrations de l'expert, ce cadre incorpore explicitement des contraintes de sécurité (via la CVaR) dans la fonction de perte, garantissant que la politique apprise évite les zones dangereuses même lorsque l'environnement diffère des conditions d'entraînement.
Bornes Théoriques : L'approche tire parti des garanties théoriques du L1-DRAC pour définir la taille de l'ensemble d'ambiguïté (la boule de Wasserstein) utilisé dans l'optimisation robuste.

Résultats
Le cadre a été évalué sur une étude de cas de Véhicule Aérien Non Habité (UAV) impliquant une tâche de trajectoire circulaire dans un environnement incertain avec des zones dangereuses définies.

TaSIL Standard : A réussi à imiter l'expert dans des environnements sans incertitude, mais a dévié de manière significative lorsque des incertitudes ont été introduites.
TaSIL + L1-DRAC : A amélioré le suivi de trajectoire sous incertitude par rapport au TaSIL standard, mais a tout de même échoué à éviter les zones dangereuses.
TaSIL Proposé, Distributionnellement Robuste et Sûr : A démontré la capacité de suivre étroitement la trajectoire de l'expert tout en déviant intentionnellement à proximité des zones dangereuses pour maintenir la sécurité. Les simulations de Monte Carlo ont confirmé que cette approche équilibre efficacement performance et sécurité sous les décalages de distribution induits par la politique et par l'incertitude.

Signification
Le document affirme que le cadre proposé offre une approche systématique pour apprendre des politiques de contrôle sûres dans des environnements incertains. En tenant explicitement compte de l'incertitude de distribution et des contraintes de sécurité pendant la phase d'entraînement, la méthode surmonte les limites de l'IL standard et des variantes existantes de l'IL robuste. Les résultats suggèrent que cette approche permet aux systèmes autonomes d'acquérir des politiques qui sont non seulement robustes aux inexactitudes du modèle et au bruit environnemental, mais aussi intrinsèquement sûres, ce qui les rend adaptées à des applications critiques comme les opérations d'UAV dans des conditions incertaines. Les auteurs notent que bien que l'implémentation actuelle utilise une borne choisie empiriquement pour le co-design de TaSIL et de L1-DRAC, le cadre fournit une base pour des travaux futurs visant à concevoir conjointement ces composants en utilisant la théorie du co-design.

La grande idée du papier : Le drone « Super-Étudiant »

Le nouveau tournant : Apprendre avec un filet de sécurité

Ce qu'ils ont trouvé (La simulation)

L'essentiel

Articles similaires