🤖 machine learning

Learned Lyapunov Shielding for Adaptive Control

Cet article propose un cadre de protection par Lyapunov appris qui enrichit le contrôleur adaptatif de Slotine–Li d'une fonction de Lyapunov quadratique structurée, d'une politique résiduelle Soft Actor–Critic et d'un réseau de neurones informé par la physique afin de garantir un filtrage de sécurité sous forme close et une stabilité exponentielle tout en améliorant considérablement les performances de suivi sur des systèmes d'Euler–Lagrange présentant des dynamiques non modélisées.

Auteurs originaux : Giansalvo Cirrincione, Adriano Fagiolini

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Giansalvo Cirrincione, Adriano Fagiolini

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un bras robotique à déplacer une lourde boîte d'un point A à un point B. Vous avez deux façons de procéder :

La méthode « Manuelle » : Vous donnez au robot un manuel de physique parfait (le contrôleur Slotine–Li). Il sait exactement combien pèse la boîte et comment le bras bouge. Cela fonctionne très bien, mais si la boîte est légèrement plus lourde que prévu, ou si les articulations sont collantes, le robot se perd et bouge maladroitement.
La méthode « Joueur de hasard » : Vous laissez le robot apprendre par essais et erreurs (l'Apprentissage par Renforcement standard). Il finira peut-être par apprendre à déplacer la boîte parfaitement, mais il pourrait aussi percuter le mur ou faire tomber la boîte parce qu'il n'a pas encore appris les lois de la physique.

Cet article propose une troisième voie : un « Coach Intelligent » qui combine le meilleur des deux mondes. Il prend le robot fiable du manuel et y ajoute un « assistant d'apprentissage » qui corrige les erreurs, mais il entoure tout le système d'un filet de sécurité afin que le robot ne puisse jamais faire quelque chose de dangereux.

Voici comment fonctionne le « Coach Intelligent » de l'article, décomposé en parties simples :

1. Le Filet de Sécurité (Le « Certificat de Lyapunov »)

Dans le monde de la robotique, une fonction de Lyapunov est comme un « thermomètre de stabilité ». Elle mesure à quel point le robot est « instable ». Si la température monte, le robot est en danger.

Le Problème : Habituellement, prouver qu'un robot est sûr nécessite des mathématiques complexes, difficiles à réaliser en temps réel.
L'Astuce de l'Article : Ils ont créé un « thermomètre » spécial et structuré (un Certificat de Lyapunov Appris) qui est garanti positif (ce qui signifie qu'il mesure toujours quelque chose de réel) par sa propre conception.
Le Résultat : Grâce à cette conception spéciale, l'ordinateur peut instantanément calculer un « filtre de sécurité ». Imaginez cela comme un agent de circulation se tenant devant le robot. Si le robot tente un mouvement qui ferait grimper le « thermomètre » (dangereux), l'agent de circulation bloque instantanément ce mouvement et ramène le robot sur une trajectoire sûre. L'article prouve que cet agent de circulation a toujours un mouvement valide à faire ; il ne reste jamais coincé en disant : « Je ne peux pas vous arrêter ! »

2. L'Assistant d'Apprentissage (La « Politique Résiduelle »)

Le robot du manuel (Slotine–Li) est bon, mais il ne connaît pas les articulations collantes ni les frictions étranges.

La Solution : Ils ont ajouté une politique Soft Actor–Critic (SAC). Imaginez cela comme un étudiant qui observe le robot du manuel et dit : « Hé, le manuel dit de bouger à gauche, mais je sens que l'articulation est collante, alors ajoutons un petit coup de pouce supplémentaire vers la droite. »
La Contrainte : Cet étudiant est autorisé à faire des suggestions, mais seulement si le Filet de Sécurité (l'agent de circulation) dit que c'est acceptable. Cela permet au robot d'apprendre de l'expérience sans jamais enfreindre les règles de sécurité.

3. Le Détective de la Physique (Le « PINN »)

Parfois, le robot ne sait pas pourquoi il glisse.

La Solution : Ils ont ajouté un Réseau de Neurones Informé par la Physique (PINN). C'est comme un détective qui observe le mouvement du robot et tente de comprendre les « forces cachées » (comme une friction non modélisée ou une charge lourde) que le manuel n'avait pas prises en compte.
Comment cela aide : Le détective fournit ces informations au Filet de Sécurité. Le Filet de Sécurité sait alors : « Ah, le robot glisse à cause de la friction, et non parce qu'il est hors de contrôle », et ajuste les règles de sécurité en conséquence.

Que Ont-ils Découvert ? (Les Résultats)

L'équipe a testé ce système sur un bras robotique à deux articulations (2-DOF), puis sur un bras à sept articulations plus complexe (comme un bras humain, le Franka Panda).

Le Gain du « Point Doux » : Lorsque le robot transportait un poids qu'il avait vu pendant l'entraînement (le « centroïde »), le nouveau système était 41 % meilleur pour suivre le chemin cible que l'ancienne méthode manuelle. L'« assistant d'apprentissage » et le « filet de sécurité » ont travaillé ensemble pour lisser le mouvement.
Le Problème de « Spécialisation » : Le système était incroyable avec les poids sur lesquels il s'était entraîné, mais si vous lui donniez un poids qu'il n'avait jamais vu (trop léger ou trop lourd), il devenait parfois pire que l'ancienne méthode manuelle. C'était comme un étudiant qui avait étudié dur pour un test spécifique mais qui peinait lorsque les questions changeaient légèrement.
Le Piège du « Démarrage à Chaud » : Ils ont découvert un bug étrange. Si vous prenez un robot entraîné et essayez de le « peaufiner » pour une nouvelle tâche sans repartir de zéro, il peut rester coincé dans une mauvaise habitude. C'est comme un étudiant qui a mémorisé les réponses du test de l'année dernière si bien qu'il ne peut pas apprendre le nouveau matériel. L'article dit que vous devez repartir de zéro (réentraîner à partir de zéro) lors du changement de tâche pour éviter cela.
Évolutivité : Ils ont prouvé que ce système fonctionne même sur un grand robot complexe à 7 articulations, et pas seulement sur le petit robot à 2 articulations.

La Conclusion

Cet article introduit une façon de rendre les robots plus sûrs et plus intelligents en même temps.

Il utilise un filtre de sécurité mathématiquement garanti (l'agent de circulation) afin que le robot ne percute jamais rien.
Il utilise l'apprentissage pour corriger les erreurs des modèles physiques traditionnels.
Il prouve que cette combinaison est stable et fonctionne dans le monde réel, à condition que vous n'essayiez pas de « retoucher » un robot entraîné pour un tout nouveau travail sans le réentraîner d'abord.

En bref : c'est un contrôleur de robot qui apprend de l'expérience mais qui est strictement supervisé par un gardien de sécurité mathématiquement parfait.

Résumé Technique : Certificats de Lyapunov Appris pour l'Apprentissage par Renforcement Résiduel Sécurisé sur les Systèmes d'Euler–Lagrange

Énoncé du Problème
Les contrôleurs adaptatifs pour les systèmes d'Euler–Lagrange, tels que le contrôleur classique de Slotine–Li, reposent sur la propriété de linéarité par rapport aux paramètres de la dynamique des corps rigides et sur une connaissance a priori des termes de masse, de Coriolis et de gravité. Cependant, les systèmes robotiques pratiques présentent souvent des non-linéarités non modélisées (par exemple, l'hystérésis de frottement, l'élasticité des articulations, les effets de corps souples) qui résistent à une paramétrisation propre. Bien que l'apprentissage par renforcement (RL) offre une voie pour apprendre ces résidus, le RL standard manque de garanties formelles de stabilité et échoue souvent à converger lorsqu'il est appliqué à des tâches de contrôle critiques pour la sécurité. Les approches existantes pour les fonctions de Lyapunov apprises reposent souvent sur des architectures neuronales génériques (par exemple, des MLP avec des activations tanh) qui nécessitent une vérification a posteriori ou une optimisation complexe pour assurer la définie positivité, conduisant souvent à des filtres de sécurité non réalisables lors du déploiement.

Méthodologie
Les auteurs proposent un cadre qui enrichit le contrôleur adaptatif de Slotine–Li avec trois composantes apprises, intégrées dans une politique contrainte de Soft Actor–Critic (SAC) :

Fonction de Lyapunov Quadratique Structurée ( $V_\psi$ ): Au lieu d'un réseau de neurones générique, le candidat de Lyapunov est paramétré comme $V_\psi(x) = x^\top P_\psi(x) x$ , où $P_\psi(x) = L_\psi(x)L_\psi(x)^\top + \epsilon I$ . Ici, $L_\psi$ est un MLP triangulaire inférieur. Cette paramétrisation de Cholesky garantit la définie positivité par construction.
Politique Résiduelle SAC: Un agent Soft Actor–Critic apprend un couple résiduel borné $\Delta \tau$ pour corriger la ligne de base analytique de Slotine–Li. La politique est entraînée pour maximiser la récompense (performance de suivi) soumise à une contrainte sur la violation de la décroissance de Lyapunov.
Réseau de Neurones Informé par la Physique (PINN): Un réseau $f_\theta$ estime les dynamiques non modélisées (résidus) et est entraîné via une perte physique qui impose la structure de l'équation d'Euler–Lagrange. Ce modèle est utilisé pour estimer le champ de dérive pour le filtre de sécurité.

Filtre de Sécurité et Mécanisme de Stabilité
L'innovation centrale est un filtre de sécurité sous forme close dérivé de la contrainte affine unique $\dot{V}_\psi + \alpha V_\psi \leq 0$ . Parce que les dynamiques du système sont affines en commande ( $\dot{x} = h(x) + g(x)\tau$ ) et que $V_\psi$ est quadratique, la contrainte devient linéaire en $\tau$ ( $b(x)^\top \tau \leq c(x)$ ).

Projection sous forme close: Le filtre projette toute sortie brute de politique $\tau_{raw}$ sur le demi-espace sûr via une simple projection euclidienne, évitant ainsi le besoin de solveurs de Programmation Quadratique (QP) en ligne.
Condition de Faisabilité: L'article démontre que ce filtre est globalement faisable si une "condition de décroissance de dérive" tient sur l'ensemble $Z$ où l'autorité de commande s'annule ( $b(x)=0$ ). Plus précisément, les dynamiques de dérive naturelles doivent déjà être décroissantes au sens de Lyapunov sur cet ensemble.
Robustesse: Une version robuste du filtre intègre l'erreur d'approximation du PINN ( $\delta$ ) et la borne du gradient de $V_\psi$ ( $L_V$ ) pour assurer la stabilité même lorsque le modèle de dynamique appris est imparfait.

Contributions Clés
L'article établit cinq contributions théoriques et empiriques :

Faisabilité sous forme close: La paramétrisation quadratique structurée produit un QP à contrainte unique avec une solution sous forme close. Les auteurs démontrent la faisabilité globale sous une condition de décroissance de dérive vérifiable (Théorème 4).
Garanties de Stabilité: La stabilité exponentielle est prouvée sous un blindage exact. Une extension robuste est fournie où la marge de stabilité dépend explicitement de l'erreur d'approximation du PINN (Théorème 13).
Convergence: Les mises à jour conjointes de la politique, du certificat de Lyapunov et du multiplicateur de Lagrange sont montrées comme convergeant presque sûrement vers un point KKT en utilisant un schéma d'approximation stochastique à trois échelles de temps (Théorème 10).
Généralisation: Une borne de généralisation PAC (Probablement Approximativement Correcte) est dérivée, certifiant la fonction de Lyapunov apprise sur des ensembles compacts basés sur des échantillons finis (Proposition 14).
Validation Empirique: Des expériences extensives sur un manipulateur à 2 degrés de liberté (DOF) et un Franka Emika Panda à 7 DOF démontrent l'efficacité et l'évolutivité du cadre.

Résultats Expérimentaux

Manipulateur à 2 DOF: Sur un système avec frottement non linéaire et charge variable, le certificat de Lyapunov appris a été identifié comme la source dominante de gain de performance. Par rapport à la ligne de base analytique de Slotine–Li, la méthode proposée a réduit l'erreur de suivi de 41 % sous frottement nominal et de 24 % sous frottement agressif au centre de la distribution d'entraînement. Des études d'ablation ont confirmé que le certificat appris ( $V_\psi$ ) a fourni un gain significativement supérieur au PINN ou à la politique SAC seule.
Évolutivité à 7 DOF: Une étude sur un Franka Panda à 7 DOF (espace d'état à 35 dimensions) a confirmé que le pipeline complet (PINN basé sur Transformer, $V_\psi$ structurée, blindage sous forme close) converge proprement à l'échelle industrielle. Comparé à une ligne de base de Couple Calculé exacte (qui a accès aux dynamiques réelles), le cadre a atteint un suivi à 1,7 % de la ligne de base, confirmant qu'il agit comme un filtre de sécurité certifié plutôt que comme un amplificateur de performance lorsque la ligne de base est déjà optimale.
Modes de Défaillance: L'étude a identifié une "pathologie de démarrage à chaud" où un certificat entraîné sous une structure de récompense spécifique devient adversaire à de nouveaux objectifs de récompense, nécessitant une réinitialisation fraîche. Elle a également noté une instabilité numérique près des états où $\nabla V_\psi \approx 0$ , nécessitant un mécanisme de commutation pour empêcher l'amplification du couple.

Signification et Revendications
L'article revendique que la paramétrisation quadratique structurée est le choix de conception central qui permet l'ensemble du cadre. En assurant la définie positivité par construction, elle permet un filtre de sécurité sous forme close et efficace sur le plan computationnel qui garantit la faisabilité sans optimisation en ligne. Le travail démontre que des composantes apprises peuvent être intégrées dans le contrôle adaptatif classique pour gérer des dynamiques non modélisées tout en conservant des garanties de stabilité rigoureuses. Les auteurs soulignent que la valeur du cadre réside dans l'apprentissage conjoint de la politique, du certificat et du résidu de dynamique sous des contraintes de sécurité formelles, plutôt que dans n'importe quelle composante isolée. Les résultats suggèrent que de tels cadres sont utilisables en pratique à travers les échelles de manipulateurs, à condition que la ligne de base analytique ne soit pas déjà parfaite et que la distribution d'entraînement couvre la plage opérationnelle.