⚡ electrical engineering

Learning Input-Constrained Funnel Controllers from State Trajectory Data

Cet article propose un cadre fondé sur l'optimisation qui apprend des contrôleurs en entonnoir (funnel controllers) avec contraintes d'entrée directement à partir de données de trajectoires d'état, permettant la synthèse de contrôleurs de rétroaction qui imposent des performances prescrites et des contraintes d'entrée strictes sans nécessiter de données d'entrée de commande expertes ou de reconstruction de politique.

Auteurs originaux : Panagiotis S. Trakas, Omid Mirzaeedodangeh, Lars Lindemann

Publié 2026-07-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Panagiotis S. Trakas, Omid Mirzaeedodangeh, Lars Lindemann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à marcher dans un couloir étroit et bondé sans heurter les murs ni trébucher sur ses propres pieds. Dans le monde de la robotique et de l'ingénierie, c'est le travail d'un « contrôleur » : un cerveau qui dit aux moteurs du robot exactement quelle force exercer. Mais il y a un piège : les vrais robots ont des limites. Leurs moteurs ne peuvent pousser que jusqu'à un certain point avant de surchauffer ou de se casser (contraintes d'entrée), et ils doivent se déplacer avec fluidité, non pas seulement passer d'un point A à un point B, mais le faire avec une grâce, une vitesse et une marge de sécurité spécifiques (spécifications de performance).

Pendant longtemps, les ingénieurs ont tenté de résoudre cela soit en devinant les règles parfaites (ce qui est difficile car le corps du robot peut être légèrement différent du plan d'origine), soit en observant un expert et en essayant de copier chacun de ses mouvements. Mais et si vous n'aviez qu'une vidéo de l'expert en train de marcher, sans l'audio de ses commandes ? Vous voyez où il est allé, mais vous ne savez pas exactement avec quelle force il a appuyé sur les boutons. Ce papier s'attaque précisément à ce casse-tête : comment apprendre à un robot à marcher parfaitement et en toute sécurité en observant simplement où il est allé, sans jamais voir les codes de commande secrets, à condition de posséder un schéma rudimentaire (un « modèle nominal ») de la façon dont le robot se déplace.

Les chercheurs, travaillant à l'ETH Zurich, proposent une nouvelle méthode ingénieuse pour apprendre à partir de « données de trajectoire d'état » — ce qui est simplement un terme sophistiqué pour désigner un enregistrement de l'endroit où le robot se trouvait à chaque instant. Au lieu d'essayer de rétro-concevoir les pressions cachées sur les boutons de l'expert (une méthode appelée apprentissage par imitation qui échoue souvent lorsque vous n'avez pas les données de commande), ils traitent le problème comme un jeu de « concevoir le couloir parfait ». Ils veulent dessiner un tunnel virtuel et rétrécissant (appelé « entonnoir » ou « funnel ») autour du chemin emprunté par l'expert. Ce tunnel représente la zone de sécurité : si le robot reste à l'intérieur de ce tunnel, il se déplace assez vite, s'arrête avec assez de précision et ne vacille pas trop.

Le défi est que le tunnel doit être parfaitement façonné. S'il est trop large, le robot est paresseux et lent ; s'il est trop étroit, les moteurs du robot pourraient hurler de protestation parce qu'ils doivent travailler trop dur pour rester à l'intérieur. L'équipe a développé une recette mathématique qui utilise les chemins enregistrés et le schéma connu du système pour concevoir automatiquement ce tunnel et, en même temps, inventer un nouvel ensemble de règles à suivre par le robot. Ils appellent cela une « synthèse conjointe » car ils construisent le tunnel et le contrôleur ensemble, comme une clé et une serrure, pour s'assurer qu'ils s'ajustent parfaitement.

Voici le tour de magie : le papier soutient que vous n'avez pas besoin de connaître les commandes secrètes de l'expert pour apprendre le comportement, mais cela ne fonctionne que si vous avez un modèle de base du système (un « modèle nominal ») pour commencer. En observant les courbes fluides des chemins enregistrés, l'algorithme détermine la « forme » du tunnel qui contiendrait naturellement ces chemins. Ensuite, il calcule un gain de rétroaction — une sorte de « sensibilité de direction » — qui indique au robot quelle force exercer pour rester à l'intérieur de ce tunnel, même si ses moteurs atteignent leur limite maximale. Les auteurs utilisent une méthode appelée « synthèse par ensemble actif » (active-set synthesis), qui est un processus intelligent de tâtonnement. Elle tente de faire correspondre le tunnel et les règles de direction, vérifie si les moteurs du robot bloquent, et si c'est le cas, elle remodèle doucement le tunnel ou ajuste les règles jusqu'à ce qu'une solution soit trouvée respectant les limites des moteurs.

Pour prouver que cela fonctionne, l'équipe a réalisé des simulations sur un système qui imite deux réservoirs d'eau connectés, où l'objectif est de maintenir les niveaux d'eau à des hauteurs spécifiques. Ils ont généré 30 chemins différents d'« experts » en utilisant divers contrôleurs, puis ont jeté les commandes secrètes pour ne fournir que les données de niveau d'eau et les paramètres physiques du système (le modèle nominal) dans leur nouvel algorithme. Le résultat ? L'algorithme a réussi à apprendre un ensemble de règles simples et uniques capables de guider les niveaux d'eau vers la cible, en restant strictement à l'intérieur de l'« entonnoir » appris et sans jamais demander aux pompes de pousser plus fort qu'elles n'en avaient le droit.

Le papier ne se contente pas de dire « cela semble fonctionner » ; il fournit deux couches de preuves mathématiques. La première est une garantie « conservatrice » : si les moteurs sont assez puissants pour gérer le pire scénario, le robot sera certainement en sécurité. La seconde est une garantie « locale » : si les données enregistrées sont suffisamment denses (beaucoup d'échantillons proches les uns des autres), le robot est garanti d'être en sécurité autour de ces chemins enregistrés. Dans leurs simulations, le nouveau contrôleur a non seulement maintenu les niveaux d'eau en sécurité, mais a également compensé les petites erreurs du modèle physique des réservaux, ce que les méthodes plus anciennes et plus simples ne parvenaient souvent pas à faire.

En fin de compte, ce travail suggère que nous pouvons apprendre à des machines complexes à effectuer des tâches avec une grande précision et une grande sécurité simplement en les regardant bouger, en utilisant un modèle rudimentaire de leur mécanique pour combler les lacunes, sans avoir besoin de connaître leurs secrets internes ou d'avoir accès à leurs entrées de commande. C'est une étape vers la création de robots capables d'apprendre par simple observation, en s'adaptant à leurs propres limites physiques tout en imitant le comportement gracieux d'un expert. Les auteurs notent que bien que leur méthode soit prometteuse, elle repose sur la possession d'un bon « modèle nominal » (une idée rudimentaire du fonctionnement du système) et que les preuves mathématiques sont actuellement basées sur des simulations, laissant place à des travaux futurs pour tester ces idées sur du matériel réel.

Résumé Technique : Apprentissage de contrôleurs à entonnoir sous contraintes d'entrée à partir de trajectoires d'état

Formulation du Problème
L'article traite du défi que représente la conception de contrôleurs de rétroaction pour des systèmes non linéaires affines en commande qui satisfont des spécifications de performance prédéfinies (comportement transitoire et en régime permanent) tout en respectant strictement des contraintes d'entrée strictes. Les méthodes traditionnelles de Contrôle de Performance Prescrite (PPC) et de Contrôle par Entonnoir (FC) peinent souvent face aux limites des actionneurs : des spécifications de performance agressives peuvent excéder l'autorité de commande disponible, tandis que des conceptions conservatrices sacrifient la performance. De plus, les approches d'apprentissage existantes nécessitent généralement des paires état-entrée pour reconstruire des politiques expertes ou apprendre des certificats de sécurité, alors que de nombreux scénarios pratiques (par exemple, la téléopération, la capture de mouvement) fournissent uniquement des données de trajectoires d'état sans les entrées de commande correspondantes. Le problème central est de synthétiser conjointement un entonnoir de performance variable dans le temps et un contrôleur de rétroaction à partir de données de l'état uniquement, en garantissant que le comportement appris est réalisable sous des bornes d'actionneurs strictes sans reconstruire la politique de l'expert.

Méthodologie
Les auteurs proposent un cadre d'optimisation qui apprend conjointement un entonnoir de performance et un gain de rétroaction dépendant de l'état.

Modèle de Système et Hypothèses : Le système est modélisé par $\dot{x} = f(x) + G(x)u$ avec des contraintes d'entrée composantes strictes $|u_i| \leq \bar{u}_i$ . L'approche suppose l'accès à un modèle nominal $(\hat{f}, \hat{G})$ avec une incertitude bornée et un ensemble compact $X_c$ contenant les trajectoires démontrées.
Paramétrage de l'Entonnoir : Les limites de l'entonnoir de performance $\rho(t)$ $ρ (t)$ sont paramétrées à l'aide de B-splines cubiques. Des contraintes sont imposées pour garantir :
- La Positivité : L'entonnoir reste strictement positif.
- Des Bornes Tirées des Données : Les limites de l'entonnoir se situent à l'intérieur d'enveloppes de quantiles empiriques ( $\alpha$ et $\beta$ ) dérivées des trajectoires d'état, garantissant que l'entonnoir capture le comportement dominant des démonstrations tout en étant robuste aux valeurs aberrantes.
- La Dynamique : Des contraintes sur les premières et secondes dérivées de l'entonnoir assurent la lissité et limitent le taux de contraction.
Paramétrage du Contrôleur : Le contrôleur combine une compensation du modèle nominal avec un gain de rétroaction dépendant de l'état appris. La loi de commande est $u = \text{sat}_{\bar{u}}(u_d)$ , où l'entrée désirée $u_d$ compense la dérive nominale et la dynamique de l'entonnoir, et une matrice de gain diagonale $K(\xi; w)$ (paramétrée par des fonctions de base radiale) fournit une rétroaction sur l'erreur transformée $\xi$ .
Procédure de Synthèse : Le problème de synthèse conjoint est non convexe en raison de l'opérateur de saturation. Les auteurs développent une procédure de synthèse par ensemble actif pilotée par la faisabilité :
- Boucle Extérieure : Résout un programme linéaire pour trouver les paramètres de l'entonnoir ( $\theta$ ) pour un facteur d'échelle de taux de contraction $v$ donné.
- Boucle Intérieure : Pour des paramètres d'entonnoir fixes, résout une séquence de programmes quadratiques convexes pour trouver les poids du gain ( $w$ ). Cette boucle met à jour de manière itérative le « schéma de saturation » (quels entrées sont saturées ou non saturées) pour gérer la non convexité de la fonction de saturation.
- Vérification : Une paire candidate n'est acceptée que si la condition de décroissance de Lyapunov est satisfaite en tous les points de démonstration échantillonnés à l'intérieur de l'entonnoir, en tenant compte des entrées réellement saturées.

Contributions Clés

Synthèse Conjointe Tirée des Données : Un cadre qui apprend à la fois un entonnoir de performance variable dans le temps et un contrôleur PPC contraint par l'entrée à partir de trajectoires d'état uniquement, sans nécessiter de données d'entrée d'expert ou de reconstruction de politique.
Procédure d'Ensemble Actif Pilotée par la Faisabilité : Une approche algorithmique novatrice pour résoudre le problème de synthèse non convexe résultant en fixant de manière itérative les schémas de saturation, permettant de traiter explicitement la saturation d'entrée pendant le processus d'apprentissage.
Certificats Théoriques Complémentaires :
- Un certificat conservateur semi-global basé sur l'autorité de l'actionneur, garantissant la performance prescrite et la satisfaction des entrées si l'autorité de commande est suffisamment grande par rapport à la dynamique du système et l'incertitude du modèle.
- Un certificat local tiré des données garantissant ces propriétés à proximité de trajectoires démontrées suffisamment denses, reposant sur la régularité de Lipschitz et la couverture des données plutôt que sur des bornes d'actionneurs uniformes.

Résultats
La méthode a été validée sur un système de réservoirs couplés non linéaires avec incertitude de modèle et contraintes d'entrée strictes.

Génération de Données : 30 trajectoires expertes hétérogènes ont été générées en utilisant divers contrôleurs PPC avec différents gains et entonnoirs.
Résultat de l'Apprentissage : Le cadre a réussi à apprendre un contrôleur à forme fermée unique et un entonnoir unifié qui capture le comportement transitoire et en régime permanent des diverses démonstrations.
Performance : Le contrôleur appris a maintenu les trajectoires en boucle fermée strictement à l'intérieur de l'entonnoir appris pour 20 conditions initiales non vues. Crucialement, les entrées de commande ont respecté les bornes strictes des actionneurs dans toutes les simulations.
Comparaison : Contrairement au PPC sans modèle qui n'atteignait qu'une régulation pratique en raison de la dérive non modélisée, l'approche proposée basée sur le modèle compense la dérive et atteint une convergence exponentielle vers l'origine tout en respectant les limites d'entrée.

Signification et Revendications
L'article affirme traiter un problème jusqu'alors non abordé : la synthèse conjointe de spécifications de performance et de contrôleurs à partir de données d'état uniquement sous des contraintes d'entrée strictes. Les auteurs soulignent que leur approche diffère de l'apprentissage par imitation car elle ne reconstruit pas une politique experte, et diffère du PPC standard car elle prend explicitement en compte la saturation des actionneurs lors de la phase de synthèse. La signification réside dans la fourniture d'une méthode systématique pour extraire des attributs de performance réalisables à partir de démonstrations et les imposer avec un contrôleur qui est garanti de respecter les limites physiques des actionneurs, soutenu à la fois par des bornes théoriques conservatrices et des garanties locales tirées des données. Le travail est modeste dans sa portée, se concentrant sur des systèmes non linéaires avec des modèles nominaux connus et une incertitude bornée, et reconnaît que le certificat semi-global peut être conservateur.

Articles similaires