💻 computer science

Interpreting Control Latents for System Identification via Conditional Flow Matching

Cet article propose d'utiliser le way de l'appariement de flux conditionnel (conditional flow matching) pour décoder les latents de contrôle internes des politiques robotiques adaptatives en distributions de modèles physiques, permettant ainsi un ajustement prédictif en ligne et une analyse de robustesse des politiques gelées sans modifier le contrôleur original.

Auteurs originaux : Dingqi Zhang, Ruiqi Zhang, Mark W. Mueller

Publié 2026-08-26

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dingqi Zhang, Ruiqi Zhang, Mark W. Mueller

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots capables de s'adapter à leur environnement sont un rêve de longue date pour l'ingénierie. Lorsqu'un robot marche sur du sable, traverse une rafale de vent ou transporte une charge lourde, les lois de la physique qui régissent son mouvement changent. Pour gérer cela, les ingénieurs modernes apprennent souvent aux robots à apprendre un code interne caché — un résumé compact de ce qui se passe en ce moment même. Ce code, appelé représentation latente, permet à un programme de contrôle unique d'ajuster son comportement à la volée. Si le robot devient plus lourd, le code change, et le robot apprend à pousser plus fort. Si l'air devient épais, le code se déplace, et le robot apprend à être plus prudent. Cette approche a permis aux machines de maîtriser des tâches complexes comme marcher sur un terrain accidenté ou faire voler des drones dans une météo imprévisible. Cependant, un mystère important demeure : bien que ces codes internes fonctionnent, personne ne sait exactement ce qu'ils signifient dans le monde réel. Ce sont des boîtes noires. Les ingénieurs peuvent voir le robot se déplacer correctement, mais ils ne peuvent pas regarder à l'intérieur du code pour voir s'il a compris que le drone est plus lourd, ou s'il a simplement appris une astuce qui fonctionne par hasard. Sans comprendre la signification physique de ces codes, il est difficile de prédire quand un robot pourrait échouer, de le réparer après un crash, ou de le certifier en toute sécurité pour des situations critiques.

Une équipe de chercheurs de l'Université de Californie, Berkeley, a trouvé un moyen d'ouvrir cette boîte noire. Ils ont développé une méthode pour traduire ces codes internes mystérieux en un ensemble de modèles physiques qui décrivent le corps réel du robot et la façon dont il se déplace. Au lieu de deviner un seul ensemble de nombres pour expliquer le comportement du robot, leur système génère toute une famille de descriptions physiques possibles. Imaginez un drone volant dans l'air. Le système des chercheurs examine l'historique récent des mouvements et des commandes du drone, puis produit un nuage de réalités physiques possibles qui pourraient expliquer ces mouvements. Une possibilité pourrait être un drone légèrement plus lourd que d'habitude ; une autre pourrait être un drone avec des moteurs légèrement plus faibles. Le système ne choisit pas une seule option ; il maintient toutes les options plausibles actives en même temps. Cette approche reconnaît une vérité fondamentale de la physique : différentes configurations physiques peuvent parfois paraître exactement identiques lorsqu'elles sont observées de l'extérieur. Un drone lourd avec des moteurs puissants pourrait voler exactement comme un drone léger avec des moteurs faibles. En décodant le code interne en une gamme de possibilités plutôt qu'en un simple devinement, les chercheurs ont créé un outil qui peut être utilisé pour améliorer la performance du robot sans jamais modifier le cerveau original du robot.

Les chercheurs ont testé cette idée sur un quadrotor, un petit robot volant doté de quatre hélices. Ils ont d'abord entraîné un système de contrôle adaptatif standard capable de faire voler le drone même lorsque le poids ou la force des moteurs du drone changeaient de manière aléatoire. Une fois le drone entraîné, ils ont gelé sa politique de contrôle, ce qui signifie que le processus de décision interne du drone ne pouvait pas être altéré. Ils ont ensuite appliqué leur nouvelle méthode de décodage aux codes internes du drone pendant qu'il volait. Le résultat a été un flux de modèles physiques qui se mettaient à jour en temps réel. Ces modèles n'étaient pas seulement des nombres abstraits ; ils étaient des descriptions complètes de la masse du drone, de la longueur de ses bras et de la façon dont ses moteurs répondaient. Les chercheurs ont utilisé ces modèles décodés pour effectuer deux tâches pratiques. Premièrement, ils ont utilisé les modèles pour ajuster un contrôleur de haut niveau qui guide le drone le long d'une trajectoire. Parce que le décodeur savait que les moteurs du drone ralentissaient, il pouvait ajuster les commandes de haut niveau pour compenser, maintenant ainsi le drone sur sa course. Deuxièmement, ils ont utilisé les modèles pour tester la robustesse du drone face à des poussées soudaines ou au vent. En simulant la réaction du drone à ces perturbations à l'aide des modèles décodés, ils pouvaient prédire à quel point le drone dériverait avant que cela ne se produise réellement.

Les résultats ont montré que cette méthode fonctionne remarquablement bien. Lorsque les chercheurs ont délibérément ralenti les moteurs du drone pour mettre le système à l'épreuve, l'approche standard a eu des difficultés, mais le système utilisant les modèles décodés a ajusté son contrôleur de haut niveau et a réduit l'erreur de suivi de sa trajectoire de 23 % pour la position et de 45 % pour le cap. Cette amélioration s'est produite sans réentraîner le drone ni modifier sa politique de base ; le système a simplement compris la nouvelle réalité physique grâce aux modèles décodés. Dans un autre test, les chercheurs ont poussé le drone avec des forces aléatoires pour voir comment bien le système prédirait la dérive résultante. Les modèles décodés ont créé une enveloppe de prédiction étroite qui correspondait étroitement au comportement réel du drone dans la direction latérale, c'est-à-dire le mouvement de côté à côté. Bien que le système soit moins précis pour prédire le mouvement vertical, il a réussi à capturer la tendance générale de la croissance des erreurs sous des perturbations plus fortes. Cette capacité à prédire les modes de défaillance avant qu'ils ne surviennent est une étape cruciale vers une robotique plus sûre.

La preuve la plus convaincante de la valeur de la méthode est peut-être venue d'un test où les chercheurs ont tenté de reproduire les commandes motrices exactes du drone en utilisant uniquement les modèles physiques décodés. Ils ont enregistré une trajectoire de vol où le drone devait transporter un poids soudain et décentré. La méthode standard consistant à deviner un ensemble de paramètres physiques a échoué à reproduire les mouvements moteurs fluides et adaptatifs du drone. Elle a produit des commandes saccadées et incorrectes qui ne correspondaient pas au comportement réel du drone. En revanche, la méthode qui décodait une distribution de possibilités a réussi à recréer les commandes motrices du drone avec une grande précision. Cela a démontré que le code interne n'était pas seulement un signal vague pour dire « vole plus fort », mais une représentation riche et structurée du monde physique qui pouvait être traduite en propriétés mécaniques concrètes. Les chercheurs ont découvert que le code interne encodait effectivement un ensemble de vérités physiques, mais qu'en raison de l'ambiguïté du monde physique, ces vérités existaient sous la forme d'un nuage de possibilités plutôt que d'un point unique.

Ce travail suggère que les langages internes des robots adaptatifs ne sont pas aussi opaques qu'on le pensait auparavant. En traitant la traduction du code vers la physique comme un processus de génération de nombreuses réalités possibles plutôt que de chercher une réponse parfaite, les ingénieurs peuvent désormais inspecter, diagnostiquer et améliorer des robots qui étaient auparavant considérés comme inexplicables. Les modèles décodés permettent une forme de test virtuel où le comportement du robot peut être analysé et optimisé en simulation avant que tout changement ne soit apporté à la machine réelle. Bien que le système actuel soit limité à des types spécifiques de robots volants et nécessite une gestion prudente du bruit, l'approche ouvre une nouvelle voie pour rendre les systèmes de contrôle adaptatif transparents. Elle transforme la boîte noire de l'esprit du robot en une fenêtre, permettant aux ingénieurs de voir le monde physique tel que le robot le voit, garantissant que ces machines intelligentes puissent être dignes de confiance pour opérer en toute sécurité dans le monde complexe et changeant de l'avenir.

Résumé technique : Interprétation des latents de contrôle pour l'identification de systèmes via le Flow Matching conditionnel

Énoncé du problème

Les politiques adaptatives conditionnées par des latents permettent aux robots d'opérer dans des environnements aux dynamiques variables en inférant une représentation latente compacte à partir de l'historique sensorimoteur. Cependant, un fossé conceptuel subsiste : ces latents appris fonctionnent comme des signaux de contrôle internes plutôt que comme des modèles physiques ancrés. Par conséquent, ils manquent d'inspectabilité, ne peuvent pas être déployés pour analyse (rollout) et sont opaques pour la certification de sécurité ou le diagnostic post-hoc.

Un obstacle majeur à l'interprétation de ces latents est la nature mal posée de la cartographie inverse de la réponse comportementale vers les paramètres physiques. En robotique, la relation entre le comportement et la dynamique est souvent non injective ; plusieurs systèmes physiquement distincts (par exemple, un véhicule lourd avec des actionneurs faibles versus un véhicule léger avec des actionneurs puissants) peuvent présenter un comportement en boucle fermée indiscernable. Les approches traditionnelles, qui régressent un latent vers une estimation ponctuelle unique de paramètres physiques, échouent à capturer cette non-identifiabilité physique, car une correspondance un-à-un ne peut représenter les classes d'équivalence de modèles de dynamique plausibles cohérents avec un latent donné.

Méthodologie

Les auteurs proposent un cadre pour interpréter les représentations latentes en modélisant explicitement la structure un-vers-plusieurs de la carte latent-paramètre. L'approche se compose de deux étapes principales :

Contrôle adaptatif unifié basé sur les latents :
Les auteurs entraînent une politique de contrôle $\pi(a_t | s_t, z_t)$ conditionnée par une variable latente $z_t$ . Contrairement à l'entraînement classique en deux étapes (où un encodeur privilégié est entraîné en premier, suivi d'un encodeur basé sur l'historique), ce travail utilise une optimisation conjointe unifiée. La politique, un encodeur privilégié $\mu(\theta)$ et un encodeur basé sur l'historique $\phi(\tau_{t-h:t})$ sont optimisés simultanément.

Objectif : La fonction de perte conjointe inclut l'objectif d'apprentissage par renforcement, des termes d'alignement pour garantir que le latent basé sur l'historique $\hat{z}_t$ prédit le latent privilégié $z_\theta$ , et des termes de régularisation pour prévenir l'effondrement de la représentation.
But : Cela garantit que l'espace latent est cohérent entre les représentations privilégiées et basées sur l'historique, rendant le latent à la fois suffisant pour le contrôle et récupérable à partir de l'historique sensorimoteur.

Identification de système générative via le Conditional Flow Matching (CFM) :
Au lieu de régresser le latent vers un vecteur de paramètres unique, les auteurs utilisent le Conditional Flow Matching pour décoder chaque latent opérationnel $\hat{z}_t$ en une distribution continue de modèles physiquement distincts, $p(\theta | \hat{z}_t)$ .

Mécanisme : Un réseau de neurones $v_\psi$ apprend un champ de vecteurs conditionnel qui transporte une distribution de base (Gaussienne) vers la distribution empirique des paramètres conditionnée par le latent.
Entraînement : Le modèle est entraîné sur un jeu de données de paires paramètres-latents collectées lors du processus d'entraînement unifié. L'objectif de flow-matching minimise la différence entre le champ de vecteurs appris et le champ de vecteurs cible (la différence entre les paramètres échantillonnés et le bruit de base).
Inférence : Étant donné un latent provenant de l'historique sensorimoteur, les paramètres physiques $\hat{\theta}$ sont générés en intégrant le champ de vecteurs appris à partir d'un échantillon de bruit. Cela produit une distribution de modèles de systèmes dynamiquement cohérents plutôt qu'une estimation ponctuelle unique.

Contributions clés

Décodage distributionnel : Le papier introduit une méthode pour décoder les latents de contrôle en une distribution de modèles physiques, traitant le problème de non-identifiabilité où plusieurs systèmes induisent des comportements similaires.
Pipeline d'entraînement unifié : Un schéma d'optimisation conjointe garantit que la représentation latente reste cohérente et récupérable, comblant le fossé entre l'information privilégiée et l'historique observable.
Utilité en aval sans modification de la politique : Les distributions décodées permettent deux tâches spécifiques en aval autour d'une politique de bas niveau fixe :
1. Réglage prédictif en ligne : Ajustement des gains du contrôleur de haut niveau en utilisant des simulations parallèles des modèles décodés.
2. Analyse de robustesse : Estimation des enveloppes d'incertitude des réponses en boucle fermée sous des perturbations spécifiées.

Résultats expérimentaux

Le cadre a été instancié sur des systèmes de quadrotères présentant des variations significatives de masse, d'inertie et de constantes de moteur.

Réglage du contrôle prédictif :

Performance nominale : Un contrôleur de haut niveau réglé en ligne à l'aide de rollouts de modèles décodés a réduit l'RMSE de suivi de position de 34 % par rapport aux gains standards, comblant la majeure partie de l'écart avec la performance de référence réglée à la main, bien qu'il n'ait pas surpassé la performance de cette dernière.
Dynamique d'actionneur perturbée : Lorsque les constantes de temps des actionneurs ont été augmentées (simulant des moteurs plus lents), le contrôleur réglé par CFM a réduit l'RMSE de position de 23 % et l'RMSE de cap de 45 % par rapport à la référence réglée à la main. Cela a démontré la capacité du décodeur à identifier des dynamiques plus lentes à partir du latent et à ajuster le contrôleur de haut niveau en conséquence.
Déploiement matériel : Sur du matériel réel suivant des trajectoires lemniscates 3D, le contrôleur réglé par CFM a obtenu une précision de suivi comparable à une référence réglée à la main, tout en réduisant les erreurs de position maximales et l'écart-type des erreurs.

Analyse de robustesse :

Perturbations par échelon : L'ensemble de modèles décodés a fourni une enveloppe d'incertitude calibrée pour les erreurs de suivi latéral sous des perturbations de force constantes, encadrant étroitement la réponse réelle du système. L'estimation de l'erreur verticale était moins précise, soulignant une limitation spécifique.
Perturbations Gaussiennes : Sous des perturbations de force i.i.d. gaussiennes, les ensembles décodés ont correctement prédit la tendance de croissance des erreurs de suivi latéral à mesure que l'amplitude de la perturbation augmentait, fournissant une enveloppe de robustesse fiable.

Étude d'ablation (Distributionnel vs Déterministe) :

Une ablation comparant le décodeur CFM à une base de régression déterministe (prédisant un vecteur de paramètres unique) a révélé que l'approche distributionnelle surpasse significativement la base déterministe dans la prédiction d'actions.
Sur des trajectoires de vol agressives, le décodeur CFM a atteint un coefficient de corrélation de Pearson (PCC) d'environ 0,72 avec les commandes de moteur de la politique, alors que la base de régression a atteint un PCC de 0,077 (comparé à 0,202 pour la base aléatoire). Cela confirme que la carte latent-paramètre n'est pas une fonction bien définie dans les régimes fortement excités et nécessite une représentation distributionnelle pour capturer le comportement de la politique.

Signification et affirmations

Le papier affirme que les latents de contrôle peuvent être convertis en ensembles de modèles physiques, transformant des représentations internes opaques en outils interprétables pour le réglage, l'analyse de robustesse et le diagnostic de politiques adaptatives figées.

Interprétabilité : Ce travail démontre que les latents ne sont pas seulement des signaux "boîte noire", mais peuvent être décodés en distributions de dynamiques physiquement significatives.
Sécurité et Diagnostic : En fournissant une distribution de modèles plausibles, le cadre soutient la certification de sécurité et le diagnostic sans nécessiter d'expériences matérielles supplémentaires ou de réentraînement de la politique.
Limites : Les auteurs notent modestement que les modèles récupérés sont sensibles au bruit d'observation et d'estimation d'état. De plus, la validation actuelle est limitée à des plateformes de quadrotères avec des modèles paramétriques structurés ; les systèmes présentant de fortes non-linéarités, des contacts ou des dynamiques hybrides pourraient nécessiter des classes de modèles plus riches.

Les auteurs concluent que cette approche offre une voie vers le sondage actif des politiques adaptatives, où les latents de défaillance décodés pourraient être utilisés pour identifier les zones faibles de la distribution d'entraînement de la politique en vue d'améliorations futures.