🤖 machine learning

Training Observable Control Policies to Expose Agent State Through Actions

Cet article propose d'utiliser l'apprentissage par renforcement pour entraîner des agents autonomes à adopter des politiques d'action qui révèlent intrinsèquement leurs états internes à travers des comportements observables, permettant ainsi une estimation d'état et une coordination efficaces même sous de strictes contraintes de communication tout en maintenant une performance nominale de la tâche.

Auteurs originaux : Andres Enriquez Fernandez, John J. Bird

Publié 2026-06-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andres Enriquez Fernandez, John J. Bird

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le « Pilote Silencieux »

Imaginez que vous essayez de vous coordonner avec un ami qui pilote un drone, mais vos talkies-walkies sont en panne. Vous ne pouvez pas l'entendre, et il ne peut pas vous entendre. Cependant, vous pouvez voir le drone se déplacer.

Habituellement, si un drone vole en cercle parfait autour d'une cible, vous pourriez vous dire : « D'accord, il tourne ». Mais vous ne savez pas exactement où il se trouve sur ce cercle, à quelle vitesse il va, ou s'il est sur le point de plonger. Si le drone continue de faire exactement le même mouvement encore et encore, il devient un « pilote silencieux ». Ses actions ne vous en disent pas beaucoup sur sa situation réelle.

Les chercheurs de l'Université du Texas à El Paso se sont posé une question simple : Pouvons-nous apprendre au drone à se déplacer d'une manière qui vous « parle » par ses actions, même sans radio ?

La solution : Entraîner le drone à « parler » avec ses mouvements

L'équipe a utilisé une méthode appelée Apprentissage par Renforcement (Reinforcement Learning). Voyez cela comme l'entraînement d'un chien.

L'ancienne méthode (Tâche uniquement) : Vous dites au chien : « Assis ! » et vous lui donnez une friandise s'il s'assoit. Le chien apprend à s'asseoir parfaitement. Mais si vous voulez savoir où le chien regarde, l'action de s'asseoir ne vous l'indique pas.
La nouvelle méthode (Estimateur intégré) : Vous dites au chien : « Assis ! » et vous lui donnez une friandise. Mais, vous ajoutez aussi une règle : « Si tu t'assois d'une manière qui me permet de deviner facilement où tu regardes, tu reçois une friandise supplémentaire. »

Dans l'article, ils ont entraîné un aéronef (l'« agent ») pour faire deux choses à la fois :

Faire le travail : Rester proche d'un point cible spécifique (comme une mission de surveillance).
Être lisible : Se déplacer d'une manière qui permet à un observateur de deviner sa vitesse et sa position simplement en regardant ses commandes de direction.

Ils ont fait cela en donnant à l'aéronef un « bonus de score » chaque fois que ses mouvements permettaient à l'observateur de deviner correctement sa position.

L'expérience : Le « Cercle » contre le « Chemin sinueux »

Pour tester cela, ils ont mis en place une simulation où un avion à voilure fixe devait planer près d'un point cible. Comme les vrais avions ne peuvent pas planer sur place, ils doivent voler en cercles.

L'avion « Tâche uniquement » : Cet avion a appris à voler en un cercle serré et parfait autour de la cible. Il était excellent pour rester près de la cible, mais parce qu'il volait dans le même cercle exact à la même vitesse exacte, un observateur le regardant avait beaucoup de mal à déterminer exactement où il se trouvait sur ce cercle. C'était comme l'aiguille d'une horloge tournant parfaitement ; vous savez qu'elle tourne, mais vous ne pouvez pas dire si elle est à midi ou à six heures juste en regardant le motif de mouvement.
L'avion « Observable » : Cet avion a été entraîné pour rester près de la cible mais aussi pour rendre ses mouvements légèrement plus intéressants afin qu'un observateur puisse le suivre. Il ne volait pas un cercle parfait ; il faisait de légères oscillations et des ajustements.

Les résultats : De meilleures suppositions, même travail

Les chercheurs ont comparé les deux avions après l'entraînement :

Le travail a été accompli : Les deux avions étaient presque aussi bons pour rester près de la cible. L'avion « Observable » n'a pas gâché sa mission principale pour être plus lisible. C'est comme un conducteur qui prend un itinéraire légèrement plus sinueux pour atteindre une destination, mais qui arrive au même moment que le conducteur prenant l'autoroute directe.
Le jeu de devinettes : Lorsqu'un observateur a essayé de deviner la position et la vitesse de l'avion en regardant simplement sa direction :
- L'avion « Tâche uniquement » était difficile à suivre. L'observateur se perdait souvent, supposant que l'avion était à des kilomètres alors qu'il était juste là.
- L'avion « Observable » était facile à suivre. L'observateur pouvait deviner l'emplacement de l'avion avec une précision bien plus élevée.

Pourquoi cela importe (sans le jargon)

L'article affirme qu'en ajustant les « récompenses d'entraînement », ils ont appris à l'agent à être observable.

Pensez à un magicien. Un mauvais magicien fait un tour qui semble déroutant ; vous n'avez aucune idée de la façon dont il a procédé ou où se trouve le lapin. Un bon magicien (l'agent « Observable ») réalise le tour d'une manière qui, tout en restant magique, vous donne assez d'indices pour comprendre ce qui se passe.

Les chercheurs ont découvert que :

Ils pouvaient rendre les actions de l'agent « parlantes » clairement sans nuire à la performance de l'agent sur sa mission réelle.
Cela permet à deux agents (ou un humain et un robot) de se coordonner même s'ils ne peuvent pas se parler. Ils se contentent de se regarder bouger.
Si un humain regarde un robot, et que le robot se déplace de manière « lisible », l'humain comprendra ce que le robot fait et se sentira plus en sécurité.

L'essentiel à retenir

Vous n'avez pas besoin de radio pour vous coordonner avec une équipe si tout le monde est d'accord pour se déplacer d'une manière facile à lire. L'article prouve que vous pouvez entraîner un robot à faire son travail et à être facile à lire en même temps, simplement en changeant la façon dont vous le récompensez pendant l'entraînement. C'est comme apprendre à un danseur à exécuter une routine qui est à la fois belle à regarder et facile à suivre pour le public.

Résumé technique : Entraînement de politiques de contrôle observables pour exposer l'état de l'agent à travers les actions

Énoncé du problème

La collaboration efficace entre agents autonomes repose souvent sur une conscience mutuelle de l'état, généralement obtenue par une communication directe. Cependant, des contraintes physiques ou opérationnelles (par exemple, les environnements sous-marins, les limitations de bande passante ou l'incompatibilité matérielle) rendent fréquemment la communication peu fiable ou impossible. Bien que les processus de décision markoviens partiellement observables (POMDP) offrent un cadre théorique pour gérer une telle incertitude, ils souffrent de problèmes d'évolutivité et nécessitent de réentraîner tous les agents lorsque les paramètres de la tâche changent, ce qui limite leur aspect pratique dans les systèmes fédérés.

Une approche alternative consiste à « découpler » les agents en formulant explicitement un estimateur pour inférer l'état des autres agents à partir d'actions observables. Les actions de contrôle des agents sont souvent visibles sans communication explicite (par exemple, un avion qui s'incline), mais les politiques de contrôle standard optimisées uniquement pour la performance de la tâche manquent souvent d'« observabilité ». Dans de tels cas, différents états peuvent produire des séquences d'actions identiques (par exemple, un angle d'inclinaison constant lors d'une orbite circulaire), rendant la reconstruction de l'état impossible ou sujette à la divergence. Le problème central abordé est la manière d'entraîner une politique de contrôle qui reste efficace pour sa tâche primaire tout en générant des actions qui permettent à un observateur externe de reconstruire avec précision l'état de l'agent.

Méthodologie

Les auteurs proposent un cadre où une politique de contrôle est entraînée en utilisant l'apprentissage par renforcement (RL) avec une fonction de récompense qui incorpore explicitement la performance d'un estimateur d'état.

Formulation de l'agent et de l'environnement

Tâche : Un système aérien sans pilote (UAS) à voilure fixe doit suivre une cible au sol. L'agent contrôle l'angle d'inclinaison ( $\phi$ ) de l'aéronef pour maintenir la proximité avec la cible.
État : L'état de décision de l'agent consiste en la position relative ( $x, y$ ) et la vitesse ( $v_x, v_y$ ) par rapport à la cible.
Politique : Un réseau de neurones transforme l'état en une distribution de pseudo-contrôle (gaussienne). La moyenne est produite par le réseau, tandis que la variance est fixée pour assurer une exploration stable. Le pseudo-contrôle échantillonné est ensuite mappé vers une commande d'angle d'inclinaison via une fonction de saturation.
Estimateur : Un filtre de Kalman non parfumé (UKF) est employé pour estimer l'état de l'agent. Le filtre utilise la dynamique du système de l'agent et traite la politique de contrôle de l'agent comme la fonction de mesure. L'« observation » est le pseudo-contrôle échantillonné ( $\tilde{u}$ ) généré par la politique.

Intégration de la récompense

Deux politiques sont entraînées et comparées :

Politique de tâche seule (Task-Only) : Entraînée avec une récompense ( $r_{task-only}$ ) qui décroît exponentiellement avec la distance à la cible.
Politique d'estimateur intégré (Embedded Estimator) : Entraînée avec une récompense augmentée ( $r_{embedded}$ ) définie par :
$r = r_{task-only} + R(\hat{x}, x)$
où $R(\hat{x}, x)$ est un terme de récompense favorisant les actions qui minimisent l'erreur entre l'état réel ( $x$ ) et l'état estimé ( $\hat{x}$ ). Ce terme est formulé comme une décroissance exponentielle de la norme de l'erreur pondérée par une matrice de covariance.

En intégrant l'estimateur dans la boucle d'entraînement, l'agent de RL est incité à sélectionner des actions qui non seulement atteignent l'objectif de suivi, mais réduisent également l'incertitude de l'estimation de l'état, optimisant ainsi l'observabilité.

Analyse de l'observabilité

Les auteurs analysent l'observabilité à l'aide de deux métriques :

Matrice d'observabilité linéarisée : Calculée à chaque pas de temps via une approximation par série de Taylor pour évaluer l'observabilité locale.
Matrice d'observabilité découpée (SOM - Stripped Observability Matrix) : Construite en empilant les matrices linéarisées sur une trajectoire temporelle pour évaluer l'observabilité dynamique. Les valeurs singulières de ces matrices indiquent le degré auquel l'espace d'état est observable.

Principales contributions

Implémentation de l'estimateur : Les auteurs implémentent un estimateur d'état qui repose exclusivement sur la sortie de la politique de contrôle (actions) comme observations, sans nécessiter de télémétrie d'état explicite.
RL pour l'observabilité : Ils démontrent une méthode pour améliorer l'observabilité des politiques de contrôle en intégrant directement la performance de l'estimateur dans la fonction de récompense du RL.
Validation de la performance : À travers la décomposition en valeurs singulières (SVD) des matrices d'observabilité et des simulations de Monte Carlo, ils montrent que les politiques résultantes améliorent significativement la performance de l'estimateur avec une dégradation minimale de la tâche de suivi nominale.

Résultats

L'étude a évalué 14 500 épisodes de simulation comparant les politiques « Task-Only » et « Embedded ».

Performance de l'estimateur : La politique intégrée (embedded) a nettement surpassé la politique de tâche seule (task-only).
- Erreur de position : Au niveau de performance médiane, la politique intégrée a réduit l'erreur de position d'un facteur d'environ quatre par rapport à la politique de tâche seule. Dans le 90e percentile, la politique intégrée a maintenu les erreurs en dessous de 10 m dans 90 % des cas, alors que la politique de tâche seule n'y parvenait que dans 60 % des cas.
- Divergence : La politique de tâche seule a présenté un taux élevé de divergence du filtre (environ 30 % des épisodes), où l'estimation s'est éloignée de manière significative de l'état réel. La politique intégrée a montré une divergence négligeable.
- Convergence : En excluant les cas de divergence, la politique intégrée a tout de même démontré une réduction de 44,2 % de l'erreur de position et une réduction de 32,1 % de l'erreur de vitesse par rapport à la politique de tâche seule à la fin de la simulation.
Performance de la tâche : L'inclusion de la récompense de l'estimateur a entraîné une « pénalité » négligeable pour la tâche de suivi primaire. La récompense de suivi pour la politique intégrée était seulement 1,2 % inférieure à celle de la politique de tâche seule au 80e percentile, indiquant que des politiques observables peuvent être obtenues sans sacrifier l'efficacité de la tâche nominale.
Métriques d'observabilité :
- Observabilité locale : Aucune des deux politiques n'était pleinement observable à un point unique de l'espace d'état (les plus petites valeurs singulières étaient proches de zéro).
- Observabilité dynamique : L'analyse de la SOM a révélé que la politique intégrée a généré des trajectoires présentant des valeurs singulières nettement plus grandes au fil du temps. Plus précisément, après environ 50 secondes de données, la plus petite valeur singulière pour le cas intégré est passée de 0 à 1, indiquant que la séquence est devenue observable, tandis que le cas de tâche seule est resté moins observable.

Signification et revendications

L'article affirme qu'intégrer un estimateur dans le processus d'entraînement permet de générer des politiques de contrôle qui sont « observables » par conception. La principale importance réside dans la possibilité de coordonner des agents autonomes dans des scénarios à communication limitée. En rendant les actions de contrôle informatives sur l'état interne de l'agent, les agents peuvent se coordonner par simple observation.

Les auteurs soutiennent que l'espace des politiques est suffisamment complexe pour que l'on puisse sélectionner une politique qui satisfait à la fois l'objectif de la tâche et l'objectif d'observabilité sans compromis significatifs. Cette approche offre une alternative « découplée » aux POMDP entièrement intégrés, permettant aux agents d'être entraînés et mis à jour indépendamment, à condition que leurs politiques de contrôle soient partagées.

De plus, ce travail suggère que des politiques observables pourraient améliorer le travail d'équipe humain-autonome. Si les systèmes autonomes agissent de manière à rendre leur état et leur intention plus transparents (observables) à travers leurs actions, les opérateurs humains pourront mieux comprendre et anticiper le comportement du système, améliorant ainsi la sécurité et le confort dans les opérations mixtes. L'article conclut que, bien qu'il ne résolve pas entièrement la coordination homme-machine, il établit une méthode fondamentale pour rendre la reconstruction d'état à partir des actions réalisable et efficace.