When Sensors Fail: Temporal Sequence Models for Robust PPO under Sensor Drift

Each language version is independently generated for its own context, not a direct translation.

🚗 Le Problème : Le Robot qui a la "grogne" des capteurs

Imaginez que vous apprenez à un robot à conduire une voiture autonome. Pour bien conduire, il a besoin de voir la route, de sentir la vitesse et de connaître la position des autres voitures. C'est ce qu'on appelle les capteurs.

Dans les films, ces robots sont parfaits. Mais dans la vraie vie, les capteurs tombent en panne. Parfois, la caméra se salit, parfois le GPS perd le signal, ou un câble se débranche.

Le problème actuel : La plupart des intelligences artificielles (IA) sont entraînées comme des élèves qui étudient avec les yeux grands ouverts. Si on leur cache soudainement une partie de la leçon (par exemple, on cache la vitesse), elles paniquent et font des erreurs catastrophiques. Elles pensent : "Je ne vois pas la vitesse, donc je ne sais plus rien faire !".

🕵️‍♂️ La Solution : Apprendre à deviner avec l'histoire

Les auteurs de ce papier (du MIT et de Harvard) se sont dit : "Et si on apprenait au robot à utiliser son mémoire ?"

Au lieu de regarder seulement ce qui se passe maintenant, le robot devrait se souvenir de ce qui s'est passé il y a 5 ou 10 secondes.

L'analogie du conducteur aveugle : Imaginez que vous conduisez avec un bandeau sur les yeux, mais que vous avez un passager qui vous dit : "Il y a 3 secondes, on tournait à gauche et on roulait vite". Même si vous ne voyez plus rien, vous pouvez déduire que vous êtes toujours en train de tourner et que vous devez freiner. C'est exactement ce que font les modèles de séquence temporelle.

🧠 Les Trois Types de "Mémoire" Testés

Les chercheurs ont comparé trois façons différentes de donner cette mémoire au robot :

Le MLP (Le "Singe qui oublie") : C'est la méthode classique. Le robot regarde l'image actuelle et agit. Il n'a aucune mémoire du passé.
- Résultat : Dès qu'un capteur tombe en panne, il s'effondre. C'est comme essayer de jouer au tennis sans se souvenir de la trajectoire de la balle.
Les RNN et SSM (Le "Sournois qui rumine") : Ce sont des modèles qui gardent une trace cachée de ce qui s'est passé (comme un secret qu'on garde en tête). Ils sont bons, mais un peu rigides.
- Résultat : Ils s'en sortent mieux que le "Singe", mais s'ils perdent trop d'informations, leur "mémoire" devient confuse et ils commencent à halluciner.
Le Transformer (Le "Grand Chef d'orchestre") : C'est la star du papier (la technologie derrière ChatGPT). Au lieu de garder une seule trace cachée, il regarde toute l'histoire récente en même temps.
- L'analogie : Imaginez un détective qui a un tableau avec toutes les photos du crime. Si une photo est manquante (capteur en panne), il regarde les autres photos, les relie entre elles et devine ce qui s'est passé. Il est très flexible.
- Résultat : C'est le grand gagnant. Même si 60% des capteurs sont en panne, le robot continue de conduire presque aussi bien que s'il voyait tout.

📜 La Preuve Mathématique (Sans les formules compliquées)

Les chercheurs ne se sont pas contentés de dire "ça marche". Ils ont fait des maths pour prouver pourquoi ça marche.

Ils ont démontré une règle simple :

Plus le robot est lisse dans ses décisions (il ne fait pas de sauts brusques) et plus il est capable de lisser les erreurs, plus il résiste aux pannes.

Ils ont aussi prouvé que si les pannes arrivent par "vagues" (un groupe de capteurs tombe en panne en même temps), c'est plus dur, mais le modèle "Transformer" arrive tout de même à s'en sortir mieux que les autres.

🏁 Le Verdict Final

Ce papier nous apprend une leçon cruciale pour le futur de la robotique :

Dans un monde parfait (où tout fonctionne), un robot simple suffit.
Dans le monde réel (où les capteurs cassent, la pluie tombe, les câbles se débranchent), il faut des robots qui savent raconter une histoire.

Le modèle Transformer est comme un pilote expérimenté qui, même avec un pare-brise sale et un compteur en panne, peut encore atterrir l'avion en sécurité parce qu'il se souvient de la trajectoire qu'il a prise il y a quelques secondes.

En résumé : Pour que les robots soient robustes dans la vraie vie, il faut arrêter de leur donner des amnésies et leur apprendre à utiliser leur mémoire à long terme. Et pour l'instant, la technologie "Transformer" est la meilleure façon de le faire.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Les systèmes d'apprentissage par renforcement (RL) réels, tels que la robotique ou la conduite autonome, dépendent de flux de données sensorielles qui sont souvent imparfaits. Les défaillances de capteurs, les pertes de communication et les corruptions transitoires entraînent une observabilité partielle et un dérive de distribution (sensor drift).

La plupart des architectures de politiques actuelles, notamment celles basées sur des perceptrons multicouches (MLP) dans des algorithmes comme PPO (Proximal Policy Optimization), supposent que l'état est entièrement observé et exempt de bruit. Lorsque des capteurs tombent en panne de manière persistante dans le temps, ces modèles deviennent fragiles et subissent une chute brutale des récompenses, car ils ne peuvent pas inférer les informations manquantes à partir du contexte historique.

L'objectif de cet article est d'étudier la robustesse de PPO face à des défaillances de capteurs temporellement persistantes et corrélées, et de proposer des architectures capables de maintenir les performances en inférant les données manquantes grâce à la mémoire temporelle.

2. Méthodologie

A. Modélisation des Défaillances de Capteurs

Les auteurs proposent un modèle de défaillance stochastique à deux couches pour capturer à la fois la persistance temporelle et les corrélations spatiales :

Niveau individuel : Chaque capteur suit une chaîne de Markov binaire (état de fonctionnement vs panne) avec des probabilités de défaillance ( $p_{fail}$ ) et de récupération ( $p_{recover}$ ).
Niveau groupe : Des groupes de capteurs (ex: partageant un bus de communication) suivent un processus de Markov supérieur.
Résultat : Un capteur est fonctionnel seulement si son état individuel et son état de groupe sont tous deux actifs. Ce modèle permet de simuler des pannes rapides, lentes, ou des pannes en rafale (bursty outages).

B. Architectures d'Agents PPO Basées sur les Séquences

Pour pallier l'observabilité partielle, les auteurs intègrent des encodeurs de séquences temporelles dans PPO :

Transformers : Utilisation d'attention auto-attentionnelle sur un tampon d'observations historiques ( $L$ pas de temps). L'agent apprend à pondérer les observations passées pertinentes pour reconstruire l'état manquant.
Modèles d'Espace d'État (SSM) et RNN : Intégration de modèles récurrents (GRU, LRU, LinOSS) qui maintiennent un état latent caché ( $h_t$ ) pour mémoriser l'historique.
Comparaison : Ces modèles sont comparés à une base MLP (sans mémoire) et à d'autres architectures de séquence (UniTS, GTrXL).

C. Analyse Théorique de la Robustesse

Les auteurs dérivent une borne de probabilité élevée sur la dégradation de la récompense à l'horizon infini sous le modèle de défaillance stochastique.

Hypothèses : Bornitude des sorties des capteurs, régularité de la politique (Lipschitz par rapport à la distance de Wasserstein), et Lipschitzianité de la fonction de valeur $Q$ .
Résultat clé : La dégradation moyenne de la récompense ( $\mu_S$ ) dépend linéairement du temps d'arrêt des capteurs et de la sensibilité de la politique/critique. La déviation stochastique dépend du temps de mélange ( $\tau$ ) de la chaîne de Markov des défaillances.
Interprétation : La robustesse est améliorée par une politique plus lisse et une persistance de défaillance plus faible (taux de récupération élevé).

3. Contributions Clés

Architectures PPO Séquentielles : Intégration réussie de Transformers et de SSM dans PPO pour gérer l'observabilité partielle causée par des pannes de capteurs réalistes.
Analyse Théorique Rigoureuse : Preuve d'une borne supérieure sur la perte de récompense infinie, quantifiant explicitement le lien entre la robustesse, la régularité de la politique et la persistance des défaillances.
Évaluation Empirique Complexe : Benchmarking sur les tâches de contrôle continu MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) avec des taux de perte de capteurs sévères (jusqu'à 60% d'observabilité partielle).

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre environnements MuJoCo avec un modèle de défaillance générant un taux de récupération effectif de 60%.

En Observabilité Complète : Les MLP (sans mémoire) obtiennent souvent les meilleures performances car l'état actuel suffit. Les modèles séquentiels complexes n'apportent pas d'amélioration systématique et peuvent même être inférieurs en raison de la complexité inutile.
En Observabilité Partielle (Défaillances) :
- MLP : Subit une dégradation sévère des performances, particulièrement sur les tâches complexes (Hopper, Walker2d).
- RNN / SSM (GRU, LRU, LinOSS) : Montrent une robustesse limitée. Bien qu'ils aient une mémoire, leurs dynamiques récurrentes rigides peinent à s'adapter aux interruptions irrégulières des flux de données.
- Transformers : Surperforme nettement toutes les autres architectures. Ils maintiennent des récompenses élevées et stables même lorsque de grandes fractions de capteurs sont indisponibles.
- Cas particulier (UniTS) : Performe mal, probablement à cause d'un biais inductif inadapté (traitement indépendant des variables qui nuit à l'apprentissage des interactions temporelles conjointes).

Conclusion des résultats : Les agents basés sur des Transformers démontrent une capacité supérieure à "reconstruire" l'état manquant en exploitant les dépendances temporelles via le mécanisme d'attention, ce qui les rend intrinsèquement plus robustes aux données manquantes.

5. Signification et Impact

Ce travail établit que le raisonnement temporel via des modèles de séquence (en particulier les Transformers) est un mécanisme essentiel pour rendre l'apprentissage par renforcement robuste dans des environnements réels où les capteurs sont peu fiables.

Pratique : Il offre une solution concrète pour déployer des agents RL dans des systèmes critiques (robotique, véhicules autonomes) où les pannes de capteurs sont inévitables.
Théorique : Il fournit un cadre mathématique pour comprendre comment la persistance des défaillances et la régularité de la politique influencent la dégradation des performances.
Futur : Il suggère que les architectures basées sur l'attention, capables de sauter dynamiquement les données manquantes sans supposer une régularité temporelle stricte, sont supérieures aux approches récurrentes classiques pour la gestion de l'incertitude observationnelle.

En résumé, l'article démontre que l'intégration de la mémoire temporelle via des Transformers transforme la fragilité des politiques RL standard en une résilience opérationnelle face aux dérives de capteurs.