🤖 machine learning

Adaptive Reinforcement Learning for Unobservable Random Delays

Cet article présente un cadre de couche d'interaction général et un algorithme d'Actor-Critic avec adaptation du délai (ACDA) basé sur un modèle qui permettent aux agents d'apprentissage par renforcement de s'adapter dynamiquement aux délais et aux pertes de paquets variables dans le temps et inobservables, surpassant de manière significative les méthodes existantes dans les tests de référence de locomotion.

Auteurs originaux : John Wikman, Alexandre Proutiere, David Broman

Publié 2026-07-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : John Wikman, Alexandre Proutiere, David Broman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à un jeu vidéo à haute vitesse où vous contrôlez un robot. Dans un monde parfait, vous voyez l'écran, vous appuyez sur un bouton, et le robot bouge instantanément. Mais dans le monde réel, les choses sont désordonnées. Votre signal peut rester coincé dans le trafic, le cerveau du robot peut prendre un moment pour réfléchir, ou le message peut se perdre entièrement. Au moment où votre commande arrive enfin, le robot a déjà bougé, et votre instruction est désormais erronée.

C'est le problème que les chercheurs John Wikman, Alexandre Proutiere et David Broman ont abordé. Ils ont découvert que l'entraînement standard de l'IA suppose que tout se passe instantanément, ce qui s'effondre face aux délais réels qui sont aléatoires et invisibles pour l'IA.

L'« Ancienne Méthode » contre le Problème Réel
Les méthodes précédentes essayaient de résoudre cela en jouant la carte de la prudence extrême. Elles supposaient le pire scénario : « Et si le délai est de 10 secondes ? ». Elles faisaient donc attendre l'IA exactement 10 secondes avant d'agir, même si le délai n'était généralement que de 1 seconde. C'est comme un conducteur qui attend toujours à un feu vert pendant 10 minutes au cas où le feu resterait rouge plus longtemps, même si d'habitude il passe au vert en 2 secondes. C'est sûr, mais c'est incroyablement lent et inefficace.

D'autres méthodes tentaient de deviner le délai, mais elles échouaient souvent car l'IA ne savait pas réellement combien de temps le délai durerait au moment de prendre sa décision. L'article argumente contre ces approches rigides à délai fixe, montrant qu'elles sont trop conservatrices et ne s'adaptent pas au chaos des réseaux réels.

La Nouvelle Solution : La « Couche d'Interaction »
L'équipe a introduit un nouveau cadre ingénieux appelé la Couche d'Interaction (Interaction Layer). Considérez cela comme un « centre de commandement » intelligent situé entre le cerveau de l'IA et le robot.

Au lieu d'envoyer une commande unique telle que « Saute maintenant », l'IA envoie une matrice d'actions futures — une immense grille de possibilités. C'est comme un joueur d'échecs qui ne se contente pas de faire un seul coup, mais qui écrit tout un livre de mouvements : « Si l'adversaire bouge ici, je fais ceci ; s'il bouge là, je fais cela ».

L'IA remplit cette grille pour de nombreux délais futurs possibles. Elle ne sait pas quelle ligne de la grille sera réellement utilisée, car elle ne sait pas combien de temps le message mettra à arriver. Mais la Couche d'Interaction agit comme un arbitre. Lorsque le message arrive enfin, la Couche vérifie le temps, détermine exactement quel était le délai, et choisit la bonne ligne de la grille à exécuter. Si un message est perdu ou arrive dans le désordre, la Couche a des lignes de secours prêtes à l'emploi.

L'« Actor-Critic with Delay Adaptation » (ACDA)
Pour faire fonctionner cela, ils ont construit un nouvel algorithme d'IA appelé ACDA. Cette IA est un peu une voyante. Parce qu'elle ne peut pas voir l'avenir, elle utilise un « modèle » pour imaginer à quoi ressemblera le monde au moment où son action atterrira.

Imaginez que vous lanciez un ballon à un ami qui s'éloigne de vous. Vous ne visez pas seulement là où il se trouve maintenant ; vous visez là où vous pensez qu'il sera quand le ballon arrivera. L'ACDA fait cela mathématiquement. Elle calcule une « distribution » de l'endroit où le robot se trouvera dans le futur et génère des actions basées sur cette prédiction. Elle ne devine pas aveuglément ; elle utilise un modèle appris de la façon dont le robot se déplace pour combler les lacunes des informations manquantes.

Ce que disent les Chiffres
Les chercheurs ont testé cela dans un monde simulé utilisant MuJoCo, un moteur physique pour robots, à travers cinq environnements différents : Ant-v4, Humanoid-v4, HalfCheetah-v4, Hopper-v4, et Walker2d-v4. Ils n'ont pas seulement utilisé des délais simulés ; ils ont utilisé des données réelles collectées à partir de réseaux WiFi dans une bibliothèque universitaire et un bureau.

Les résultats sont clairs :

Dans l'environnement Ant-v4 avec un délai spécifique (GE1,23), l'ancienne meilleure méthode (BPQL) a obtenu un score de 2691.88, tandis qu'ACDA a obtenu 4112.78.
Dans l'environnement Humanoid-v4 avec le même délai, BPQL a obtenu 585.19, tandis qu'ACDA a obtenu 4608.76.
Même avec les délais WiFi réels d'une bibliothèque (DLib), l'ACDA a systématiquement surpassé les méthodes de pointe.

L'article note que dans presque tous les scénarios testés, l'ACDA a obtenu des rendements moyens plus élevés que les meilleures méthodes existantes. Il y a une exception : dans l'environnement Ant-v4 avec un type de délai spécifique (MM1), BPQL a légèrement mieux performé. Cependant, sur 15 des 25 tests de référence effectués, l'ACDA est le meilleur performeur.

À quel point en sont-ils sûrs ?
Les auteurs sont très confiants dans ces résultats basés sur leurs simulations et leurs rejeux de données du monde réel. Ils ont fait passer leurs tests sur 1 million d'étapes d'entraînement. Cependant, ils précisent avec prudence que bien que les résultats soient solides, ils n'ont pas prouvé mathématiquement que l'algorithme convergera vers la solution parfaite dans toutes les situations possibles. Le succès est mesuré par la façon dont il a performé dans leurs tests spécifiques, et non par une garantie théorique qu'il fonctionnera à 100 % du temps dans chaque univers.

L'Essentiel
Cet article suggère qu'en laissant l'IA envoyer un « menu » d'actions futures et en laissant une couche intermédiaire intelligente choisir la bonne en fonction de son arrivée réelle, nous pouvons gérer les délais désordonnés et imprévisibles bien mieux qu'en attendant simplement ou en devinant. Cela transforme un problème chaotique et imprévisible en un jeu de « et si » gérable, permettant aux robots de se déplacer avec fluidité même lorsque leurs signaux sont coincés dans le trafic.

Résumé Technique : Apprentissage par Renforcement Adaptatif pour les Délais Aléatoires Inobservables

Énoncé du Problème

Les algorithmes d'apprentissage par renforcement (RL) standards, tels que le Proximal Policy Optimization (PPO) et le Soft Actor-Critic (SAC), supposent généralement un processus de décision de Markov (MDP) où l'agent observe l'état du système instantanément et exécute des actions sans délai. Dans les systèmes cyber-physiques réels, cette hypothèse échoue fréquemment en raison des délais d'interaction découlant de la transmission des observations, du calcul et de l'actionnement.

Les approches existantes pour gérer les délais se divisent généralement en deux catégories :

Processus de Décision de Markov Partiellement Observables (POMDP) : Modélisation des délais comme des observations obsolètes, ce qui limite l'accès de l'agent aux informations sur l'évolution de l'environnement pendant le délai.
Hypothèses de Délai Fixe : Imposition d'un délai constant (souvent une borne supérieure du pire cas) via des tampons d'actions. Bien que cela simplifie la prise de décision en fournissant une information parfaite sur le moment de l'exécution de l'action, cela est excessivement conservateur. Cela force l'agent à opérer sous un délai du pire cas même lorsque les délais réels sont minimaux, ce qui conduit à des performances sous-optimales.

Une lacune critique existe dans la gestion des délais aléatoires, variables et inobservables. Dans de nombreux scénarios du monde réel (ex. : réseaux de contrôle), l'agent ne sait pas au moment de la décision combien de temps une action prendra pour s'exécuter, ni peut prédire si des paquets seront perdus ou arriveront dans le désordre. Les méthodes existantes comme DCAC permettent des délais inobservables mais manquent de contrôle sur le moment où les actions sont appliquées, tandis que d'autres algorithmes de pointe (ex. : BPQL, VDPO) reposent sur des paradigmes à délai fixe.

Méthodologie

1. Le Cadre de la Couche d'Interaction (Interaction Layer)

Les auteurs introduisent un nouveau cadre appelé la Couche d'Interaction, qui se situe entre l'agent et le système contrôlé. Cette couche gère l'incertitude des délais inobservables via deux composants principaux : un Observateur et un Tampon d'Actions (Action Buffer).

Paquets d'Observation : L'observateur échantillonne l'état du système et envoie un paquet d'observation à l'agent. Ce paquet inclut l'état, le contenu actuel du tampon d'actions, le délai du paquet qui a mis à jour le tampon, et un compteur de décalage (shift counter).
Paquets d'Actions (Génération de Matrice) : Au lieu d'envoyer une seule action, l'agent génère un paquet d'actions contenant une matrice d'actions candidates.
- La matrice possède $L$ lignes (longueur de prédiction) et $h$ colonnes (horizon du tampon d'actions).
- La $i$ -ème ligne correspond à la séquence d'actions à exécuter si le paquet arrive au temps $t+i$ .
- Les colonnes gèrent les scénarios où aucun nouveau paquet n'arrive ; si un paquet manque à une étape spécifique, le système bascule sur la colonne suivante du tampon.
Logique d'Exécution : Lorsqu'un paquet d'actions arrive à la couche d'interaction, le système calcule le délai aller-retour ( $\delta$ ) en utilisant des horloges locales. Il sélectionne ensuite la ligne spécifique de la matrice correspondant à ce délai. Si le délai dépasse le nombre de lignes de la matrice ( $L$ ) ou si les paquets arrivent dans le désordre, le paquet est rejeté.

2. Actor-Critic avec Adaptation de Délai (ACDA)

S'appuyant sur la couche d'interaction, les auteurs proposent ACDA, un algorithme d'apprentissage par renforcement basé sur un modèle conçu pour s'adapter dynamiquement aux délais variables.

Heuristique pour les Actions Précédentes Présumées : Puisque l'agent ne peut pas savoir exactement quelles actions ont été appliquées au système entre la génération d'un paquet et son arrivée, ACDA emploie une heuristique. Il suppose que si le paquet actuel a un délai de $k$ , les paquets précédents avaient également un délai de $k$ . Cela permet à l'agent de reconstruire la séquence d'actions appliquée au système, lui permettant de prédire la distribution de l'état actuel.
Agent de Distribution Basé sur un Modèle : Les réseaux de neurones standards (MLP) nécessitent des entrées de taille fixe, mais la séquence d'actions "mémorisées" dans ACDA varie en longueur. Pour résoudre cela, ACDA utilise un modèle de distribution multi-étapes pour encoder l'historique des actions de longueur variable dans une représentation latente de taille fixe.
- EMBED : Encode l'état actuel dans une distribution latente.
- STEP : Une unité récurrente de type GRU (Gated Recurrent Unit) qui met à jour la distribution latente en simulant l'effet de l'application de la séquence d'actions mémorisées.
- EMIT : Un décodeur utilisé pendant l'entraînement pour garantir que la représentation latente prédit avec précision les états futurs (en minimisant la divergence KL).
- La politique $\pi_\theta$ génère ensuite des actions basées sur ce plongement (embedding) de taille fixe de la distribution d'état futur, plutôt que sur des historiques état-action bruts.
Entraînement : ACDA suit une configuration Actor-Critic basée sur le Soft Actor-Critic (SAC). Le critique évalue les valeurs sur les états du système sans délai, ce qui nécessite que l'algorithme reconstruise la trajectoire du point de vue du MDP sans délai pendant l'entraînement.

Contributions Clés

Cadre de la Couche d'Interaction : Un cadre général permettant aux agents de gérer les délais aléatoires et inobservables ainsi que la perte de paquets en générant une matrice d'actions futures. Cela permet une prise de décision informée sous incertitude sans supposer un délai fixe.
Algorithme ACDA : Un algorithme de RL basé sur un modèle qui exploite la couche d'interaction. Il introduit une heuristique pour estimer les actions appliquées et un mécanisme d'encodage basé sur la distribution pour gérer les historiques d'actions de longueur variable, permettant à la politique de raisonner sur les distributions d'états futurs.
Validation Empirique : Évaluation complète sur des tâches de locomotion MuJoCo en utilisant à la fois des processus de délai simulés (modèles Gilbert-Elliot et file d'attente M/M/1) et des délais WiFi réels mesurés.

Résultats

L'article évalue ACDA par rapport à des bases de référence de pointe, incluant SAC (avec et sans augmentation de délai constant), Dreamer, BPQL, et VDPO.

Performance : ACDA surpasse systématiquement toutes les bases de référence à travers une large gamme d'environnements (Ant, Humanoid, HalfCheetah, Hopper, Walker2d) et de processus de délai.
Délais Réels : Dans les expériences utilisant des délais réseau WiFi enregistrés (DLib et DOff), ACDA a démontré une performance supérieure, particulièrement parce que les délais du monde réel présentent des corrélations temporelles que ACDA est conçu pour exploiter.
Robustesse : Bien qu'ACDA suppose une corrélation temporelle dans les délais, il maintient une performance acceptable même sous des processus de délai indépendants et identiquement distribués (i.i.d.), bien qu'avec une marge plus faible.
Comparaison avec les Méthodes à Délai Fixe : Les méthodes reposant sur les délais du pire cas (comme BPQL et VDPO avec l'augmentation de délai constant) ont obtenu des résultats nettement moins bons, soulignant l'inefficacité des hypothèses conservatrices dans les environnements stochastiques.

Signification et Revendications

Les auteurs affirment que ce travail représente le premier cadre permettant aux agents de prendre des décisions informées et contrôlées sous des délais aléatoires et inobservables en RL. En dépassant le paradigide du délai fixe, la couche d'interaction et l'algorithme ACDA permettent aux agents de s'adapter au délai réel du système plutôt qu'à une borne supérieure conservatrice.

L'article souligne que, bien que les garanties de convergence pour le RL profond sous des délais aléatoires (formulation POMDP) restent théoriquement ouvertes, les résultats empiriques démontrent qu'ACDA atteint des rendements moyens nettement plus élevés que les approches actuelles de pointe. Ce travail suggère que la gestion directe de l'incertitude du délai, plutôt que l'imposition d'une constance artificielle, est une stratégie plus efficace pour déployer le RL dans les systèmes cyber-physiques du monde réel. Les futures directions de recherche incluent l'extension du cadre pour gérer des comportements d'interaction plus complexes et l'optimisation de la structure des paquets d'actions pour réduire la charge de calcul et de communication.