💻 informatique

Adaptive RL-Based Traffic Signal Control with Dynamic Graph Attention and Temporal Awareness under Disruptions

Cet article propose un cadre robuste d'apprentissage par renforcement sur graphes spatio-temporels qui intègre des réseaux d'attention sur graphes et des encodeurs temporels basés sur les Transformers pour permettre aux systèmes de contrôle de signalisation de trafic multi-agents de distinguer efficacement le bruit transitoire des perturbations persistantes, atteignant ainsi un débit supérieur et une récupération plus rapide des défaillances structurelles par rapport aux modèles de référence de l'état de l'art.

Auteurs originaux : Wissem Yousfi, Rim Slama, Pierre-Antoine Laharotte

Publié 2026-10-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wissem Yousfi, Rim Slama, Pierre-Antoine Laharotte

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les feux de signalisation sont les chefs d'orchestre silencieux de nos villes, orchestrant le flux de millions de véhicules chaque jour. Depuis des décennies, les ingénieurs s'appuient sur des programmes fixes ou des capteurs simples pour décider quand un feu doit passer au vert ou au rouge. Ces systèmes fonctionnent bien lorsque le trafic est prévisible, mais ils peinent souvent lorsque l'imprévisible survient. Un accident soudain, une fermeture de route pour travaux, ou même une forte averse peuvent plonger un système minutieusement synchronisé dans le chaos, provoquant des files d'attente qui débordent et la propagation d'un engorgement. Ces dernières années, des chercheurs se sont tournés vers l'intelligence artificielle, plus précisément vers un type d'apprentissage appelé apprentissage par renforcement, pour apprendre aux feux de signalisation à s'adapter en temps réel. En laissant des agents informatiques apprendre par essais et erreurs dans des villes simulées, ces systèmes peuvent souvent gérer le trafic normal mieux que les méthodes traditionnelles. Cependant, une lacune critique subsiste : la plupart de ces systèmes intelligents sont entraînés dans des mondes parfaits et idéalisés. Lorsque la simulation est perturbée par une défaillance majeure, l'intelligence artificielle panique ou se fige souvent, incapable de récupérer aussi rapidement qu'un opérateur humain pourrait l'espérer.

C'est le défi que s'est lancé une équipe de chercheurs de l'Université Gustave Eiffel en France. Ils ont posé une question fondamentale : comment pouvons-nous construire un système de contrôle du trafic qui non seulement gère les heures de pointe, mais qui survit également et se rétablit après des catastrophes structurelles ? Leur réponse est un nouveau type de contrôleur de trafic intelligent conçu pour être résilient. Au lieu de simplement réagir au trafic qu'il voit à l'instant présent, ce système observe comment le trafic a évolué au fil du temps et prête une attention particulière aux intersections voisines qui sont encore utiles pour communiquer. Les chercheurs ont construit un jumeau numérique sophistiqué d'une grille urbaine pour tester leur idée, soumettant celle-ci à une série de tests de résistance sévères comprenant des blocages de routes aléatoires, la fermeture totale d'axes routiers majeurs et même une pluie simulée qui ralentit chaque véhicule sur la route.

Le cœur de leur innovation réside dans la manière dont les feux de signalisation « réfléchissent » à leurs voisins. Dans une ville normale, chaque intersection est connectée à celles qui l'entourent, et elles partagent des informations pour coordonner le flux. Mais lorsqu'une route est bloquée, les anciennes connexions deviennent inutiles. Un feu de signalisation peut continuer à écouter un voisin qui est désormais coupé du flux principal, perdant ainsi du temps avec des informations qui n'ont plus d'importance. Le nouveau système utilise un mécanisme d'attention dynamique, qui agit comme un filtre évaluant constamment qui mérite d'être écouté. Si une route menant à un voisin est bloquée, le système cesse instantanément de se fier aux données de ce voisin et déplace son attention vers d'autres intersections qui transportent encore du trafic. Cela permet au réseau de se réorganiser à la volée, trouvant de nouveaux chemins pour l'écoulement des voitures sans attendre qu'un commandement central ne lui dise quoi faire.

Pour rendre cela encore plus robuste, le système apprend également à distinguer un incident passager d'un problème permanent. Le trafic fluctue naturellement ; un bus peut arriver en retard, ou un groupe de voitures peut s'agglutiner après un feu vert. Un système simple pourrait prendre cela pour un embouteillage majeur et surréagir. La conception des chercheurs inclut une composante de mémoire qui observe l'historique du trafic sur une courte période. Elle peut faire la différence entre un pic soudain et éphémère de voitures et un blocage soutenu qui ne disparaîtra pas. Cela empêche les feux de procéder à des changements frénétiques et inutiles lors de petits incidents, tout en garantissant qu'ils réagissent de manière décisive lorsqu'une véritable catastrophe frappe. En combinant cette capacité à ignorer le bruit avec sa compétence à ignorer les voisins défectueux, le système crée une stratégie de contrôle qui est à la fois calme et agile.

Les chercheurs ont testé leur création contre les meilleures méthodes existantes, y compris d'autres contrôleurs d'intelligence artificielle avancés et les feux à temps fixe traditionnels. Ils ont lancé des milliers de simulations sur une grille de 4x4 intersections, d'abord dans des conditions normales de haute demande, puis sous diverses formes de chaos. Dans les scénarios normaux, leur système est légèrement plus performant que ses concurrents, maintenant une circulation plus fluide et réduisant le temps d'attente des véhicules. Mais le véritable test est venu lorsqu'ils ont introduit les perturbations. Lorsqu'ils ont bloqué aléatoirement huit routes différentes simultanément, ou lorsqu'ils ont complètement fermé un axe majeur est-ouest, les autres systèmes ont lourdement souffert. Leurs temps d'attente ont grimpé en flèche et les files d'attente sont devenues longues et ingérables. Le nouveau système, cependant, a tenu bon. Il a maintenu une vitesse moyenne plus élevée et a gardé un temps d'attente total inférieur aux autres méthodes, même alors que le réseau était démantelé par les accidents simulés.

Plus important encore, l'étude a mesuré la rapidité avec laquelle le système pouvait récupérer une fois la perturbation terminée. Lorsque les routes bloquées ont été dégagées, le nouveau contrôleur est revenu à un flux stable et fluide bien plus rapidement que les autres. Dans un scénario impliquant la fermeture du centre-ville, le système a retrouvé sa vitesse moyenne près de deux minutes plus vite que le second meilleur concurrent. Cette vitesse de récupération est cruciale pour les villes du monde réel, où le temps passé dans les embouteillages après un incident peut être aussi dommageable que l'incident lui-même. Les chercheurs ont également testé le système dans des conditions de pluie simulée, où les voitures roulent plus lentement et maintiennent des distances plus grandes entre elles. Bien que le modèle météorologique soit simplifié, le système s'est bien adapté, montrant qu'il peut gérer les changements dans le comportement des véhicules, et pas seulement les changements dans la configuration routière.

Les conclusions suggèrent que la clé d'un contrôle du trafic résilient n'est pas seulement de rendre le système plus intelligent, mais de le rendre plus conscient de son propre contexte. En apprenant aux feux de signalisation à décider dynamiquement qui écouter et à comprendre l'historique du flux de trafic, les chercheurs ont créé un système qui se comporte davantage comme un régulateur humain expérimenté que comme un programme informatique rigide. Il ne se brise pas lorsque les règles de la route changent ; il réécrit simplement sa propre stratégie pour s'adapter à la nouvelle réalité. Bien que ces résultats proviennent de simulations informatiques et que les chercheurs notent que les tests en conditions réelles sont la prochaine étape nécessaire, ce travail offre une voie prometteuse pour construire des villes capables de résister aux perturbations inévitables de la vie moderne. L'objectif n'est plus seulement de déplacer le trafic efficacement quand tout est parfait, mais de maintenir la ville en mouvement quand tout va mal.

Résumé technique : Contrôle adaptatif du trafic par RL basé sur l'apprentissage par renforcement avec attention de graphe dynamique et conscience temporelle sous perturbations

Énoncé du problème
Bien que l'apprentissage par renforcement multi-agents (MARL) ait démontré un potentiel pour optimiser le contrôle de la signalisation de trafic (TSC) dans des conditions nominales, les approches existantes manquent souvent de résilience face à des conditions de trafic non stationnaires et anormales. Les modèles entraînés sur une demande stationnaire et des capacités de réseau fixes ont tendance à développer des politiques fragiles qui se dégradent brutalement lors de perturbations telles que des défaillances de capteurs, des blocages routiers ou des conditions météorologiques extrêmes. Le défi central réside dans trois exigences simultanées : distinguer le bruit transitoire des réductions de capacité persistantes, déterminer le moment optimal de réaction pour éviter une instabilité des phases de changement, et identifier dynamiquement quels agents voisins fournissent des informations pertinentes lorsque la topologie du réseau change en raison des perturbations. Les méthodes basées sur les graphes actuelles reposent souvent sur des classements de voisins statiques ou des instantanés spatiaux immédiats qui ne parviennent pas à séparer les fluctuations transitoires des défaillances structurelles.

Méthodologie
Les auteurs proposent un cadre d'apprentissage par renforcement de graphes spatio-temporels dynamiques conçu pour maintenir la stabilité structurelle et l'adaptabilité. L'architecture intègre quatre composants clés au sein d'un cadre de processus de décision de Markov partiellement observable (POMDP) :

Plongement d'observation (Observation Embedding) : Les observations locales (phase active, éligibilité de transition, densité de voie, saturation de file) sont projetées dans un espace latent à l'aide d'un perceptron multicouche (MLP).
Collaboration spatiale dynamique (GATv2) : Contrairement aux mécanismes d'attention de graphe statiques, le cadre utilise GATv2 (Brody et al., 2022). Cela permet aux agents de calculer des poids d'attention dépendants du contexte basés sur l'état conjoint de l'agent et de ses voisins. Par conséquent, le voisinage fonctionnel s'adapte en ligne ; les agents peuvent réduire le poids des voisins dont l'offre amont est bridée par une perturbation et augmenter celui de ceux qui absorbent la demande déroutée, sans modifier le graphe physique.
Encodage de l'interaction temporelle (Transformer) : Pour distinguer les rafales d'arrivées stochastiques des pertes de capacité persistantes, un encodeur basé sur Transformer traite une histoire finie de représentations spatiales. Ce mécanisme permet à la politique d'identifier des « signatures de persistance », permettant aux agents d'ignorer les fluctuations de courte durée et de s'engager dans des comportements adaptatifs uniquement lorsque les écarts persistent.
Algorithme de contrôle : Le cadre utilise l'optimisation de politique proximale (PPO) sous un paradigme d'entraînement centralisé avec exécution décentralisée (CTDE). L'acteur reçoit une observation locale concaténée de l'état actuel et de la représentation spatio-temporelle, tandis que le critique utilise des informations globales pendant l'entraînement.

Configuration expérimentale
L'évaluation a été menée sur deux réseaux : une grille synthétique contrôlée de $4 \times 4$ et un benchmark réel dérivé de Hangzhou de $4 \times 4$ .

Entraînement stochastique : Un moteur de génération de trafic probabiliste a été introduit pour créer des modèles de demande uniques et non stationnaires pour chaque épisode, empêant le surapprentissage de séquences d'arrivée spécifiques.
Scénarios de perturbation : Un benchmark de test de résistance rigoureux a été développé, incluant :
- Blocages routiers aléatoires : Restrictions d'arêtes stochastiques à haute fréquence.
- Défaillances structurelles réalistes : Échecs des corridors Est-Ouest et Nord-Sud, ainsi qu'une fermeture de la Place Centrale.
- Météo défavorable : Un modèle simplifié réduisant la vitesse des véhicules et augmentant les intervalles minimaux pour simuler des conditions de route humides.
Lignes de base (Baselines) : La méthode proposée a été comparée à Fixed-Time (FT), Independent DQN (IDQN), Independent PPO (IPPO), Multi-Agent PPO (MAPPO) et MacLight (une approche MARL de pointe spécifiquement évaluée pour les perturbations).

Résultats clés

Performance nominale : Sur les réseaux synthétiques et de Hangzhou, la méthode proposée a obtenu la meilleure performance moyenne en termes de temps d'attente total, de longueur de file et de vitesse moyenne. Sur le réseau de Hangzhou, elle a réduit le temps d'attente moyen d'environ 26,6 % par rapport à MacLight.
Robustesse (pendant la perturbation) : Sous des perturbations actives, le contrôleur proposé maintient systématiquement des temps d'attente absolus et des longueurs de file plus faibles que MacLight. En termes de taux de dégradation de la performance (PDR), la méthode proposée présente une robustesse relative supérieure dans les scénarios impliquant des changements topologiques sévères (ex: Blocage Aléatoire et Fermeture du Centre), limitant l'augmentation des files d'attente plus efficacement que la ligne de base.
Résilience (Récupération) : Le cadre a démontré des temps de récupération ( $T_{rec}$ ) plus rapides et des ratios d'aire sous la courbe (AUC) plus élevés dans la plupart des scénarios de défaillance structurelle. Notamment, dans le scénario de Fermeture de la Place Centrale, la méthode proposée a récupéré la longueur de file 95 secondes plus rapidement que MacLight.
Sensibilité météorologique : Sous le scénario simplifié de temps pluvieux, les deux contrôleurs présentent des vitesses moyennes réduites en raison des changements de paramètres imposés (vitesse plus faible, intervalles plus grands). Les auteurs notent que les valeurs de PDR négatives dans ce scénario spécifique reflètent le modèle météorologique simplifié plutôt qu'une robustesse intrinsèque à la pluie.

Signification et affirmations
L'article affirme que le cadre proposé comble l'écart entre le succès en simulation et la viabilité dans le monde réel en concevant explicitement pour la stabilité structurelle. La principale signification réside dans le double mécanisme de pondération dynamique des voisins et de détection de la persistance temporelle, ce qui permet aux agents d'adapter leurs modèles de coordination et leur timing de réaction en ligne sans réentraînement ni détecteurs d'incidents externes.

Les auteurs soulignent que leur approche atteint une élasticité supérieure sous tension, récupérant un flux de trafic stable de manière nettement plus rapide que les lignes de base de pointe suite à de graves perturbations structurelles. Cependant, l'article maintient un ton modeste concernant ses affirmations :

Il reconnaît que les améliorations dans les conditions nominales, bien que statistiquement meilleures en moyenne, ont été accompagnées d'une variabilité substantielle.
Il précise que les résultats météorologiques sont des analyses de sensibilité basées sur un modèle simplifié, et non une preuve de robustesse aux effets physiques complexes de la pluie.
Il conclut que les conclusions sont des résultats empiriques dépendants des scénarios plutôt que la preuve que l'architecture garantit intrinsèquement la résilience dans toutes les conditions possibles.

Les travaux futurs sont identifiés comme l'extension des évaluations à des réseaux plus vastes et plus hétérogènes, ainsi que le calibrage des comportements de véhicules liés à la météo en utilisant des données de trafic observées.

Articles similaires