⚡ electrical engineering

Human-Centric Traffic Signal Control for Equity: A Multi-Agent Action Branching Deep Reinforcement Learning Approach

Cet article propose MA2B-DDQN, un cadre d'apprentissage par renforcement profond multi-agent centré sur l'humain qui utilise une architecture à embranchement d'actions pour décomposer le contrôle des signaux de trafic et optimiser l'équité au niveau des voyageurs, démontrant des réductions significatives d'individus retardés à travers divers scénarios urbains à Melbourne.

Auteurs originaux : Xiaocai Zhang, Neema Nassir, Lok Sang Chan, Milad Haghani

Publié 2026-02-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaocai Zhang, Neema Nassir, Lok Sang Chan, Milad Haghani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une rue de ville animée comme une piste de danse géante et complexe. En ce moment, les feux de signalisation sont comme un DJ jouant une liste de lecture rigide et préenregistrée. Ils changent selon un minuteur, peu importe si la piste de danse est bondée ou presque vide. Cela mène souvent au chaos : des voitures restent bloquées à attendre tandis que des voies vides restent inutilisées, et des piétons se retrouvent laissés sur le trottoir.

Le document que vous avez partagé présente un nouveau DJ plus intelligent nommé MA2B-DDQN. Au lieu de suivre un minuteur fixe, ce DJ écoute la salle en temps réel et décide de la musique (les signaux de circulation) en fonction de qui est réellement présent et de combien de temps ils ont attendu.

Voici une décomposition du fonctionnement de ce nouveau système, en utilisant des analogies simples :

1. L'objectif : L'équité pour tous, pas seulement pour les voitures

La plupart des systèmes de circulation sont comme une fête où seuls les VIP (les voitures) reçoivent de l'attention. Si une voiture est bloquée, le feu change. Si un piéton attend, il est souvent ignoré.

Ce nouveau système est comme un hôte de fête équitable. Il compte tout le monde dans la pièce : les personnes dans les voitures, les personnes dans les bus, les cyclistes et les piétons. Si un bus rempli de 50 personnes attend, le système considère cela comme un "retard" plus important qu'une voiture unique avec un seul conducteur. Le but n'est pas seulement de faire circuler les voitures rapidement ; c'est de s'assurer que le nombre total de personnes bloquées à attendre est le plus bas possible.

2. Le problème : Trop de choix

Contrôler les feux de circulation est difficile car il y a trop de décisions à prendre en même temps.

L'ancienne méthode : Imaginez essayer de contrôler 3 intersections différentes en même temps. Pour chaque intersection, vous devez décider : « Le feu doit-il être rouge ou vert ? » et « Combien de temps doit-il rester vert ? ». Si vous essayez de prendre toutes ces décisions à la fois, c'est comme essayer de résoudre un Rubik's Cube tout en faisant du jonglage. L'ordinateur est submergé et fait des erreurs.

3. La solution : La stratégie de « Branchement »

Les auteurs ont inventé une astuce ingénieuse appelée Action Branching (Branchement d'action). Voyez cela comme un Général et ses Lieutenants.

L'Action Globale (Le Général) : Il y a un « Général » qui décide de la durée totale des deux prochaines phases (par exemple, « Les deux prochains feux dureront 60 secondes au total »). C'est une décision unique et majeure qui s'applique à tout le monde.
Les Actions Locales (Les Lieutenants) : Une fois que le Général a fixé la durée totale, les « Lieutenants » (les agents à chaque intersection spécifique) décident de la répartition de ce temps. Par exemple, l'intersection A pourrait recevoir 40 secondes pour les voitures et 20 pour les piétons, tandis que l'intersection B reçoit 30 et 30.

En divisant la décision en « Quelle est la durée de tout le bloc ? » et « Comment diviser ce temps ? », le système évite d'être submergé. Cela rend les mathématiques complexes gérables, permettant à l'IA d'apprendre plus vite et de prendre de meilleures décisions.

4. L'entraînement : Apprendre par essais et erreurs

Le système utilise une méthode appelée Apprentissage par renforcement profond (Deep Reinforcement Learning). Imaginez un étudiant apprenant à jouer à un jeu vidéo.

Au début, l'étudiant (l'IA) fait des mouvements aléatoires.
S'il reste coincé dans le trafic, il reçoit un « score négatif » (une pénalité).
S'il maintient la circulation fluide, il reçoit un « score positif » (une récompense).
À travers des milliers d'essais, l'étudiant apprend les meilleurs mouvements pour éviter les pénalités.

Dans ce document, le « score » est basé sur le retard humain. L'IA est lourdement punie si une seule personne (qu'elle soit en voiture ou à pied) doit attendre trop longtemps.

5. Les résultats : Une circulation plus fluide

Les chercheurs ont testé ce nouveau système « Général et Lieutenants » dans sept scénarios de trafic différents à Melbourne, en Australie. Ces scénarios allaient de périodes creuses calmes aux heures de pointe, aux déposes scolaires et même à des conditions de quasi-embouteillage.

Ils ont comparé leur nouveau système à :

Des minuteurs fixes : Les anciens feux qui ne changent jamais.
D'autres systèmes d'IA : D'autres systèmes de trafic intelligents qui n'utilisent pas l'astuce de « branchement » ou ne se concentrent pas sur l'équité.

Les conclusions :

Le vainqueur : MA2B-DDQN (le nouveau système) a systématiquement présenté le retard total le plus bas pour les personnes. Il a fait circuler plus de personnes à travers l'intersection plus rapidement que toute autre méthode.
Stabilité : Il était également le plus fiable. Alors que d'autres systèmes d'IA pouvaient parfois présenter d'énormes pics de congestion (comme des montagnes russes), ce système maintenait le flux de circulation stable et régulier.
Le boost « Double » : Les chercheurs ont découvert qu'ajouter une caractéristique spécifique de « Double Q-Network » (une façon de double-vérifier ses propres calculs) rendait le système encore meilleur, réduisant les erreurs et améliorant les performances jusqu'à 16 % par rapport à des systèmes similaires.

Résumé

Ce document présente une nouvelle façon de contrôler les feux de signalisation qui traite chaque voyageur — qu'il soit en voiture, dans un bus ou à pied — comme étant d'égale importance. En décomposant la tâche complexe de contrôle de plusieurs intersections en un « Général » (fixant le temps total) et des « Lieutenants » (répartissant le temps), le système apprend à gérer le trafic de manière beaucoup plus efficace. Le résultat est un trajet plus équitable, plus fluide et moins frustrant pour tous les usagers de la route.

Résumé Technique : Contrôle de la Signalisation Lumineuse Centré sur l'Humain pour l'Équité

Énoncé du Problème
La coordination des signaux de circulation le long des corridors multimodaux présente des défis importants. Les approches actuelles d'apprentissage par renforcement profond multi-agents (DRL) sont principalement centrées sur les véhicules, négligeant souvent les piétons, les cyclistes et les passagers des transports en commun. De plus, ces méthodes peinent à gérer les espaces d'actions discrets de haute dimension inhérents à la coordination multi-intersections. Les systèmes adaptatifs traditionnels (par exemple, SCATS, SCOOT) nécessitent souvent un réglage manuel et ne parviennent pas à prendre en compte de manière adéquate les usagers non motorisés. Le problème central abordé est l'absence d'un cadre évolutif et centré sur l'humain qui optimise explicitement l'équité au niveau des voyageurs (équité entre tous les modes de transport) tout en gérant efficacement la complexité des espaces d'actions discrets dans un environnement multi-agents.

Méthodologie : MA2B-DDQN
Les auteurs proposent le MA2B-DDQN (Multi-Agent Action-Branching Double Deep Q-Network), un cadre de DRL multi-agents coopératif conçu pour des réseaux de corridors à échelle moyenne. La méthodologie repose sur cinq composantes clés :

Environnement et Représentation de l'État :
- La simulation utilise PTV VISSIM modélisant un corridor réel à Melbourne, en Australie, comprenant trois intersections avec un trafic mixte (voitures, bus, piétons).
- Le vecteur d'état $S_t$ combine trois éléments : les conditions de trafic (occupation des véhicules, vitesse, accélération et nombre de passagers par cellule de voie), les informations sur les piétons (comptage des attentes par zone) et les phases de signalisation actuelles (encodage one-hot).
Architecture de Branchement d'Actions (Action Branching) :
- Pour répondre à la « malédiction de la dimensionnalité » dans les espaces multi-agents discrets, l'espace d'action est décomposé en $n+1$ dimensions (où $n$ est le nombre d'intersections).
- Actions Locales ( $n$ dimensions) : Chaque agent détermine indépendamment le ratio d'allocation du temps de vert ( $p_{i,1}$ ) entre les deux phases suivantes.
- Action Globale (1 dimension) : Une action globale unique sélectionne la durée totale ( $C$ ) des deux phases à venir pour l'ensemble du corridor.
- Cette décomposition permet au modèle de gérer les décisions discrètes (sélection de phase et durée) plus efficacement qu'un DRL standard d'action conjointe.
Mécanisme de Récompense Centré sur l'Humain :
- Contrairement aux récompenses traditionnelles basées sur la longueur de la file d'attente des véhicules ou le débit, la fonction de récompense pénalise le nombre total d'individus retardés.
- Elle agrège les retards des piétons, des occupants de véhicules et des passagers des transports en commun. Un retard est déclenché lorsqu'une vitesse de véhicule descend sous un seuil (5 km/h) ou lorsque des piétons attendent aux zones de traversée.
- La récompense est formulée comme $r_t = -(w_{veh} \sum N^{veh}_{i,t} + w_{ped} \sum N^{ped}_{j,t})$ , privilégiant la réduction des voyageurs impactés plutôt que le simple flux de véhicules.
Architecture du Réseau :
- Le modèle emploie un cadre Double DQN (DDQN) pour atténuer la surestimation des valeurs Q.
- Le réseau utilise un extracteur de caractéristiques partagé (deux couches denses avec ReLU et Normalisation de Couche) alimentant $n+1$ têtes de sortie parallèles (une par dimension d'action).
- Les actions sont sélectionnées via $\arg\max$ sur les valeurs Q de chaque branche.
Algorithme d'Apprentissage :
- Le système utilise l'Entraînement Centralisé avec Exécution Décentralisée (CTDE). Les agents partagent des informations globales pendant l'entraînement pour mettre à jour les politiques, mais exécutent les actions localement.
- La fonction de perte est la moyenne des pertes à travers toutes les $n+1$ dimensions d'action, optimisée à l'aide de l'optimiseur Adam.

Principales Contributions

Équité Centrée sur l'Humain : L'étude introduit une approche de TSC prospective qui traite tous les participants au réseau de transport (occupants de véhicules privés, passagers de transports publics, cyclistes et piétons) de manière égale, en optimisant explicitement la réduction des individus retardés.
Cadre Multi-Agents Coopératif : Les auteurs présentent un cadre qui détermine de manière adaptative une action globale (durée de la phase totale) en utilisant des informations partagées, tout en optimisant simultanément les réglages de signalisation locaux (répartitions du temps de vert) via des agents individuels.
Branchement d'Actions pour le DRL Multi-Agents : C'est la première application d'une architecture de branchement d'actions au TSC multi-agents. Elle gère efficacement l'espace d'action discret et le contexte multi-agents en décomposant le problème de contrôle, réduisant ainsi la complexité de la prise de décision conjointe.

Résultats Expérimentaux
Le modèle a été évalué à travers sept scénarios de trafic réalistes à Melbourne, allant de la période hors pointe et l'heure de pointe à la période scolaire et aux conditions de saturation proche. Il a été comparé à neuf modèles de référence, incluant les signaux à temps fixe (formule de Webster, Green Wave) et divers modèles DRL (MADQN, MADDQN, MADDPG, CMRM, MASAC, MAA2C, MA2B-DQN).

Performance : MA2B-DDQN a systématiquement obtenu les valeurs les plus basses pour le Retard Individuel Agrégé (AID) et le Retard Par Capita (PCD) dans tous les scénarios.
- Dans le Scénario 1 (hors pointe), il a réduit l'AID de 36,75 % par rapport au meilleur modèle de référence à temps fixe et de 11,94 % par rapport au meilleur modèle de référence DRL (MAA2C).
- Dans le Scénario 2 (heure de pointe), il a amélioré la performance de 11,73 % par rapport au second meilleur modèle DRL.
- Dans le Scénario 4 (après-midi scolaire), il a obtenu une amélioration de 35,24 % par rapport à MASAC.
Robustesse : Le modèle a démontré l'écart-type le plus bas pour les mesures de performance lors des essais répétés, indiquant une grande stabilité par rapport à des modèles comme MADDPG, qui présente une forte variance.
Études d'Ablation :
- Supprimer le mécanisme de branchement d'actions dégrade considérablement les performances (par exemple, une augmentation de 16,09 % de l'AID dans le Scénario 1), confirmant son rôle critique dans l'efficacité de l'apprentissage.
- L'incorporation de l'architecture Double DQN (DDQN) a amélioré les performances de 2,93 % à 16,40 % par rapport au DQN standard selon le scénario, validant l'atténuation de la surestimation.
Compromis (Trade-offs) : Bien que MA2B-DDQN excelle dans l'équité globale et le flux de véhicules, certains modèles de référence (par exemple, CMRM, MASAC) atteignent occasionnellement des retards spécifiques aux piétons (APDS/AWTP) plus faibles au prix de retards de véhicules nettement plus élevés. MA2B-DDQN maintient une optimisation plus équilibrée entre les modes.

Signification et Revendications
L'article affirme que MA2B-DDQN fournit une solution évolutive et robuste pour le contrôle de la signalisation de trafic multimodal qui traite explicitement l'équité. Sa signification réside dans :

Le passage d'un paradigme d'optimisation centré sur le véhicule à une équité au niveau individuel, garantissant un accès équitable pour tous les usagers de la route, quel que soit leur mode de transport.
La démonstration que le branchement d'actions est une stratégie viable et efficace pour gérer les espaces d'actions discrets de haute dimension dans les environnements multi-agents, surpassant à la fois les contrôles traditionnels à temps fixe et d'autres méthodes DRL de pointe.
L'offre d'un cadre pratique adaptable à diverses conditions urbaines, validé sur un corridor réel avec des données de trafic multimodal réalistes.

Les auteurs concluent que, bien que le DRL surpasse généralement les méthodes à temps fixe, la combinaison spécifique du branchement d'actions, du DDQN et des récompenses centrées sur l'humain est nécessaire pour atteindre à la fois une haute efficacité et une grande équité dans des réseaux multimodaux complexes. Ils notent que dans les conditions de saturation proche, la capacité physique des voies devient le facteur limitant, mais que leur méthode maintient néanmoins une performance supérieure par rapport aux modèles de référence.