Résumé Technique : Une Interface de Contrôle Basée sur les Graphes pour les Signaux de Circulation sur des Réseaux Routiers Hétérogènes

Énoncé du Problème

Le contrôle des signaux de circulation fait face à un défi fondamental de généralisation : les espaces d'action sont intrinsèquement locaux et hétérogènes. Un carrefour à trois branches, une intersection standard à quatre branches et un carrefour complexe avec des tours protégées possèdent un nombre différent de phases et des significations sémantiques distinctes pour ces phases. Par conséquent, les têtes de réseaux neuronaux à sortie fixe (par exemple, « Phase 2 ») manquent de sémantique réutilisable à travers différents réseaux routiers. Les approches standards qui complètent les espaces d'action pour obtenir une taille uniforme modifient les dimensions des tenseurs sans établir de sens partagé, tandis que les méthodes apprises existantes peinent souvent à découpler l'évaluation des mouvements de trafic de la construction d'espaces d'action spécifiques aux intersections.

Méthodologie

Le papier propose une interface de contrôle qui sépare strictement l'évaluation apprise des mouvements de trafic de la construction déterministe des espaces d'action locaux.

1. Objets de Contrôle et Représentation

• Mouvements : Définis comme des trajectes légales et contrôlées allant d'un corridor routier entrant vers un corridor routier sortant (incluant la circulation rectiligne et les virages).
• LaneGroups (Groupes de Voies) : Des segments de route dirigés consécutifs sont regroupés en LaneGroups lorsque la continuation non signalisée est sans ambiguïté. Les directions opposées restent séparées en raison de la différence de dynamique de file d'attente et de vitesse.
• Phases : Une phase est un ensemble compatible de mouvements pouvant recevoir un signal vert simultanément. Le contrôleur sélectionne une phase par intersection plutôt que de contrôler des lampes individuelles.

2. Architecture de Réseau de Neurones sur Graphe (GNN)

Le système utilise un GNN typé partagé qui opère sur un graphe au niveau de la ville contenant des nœuds de type LaneGroup et Movement.

• Passage de Messages : L'architecture utilise un passage de messages typé avec quatre relations dirigées : $L_{in} \to M$, $L_{out} \to M$, $M \to L_{in}$, et $M \to L_{out}$.
• Agrégation : Elle utilise une agrégation moyenne typée (plutôt que l'attention) pour produire des plongements (embeddings).
• Évaluation (Scoring) : Après deux blocs de passage de messages, un perceptron multicouche (MLP) projette le dernier plongement de mouvement ($h^{(2)}_m$) vers un score scalaire unique ($s_m$).
• Partage de Paramètres : Les formes des paramètres dépendent uniquement des dimensions des caractéristiques et des dimensions cachées, ce qui les rend indépendantes de la taille du graphe ou du nombre d'actions.

3. Construction Déterministe de l'Espace d'Action

L'interface impose une « frontière étroite » où l'apprentissage s'arrête à l'évaluation des mouvements, et où le code déterministe gère le reste :

• Matrice d'Incidence ($A_j$) : Pour chaque intersection $j$, une matrice d'incidence déterministe pré-calculée fait correspondre les scores de mouvement aux logits de phase. La matrice $A_j \in \{0, 1\}^{|P_j| \times |M_j|}$ indique quels mouvements sont activés par quelles phases.
• Logits de Phase : Le logit d'une phase $p$ est calculé comme la somme des scores de ses mouvements activés : $\ell_{j,p} = \sum_{m \in M_j} A_{j,p,m} s_m$.
• Construction Hors Ligne : Les phases sont générées hors ligne via l'énumération de Bron–Kerbosch pour trouver des ensembles de mouvements compatibles maximaux basés sur les données de conflit de SUMO.
• Exécution En Ligne : Au moment de l'exécution, un masque de disponibilité impose des temps de vert minimaux, et un échantillonnage catégoriel sélectionne une phase sur la base des logits.

4. Protocole d'Entraînement

• Algorithme : L'optimisation de la politique complète est réalisée via l'Optimisation de Politique Proximale (PPO).
• Fonction de Récompense : Une récompense locale et sans dimension est attribuée par intersection, combinant des termes pour la progression (densité normalisée par la vitesse), la décharge (véhicules sortant), le freinage (décélération) et l'engorgement (déficit de vitesse).
• Exécution : La politique opère sur des graphes d'état de taille variable. Pour le traitement par lots (batching), les intersections ayant des dimensions locales correspondantes sont groupées, évitant ainsi le remplissage (padding) vers une taille de graphe universelle.

Contributions Clés

1. Découplage Structurel : La contribution principale est l'interface architecturale qui sépare un GNN réutilisable et partagé pour l'évaluation des mouvements de la construction déterministe et spécifique aux intersections des espaces d'action. Cela permet de gérer des tailles de graphes variables et des nombres d'actions variables sans réentraînement ni modification de la topologie du réseau.
2. Évaluation de la Faisabilité : Le papier fournit des preuves empiriques de la capacité de cette interface à s'exécuter sur des réseaux routiers hétérogènes, incluant des géométries de grille synthétiques inédites et cinq graphes de villes distincts (Karlsruhe, Mannheim, Stuttgart, Heidelberg, Freiburg).
3. Frontière Transparente : Contrairement aux travaux antérieurs (ex: TransferLight) qui apprennent des hiérarchies complexes ou des sémantiques de phase, cette approche maintient une frontière transparente où l'appartenance aux phases et la temporisation restent déterministes, et où l'acteur appris ne produit qu'un scalaire par mouvement.

Résultats Expérimentaux

L'évaluation répond à trois questions de recherche (RQ) :

• RQ1 (Transfert au sein d'une famille synthétique) : Sur des tailles de grille inédites (ex: $6 \times 6$) et des rapports d'aspect générés par le même générateur synthétique, la politique apprise échantillonnée a surpassé la référence Max-Pressure en termes de débit et de taux d'achèvement pour tous les niveaux de demande (0,6, 0,7, 0,8).
• RQ2 (Décalage de Distribution) : Lorsque la couverture des signaux a été réduite (50 % et 25 %), la politique entraînée avec une couverture complète a montré une détérioration significative des performances par rapport à Max-Pressure. Cela indique une sensibilité aux changements de distribution de la couverture des signaux, malgré le fait que l'architecture reste structurellement exécutable.
• RQ3 (Faisabilité Urbaine) : Une instance unique de politique entraînée a été exécutée sur cinq graphes de villes hétérogènes. Les résultats sont mitigés :
  • Karlsruhe & Stuttgart : La politique apprise a surpassé toutes les références non apprises (Max-Pressure, Queue, Temps Fixe) en débit et en achèvement.
  • Mannheim : Elle est restée derrière la référence Queue.
  • Heidelberg : Elle a performé de manière similaire à Temps Fixe.
  • Freiburg : Elle a obtenu un débit et un achèvement plus élevés que Temps Fixe, mais au prix d'une densité d'attente plus élevée.
  • Note : Stuttgart a été le seul véritable test de généralisation (aucun déroulement d'entraînement), tandis que les autres ont démontré l'exécution à travers des domaines d'entraînement hétérogènes.

Signification et Revendications

Le papier cadre explicitement sa contribution comme une preuve de faisabilité plutôt que comme une garantie générale de transfert à des réseaux routiers arbitraires.

• Portée Modeste : Les auteurs précisent que les résultats n'établissent pas un transfert général vers des réseaux routiers arbitraires. L'évaluation est limitée à des familles spécifiques de simulations synthétiques et urbaines.
• Structurel vs Empirique : Le papier distingue la propriété structurelle (la capacité de s'exécuter sur des graphes variables, prouvée par construction) de la robustesse empirique (qui s'avère sensible aux changements de distribution comme les variations de couverture des signaux).
• Focus sur l'Implémentation : Ce travail évalue une implémentation et une interface architecturale plutôt qu'un nouvel algorithme d'apprentissage par renforcement. Il souligne que si l'interface supporte des dimensions variables, la performance apprise n'est pas invariante aux changements de la distribution du contrôleur ou de la topologie sous-jacente du réseau.

En conclusion, le papier démontre qu'une interface basée sur les graphes peut réussir à découpler l'évaluation des mouvements de trafic de la logique locale des signaux, permettant l'exécution sur diverses géométries de réseaux inédites. Cependant, il révèle également que l'exécutabilité structurelle ne garantit pas automatiquement une performance robuste sous des changements de distribution ou à travers tous les environnements urbains hétérogènes sans ajustement ou adaptation supplémentaire.