DGLight: DQN-Guided GRPO Fine-Tuning of Large Language Models for Traffic Signal Control

1. Énoncé du problème

Le contrôle des feux de signalisation (TSC) est crucial pour réduire la congestion urbaine. Alors que les méthodes traditionnelles (Temps Fixe, Pression Maximale) manquent d'adaptabilité et que les méthodes d'apprentissage par renforcement (RL) (par exemple, CoLight, MPLight) peinent avec la généralisation et l'interprétabilité, les modèles de langage de grande taille (LLM) offrent une alternative prometteuse grâce à leurs capacités de raisonnement et leur aptitude à générer du texte interprétable.

Cependant, l'application des LLM au TSC se heurte à deux défis majeurs :

1. Adaptation au domaine : Les LLM standards manquent de connaissances spécifiques sur la dynamique du trafic, ce qui conduit à des décisions sous-optimales.
2. Sparsité des récompenses et interprétabilité : Le RL traditionnel repose sur des récompenses environnementales cumulées et clairsemées (par exemple, réduction totale du temps d'attente sur un épisode), ce qui est difficile pour les LLM d'optimiser directement. De plus, l'affinage des LLM de bout en bout manque souvent de la supervision dense et spécifique à l'état nécessaire pour apprendre des politiques de trafic complexes.

L'article propose DGLight, un cadre qui comble ces lacunes en utilisant un critique basé sur la valeur pour guider l'affinage d'un LLM, lui permettant d'apprendre à partir de valeurs d'action denses et conscientes du trafic tout en produisant un raisonnement interprétable.

2. Méthodologie : Le cadre DGLight

DGLight emploie un pipeline d'apprentissage par renforcement en deux étapes qui combine un critique Deep Q-Network (DQN) avec l'optimisation de politique relative de groupe (GRPO).

Étape 1 : Entraînement du critique DQN basé sur CoLight

• Objectif : Entraîner un estimateur de valeur pour fournir des valeurs d'action denses et conscientes du trafic pour les décisions de phase de signalisation.
• Architecture : Basée sur CoLight, un modèle d'attention graphique qui capture la coopération au niveau du réseau entre les intersections.
• Processus :
  • Le critique observe des états de trafic structurés (longueurs de file d'attente des voies, temps d'attente).
  • Il produit un vecteur de valeurs Q ($Q(s, a)$) pour toutes les phases de signalisation admissibles à chaque intersection.
  • Il est entraîné en minimisant l'erreur de Bellman standard avec une mémoire de rejeu.
• Rôle : Ce critique agit comme un "enseignant" figé qui évalue la qualité de toute action de signalisation potentielle basée sur des contextes de trafic spatiaux et temporels complexes, fournissant un signal plus riche que les récompenses environnementales brutes.

Étape 2 : Affinage du LLM avec GRPO

• Entrée : Le LLM (basé sur Llama3-8b) reçoit un prompt textuel résumant l'état du trafic, la description de la tâche et les phases de signalisation disponibles.
• Échantillonnage : Pour chaque prompt, la politique échantillonne un groupe de $k$ réponses candidates (traces de raisonnement + décisions de signalisation).
• Analyse et notation :
  • Chaque réponse est analysée pour extraire la phase de signalisation proposée.
  • Le critique DQN figé note chaque action candidate en utilisant ses valeurs Q pré-entraînées ($Q(s, a)$).
  • Les actions invalides reçoivent une récompense de repli fixe.
• Optimisation (GRPO) :
  • Au lieu d'utiliser un modèle de valeur séparé (comme dans PPO), DGLight utilise l'Optimisation de Politique Relative de Groupe (GRPO).
  • Les avantages sont calculés en comparant les scores du critique des $k$ réponses échantillonnées au sein du même groupe.
  • La politique est mise à jour pour maximiser l'avantage relatif, transférant efficacement les connaissances du trafic du critique dans le processus de raisonnement et de prise de décision du LLM.

3. Contributions clés

1. Cadre unifié : Propose DGLight, le premier cadre unifiant un critique de trafic basé sur la valeur (CoLight-DQN) avec l'affinage de LLM via GRPO. Il permet aux LLM d'apprendre à partir de valeurs d'action denses par état plutôt que de récompenses cumulées clairsemées.
2. Politique interprétable : Le système entraîne le LLM à produire à la fois une décision de signalisation valide et une trace de raisonnement lisible par l'humain (par exemple, analyser les longueurs de file d'attente et le trafic voisin), comblant le fossé entre performance et explicabilité.
3. Validation empirique : Réalise des expériences complètes sur des benchmarks standards (ensembles de données Jinan et Hangzhou), démontrant que DGLight surpasse les contrôleurs existants basés sur LLM et reste compétitif par rapport aux bases de référence RL de l'état de l'art.
4. Transférabilité : Montre que la méthode se généralise bien à des ensembles de données de villes non vues (par exemple, entraînement sur Hangzhou-1 et test sur Jinan), suggérant que le LLM apprend des motifs de raisonnement sur le trafic généralisables plutôt que de surajuster à des données de villes spécifiques.

4. Résultats expérimentaux

L'étude a évalué DGLight contre :

• Méthodes traditionnelles : Temps Fixe, Pression Maximale.
• Bases de référence RL : MPLight, CoLight, PressLight, etc.
• Bases de référence LLM : LightGPT, variantes JS-GRPO.

Principales constatations :

• Performance : DGLight a obtenu les meilleures performances globales parmi tous les contrôleurs basés sur LLM sur la plupart des métriques (Temps de trajet moyen, Longueur de file d'attente moyenne, Temps d'attente moyen).
• Comparaison avec le RL : DGLight est resté compétitif face à de solides bases de référence RL (comme CoLight et Advanced-CoLight) et les a même surpassés sur certaines métriques, malgré la complexité ajoutée de la génération de raisonnement.
• Transférabilité : DGLight a montré une transférabilité supérieure vers des villes non vues par rapport aux bases de référence RL et aux autres méthodes LLM, indiquant une généralisation robuste.
• Étude d'ablation :
  • Le passage d'un LLM de base (Llama3-8b) à un modèle adapté au trafic (LightGPT) a produit la plus grande amélioration.
  • L'ajout de GRPO guidé par critique a apporté des gains supplémentaires significatifs, confirmant la valeur du signal de récompense dense.
• Interprétabilité : L'analyse qualitative a confirmé que les traces de raisonnement générées étaient logiquement cohérentes avec les phases de signalisation choisies (par exemple, prioriser les voies avec les files d'attente les plus longues).

5. Importance et travaux futurs

Importance :

• Combler le fossé : DGLight démontre avec succès que les LLM peuvent être efficacement adaptés à des tâches de contrôle complexes comme le TSC sans sacrifier l'interprétabilité qui les rend uniques.
• Entraînement efficace : En utilisant un critique figé pour générer des récompenses denses, la méthode évite l'instabilité de l'entraînement des LLM avec des récompenses environnementales clairsemées.
• Applicabilité réelle : L'interprétabilité des décisions du modèle répond à un obstacle critique à l'adoption réelle de l'IA dans la gestion du trafic, où la responsabilité et l'explicabilité sont primordiales.

Directions futures :

• Attribution de récompenses au niveau des jetons : Affiner le signal de récompense pour distinguer les jetons de formatage des jetons critiques de raisonnement/décision afin d'améliorer l'efficacité de l'entraînement.
• Architecture de type MLLM : Aller au-delà des états sérialisés en texte vers une approche de Modèle de Langage de Grande Taille Multimodal (MLLM) avec un encodeur dédié de la situation de trafic pour mieux capturer les relations spatiales et numériques dans le réseau routier.

En conclusion, DGLight représente une avancée significative dans l'application de l'IA générative aux infrastructures urbaines, prouvant que les LLM peuvent apprendre des politiques de contrôle à haute performance et interprétables lorsqu'ils sont guidés par des critiques robustes basés sur la valeur.