C$^2$T: Captioning-Structure and LLM-Aligned Common-Sense Reward Learning for Traffic--Vehicle Coordination

1. Problématique

Le contrôle du trafic urbain de pointe repose de plus en plus sur l'Apprentissage par Renforcement Multi-Agent (MARL) pour coordonner les contrôleurs de feux de circulation (TLC) et les véhicules autonomes connectés (CAV). Cependant, ces systèmes sont fondamentalement limités par leurs récompenses manuelles et myopes (par exemple, la pression à l'intersection ou la longueur de file d'attente).

Ces objectifs traditionnels échouent à capturer des buts de haut niveau centrés sur l'humain, tels que :

• La sécurité (évitement des collisions).
• La stabilité du flux (réduction des freinages brusques et des ondes de congestion).
• Le confort.

En optimisant uniquement l'efficacité locale, les contrôleurs actuels peuvent générer des politiques qui semblent efficaces sur papier mais qui sont fragiles, imprévisibles et dangereuses en déploiement réel (phases oscillantes, freinages brusques). Il manque une notion de « qualité du trafic » alignée sur le jugement humain et capable d'anticiper les effets à long terme.

2. Méthodologie : Le Framework C2T

Les auteurs proposent C2T (Captioning-Structure and LLM-Aligned Common-Sense Reward Learning), un cadre novateur qui apprend un modèle de coordination « bon sens » à partir de la dynamique trafic-véhicule. Le processus se déroule en trois étapes :

Étape 1 : Structuration et Création de Paires de Préférences

• Captioning Structuré : Au lieu d'utiliser des descriptions libres, le système transforme les observations brutes du simulateur (CityFlow) en captions déterministes et conscientes des unités. Ces captions suivent un schéma fixe incluant des slots pour les phases, les files d'attente, les retards, les métriques de sécurité (TTC - Time-To-Collision), et la cinématique des véhicules.
• Échantillonnage : Des paires de captions sont générées en priorisant les contrastes de congestion, de sécurité et les changements de phase courts.
• Étiquetage par LLM : Un Grand Modèle de Langage (LLM) est interrogé via un prompt fixe pour déterminer quelle caption (état) reflète le mieux un trafic « bon ». Seules les décisions tranchées sont conservées pour former un ensemble de préférences.

Étape 2 : Apprentissage d'une Récompense Intrinsèque

• Distillation : Un modèle de score léger (un réseau de neurones) est entraîné hors ligne (offline) pour prédire les préférences du LLM sur les paires de captions.
• Fonction de perte : L'entraînement utilise une fonction de vraisemblance de type Bradley-Terry avec régularisation et centrage des scores.
• Résultat : Le modèle produit une récompense intrinsèque ($r_\phi$) qui encode le « bon sens » (sécurité, fluidité, confort) sans nécessiter d'appels au LLM pendant l'entraînement RL.

Étape 3 : Intégration Asymétrique dans le RL

• Asymétrie : La récompense intrinsèque est injectée uniquement dans l'objectif des contrôleurs de feux (TLC), tandis que les véhicules suivent leur dynamique microscopique standard. Cela évite la non-stationnarité excessive.
• Masque de Sécurité : Un masque de risque désactive la récompense intrinsèque dans des situations dangereuses (faible TTC, décélérations brusques, risque de feu rouge).
• Normalisation et Planification : Les flux de récompenses (externe, intrinsèque, pénalité de sécurité) sont normalisés et « clipés » (soft clipping) avant l'estimation de l'avantage. Un poids de mélange ($\lambda(t)$) est augmenté progressivement pour permettre à l'agent de satisfaire d'abord les contraintes de l'environnement avant d'absorber les préférences de bon sens.
• Algorithme : L'ensemble est intégré dans un pipeline standard PPO (Proximal Policy Optimization).

3. Contributions Clés

1. Captioning Structuré pour le RL : Un schéma déterministe et conscient des unités qui rend la qualité de l'état comparable par les LLMs et reproductible.
2. Apprentissage de Préférences Hors Ligne : Un scoreur léger entraîné sur les préférences du LLM, éliminant le besoin d'appels en ligne au LLM pendant l'entraînement ou l'inférence.
3. Intégration Sécurisée et Asymétrique : Une méthode robuste pour mélanger les récompenses, utilisant un masque de risque et une normalisation par flux, compatible avec les contrôleurs RL existants.
4. Flexibilité Principielle : Le cadre permet de basculer facilement entre des politiques « axées sur l'efficacité » et « axées sur la sécurité » en modifiant simplement le prompt du LLM lors de la phase d'entraînement du scoreur.

4. Résultats Expérimentaux

L'évaluation a été réalisée sur des benchmarks CityFlow basés sur des réseaux réels (Jinan, Hangzhou, New York) et des scénarios de stress (pics de demande extrêmes, cycles diurnes de 24h).

• Performance Globale : C2T surpasse systématiquement les bases MARL fortes (MPLight, CoLight, AttendLight, etc.) en termes d'efficacité (réduction du temps de trajet moyen - ATT, de la longueur de file d'attente - AQL) et de sécurité.
• Sécurité et Confort : Le framework améliore les percentiles de TTC (Time-To-Collision) et réduit significativement les événements de freinage brusque, prouvant que l'efficacité ne se fait pas au détriment de la sécurité.
• Généralisation : Le modèle entraîné sur Jinan transfère efficacement à Hangzhou (Zero-shot) et s'adapte aux grands réseaux (New York avec 196 intersections) là où d'autres méthodes dégradent leurs performances.
• Études d'Abalation :
  • La suppression de la récompense intrinsèque fait chuter les performances au niveau des baselines.
  • Le masque de sécurité est crucial pour éviter que la récompense intrinsèque ne génère des comportements dangereux.
  • La normalisation par flux et la planification du poids sont essentielles pour la stabilité de l'entraînement.
  • La structure des captions (combinaison de texte structuré et de données numériques) est supérieure à l'utilisation exclusive de texte ou de chiffres.

5. Signification et Impact

C2T représente une avancée majeure dans la conception de récompenses pour le contrôle du trafic intelligent.

• Dépassement des limites humaines : Il comble le fossé entre les métriques d'ingénierie traditionnelles (souvent myopes) et les objectifs complexes de sécurité et de confort jugés par l'humain.
• Efficacité computationnelle : En distillant la connaissance du LLM dans un modèle léger entraîné hors ligne, le système évite les latences et les coûts associés à l'utilisation de LLMs en temps réel.
• Adoptabilité : Sa compatibilité avec les pipelines RL standards (PPO) et son absence de modifications du simulateur en font une solution « plug-and-play » pour améliorer les systèmes de contrôle de trafic existants.

En résumé, C2T démontre qu'il est possible d'aligner les agents d'apprentissage par renforcement sur le « bon sens » humain pour des systèmes multi-agents complexes, en améliorant simultanément l'efficacité, la sécurité et la stabilité du trafic urbain.