Résumé Technique : OracleTSC

Énoncé du Problème

Les systèmes de contrôle des feux de circulation (TSC) nécessitent une prise de décision transparente pour gagner la confiance du public, pourtant les méthodes traditionnelles d'apprentissage par renforcement (RL) fonctionnent comme des « boîtes noires ». Bien que les grands modèles de langage (LLM) offrent une voie vers l'interprétabilité grâce au raisonnement en langage naturel, leur application au TSC via un ajustement fin par renforcement se heurte à des obstacles majeurs. Plus précisément, le TSC est un problème à horizon long caractérisé par :

1. Retour d'information sparse et différé : L'impact d'un changement de signal ne se manifeste souvent qu'après de nombreux pas de temps, rendant l'attribution du crédit difficile.
2. Signaux de récompense faibles : La plupart des changements de phase réalisables n'entraînent que des améliorations marginales des métriques de congestion, résultant en des gradients bruyants qui échouent à guider efficacement l'optimisation de la politique.
3. Dérive du raisonnement : Lorsque les politiques LLM sont incertaines, leurs explications générées et leurs choix de phase varient considérablement d'une réponse à l'autre pour le même état, injectant du hasard dans la boucle de contrôle et provoquant une instabilité des performances.

Les approches existantes qui ajustent finement les LLM pour le TSC souffrent souvent d'instabilité lors de l'entraînement et d'améliorations limitées par rapport aux bases pré-entraînées, principalement parce que l'optimisation de politique proximale standard (PPO) peine à gérer ces dynamiques à horizon long et à récompense faible.

Méthodologie : OracleTSC

Les auteurs proposent OracleTSC, un cadre conçu pour stabiliser l'ajustement fin par renforcement pour le TSC basé sur LLM en traitant les signaux faibles et l'instabilité du raisonnement. L'approche formule le TSC comme un processus de décision markovien (MDP) où les états et les actions sont représentés sous forme de texte en langage naturel, permettant au LLM de générer à la fois une phase de signal de circulation et une explication de type Chaîne de Pensée (CoT).

Le cœur de la méthode implique deux mécanismes novateurs intégrés à la fonction objectif de l'entraînement PPO :

1. Mécanisme de Seuil de Récompense (RHM)

Pour combattre les signaux de récompense faibles, OracleTSC introduit un Seuil de Récompense. Au lieu d'utiliser directement le retour d'information brut de l'environnement (par exemple, la réduction de la longueur de la file d'attente), la méthode soustrait un seuil calibré ($HR$) de la récompense.

• Mécanisme : $R_{total} = R_{env} - HR$.
• Effet : Les actions qui entraînent des améliorations inférieures au seuil sont pénalisées (recevant une récompense négative ou nulle), tandis que seules les actions à fort impact reçoivent un renforcement positif. Cela filtre les mises à jour de faible qualité et force la politique à se concentrer sur les interventions qui réduisent significativement la congestion, agissant efficacement comme une ligne de base constante pour réduire la variance des gradients dans les premières étapes de l'entraînement.

2. Régularisation de l'Incertitude via l'Entropie Sémantique Discète à Échelle de Température

Pour traiter la dérive du raisonnement et la prise de décision incohérente, le cadre introduit un terme de régularisation basé sur l'entropie sémantique.

• Mécanisme : Le modèle génère $G$ réponses candidates pour un état donné. Ces réponses sont regroupées par la phase de circulation extraite (en ignorant les variations linguistiques). Une distribution de probabilité sur ces phases est calculée en utilisant un Softmax à échelle de température.
• Terme de Récompense : Une pénalité est appliquée si la distribution est à haute entropie (c'est-à-dire que le modèle est incertain quant à la phase). La récompense est définie comme $R_{entropy} = p_{chosen} \times \mathbb{I}(R_{env} > HR)$, où $p_{chosen}$ est la probabilité de la phase sélectionnée.
• Effet : Cela encourage le modèle à produire des choix de phase cohérents sur plusieurs tentatives d'échantillonnage, stabilisant le processus de raisonnement et réduisant la variance dans la sélection des actions.

L'objectif final combine l'objectif de substitution tronqué PPO standard avec ces récompenses modifiées, optimisant à la fois le réseau de politique et un réseau de valeur.

Contributions Clés

1. Identification des Modes de Défaillance : L'article identifie empiriquement que la suppression insuffisante des actions sous-optimales (due aux récompenses faibles) et la dérive du raisonnement (due à l'incertitude de sortie) sont les causes principales de l'instabilité dans le TSC basé sur LLM.
2. Mécanisme de Seuil de Récompense : Une pénalité simple mais efficace qui impose un seuil de performance explicite, amplifiant les signaux d'apprentissage des actions à fort impact et supprimant les mises à jour de faible qualité.
3. Régularisation par Entropie Sémantique : Une approche rigoureuse pour quantifier et atténuer l'incertitude au niveau de la décision (plutôt qu'au niveau du jeton) en utilisant un softmax à échelle de température, ce qui stabilise le raisonnement à horizon long.
4. Démonstration de Robustesse : Le cadre permet à des modèles compacts (par exemple, LLaMA3-8B, Qwen3-0.6B) d'obtenir des gains de performance substantiels tout en préservant l'interprétabilité grâce à des explications en langage naturel.

Résultats Expérimentaux

Des expériences ont été menées sur la référence LibSignal en utilisant deux topologies d'intersections distinctes : CityFlow1×1 (Hangzhou, 8 phases) et Cologne1 (Allemagne, 4 phases).

• Gains de Performance : OracleTSC a nettement surpassé les bases de LLM pré-entraînés et les méthodes RL non-LLM sur plusieurs métriques.
  • Sur CityFlow1×1, le modèle LLaMA3-8B ajusté finement a atteint une réduction de 75 % du temps de parcours et une diminution de 67 % des longueurs de file d'attente par rapport à la base pré-entraînée.
  • Sur Cologne1, la méthode a réduit les longueurs de file d'attente de 39 à 50 % et les temps de parcours de 29 à 85 %, atteignant un débit comparable à celui des contrôleurs RL non explicables de l'état de l'art (par exemple, PressLight, IDQN).
• Généralisation Inter-Intersections : Une politique entraînée sur une topologie d'intersection s'est transférée efficacement vers une intersection structurellement distincte sans ajustement fin supplémentaire. Par exemple, un modèle entraîné sur Cologne1 a réduit le temps de parcours de 13 % lors des tests sur CityFlow1×1, et vice versa.
• Études d'Ablation :
  • L'utilisation de la récompense environnementale seule a produit des gains marginaux.
  • L'ajout du Seuil de Récompense seul a considérablement amélioré les performances en filtrant les signaux faibles.
  • L'ajout de la Régularisation de l'Incertitude seul a amélioré la stabilité et réduit les longueurs de file d'attente.
  • Application Conjointe : La combinaison des deux mécanismes a produit les meilleurs résultats, confirmant leur nature complémentaire.
• Analyse Qualitative : Après l'ajustement fin, le raisonnement CoT du LLM est devenu structuré, concis et exempt des auto-contradictions et des erreurs d'identification de phase observées dans les modèles pré-entraînés.

Signification et Revendications

L'article revendique qu'OracleTSC offre une nouvelle perspective pour améliorer l'efficacité de l'ajustement fin par renforcement dans les tâches TSC à horizon long. Sa signification réside dans :

• Stabilisation du Contrôle par LLM : Démontrer que la mise en forme ciblée des récompenses (seuils) et la régularisation de l'incertitude peuvent surmonter l'instabilité inhérente à l'application de PPO aux LLM dans des environnements à récompense sparse.
• Pont entre Interprétabilité et Performance : Atteindre des performances compétitives par rapport aux contrôleurs RL spécialisés et boîte noire tout en maintenant la capacité unique des LLM à fournir des justifications en langage naturel pour les décisions.
• Évolutivité : Montrer que ces mécanismes fonctionnent à travers différentes échelles de modèles (de 0,6 à 8 milliards de paramètres) et se généralisent à travers différentes topologies d'intersections, suggérant une voie vers des systèmes de transport intelligents évolutifs, réutilisables et interprétables.

Les auteurs notent modestement que leur objectif n'est pas de revendiquer une supériorité sur tous les algorithmes RL optimisés existants, mais d'améliorer la fiabilité et la transparence des contrôleurs basés sur LLM. Ils reconnaissent des limitations, telles que la nécessité d'un réglage manuel du taux de seuil et le coût computationnel de la génération multi-échantillons pour l'estimation de l'entropie.