技術的概要：OracleTSC

問題定義

交通信号制御（TSC）システムは、公衆の信頼を得るために透明な意思決定を必要とするが、従来の強化学習（RL）手法は「ブラックボックス」として機能する。大規模言語モデル（LLM）は自然言語推論を通じて解釈可能性への道を提供するが、強化学習による微調整を介して TSC に適用する際には重大な障壁が存在する。具体的には、TSC は以下の特徴を持つ「長期計画問題」である：

1. 希薄で遅延したフィードバック: 信号変更の影響は多くの時間ステップ後にのみ現れることが多く、クレジット割当が困難である。
2. 弱い報酬信号: 実行可能なほとんどの位相変更は混雑指標にわずかな改善しかもたらさず、ノイズの多い勾配を生み出し、方策の最適化を効果的に導くことができない。
3. 推論のドリフト: LLM 方策が不確実な場合、同じ状態に対する応答において生成される説明と位相選択が広範に変動し、制御ループにランダム性を注入して性能の不安定化を引き起こす。

TSC 向けに LLM を微調整する既存のアプローチは、訓練の不安定性と事前学習済みベースラインに対する限られた改善に悩まされることが多く、これは主に標準的な Proximal Policy Optimization（PPO）が、これらの長期計画・弱報酬のダイナミクスを処理することに苦労するためである。

手法：OracleTSC

著者らは、弱い信号と推論の不安定性に対処することで、LLM ベースの TSC における強化学習微調整を安定化させるフレームワーク「OracleTSC」を提案する。このアプローチは、状態と行動を自然言語テキストとして表現するマルコフ決定過程（MDP）として TSC を定式化し、LLM が交通信号の位相と Chain-of-Thought（CoT）説明の両方を生成できるようにする。

この手法の中核は、PPO 訓練目的に統合された 2 つの新しいメカニズムである：

1. 報酬ハードルメカニズム（RHM）

弱い報酬信号に対抗するため、OracleTSC は「報酬ハードル」を導入する。この手法は、生環境フィードバック（例：キュー長の減少）を直接使用するのではなく、報酬から較正された閾値（$HR$）を減算する。

• メカニズム: $R_{total} = R_{env} - HR$。
• 効果: ハードル未満の改善をもたらす行動はペナルティ（負またはゼロの報酬）を受け、高インパクトの行動のみが正の強化を受ける。これにより低品質な更新がフィルタリングされ、方策は混雑を意味的に減少させる介入に焦点を当てるよう強制される。これは実質的に一定の基準として機能し、訓練の初期段階における勾配分散を減少させる。

2. 温度スケーリングソフトマックス離散意味エントロピーによる不確実性正則化

推論のドリフトと一貫性のない意思決定に対処するため、フレームワークは「意味エントロピー」に基づく正則化項を導入する。

• メカニズム: モデルは与えられた状態に対して $G$ 個の候補応答を生成する。これらの応答は、抽出された交通位相によって（言語的変異を無視して）クラスタリングされる。これらの位相に対する確率分布は、温度スケーリングされた Softmax を用いて計算される。
• 報酬項: 分布が高エントロピーである場合（すなわち、モデルが位相について不確実である場合）、ペナルティが適用される。報酬は $R_{entropy} = p_{chosen} \times \mathbb{I}(R_{env} > HR)$ と定義され、ここで $p_{chosen}$ は選択された位相の確率である。
• 効果: これはモデルが複数のサンプリング試行を通じて一貫した位相選択を生成することを促し、推論プロセスを安定化させ、行動選択の分散を減少させる。

最終的な目的関数は、標準的な PPO クリッピング代理目的関数とこれらの修正された報酬を組み合わせ、方策ネットワークと価値ネットワークの両方を最適化する。

主要な貢献

1. 失敗モードの特定: 本論文は、経験的に、弱報酬に起因する非最適行動の抑制不十分と、出力不確実性に起因する推論ドリフトが、LLM ベースの TSC における不安定性の主要な原因であることを実証的に特定した。
2. 報酬ハードルメカニズム: 明示的な性能閾値を課す単純ながら効果的なペナルティであり、高インパクト行動からの学習信号を増幅し、低品質な更新を抑制する。
3. 意味エントロピー正則化: 温度スケーリングされたソフトマックスを用いて、トークンレベルではなく意思決定レベルで不確実性を定量化・軽減する原理的なアプローチであり、長期計画推論を安定化させる。
4. 堅牢性の実証: このフレームワークにより、コンパクトなモデル（例：LLaMA3-8B、Qwen3-0.6B）が、自然言語説明による解釈可能性を維持しつつ、大幅な性能向上を達成できることが示された。

実験結果

実験は、2 つの異なる交差点トポロジー、すなわちCityFlow1×1（杭州、8 位相）とCologne1（ドイツ、4 位相）を用いたLibSignalベンチマーク上で実施された。

• 性能向上: OracleTSC は、複数の指標において事前学習済み LLM ベースラインおよび非 LLM 型 RL 手法を大幅に上回った。
  • CityFlow1×1において、微調整された LLaMA3-8B モデルは、事前学習済みベースラインと比較して移動時間の 75% 削減とキュー長の 67% 減少を達成した。
  • Cologne1において、この手法はキュー長を39〜50%、移動時間を**29〜85%**削減し、最先端の解釈不可能な RL 制御器（例：PressLight、IDQN）と同等のスループットを達成した。
• 交差点間一般化: 1 つの交差点トポロジーで訓練された方策は、追加の微調整なしに構造的に異なる交差点へ効果的に転移した。例えば、Cologne1 で訓練されたモデルは CityFlow1×1 でテストされた際に移動時間を 13% 削減し、その逆も同様であった。
• アブレーション研究:
  • 環境報酬のみを使用すると、わずかな改善しか得られなかった。
  • 報酬ハードルのみを追加すると、弱い信号をフィルタリングすることで性能が大幅に向上した。
  • 不確実性正則化のみを追加すると、安定性が向上しキュー長が減少した。
  • 両者の併用: 両メカニズムの組み合わせが最良の結果をもたらし、それらの相補性を確認した。
• 定性的分析: 微調整後、LLM の CoT 推論は構造化され、簡潔となり、事前学習済みモデルで観察された自己矛盾や位相の誤識別から解放された。

意義と主張

本論文は、OracleTSC が長期計画 TSC タスクにおける強化学習微調整の効果を向上させるための新たな視点を提供すると主張する。その意義は以下の点にある：

• LLM 制御の安定化: 標的とした報酬整形（ハードル）と不確実性正則化が、希薄報酬環境において LLM への PPO 適用に内在する不安定性を克服できることを実証している。
• 解釈可能性と性能の架橋: 専門的なブラックボックス型 RL 制御器と競争力のある性能を達成しつつ、LLM 固有の意思決定に対する自然言語による根拠提示能力を維持している。
• スケーラビリティ: これらのメカニズムが異なるモデルスケール（0.6B から 8B パラメータ）で機能し、異なる交差点トポロジー間で一般化することを示しており、スケーラブルで再利用可能かつ解釈可能な知的交通システムへの道筋を示唆している。

著者らは謙虚に、彼らの目標は既存のすべての最適化 RL アルゴリズムに対する優位性を主張することではなく、LLM ベースの制御器の信頼性と透明性を向上させることであると述べている。彼らは、ハードル率の人手による調整の必要性や、エントロピー推定のためのマルチサンプル生成の計算コストといった限界を認識している。