기술 요약: OracleTSC

문제 제기

교통 신호 제어 (TSC) 시스템은 대중의 신뢰를 얻기 위해 투명한 의사결정이 필요하지만, 기존 강화학습 (RL) 방법은 "블랙박스"로 작동합니다. 대형 언어 모델 (LLM) 은 자연어 추론을 통해 해석 가능성을 제공할 수 있는 길을 제시하지만, 강화 미세조정을 통해 TSC 에 적용하는 데에는 상당한 장애물이 존재합니다. 구체적으로 TSC 는 다음과 같은 특징을 가진 **장기적 문제 (long-horizon problem)**입니다:

1. 희소하고 지연된 피드백: 신호 변경의 영향은 종종 많은 시간 단계가 지난 후에야 나타나기 때문에, 책임 귀속 (credit assignment) 이 어렵습니다.
2. 약한 보상 신호: 대부분의 실현 가능한 위상 변경은 혼잡 지표에서 미미한 개선만 가져와, 정책 최적화를 효과적으로 이끄는 데 실패하는 노이즈가 많은 기울기를 초래합니다.
3. 추론 드리프트: LLM 정책이 불확실할 때, 동일한 상태에 대해 생성된 설명과 위상 선택이 응답 간에 광범위하게 달라져 제어 루프에 무작위성을 주입하고 성능 불안정을 유발합니다.

TSC 를 위해 LLM 을 미세조정하는 기존 접근법은 훈련 불안정성과 사전 훈련된 베이스라인 대비 제한된 개선으로 고통받는 경우가 많으며, 이는 주로 표준 근접 정책 최적화 (PPO) 가 이러한 장기적, 약한 보상 동역학을 처리하는 데 어려움을 겪기 때문입니다.

방법론: OracleTSC

저자들은 약한 신호와 추론 불안정성을 해결함으로써 LLM 기반 TSC 를 위한 강화 미세조정을 안정화하기 위해 OracleTSC를 제안합니다. 이 접근법은 상태와 동작을 자연어 텍스트로 표현하는 마르코프 의사결정 과정 (MDP) 으로 TSC 를 공식화하여, LLM 이 교통 신호 위상과 사고의 사슬 (Chain-of-Thought, CoT) 설명을 모두 생성하도록 합니다.

이 방법의 핵심은 PPO 훈련 목적 함수에 통합된 두 가지 새로운 메커니즘을 포함합니다:

1. 보상 장애물 메커니즘 (Reward Hurdle Mechanism, RHM)

약한 보상 신호를 극복하기 위해 OracleTSC 는 **보상 장애물 (Reward Hurdle)**을 도입합니다. 이 방법은 원시 환경 피드백 (예: 대기 행렬 길이 감소) 을 직접 사용하는 대신, 보상에서 보정된 임계값 ($HR$) 을 차감합니다.

• 메커니즘: $R_{total} = R_{env} - HR$.
• 효과: 장애물보다 작은 개선을 가져오는 동작은 패널티를 받음 (음수 또는 영의 보상) 으로 인해, 오직 고영향 동작만이 양의 강화를 받습니다. 이는 저품질 업데이트를 필터링하고 정책이 혼잡을 의미 있게 감소시키는 개입에 집중하도록 강제하며, 훈련 초기 단계에서 기울기 분산을 줄이는 일정한 베이스라인으로 작용합니다.

2. 온도 스케일링 소프트맥스 이산 의미 엔트로피를 통한 불확실성 정규화

추론 드리프트와 일관성 없는 의사결정을 해결하기 위해, 이 프레임워크는 **의미 엔트로피 (semantic entropy)**에 기반한 정규화 항을 도입합니다.

• 메커니즘: 모델은 주어진 상태에 대해 $G$개의 후보 응답을 생성합니다. 이러한 응답은 추출된 교통 위상 (언어적 변이는 무시) 으로 클러스터링됩니다. **온도 스케일링 소프트맥스 (temperature-scaled Softmax)**를 사용하여 이러한 위상에 대한 확률 분포가 계산됩니다.
• 보상 항: 분포가 고엔트로피인 경우 (즉, 모델이 위상에 대해 불확실한 경우) 패널티가 부과됩니다. 보상은 $R_{entropy} = p_{chosen} \times \mathbb{I}(R_{env} > HR)$로 정의되며, 여기서 $p_{chosen}$은 선택된 위상의 확률입니다.
• 효과: 이는 모델이 여러 샘플링 시도에서 일관된 위상 선택을 생성하도록 장려하여 추론 과정을 안정화하고 동작 선택의 분산을 줄입니다.

최종 목적 함수는 이러한 수정된 보상과 표준 PPO 클리핑된 대리 목적 함수를 결합하여 정책 네트워크와 가치 네트워크를 모두 최적화합니다.

주요 기여

1. 실패 모드 식별: 이 논문은 경험적으로 약한 보상으로 인한 비최적 동작의 불충분한 억제와 출력 불확실성으로 인한 추론 드리프트가 LLM 기반 TSC 의 불안정성의 주요 원인임을 규명했습니다.
2. 보상 장애물 메커니즘: 명시적인 성능 임계값을 부과하여 고영향 동작으로부터의 학습 신호를 증폭하고 저품질 업데이트를 억제하는 간단하면서도 효과적인 패널티입니다.
3. 의미 엔트로피 정규화: 온도 스케일링 소프트맥스를 사용하여 토큰 수준이 아닌 의사결정 수준에서 불확실성을 정량화하고 완화하는 원칙적인 접근법으로, 장기적 추론을 안정화합니다.
4. 강건성 입증: 이 프레임워크는 LLaMA3-8B, Qwen3-0.6B 와 같은 컴팩트한 모델이 자연어 설명을 통한 해석 가능성을 유지하면서 상당한 성능 향상을 달성할 수 있게 합니다.

실험 결과

실험은 CityFlow1×1(한저우, 8 위상) 과 Cologne1(독일, 4 위상) 의 두 가지 서로 다른 교차로 토폴로지를 사용한 LibSignal벤치마크에서 수행되었습니다.

• 성능 향상: OracleTSC 는 여러 지표에서 사전 훈련된 LLM 베이스라인 및 비-LLM RL 방법보다 현저히 우수한 성과를 거두었습니다.
  • CityFlow1×1에서, 미세조정된 LLaMA3-8B 모델은 사전 훈련된 베이스라인 대비 이동 시간 75% 감소 및 대기 행렬 길이 67% 감소를 달성했습니다.
  • Cologne1에서, 이 방법은 대기 행렬 길이를 39~50% 줄이고 이동 시간을 29~85% 단축하여, PressLight, IDQN 과 같은 최첨단 설명 불가능 RL 제어기들과 비교 가능한 처리량을 달성했습니다.
• 교차 교차로 일반화: 한 교차로 토폴로지에서 훈련된 정책은 추가 미세조정 없이 구조적으로 다른 교차로로 효과적으로 이전되었습니다. 예를 들어, Cologne1 에서 훈련된 모델은 CityFlow1×1 에서 테스트 시 이동 시간을 13% 감소시켰으며, 그 반대도 마찬가지였습니다.
• 절차적 연구 (Ablation Studies):
  • 환경 보상만 사용할 경우 미미한 개선만 있었습니다.
  • 보상 장애물만 추가할 경우 약한 신호를 필터링하여 성능을 현저히 개선했습니다.
  • 불확실성 정규화만 추가할 경우 안정성을 개선하고 대기 행렬 길이를 줄였습니다.
  • 동시 적용: 두 메커니즘의 조합이 최상의 결과를 낳아 상호 보완적임을 확인했습니다.
• 정성적 분석: 미세조정 후, LLM 의 CoT 추론은 구조화되고 간결해졌으며, 사전 훈련된 모델에서 관찰되었던 자기 모순 및 위상 오인식 현상이 사라졌습니다.

중요성 및 주장

이 논문은 OracleTSC 가 장기적 TSC 작업에서 강화 미세조정의 효과성을 향상시키기 위한 새로운 관점을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• LLM 제어 안정화: 희소 보상 환경에서 LLM 에 PPO 를 적용할 때 내재된 불안정성을 극복하기 위해 표적 보상 설계 (장애물) 와 불확실성 정규화가 가능함을 입증했습니다.
• 해석 가능성과 성능의 연결: LLM 고유의 자연어 근거 제공 능력을 유지하면서, 전문화된 블랙박스 RL 제어기와 경쟁 가능한 성능을 달성했습니다.
• 확장성: 이러한 메커니즘이 다양한 모델 규모 (0.6B 에서 8B 파라미터) 에서 작동하고 다양한 교차로 토폴로지에서 일반화됨을 보여줌으로써, 확장 가능하고 재사용 가능하며 해석 가능한 지능형 교통 시스템으로 나아가는 길을 제시했습니다.

저자들은 겸손하게도 그들의 목표가 기존 모든 최적화된 RL 알고리즘보다 우월함을 주장하는 것이 아니라, LLM 기반 제어기의 신뢰성과 투명성을 개선하는 것임을 명시했습니다. 그들은 장애물 비율의 수동 조정 필요성과 엔트로피 추정을 위한 다중 샘플 생성의 계산 비용과 같은 한계를 인정합니다.