DGLight: DQN-Guided GRPO Fine-Tuning of Large Language Models for Traffic Signal Control

"Traffic Signal Control 를 위한 DQN 기반 GRPO 파인튜닝을 수행하는 대규모 언어 모델 DGLight"논문에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

교통 신호 제어 (TSC) 는 도시 정체를 완화하는 데 필수적입니다. 기존 방법들 (고정 시간, 최대 압력) 은 적응력이 부족하고, 강화 학습 (RL) 방법들 (예: CoLight, MPLight) 은 일반화 능력과 해석 가능성 측면에서 어려움을 겪는 반면, 대규모 언어 모델 (LLM) 은 추론 능력과 해석 가능한 텍스트 생성 능력 덕분에 유망한 대안이 될 수 있습니다.

그러나 LLM 을 TSC 에 적용하는 데는 두 가지 주요 과제가 존재합니다:

1. 도메인 적응: 표준 LLM 은 특정 교통 역학에 대한 지식이 부족하여 최적하지 않은 결정을 내립니다.
2. 희소 보상 및 해석 가능성: 기존 RL 은 희소하고 누적된 환경 보상 (예: 에피소드 전체의 총 지연 시간 감소) 에 의존하는데, 이는 LLM 이 직접 최적화하기 어렵습니다. 또한, 엔드 - 투 - 엔드 LLM 파인튜닝은 복잡한 교통 정책을 학습하는 데 필요한 밀집된 상태별 감독 신호가 종종 부족합니다.

본 논문은 가치 기반 비평가 (critic) 를 활용하여 LLM 의 파인튜닝을 안내함으로써 이러한 격차를 해소하는 DGLight프레임워크를 제안합니다. 이를 통해 LLM 은 밀집된 교통 인지 행동 가치 (action values) 로부터 학습하면서도 해석 가능한 추론을 생성할 수 있게 됩니다.

2. 방법론: DGLight 프레임워크

DGLight 는 Deep Q-Network(DQN) 비평가와 그룹 상대 정책 최적화 (GRPO) 를 결합한 2 단계 강화 학습 파이프라인을 사용합니다.

1 단계: CoLight 기반 DQN 비평가 훈련

• 목표: 신호 위상 결정에 대한 밀집된 교통 인지 행동 가치를 제공하는 가치 추정기를 훈련합니다.
• 아키텍처: 교차로 간의 네트워크 수준 협력을 포착하는 그래프 어텐션 모델인 CoLight를 기반으로 합니다.
• 과정:
  • 비평가는 구조화된 교통 상태 (차선 대기열 길이, 지연 시간) 를 관측합니다.
  • 각 교차로의 모든 허용 가능한 신호 위상에 대한 Q-값 벡터 ($Q(s, a)$) 를 출력합니다.
  • 경험 재생 (experience replay) 을 사용한 표준 벨만 오차 최소화로 훈련됩니다.
• 역할: 이 비평가는 복잡한 공간적 및 시간적 교통 맥락에 기반하여 잠재적 신호 행동의 품질을 평가하는 '동결 (frozen)'된 교사와 같은 역할을 수행하며, 원시 환경 보상보다 더 풍부한 신호를 제공합니다.

2 단계: GRPO 를 통한 LLM 파인튜닝

• 입력: LLM(Llama3-8b 기반) 은 교통 상태를 요약한 텍스트 프롬프트, 작업 설명, 사용 가능한 신호 위상을 입력받습니다.
• 샘플링: 각 프롬프트에 대해 정책은 $k$개의 후보 응답 (추론 흔적 + 신호 결정) 그룹을 샘플링합니다.
• 파싱 및 점수 매기기:
  • 각 응답은 제안된 신호 위상을 추출하기 위해 파싱됩니다.
  • 동결된 DQN 비평가는 사전 훈련된 Q-값 ($Q(s, a)$) 을 사용하여 각 후보 행동에 점수를 매깁니다.
  • 유효하지 않은 행동은 고정된 대체 보상을 받습니다.
• 최적화 (GRPO):
  • PPO 와 같이 별도의 가치 모델을 사용하는 대신, DGLight 는 **그룹 상대 정책 최적화 (GRPO)**를 사용합니다.
  • 이득 (Advantages) 은 동일한 그룹 내에서 샘플링된 $k$개 응답에 대한 비평가 점수를 비교하여 계산됩니다.
  • 정책은 상대적 이득을 최대화하도록 업데이트되어, 비평가의 교통 지식을 LLM 의 추론 및 의사결정 과정으로 효과적으로 전이합니다.

3. 주요 기여

1. 통합 프레임워크: 가치 기반 교통 비평가 (CoLight-DQN) 와 GRPO 를 통한 LLM 파인튜닝을 통합한 최초의 프레임워크인 DGLight를 제안합니다. 이를 통해 LLM 은 희소 누적 보상이 아닌 밀집된 상태별 행동 가치로부터 학습할 수 있습니다.
2. 해석 가능한 정책: 시스템은 유효한 신호 결정과 함께 인간이 읽을 수 있는 추론 흔적(예: 대기열 길이 및 이웃 교통 분석) 을 출력하도록 LLM 을 훈련시켜, 성능과 설명 가능성 사이의 격차를 해소합니다.
3. 실증적 검증: 표준 벤치마크 (진안 및 항저우 데이터셋) 에서 포괄적인 실험을 수행하여, DGLight 가 기존 LLM 기반 제어기들을 능가하고 최첨단 RL 베이스라인과도 경쟁력을 유지함을 입증했습니다.
4. 전이성: 훈련 데이터 (항저우 -1) 와 테스트 데이터 (진안) 가 다른 도시 데이터셋에서도 방법이 잘 일반화됨을 보여주어, LLM 이 특정 도시 데이터에 과적합되는 것이 아닌 일반화 가능한 교통 추론 패턴을 학습함을 시사합니다.

4. 실험 결과

본 연구는 DGLight 를 다음과 비교하여 평가했습니다:

• 전통적 방법: FixedTime, MaxPressure.
• RL 베이스라인: MPLight, CoLight, PressLight 등.
• LLM 베이스라인: LightGPT, JS-GRPO 변형들.

주요 발견:

• 성능: DGLight 는 대부분의 지표 (평균 이동 시간, 평균 대기열 길이, 평균 대기 시간) 에서 모든 LLM 기반 제어기 중 최고의 전반적 성능을 달성했습니다.
• RL 와의 비교: DGLight 는 강력한 RL 베이스라인 (CoLight 및 Advanced-CoLight 등) 과 경쟁력을 유지했으며, 추론 생성의 복잡성이 추가되었음에도 불구하고 특정 지표에서는 이를 능가하기도 했습니다.
• 전이성: DGLight 는 RL 베이스라인 및 기타 LLM 방법보다 미시 도시 데이터셋에 대한 전이성이 우수하여 견고한 일반화 능력을 나타냈습니다.
• 애블레이션 연구:
  • 기본 LLM(Llama3-8b) 에서 교통 적응 모델 (LightGPT) 로 이동하는 것이 가장 큰 개선을 가져왔습니다.
  • 비평가 안내 GRPO의 추가는 밀집 보상 신호의 가치를 확인하며 추가적인 유의미한 향상을 제공했습니다.
• 해석 가능성: 정성적 분석은 생성된 추론 흔적이 선택된 신호 위상과 논리적으로 일관됨 (예: 가장 긴 대기열을 가진 차선 우선순위 부여) 을 확인했습니다.

5. 의의 및 향후 작업

의의:

• 격차 해소: DGLight 는 LLM 이 고유한 해석 가능성을 희생하지 않고도 TSC 와 같은 복잡한 제어 작업에 효과적으로 적응될 수 있음을 성공적으로 입증했습니다.
• 효율적인 훈련: 동결된 비평가를 사용하여 밀집 보상을 생성함으로써, 희소 환경 보상으로 LLM 을 훈련할 때 발생하는 불안정성을 피합니다.
• 실제 적용 가능성: 모델 결정의 해석 가능성은 책임성과 설명 가능성이 최우선인 교통 관리 분야에서 AI 의 실제 도입을 가로막는 중요한 장벽을 해소합니다.

향후 방향:

• 토큰 수준 보상 할당: 훈련 효율성을 높이기 위해 포맷팅 토큰과 중요한 추론/결정 토큰을 구분하는 보상 신호를 정교화합니다.
• MLLM 스타일 아키텍처: 텍스트 직렬화된 상태를 넘어, 도로 네트워크의 공간적 및 수치적 관계를 더 잘 포착하기 위한 전용 교통 상황 인코더를 갖춘 멀티모달 LLM(MLLM) 접근법으로 확장합니다.

결론적으로, DGLight 는 생성형 AI 를 도시 인프라에 적용하는 데 있어 중요한 진전을 의미하며, 견고한 가치 기반 비평가의 안내 하에 LLM 이 고성능이고 해석 가능한 제어 정책을 학습할 수 있음을 입증합니다.