기술 요약: DecompGAIL

문제 정의

현실적인 교통 시뮬레이션은 자율 주행 개발에 필수적이지만, 기존의 모방 학습(Imitation Learning, IL) 방식은 복잡한 인간의 행동을 모델링하는 데 어려움을 겪고 있습니다. 행동 복제(Behavior Cloning, BC)는 학습된 정책이 전문가의 상태 분포에서 벗어남에 따라 오류가 누적되는 공변량 변화(covariate shift) 문제를 겪습니다. 생성적 적대 모방 학습(Generative Adversarial Imitation Learning, GAIL)은 궤적 분포를 정렬함으로써 이론적인 해결책을 제시하지만, 다중 에이전트 환경에서 심각한 학습 불안정성에 직면합니다.

저자들은 이 불안정성의 구체적인 근본 원인으로 **무관한 상호작용에 의한 오도(irrelevant interaction misguidance)**를 지목합니다. 표준적인 분산형 GAIL에서 판별기(Discriminator)는 에고 차량(ego vehicle)의 국소적 관측치를 평가합니다. 그러나 주변 에이전트들이 비현실적으로 행동할 경우(예: 서로 충돌하는 경우), 판별기는 에고 차량의 현실적인 행동에 대해서도 벌점을 부여하게 됩니다. 이는 결합된 상태(에고 + 비현실적인 주변 에이전트)가 전문가 데이터와 편차를 보이기 때문입니다. 즉, 판별기는 에고의 행동과 인과적으로 연결되어 있지 않지만 학습된 정책의 영향을 받는, 약하게 연관된 주변 에이전트-주변 에이전트(neighbor–neighbor) 및 주변 에이전트-지도(neighbor–map) 상호작용에 과도한 가중치를 둡니다. 주변 에이전트의 수가 증가함에 따라 이러한 노이즈는 이차적으로(quadratically) 증가하며, 이는 불안정하고 잘못된 보상 신호로 이어집니다.

방법론: DecompGAIL

이를 해결하기 위해 저자들은 경량화된 SMART 기반 트랜스포머 백본에 통합된 DecompGAIL(Decomposed Multi-agent Generative Adversarial Imitation Learning)을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 분해된 판별기 (Decomposed Discriminator)

모든 에이전트와 지도 토큰을 하나의 특징으로 융합하는 단일 구조의 판별기 대신, DecompGAIL은 현실성을 두 개의 독립적인 구성 요소로 명시적으로 분리합니다.

• 에고-지도(장면) 현실성 ($S_t^i$): 주변 에이전트와의 상호작용을 무시하고, 정적인 지도 맥락과 에고 차량 궤적 간의 정렬을 평가합니다.
• 에고-주변 에이전트(상호작용) 현실성 ($I_{t}^{ij}$): 에고와 각 특정 주변 에이전트 간의 쌍별 상호작용이 타당한지 평가합니다.

이 설계 구조는 주변 에이전트-주변 에이전트 및 주변 에이전트-지도 상호작용($\phi_3$ 및 $\phi_4$ 항)을 억제하여, 타인의 실패로 인해 에고 차량이 벌점을 받는 것을 방지합니다. 판별기는 전문가 샘플과 정책 샘플에 대해 이진 교차 엔트로피(Binary Cross-Entropy, BCE) 손실을 사용하여 학습됩니다.

2. Social PPO 목적 함수

정책을 최적화하기 위해 저자들은 Social PPO 목적 함수를 도입합니다. 에이전트 $i$에 대한 보상은 장면 점수와 쌍별 상호작용 점수의 가중 합으로 계산됩니다. 결정적으로, 이 에고 보상은 거리 가중치가 적용된 이웃 보상으로 증강됩니다.
$$r_t^{S_i} = r_t^i + \sum_{j \in N_i} \lambda_{ij} r_t^j$$
여기서 $\lambda_{ij}$는 거리에 따라 감쇠하는 가중치입니다. 이는 에이전트가 주변 에이전트의 현실성을 저해하지 않으면서 자신의 현실성을 개선하도록 유도하여 협력적 안정성을 촉진합니다.

3. 학습 파이프라인

프레임워크는 다음의 2단계 과정을 따릅니다.

1. BC 사전 학습(Pretraining): 강력한 시작점을 제공하고 계산 비용을 줄이기 위해 전문가 데이터에 대한 행동 복제(BC)를 사용하여 정책을 초기화합니다.
2. DecompGAIL 미세 조정(Fine-tuning): 분해된 판별기가 대리 보상(surrogate reward)을 제공하는 가운데, 근사 정책 최적화(PPO)를 사용하여 정책을 미세 조정합니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다.

1. 무관한 상호작용에 의한 오도 식별: 저자들은 표준적인 분산형 GAIL 판별기가 에고의 행동과 인과적으로 연결되지 않은 약하게 연관된 고차 상호작용(주변 에이전트-주변 에이전트)을 과도하게 강조함으로써 불안정성을 유발함을 입증했습니다.
2. DecompGAIL 아키텍처: 에고-장면 및 에고-주변 에이전트 현실성을 별도로 모델링하고 무관한 신호를 억제하여, 더 안정적이고 정보가 풍부한 보상을 생성하는 분해된 판별기를 제안합니다.
3. 최첨단 성능 달성: 이 방법은 WOMD Sim Agents 2025 벤치마크에서 기존의 BC, 데이터 증강 및 RL 기반 베이스라인들을 능가하는 최첨단(SOTA) 현실성을 달성했습니다.

실험 결과

Waymo Open Motion Dataset (WOMD)을 사용하여 WOSAC 2025 리더보드 메트릭으로 평가한 결과는 다음과 같습니다.

• 안정성: DecompGAIL은 학습 과정 전반에 걸쳐 판별기 점수와 시뮬레이션 현실성에서 낮은 분산을 유지하는 반면, 표준 파라미터 공유 GAIL(PS-GAIL)은 주변 에이전트의 수가 증가함에 따라 분산이 커지고 성능이 저하되는 모습을 보였습니다.
• 성능: DecompGAIL은 토큰화 모델(SMART-R1, TrajTok) 및 연속형 모델(UniMM)을 포함한 모든 테스트 모델 중 가장 높은 **Realism Meta-Metric (0.7864)**을 기록했습니다.
• 메트릭 세부 분석: 이 방법은 Interactive(0.8152) 및 Map-based(0.9176) 메트릭에서 일관되게 베이스라인을 능가하며, 이는 우수한 충돌 회피 및 도로 준수 능력을 나타냅니다.
• 절제 연구(Ablation Studies): 분해를 제거하거나(단일 판별기 사용) 사회적 보상 메커니즘을 제거하면 현실성과 충돌 가능성이 크게 떨어졌으며, 이는 두 구성 요소의 필요성을 확인시켜 줍니다.

의의

본 논문은 DecompGAIL이 보상 신호의 무관한 환경 노이즈에 대한 민감도를 교정함으로써 다중 에이전트 모방 학습의 근본적인 불안정성을 해결한다고 주장합니다. 에고의 행동을 주변 에이전트의 실패로부터 분리함으로써, 이 방법은 복잡하고 밀도가 높은 교통 시나리오에서도 안정적인 학습을 가능하게 합니다. 저자들은 이 연구가 학습 불안정성이나 공변량 변화의 아티팩트 없이 자율 주행 정책을 신뢰성 있게 스트레스 테스트할 수 있는 고충실도 교통 시뮬레이터를 향한 중요한 단계라고 평가합니다.