기술 요약: FlowR2A

문제 정의

멀티모달 주행 계획(multimodal driving planning)은 기존의 두 가지 패러다임인 **스코어링 기반 방식(scoring-based methods)**과 앵커 기반 방식(anchor-based methods) 사이의 근본적인 긴장 관계에 직면해 있습니다.

• 스코어링 기반 방식은 대규모의 고정된 액션 어휘(action vocabulary)를 활용하며, 시뮬레이션 기반의 조밀한 보상 레이블을 사용하여 후보군을 평가하는 스코어러를 학습시킵니다. 이는 액션과 결과 사이의 관계에 대해 풍부한 감독(supervision)을 제공하지만, 이러한 방식은 근본적으로 판별적($p(r|a)$)입니다. 즉, 고정된 어휘 범위를 벗어난 새로운 제안(proposal)을 생성할 수 없으므로 역동적인 실제 환경에 대한 적응력이 제한됩니다.
• 앵커 기반 방식은 일련의 액션 앵커로부터 제안을 동적으로 디코딩하여 장면 적응형 생성을 가능하게 합니다. 그러나 이들은 일반적으로 희소한 감독(sparse supervision)에 의존하며, 종종 단일 정답(GT) 궤적에 가장 가까운 제안만을 학습시키는 "승자 독식(winner-takes-all)" 손실 함수를 사용합니다. 이는 학습 신호를 받지 못하는 앵커들에 대해 저품질 또는 퇴화된 제안을 생성하게 만들며, 에고(ego) 상태로부터의 지름길 학습(shortcut learning)이나 액션의 결과에 대한 인지 부족과 같은 모방 학습의 병폐를 그대로 물려받게 됩니다.

핵심 과제는 조밀한 보상 감독과 생성적 제안 모델링이 역사적으로 상호 배타적이었다는 점입니다.

방법론: FlowR2A

저자들은 FlowR2A를 제안하며, 시뮬레이션 기반 보상을 판별적 타겟이 아닌 **생성적 조건(generative conditions)**으로 재정의합니다. FlowR2A는 보상이 주어진 액션을 예측하는 대신, 플로우 매칭(flow-matching) 디코더를 사용하여 보상 조건부 액션 분포 $p(a|r)$를 학습합니다.

1. 핵심 공식화

• 조밀한 액션-보상 쌍: 이 방법은 nuPlan 데이터에서 클러스터링된 8,192개의 궤적으로 구성된 조밀한 액션 어휘($V_a$)를 구축합니다. 모든 학습 장면마다 각 궤적을 시뮬레이션하여 보상 레이블을 생성함으로써, 액션 공간 전체에 걸친 조밀한 $(a, r)$ 쌍을 만듭니다.
• 생성 모델링: 모델은 이러한 보상을 조건으로 사용하여 생성적 분포 $p(a|r)$를 학습합니다. 이를 통해 모델은 단순히 액션을 순위 매기는 것을 넘어, 액션과 그 결과(안전성, 진행도, 편안함, 규칙 준수) 사이의 상관관계를 내재화하도록 강제됩니다.
• 플로우 매칭(Flow Matching): 플로우 기반 액션 디코더는 속도 매칭(velocity-matching) 손실을 활용하여 보상 조건 하에서 노이즈로부터 깨끗한 궤적을 복구하도록 학습됩니다.

2. 보상 구축 및 컨디셔닝

하드한 안전 제약 조건과 소프트한 진행 목표 사이의 균형을 맞추기 위해, 저자들은 구체적인 보상 엔지니어링을 도입했습니다.

• 세밀한 신호: 단일 스칼라 점수 대신, 무과실 충돌(NC), 주행 가능 영역 준수(DAC), 주행 방향 준수(DDC), 신호 준수(TLC), 에고 진행도(EP), 충돌 시간(TTC), 차선 유지(LK), 과거 주행 편안함(HC)을 포함한 세부 지표를 노출합니다.
• 타임스텝별 컨디셔닝: 안전(TTC) 및 준수(DAC)에 대한 이진 레이블은 타임스텝별 배열(예: 투영된 충돌 시간, 도로 위/경로 위 플래그)로 대체됩니다. 이는 하드 제약 조건에 대해 더 높은 시간적 해상도를 제공합니다.
• 보상 노이즈 증강: 연속형 보상(EP 및 PDM 점수)은 학습 중에 미세한 가우시안 노이즈로 오염됩니다. 이는 레이블 평활화(label smoothing) 역할을 하여, 디코더가 궤적 식별자로 정확한 보상 값에 과도하게 의존하는 것을 방지하고, 불가능한 상태로 넘어가지 않으면서도 높은 보상 영역으로 일반화할 수 있도록 돕습니다.

3. 아키텍처

• 인식 인코더(Perception Encoder): Transfuser를 사용하여 멀티 뷰 이미지와 BEV LiDAR 특징을 장면 문맥 및 에이전트 토큰으로 인코딩합니다.
• 보상 인코더(Reward Encoder): 이질적인 보상 신호를 조건 임베딩으로 매핑합니다. 이는 학습 중 보상 임베딩을 무작위로 드롭(null 토큰으로 대체)함으로써 **클래시파이어 프리 가이던스(classifier-free guidance)**를 지원합니다.
• 플로우 기반 액션 디코더(Flow-based Action Decoder): 노이즈가 섞인 입력으로부터 깨끗한 궤적을 예측하는 트랜스포머 기반 디코더입니다. 보상 조건과 시간 임베딩을 주입하기 위해 적응형 레이어 정규화(AdaLN)를 사용합니다.
• 모드 선택기(Mode Selector): 예측된 서브 스코어를 기반으로 생성된 제안들의 순위를 매겨 최종 출력을 선택하는 경량 트랜스포머입니다.

4. 추론 전략

FlowR2A는 제어 가능한 테스트 타임 샘플링을 지원합니다.

• 보상 가이던스(Reward Guidance): 클래시파이어 프리 가이던스(CFG)를 사용하여 디코더가 분포 내의 높은 보상 영역을 향하도록 유도합니다.
• 앵커ed 샘플링(Anchored Sampling): 중간 단계 $t_{init}$에서 디노이징 과정을 초기화함으로써, 앵커의 거친 구조를 유지하면서 보상 조건 하에 이를 정교화하는 참조 궤적(예: 모방 학습 출력)으로부터의 제로샷 샘플링을 허용합니다.

주요 기여

1. 새로운 패러다임: $p(a|r)$를 학습함으로써 조밀한 감독의 장점과 생성적 능력의 장점을 결합한 멀티모달 계획 프레임워크를 제시합니다.
2. 보상 구축 레시피: 세밀한 타임스텝별 보상 컨디셔닝과 보상 노이즈 증강을 사용하여 상충하는 목표 간의 균형을 맞추는 방법을 제시하며, 이를 통해 하드한 안전 제약과 소프트한 진행 목표 사이의 긴장을 효과적으로 처리합니다.
3. 최첨단 성능: NAVSIM v1 및 v2 벤치마크에서 최고 성능을 달ium하였으며, 이전 방식들보다 실질적으로 더 높은 품질의 멀티모달 제안을 생성합니다.

실험 결과

NAVISIM v1 및 v2 벤치마크에서 평가되었습니다:

• NAVISIM v1: FlowR2A는 92.8 PDMS를 달성하여, 이전 최고 성능 모델인 Hydra-MDP++를 1.1점 이상 앞섰습니다. 특히 안전성(TTC)과 진행도(EP) 지표에서 상당한 격차를 보였습니다.
• NAVISIM v2: 88.9 EPDMS를 달성하여 안전성과 진행도 서브 지표에서 선두를 차지했습니다.
• 제안 품질: 선택된 제안뿐만 아니라 생성된 모든 제안의 품질을 평가했을 때, FlowR2A는 iPad 및 DiffusionDrive와 같은 앵커 기반 베이스라인에 비해 현저히 높은 평균 PDMS와 낮은 표준 편차를 보여주었습니다. 이는 FlowR2A가 흩어진 후보들이 아닌, 분포 내의 일관된 제안을 생성함을 나타냅니다.
• 효율성: 모델은 디노이징 단계 수와 초기 노이즈 수준을 조정하여 속도와 품질 간의 트레이드오프를 지원하며, 성능 저하를 최소화하면서 프레임당 추론 시간을 44ms까지 낮출 수 있습니다.

의의 및 주장

본 논문은 FlowR2A가 조밀한 감독과 생성적 모델링 사이의 오랜 트레이드오프를 해결한다고 주장합니다. 보상을 생성적 조건으로 재구성함으로써, 모델은 고정된 집합에서 나쁜 후보를 걸러내는 스코어러에 의존하는 대신, 모든 샘플링된 제안이 실현 가능할 확률이 높은 분포를 학습합니다.

저자들은 높은 제안 품질이 모델이 전체 액션 공간에 걸쳐 액션과 그 결과 사이의 상관관계를 내재화한 데서 기인한다고 강조합니다. 현재 구현은 보상 생성을 위해 규칙 기반 시뮬레이션에 의존하고 있지만, 이 생성적 공식은 향후 학습 기반 보상 모델이나 다른 스코어링 메커니즘과 호환되도록 설계되었습니다. 이 연구는 전체 조건부 액션 분포를 모델링하는 것이 고정된 어휘에서 선택하거나 단일 정답 궤적에 회귀하는 것보다 멀티모달 계획에 있어 더 우월한 접근 방식임을 시사합니다.