기술 요약: 주행 의도 증폭 계획 지향 강화 학습 (DIAL)

1. 문제 제기

본 논문은 단일 장면당 단일 시연 궤적으로 훈련된 연속 행동 주행 정책에 선호 기반 강화 학습 (RL) 을 적용할 때 발생하는 주요 병목 현상으로**모드 붕괴 (mode collapse)**를 지목합니다.

• 단일 시연 SFT 의 한계: 정책이 단일 기록된 궤적에 대해 지도 미세 조정 (SFT) 을 통해 훈련될 때, 결과적인 샘플링 분포는 해당 특정 기동 주변에 밀집됩니다. 표현력이 뛰어난 행동 헤드 (예: 흐름 매칭 또는 확산) 를 사용하더라도, 정책은 의미적으로 구별되는 대안들 (예: 더 일찍 또는 더 늦게 브레이크 밟기, 차선 변경 또는 차선 유지) 을 표현하지 못합니다.
• 선호 RL 의 실패: 선호 기반 평가 (예: Best-of-$N$) 는 정책이 가장 높은 평가를 받은 것을 선택하기 위해 다양한 후보들을 생성하는 데 의존합니다. 그러나 샘플링 분포가 단일 모드 주변으로 붕괴되어 있다면, "오라클 선택 (oracle selection)"은 결코 샘플링되지 않았던 고품질 궤적을 복구할 수 없습니다. 결과적으로 샘플 예산 ($N$) 에 관계없이 Best-of-$N$ 성능은 원래 인간 시연의 품질 아래에서 정체됩니다.
• 핵심 통찰: 병목 현상은 정책 업데이트 메커니즘 자체가 아니라샘플링 분포에 있습니다. 표준 그룹 상대 정책 최적화 (GRPO) 는 단일 의도 (또는 노이즈 시드) 에서 추출된 롤아웃이 그룹을 다시 붕괴시켜 정보성이 부족한 그룹 상대 이득 (낮은 선호 대비) 을 제공하기 때문에 실패합니다.

2. 방법론: DIAL 프레임워크

저자들은 먼저 샘플링 분포를 확장한 다음 선호 RL 동안 그 확장을 유지하도록 설계된 2 단계 프레임워크인DIAL(주행 의도 증폭 학습) 을 제안합니다.

1 단계: 의도 조건부 분류기 없는 안내 (CFG)

• 목표: 의미적으로 구별되는 기동 모드들을 따라 샘플링 분포를 확장하여 단일 시연 모드 붕괴를 깨뜨립니다.
• 메커니즘:
  • 흐름 매칭 행동 헤드는 이산적인의도 레이블$c$에 조건부입니다.
  • 의도 집합은 8 가지 규칙 유도 카테고리로 구성됩니다:크루즈, 차선 변경 (좌/우), 회전 (좌/우), U 자 회전, 가속, 감속.
  • 분류기 없는 안내 (CFG): 훈련 중 의도 레이블은 확률 $p_{drop}$으로 무작위 삭제 (무조건적 플레이스홀더로 교체) 됩니다. 이는 모델이 조건부 (의도별) 와 무조건적 행동 분포 모두를 생성하도록 가르칩니다.
  • 추론: 경량 접두사 분류기가 시각적 맥락에서 의도를 예측합니다. 그런 다음 생성기는 예측된 의도를 사용하여 궤적을 디코딩하며, 조건부 및 무조건적 속도 예측을 결합합니다.
• 결과: 이 단계는 정책이 단일 경로의 좌표 수준 교란뿐만 아니라 동일한 장면에 대해 다양한 궤적 (예: 좌회전 대 차선 유지) 을 생성할 수 있게 합니다. 의도 조건부 샘플링만으로도 Best-of-$N$ 상한을 크게 높입니다.

2 단계: 다중 의도 그룹 상대 정책 최적화 (GRPO)

• 목표: RL 미세 조정 중에 확장된 다양성을 유지하고 정책이 인간 선호도를 향해 최적화되도록 합니다.
• 메커니즘:
  • 의도 균형 롤아웃: 각 장면마다 시스템은 $C=8$개의 의도 각각에 대해 $S$개의 궤적을 샘플링하여 $K = C \times S$개의 제안 그룹을 생성합니다 (예: $S=2$일 때 $K=16$).
  • 그룹 상대 이득: 모든 $K$개의 궤적에 대해 보상 피드백 점수 (RFS) 가 계산됩니다. 이득은 전체 풀링된 그룹 전체에 걸쳐 정규화됩니다. 그룹이 모든 의도 클래스를 포괄하기 때문에 RL 업데이트는 서로 다른 기동 모드 간에 의미 있는 선호 신호를 받아 그룹이 단일 선호 모드 주변으로 다시 붕괴되는 것을 방지합니다.
  • 보상 해킹 인식: 훈련 보상은 과적합을 방지하기 위해 표준 RFS 를 수정합니다:
    • 평가자 궤적에 대한 하드 최대값을레이블 소프트맥스 집계로 대체합니다.
    • 비현실적인 중간 운동을 처벌하기 위해 스코어링 앵커를 $\{3s, 5s\}$에서 $\{1s, 2s, 3s, 4s, 5s\}$로 밀집화합니다.
• 정책 업데이트: 1 단계 SFT 체크포인트에 대한 참조 정책 페널티 (KL 발산) 를 사용하는 클리핑된 GRPO 목적 함수를 사용합니다.

3. 주요 기여

1. 모드 붕괴 식별: 본 논문은 연속 행동 정책의 경우 선호 RL 의 상한이 샘플링 분포에 의해 제한된다는 것을 확립합니다. 경쟁력 있는 SFT 기준선은 서로 다른 기동 모드를 샘플링할 수 없기 때문에 인간 시연 아래 (Best-of-128 RFS < 8.13) 에서 포화 상태에 이릅니다.
2. 의도 조건부 CFG: 행동 헤드를 이산적 의도에 조건부화함으로써 샘플링 상한을 깨뜨린다는 것을 보여줍니다. 의도 조건부 샘플링은 Best-of-128 RFS 를9.14로 달성하여 이전 최첨단 플래너 (RAP, 8.5) 와 인간 시연 (8.13) 을 모두 처음으로 능가합니다.
3. DIAL 프레임워크: 의도-CFG 확장과 다중 의도 GRPO 를 결합하는 2 단계 파이프라인을 도입합니다. 이는 1 단계에서 확립된 다양성을 유지하여 홀드아웃 단일 궤적 RFS 를7.681 에서 8.211로 개선합니다.
4. 다양성에 대한 실증적 검증: 단일 의도 변형 (최적 의도 선택을 포함하더라도) 이 DIAL 의 성능을 따라잡지 못하고 결국 저하됨을 보여, 선호 그룹 내에서 전체 의도 집합을 포괄하는 것이 안정적인 RL 에 필수적임을 증명합니다.

4. 실험 결과

RFS 벤치마크 (Waymo Open Dataset End-to-End) 를 사용하여WOD-E2E데이터셋에서 평가되었습니다:

• 기준 성능: 네 가지 경쟁력 있는 SFT 기준선 (WAM-Flow, Curious-VLA, AutoVLA, ReCogDrive) 은 홀드아웃 분할에서 RL 로부터 최소한의 이득만 보였습니다 (예: ReCogDrive +0.315, WAM-Flow +0.087). 그들의 Best-of-$N$ 성능은 인간 시연 아래에 머물렀습니다.
• DIAL 성능:
  • 홀드아웃 RFS: 7.696(SFT 초기화) 에서8.211(+0.515) 로 개선되어 RL 훈련 시스템 중 가장 큰 개선을 보였습니다.
  • 전체 분할 RFS: 7.369 에서8.631로 개선되었습니다.
  • Best-of-128: 의도 조건부 샘플링은9.14에 도달하여 인간 시연 (8.13) 과 이전 최첨단 플래너 RAP(8.5) 을 초과했습니다.
• 애블레이션 발견:
  • 다중 의도 대 단일 의도: 단일 의도 GRPO 변형 (한 의도에 대해 $K=16$개의 노이즈 시드 사용) 은 더 낮은 정점 (최대 7.992) 에 도달했으며 훈련 종료 시 저하되었습니다.
  • 의도당 샘플 수 ($S$): $S=2$(총 $K=16$) 가 최고 성능을 위한 "적정 지점"으로 확인되었습니다.
  • 보상 형성: 소프트맥스 집계와 밀집 앵커를 사용하면 보상 해킹을 방지하고 안정성을 향상시켰습니다.

5. 중요성 및 주장

본 논문은 선호 정렬 연속 행동 주행의 근본적인 도전 과제가 단순히 정책을 업데이트하는 방법이 아니라, 최적화되는샘플링 분포를 어떻게 확장하고 유지하느냐에 있다고 주장합니다.

• 패러다임 전환: 이 작업은 정책이 의미적으로 구별되는 대안을 생성하지 못한다면 선호 RL 이 비효율적이라고 주장합니다. "병목 현상"은 최적화기가 아니라 제안 메커니즘입니다.
• 실용적 영향: 주행 의도를 명시적으로 모델링하고 다중 의도 GRPO 를 통해 이 다양성을 유지함으로써 DIAL 은 성공적으로 모드 붕괴를 탈출하여 정책이 Best-of-$N$ 설정에서 인간 시연의 품질에 도달하고 초과할 수 있게 하며, 단일 궤적 배포 성능을 크게 향상시킵니다.
• 겸손함: 저자들은 한계를 인정하며, 8 가지 의도는 수동으로 코딩된 기하학적 규칙에서 유래되었으므로 (장기 꼬리 행동을 놓칠 수 있음) RL 훈련 데이터 (438 개 시퀀스) 가 전체 Waymo 분할에 비해 작다고 지적합니다.

요약하자면, DIAL 은의도 다양성 제안이 엔드 투 엔드 주행에서 성공적인 선호 최적화를 위한 전제 조건임을 보여주며, 정책이 단일 기하학적 모방으로 붕괴되는 대신 허용 가능한 기동의 전체 공간을 탐색할 수 있게 합니다.