기술 요약: CLOVER

문제 정의

종단 간 자율주행 플래너는 일반적으로 단일 기록된 인간 궤적을 기반으로 모방 학습을 통해 훈련됩니다. 그러나 이들은 안전성, 실행 가능성, 진행 상황, 편안함을 평가하는 규칙 기반 플래닝 지표 (예: NAVSIM PDMS/EPDMS) 를 사용하여 평가됩니다. 이로 인해 근본적인 훈련 - 평가 불일치가 발생합니다:

1. 기록된 경로에 가까운 궤적이라도 안전 규칙을 위반하거나 안전하지 않은 상호작용을 유발할 수 있습니다.
2. 시연에서 벗어난 대체 궤적은 유효하고 높은 점수를 받을 수 있지만 훈련 중에는 결코 관찰되지 않습니다.

이 불일치는 여러 후보 궤적을 생성하고 가장 좋은 것을 선택하는 제안 - 선택 플래너에게 특히 제한적입니다. 이러한 플래너의 성능은 고품질 대안을 포괄하는 생성기의 능력 (커버리지) 과 이를 올바르게 순위 매기는 스코어의 능력 (순위 매기기 품질) 이라는 두 가지 결합된 요인에 의해 제약받습니다. 단일 궤적 감독은 종종 하나의 실현된 행동 주변으로 후보 집합을 붕괴시켜 주행의 다중 모달 특성 (예: 속도 유지 대 제동 대 차선 변경) 을 포착하지 못합니다.

방법론: CLOVER 프레임워크

CLOVER(Closed-LOop Value Estimation and Ranking, 폐루프 가치 추정 및 순위 매기기) 는 제안 생성과 궤적 순위 매기기 사이의 폐루프를 닫도록 설계된 프레임워크입니다. 경량의 생성기 - 스코어 아키텍처를 사용하며 두 가지 명확한 훈련 단계를 거칩니다.

아키텍처

• 생성기: 다중 뷰 카메라 이미지와 차량 상태를 기반으로 $K$개의 후보 미래 차량 궤적 ($\tau_i$) 을 생성합니다.
• 스코어: 각 후보에 대해 플래닝 지표 하위 점수 (충돌, 주행 가능 영역, 진행 상황, 편안함 등) 를 예측하는 궤적 수준 모듈입니다.
• 추론: 후보들은 공식 PDMS 규칙 $\Gamma_{PDMS}$를 사용하여 조합된 예측 점수로 순위가 매겨지며, 최상위 순위의 궤적이 선택됩니다. 규칙 기반 평가자는 배포 시 필요하지 않습니다.

1 단계: 평가자 필터링 제안 커버리지

단일 궤적 모방의 다양성 부족 문제를 해결하기 위해 CLOVER는 훈련 중 각 장면마다 가상 전문가 집합 $\mathcal{E}(o)$을 구성합니다.

• 생성: 기록된 궤적을 교란하는 대신, 훈련 중에만 사용 가능한 특권 메트릭 캐시 정보 (경로 중심선, 미래 장애물 점유) 를 사용하여 해석 가능한 행동 계열 (예: 다양한 측면 오프셋, 가속 프로파일, 정지 - 주행 행동, 경계 사례) 로부터 후보를 생성합니다.
• 필터링: 후보들은 주행 가능 영역과 점유 여부에 대해 사전 필터링되고, 실제 규칙 기반 평가자로 점수가 매겨지며, 다양한 하위 점수 패턴과 점수 범위를 보장하는 커버리지 인식 전략을 통해 선택됩니다.
• 훈련 목적: 생성기는 기록된 궤적을 사전으로 유지하면서 이러한 가상 전문가들을 포괄하도록 훈련됩니다. 스코어는 실제 평가자 하위 점수를 예측하도록 사전 훈련됩니다.
  • 손실 함수: $L_{stage1} = \lambda_{gt} L_{gt} + \lambda_{pe} L_{pe} + \lambda_{score} L_{score}$, 여기서 $L_{pe}$는 가상 전문가 집합의 커버리지를 장려합니다.

2 단계: 보수적 폐루프 자기 증류

이 단계는 불완전한 학습된 보상을 직접 최대화하는 것의 불안정성을 피하기 위해 보수적인 교번 절차를 사용하여 확장된 제안 분포를 정제합니다.

1. 스코어 단계: 스코어는 현재 생성된 제안 집합에 대한 실제 평가자 하위 점수에 적합됩니다.
2. 생성기 단계: 고정된 "교사"(현재 생성기) 가 제안을 생성합니다. 스코어는 이를 평가하여 두 가지 목표 집합을 선택합니다:
   • Top-k 집합: 조합된 예측 점수에 의해 선택됨.
   • 벡터 파레토 집합: 하위 점수 공간에서 비우세한 제안으로 구성됨 (안전 - 진행 - 편안함 트레이드오프 보존).
   • 학생 생성기는 교사의 분포에서의 이탈을 억제하는 안정성 정규화 항을 사용하여 이러한 목표를 포괄하도록 훈련됩니다.
   • 손실 함수: $L_{gen} = \lambda_{traj} L_{gt} + \lambda_{topk} L_{set} + \lambda_{pareto} L_{set} + \lambda_{stab} L_{stab}$.

이론적 근거

이 논문은 불완전한 스코어가 생성기를 신뢰성 있게 개선할 수 있는 시기를 분석합니다. 선택된 집합 풍부화 조건을 가정합니다: 스코어가 선택한 목표 (Top-k 또는 파레토) 가 현재 제안 분포에 비해 실제 고품질 궤적으로 통계적으로 풍부하다면, 보수적인 집합 수준 증류는 고점수 궤적에 대한 확률 질량을 증가시킵니다. 저자들은 CLOVER가 이 조건을 경험적으로 만족함을 보여주었으며, 스코어가 선택한 목표들은 평균 제안 풀보다 훨씬 높은 실제 점수를 가집니다.

주요 기여

1. CLOVER 프레임워크: 제안 생성과 궤적 점수 매기기를 결합하여 훈련 - 평가 불일치를 해결하는 폐루프 가치 추정 및 순위 매기기 프레임워크.
2. 평가자 필터링 가상 전문가 감독: 훈련 시 특권 정보를 사용하여 다양하고 고품질의 후보 집합을 구성함으로써 단일 궤적 모방을 집합 수준 다중 모달 훈련으로 확장하는 방법.
3. 보수적 폐루프 자기 증류: 스코어를 실제 하위 점수에 적합시키고, 안정성 정규화를 갖춘 교사 선택 Top-k 및 벡터 파레토 목표를 사용하여 생성기를 정제하는 교번 훈련 전략으로, 제한 없는 보상 최대화의 함정을 피함.
4. 이론적 및 경험적 분석: 선택된 목표가 실제 평가자 하에서 통계적으로 풍부하다면 불완전한 스코어도 효과적으로 정제를 안내할 수 있음을 보여주었으며, 스코어가 선택한 집합에서 유의미한 풍부화 격차를 보여주는 경험적 데이터로 검증됨.

실험 결과

CLOVER는 NAVSIM v1, NAVSIM v2 (EPDMS), NavHard, 그리고 nuScenes 오픈루프 벤치마크에서 평가되었습니다.

• NAVSIM v1: 94.5 PDMS를 달성하여 강력한 베이스라인인 DrivoR(93.7) 을 능가했으며, 모든 하위 점수에서 1 위 또는 2 위를 기록했습니다.
• NAVSIM v2 (navtest): 90.4 EPDMS(업데이트된 공식 구현) 및 87.2 EPDMS(원본 코드) 를 달성하여 보고된 가장 강력한 결과와 일치하거나 능가했습니다.
• NavHard: 까다로운 navhard-two-stage 분할에서 48.3 EPDMS를 달성하여 보고된 가장 강력한 결과와 일치했습니다.
• nuScenes 오픈루프: 비교된 방법들 중 가장 낮은 L2 변위 오차 (ST-P3 프로토콜 하에서 0.31m) 와 최상위/공동 최상위 충돌률 (0.10%) 을 달성했습니다.
• Ablation 및 분석:
  • 1 단계는 제안 공간을 크게 확장했습니다 (Oracle@64 가 0.9933 에서 0.9976 으로 증가) 하지만 저점수 꼬리를 도입했습니다.
  • 2 단계는 이 분포를 정제하여 선택된 PDMS 를 0.9448 로 개선하면서도 높은 다양성을 유지했습니다 (Pairwise ADE 5.20 vs 베이스라인 1.80).
  • 이러한 이득은 단순히 더 나은 top-1 궤적을 선택한 것이 아니라 더 강력한 후보 분포에 기인했습니다.

중요성 및 주장

이 논문은 CLOVER가 주요 자율주행 플래닝 벤치마크에서 새로운 최첨단 성능을 확립한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 불일치 해결: 단일 궤적 모방에만 의존하는 대신 평가자가 제공하는 피드백을 명시적으로 사용하여 궤적 수준 가치 추정기를 훈련하고 후보 분포를 정제함.
• 신뢰할 수 있는 정제: 선택된 목표가 실제 평가자 하에서 통계적으로 풍부하고 업데이트가 보수적일 경우, 불완전한 학습된 스코어가 제안 정제를 위한 유용한 매개체로 작용할 수 있음을 입증함.
• 제안 중심 개선: 최종 플래닝 지표의 개선이 최종 선택뿐만 아니라 전체 후보 집합의 품질과 다양성을 모두 향상시킴에서 비롯됨을 보여줌.

저자들은 CLOVER가 액터 - 크리틱 강화 학습과 유사하지만, 온라인 환경 상호작용이나 시행착오 탐색 없이 규칙 기반 평가자를 가진 기록된 장면에서 완전히 오프라인으로 작동한다는 점에서 구별된다고 언급합니다. 향후 작업은 Extended Comfort(EC) 와 같은 지표를 위한 시간적 일관성을 더 잘 모델링하기 위해 역사 인식 또는 시퀀스 수준 스코어를 통합하는 것이 제안됩니다.