기술 요약: CLAP – 종단형 자율주행을 위한 대비적 잠재 공간 프롬프트 최적화

1. 문제 제기

시각 - 언어 - 행동 (VLA) 모델 기반의 종단형 자율주행 (AD) 시스템은 대규모 사전 학습과 미세 조정을 활용하여 일반적인 주행 시나리오에서 뛰어난 성능을 입증해 왔습니다. 그러나 이러한 시스템은 장꼬리 시나리오(드물지만 안전에 치명적인 상황, 예를 들어 활발한 공사 구역, 복잡한 양보 기하학, 악천후 조합 등) 에서는 여전히 취약합니다.

이러한 실패를 해결하기 위한 주류 접근법은 데이터 수집을 확장하고 모델을 미세 조정하는 것입니다. 하지만 해당 논문은 다음과 같은 이유로 이 접근법이 체감 수익이 감소한다고 주장합니다.

• 드문 사건의 희소성.
• 카테고리 내 변형 (배치, 날씨, 시간대) 의 조합적 복잡성.
• 틈새 데이터에 빈번하게 미세 조정할 때 발생하는 파국적 망각의 위험.

또한, 논문은 현재 적응 전략의 특정 한계를 지적합니다: 장꼬리 실패는 종종 특정 도로 구역(roadblocks)이며, 순수한 카테고리 수준의 일반화 문제가 아닙니다. 더 나아가, 단일 도로 구역 내에서 도전적인 (장꼬리) 프레임과 일반 프레임은 모델의 잠재 공간에서 서로 강하게 섞여 있습니다. 결과적으로, 도전적인 프레임을 수정하기 위해 프롬프트를 최적화하면 이러한 잠재 공간의 혼재로 인해 일반 프레임의 성능이 부수적으로 저하되는 경우가 많습니다.

2. 방법론: CLAP 프레임워크

저자들은 **CLAP(Contrastive Latent-space Prompt Optimization, 대비적 잠재 공간 프롬프트 최적화)**를 제안합니다. 이는 동결된(frozen) VLA 주행 모델에 도로 구역별 소프트 프롬프트를 추가하는 프레임워크입니다. 이러한 프롬프트는 크라우드소싱 데이터에서 오프라인으로 최적화되며, 차량 - 모든 것 (V2X) 통신을 통해 필요 시 검색됩니다.

핵심 관찰

이 방법론은 최첨단 VLA 의 잠재 공간 분석에서 도출된 두 가지 관찰에 기반합니다.

1. 국소성 (Locality): 동일한 도로 구역 (안정적인 시각적/기하학적 정체성을 가진 연속된 공간 영역) 에서의 시나리오들은 다른 도로 구역과 구별되며 잠재 공간 내에서 밀집하게 군집을 이룹니다.
2. 혼재 (Intermixing): 단일 도로 구역 내에서 도전적인 프레임과 일반 프레임은 별도의 군집으로 분리되지 않으며, 서로 강하게 섞여 있습니다.

2 단계 파이프라인

CLAP 은 각 도로 구역 $R$에 대해 2 단계 프롬프트 최적화 프로세스를 통해 작동합니다.

1 단계: 감독 대비 학습을 통한 방향 발견

• 목표: 잠재 공간에서 도전적인 프레임을 일반 프레임과 분리하는 "난이도 높은 장면 방향"($d^\star$) 을 발견합니다.
• 메커니즘: 보조 소프트 프롬프트 $P_A$를 감독 대비 (SupCon) 손실 함수를 사용하여 최적화합니다. 이 손실 함수는 도전적 프레임의 숨겨진 상태를 일반 프레임의 숨겨진 상태에서 멀어지도록 밀어냅니다.
• 출력: 분리된 표현의 주성분 방향이 해당 도로 구역에 특화된 난이도 높은 장면 방향의 간결한 설명자인 $d^\star$로 추출됩니다.

2 단계: 방향 정규화 프롬프트 최적화

• 목표: 도전적인 프레임의 성능을 향상시키면서도 일반 프레임의 성능을 엄격히 유지하는 배포 가능한 성능 프롬프트 $P_B$를 최적화합니다.
• 메커니즘: $P_B$는 결합 손실 함수 하에서 훈련됩니다.
  $$L_{total} = L_{plan} + \lambda_1 L_{dir} + \lambda_2 L_{reg}$$
  • $L_{plan}$: 도전적인 프레임에서만 계산된 표준 궤적 회귀 손실 (ADE).
  • $L_{dir}$(방향 정규화자): $P_B$가 사전에 발견된 축 $d^\star$를 따라 도전적 프레임 표현을 이동시키도록 장려합니다. 이는 최적화를 분리 가능한 특정 부분 공간으로 제한합니다.
  • $L_{reg}$(일반 프레임 정규화자): 1 단계 기준선에 비해 일반 프레임 표현이 이동하는 것을 명시적으로 패널티화합니다. 이는 프롬프트가 일반적인 주행에 영향을 미치는 부분 공간으로 "누출"되는 것을 방지합니다.

데이터 분할

이를 적용하기 위해 시스템은 도로 구역 궤적을 "도전적"과 "일반" 하위 집합으로 분할해야 합니다. 논문은 강력한 VLM 을 통한 의미적 식별과 경험적 검증 (계획 오차가 마진 $\delta$를 초과함) 을 사용하여 프레임을 라벨링하는 VLM 기반 파이프라인을 제안합니다.

3. 주요 기여

1. 도로 구역별 공식화: 논문은 잠재 공간 분석을 통해 장꼬리 문제가 전역적으로가 아니라 도로 구역별로 국소적으로 해결될 수 있음을 입증합니다. 이는 도로 구역들이 잠재 공간에서 별도의 다양체 (manifolds) 를 형성하기 때문입니다.
2. CLAP 프레임워크: 대비 학습을 통해 분리 방향을 식별하고 방향 정규화를 통해 일반 성능을 퇴보시키지 않으면서 장꼬리 성능을 선택적으로 향상시키는 새로운 2 단계 프롬프트 최적화 방법입니다.
3. 경험적 검증: 동결된 백본 미세 조정 없이도 여러 최첨단 VLA 백본에서 도전적인 시나리오의 계획 오차를 CLAP 가 감소시킨다는 것을 입증했습니다.

4. 실험 결과

저자들은 NAVSIM 벤치마크에서 세 가지 최첨단 VLA 백본인 ReCogDrive, Alpamayo-R1.5, DriveVLA-W0를 사용하여 CLAP 를 평가했습니다.

• 도전적 프레임 성능: CLAP 는 세 모델 전반에 걸쳐 도전적 시나리오의 평균 변위 오차 (ADE) 를 평균 24% 감소시켰습니다.
• 일반 프레임 성능: 제약이 없는 소프트 프롬프트 최적화 (일부 모델에서 성능 퇴보를 유발) 나 명시적 텍스트 공지 (종종 실패하거나 성능을 저하시킴) 와 달리, CLAP 는 일반 프레임에서 성능을 유지하거나 약간 향상시켰습니다.
• 전체 개선: 장꼬리 오차 감소와 일반 성능 유지의 결합으로 전체 ADE 가 평균 14% 개선되었습니다.
• 절대 실험 (Ablation Studies):
  • 1 단계 (대비 방향 발견) 를 제거하면 성능이 크게 저하되어 특정 방향 $d^\star$가 결정적임을 확인했습니다.
  • $d^\star$를 무작위 방향으로 대체하면 1 단계를 완전히 생략하는 것보다 더 나쁜 성능을 보였으며, 이는 학습된 대비 방향의 필요성을 강조합니다.
• 일반화: 증강 없이 비변화된 조건 (비와 황혼) 에서 테스트했을 때 성능이 저하되었습니다. 그러나 생성형 이미지 편집을 사용하여 이러한 조건으로 훈련 데이터를 증강하면 CLAP 가 효과적으로 일반화되어 비변화된 조건 하의 ADE 격차를 크게 줄였습니다.

5. 중요성과 주장

논문은 CLAP 를 자율주행에서 VLA 성능을 향상시키기 위한 데이터 확장 및 모델 미세 조정의 실용적으로 효율적인 대안으로 위치시킵니다.

• 개선 모드: 저자들은 장꼬리 실패가 전역 모델 재학습이 필요한 것이 아니라 소프트 프롬프트를 통해 "국소적으로 패치"될 수 있다고 주장합니다.
• 선택성: 핵심적인 중요성은 어려운 시나리오를 선택적으로 향상시키면서도 잠재 공간의 혼재로 인해 제약 없는 프롬프트 최적화가 해결하지 못하는 공통 주행 성능에 대한 부수적 피해를 구조적으로 방지하는 능력에 있습니다.
• 배포 타당성: 이 프레임워크는 V2X 배포를 위해 설계되었습니다. 중앙 서버가 크라우드소싱 데이터를 기반으로 프롬프트를 최적화하여 특정 도로 구역에 진입하는 차량으로 푸시하며, 차량 측 추론 비용은 최소화됩니다 (동결 모델 + 프롬프트 주입).

저자들은 한계를 인정하며, 테스트된 조건을 넘어선 교차 날씨 일반화는 여전히 열린 질문이며, 현재 대비 목적 함수는 도로 구역당 단일 지배적 도전 유형을 가정하므로 이질적인 시나리오의 경우 정교화가 필요할 수 있음을 지적합니다.