기술 요약: FLARE – 자율주행을 위한 비전 - 언어 모델로부터 미래 인식 잠재 표현 학습

1. 문제 제기

현재 종단간 자율주행 (AD) 시스템은 비전 - 언어 모델 (VLM) 을 통합할 때 두 가지 주요 한계에 직면해 있습니다:

1. 주석 병목 현상 및 의미 편향: 기존 접근 방식은 VLM 을 주행 작업과 정렬시키기 위해 노동 집약적인 언어 주석 (예: 시각적 질문 응답, 장면 설명) 에 크게 의존합니다. 이러한 패러다임은 체감 수익을 감소시키고, 실제 주행 행동과 불일치하는 의미 편향을 도입하며, 대규모 VLM 의 파라미터 용량을 완전히 활용하지 못합니다.
2. 이산 - 연속 불일치: VLM 이 사용하는 이산적 언어 토큰과 주행 궤적의 연속적 특성 사이에는 근본적인 불호환성이 존재합니다. 행동을 토큰화하면 이산화 오류, 희소 감독 신호, 그리고 정밀한 운동 계획에 어려움을 겪는 불안정한 제어 정책이 초래됩니다.

본 논문은 명시적인 텍스트 생성이나 행동 토큰화에 의존하는 방식이 VLM 이 주행 역학의 암묵적이고 비언어화 가능한 뉘앙스를 효과적으로 학습하는 것을 방해한다고 주장합니다.

2. 방법론: FLARE 프레임워크

FLARE(Future-aware LAtent REpresentation) 는 언어 감독 없이 사전 훈련된 VLM 의 시각 - 의미 능력을 활성화하도록 설계된 새로운 종단간 프레임워크입니다. 이는 세 가지 핵심 구성 요소를 통해 고수준 추론과 저수준 제어 사이의 간극을 메웁니다:

A. 자기 감독 미래 특징 예측

텍스트와 정렬하는 대신, FLARE 는 잠재 공간에서 미래 장면 역학을 직접 예측하기 위한 자기 감독 목적 함수를 도입합니다.

• 메커니즘: 모델은 텍스트나 픽셀 수준의 이미지를 생성하는 대신, 미래 프레임의 세밀한 DINOv2 특징 패치를 재구성하도록 훈련됩니다.
• 근거: 의미적 패치를 예측함으로써 백본이 공간적으로 명시적인 장면 역학과 객체 영속성을 포착하도록 강제합니다. 이는 희소한 행동 토큰보다 VLM 의 용량을 더 효과적으로 활용하는 밀집된 연속 기울기를 제공합니다.
• 정신적 시뮬레이션: 예측기를 계획된 행동 의도에 조건부로 설정함으로써, 모델은 "행동 조건부" 미래 시뮬레이션을 수행하여 특정 결정이 환경에 미치는 영향을 예측합니다.

B. 계층적 쿼리 기반 융합 모듈

VLM 의 출력을 계획에 효과적으로 활용하기 위해 FLARE 는 두 단계의 다중 모드 어텐션 풀링 (MAP) 메커니즘을 사용합니다:

1. 시각 압축: 시각 토큰을 컴팩트한 시각 잠재 집합으로 압축하여 장면 수준의 의미 내용을 증류합니다.
2. 상태 조건부 집계: 행동 MAP 블록은 이러한 시각 잠재들을 단일 결정 벡터로 응축합니다. 핵심적으로, 이 과정은 차량의 자차 상태 임베딩(속도, 가속도, 과거 궤적) 을 초기화 쿼리로 사용합니다. 이는 시각적 집적이 차량의 동적 상태 및 항해 의도에 조건부임을 보장합니다.

C. 듀얼 헤드 예측 및 GRPO 정제

프레임워크는 듀얼 헤드 아키텍처를 활용합니다:

1. DiT 플래너: 조건부 확산 트랜스포머 (DiT) 는 융합된 행동 쿼리와 물리적 제약에 기반하여 다중 모드 미래 궤적을 생성합니다.
2. 미래 특징 예측기 (FFP): 보조 헤드는 대상 프레임의 DINOv2 특징을 예측합니다.

훈련 전략:

• 1 단계 (지도 미세 조정 - SFT): 모델은 궤적 생성 (노이즈 제거 점수 매칭) 과 미래 특징 예측 (크기 회귀 및 방향 정렬) 을 균형 있게 조화시키는 복합 손실 함수를 사용하여 공동 최적화됩니다.
• 2 단계 (강화 미세 조정 - RFT): 모방 학습이 희귀한 안전 위반을 처리하는 데 있어 갖는 한계를 해결하기 위해 FLARE 는 **그룹 상대 정책 최적화 (GRPO)**를 도입합니다. 이는 안전, 진행, 편안함에 기반한 비미분 가능 보상 함수 (PDM-Score) 를 사용하여 별도의 가치 네트워크 없이 정책을 정제합니다. 정책 붕괴를 방지하기 위해 행동 복제 (BC) 정규화 손실이 도입됩니다.

3. 주요 기여

1. 미래 특징 예측 목적 함수: 공간적 DINOv2 패치를 재구성하는 새로운 자기 감독 작업을 통해, VLM 이 레이블이 없는 비디오 데이터로부터 강력한 운동 표현을 학습하고 순수 행동 토큰 감독의 희소성을 완화합니다.
2. 쿼리 기반 융합 및 GRPO 통합: 시각 및 상태 모달리티를 정렬하는 2 단계 융합 메커니즘과 단순 모방이 아닌 안전-중요 결과에 대한 궤적 정책을 미세 조정하기 위한 GRPO 를 결합합니다.
3. 최첨단 성능: 단일 카메라 입력만으로 SFT 및 RFT 설정 하에서 NAVSIM 벤치마크에서 VLM 기반 방법들 중 새로운 SOTA 결과를 달성했습니다.

4. 실험 결과

저자들은 PDM 점수 (PDMS) 및 확장 PDM 점수 (EPDMS) 를 사용하여 NAVSIM 벤치마크 (v1 및 v2) 에서 FLARE 를 평가했습니다.

• SFT 성능: FLARE-4B 는 PDMS 86.9를 달성하여 파라미터 수의 절반 (4B 대 8B) 을 사용하면서도 ReCogDrive-8B(86.8) 를 능가했습니다. 이는 베이스라인 QwenVL3-4B 보다 PDMS 6.1 포인트 크게 우세했으며, 단일 카메라를 사용함에도 불구하고 DiffusionDrive(88.1) 및 WoTE(88.3) 와 같은 다중 센서 종단간 모델과의 격차를 좁혔습니다.
• RFT 성능: 강화 미세 조정과 함께 FLARE-4B 는 PDMS 91.4에 도달하여 ReCogDrive-2B(90.8) 및 ReCogDrive-8B(90.5) 를 능가했습니다. 다른 방법들 (예: DriveVLA-W0) 이 더 높은 점수를 보고했지만, 이들은 'best-of-N' 샘플링 전략에 의존했습니다. 공정한 단일 샘플 평가 하에서 FLARE 는 VLM 기반 접근법 중 최고의 성능을 달성했습니다.
• NAVSIM v2: FLARE 는 86.3의 최고 EPDMS 를 달성하여, 종종 한 가지를 희생하는 베이스라인들보다 안전 (NC, TTC) 과 편안함 사이의 우수한 균형을 입증했습니다.
• Ablation 연구:
  • 예측 대상: 공간적 DINO 예측 (본 연구) 이 가장 높은 성능 (86.9) 을 보였으며, 전역 특징 예측 (85.9) 및 픽셀 수준 예측 (84.7) 을 능가하여 공간 세밀도를 유지하는 것의 중요성을 확인했습니다.
  • 융합 모듈: 2 단계 MAP 융합 또는 자차 상태 주입을 제거할 경우 각각 PDMS -1.9 및 -2.1 만큼 성능이 크게 저하되어 상태 조건부 시각적 집합의 필요성을 검증했습니다.

5. 의의 및 주장

본 논문은 FLARE 가 명시적 언어 생성이 아닌 예측적 자기 감독을 통한 VLM 세계 지식 활용이라는 자율주행을 위한 매우 효율적인 패러다임을 검증한다고 주장합니다.

• 패러다임 전환: 대규모 언어 주석 데이터셋의 비용과 편향 없이 VLM 을 주행에 효과적으로 적응시킬 수 있음을 입증합니다.
• 강건성: 미래 잠재 특징을 예측함으로써 모델은 장면 역학과 자차 운동을 직접 예측하는 법을 배우며, 이산 토큰과 연속 제어 사이의 불일치를 해소합니다.
• 확장성: 이 접근법은 대규모 레이블 없는 궤적 데이터를 활용하는 확장 가능한 경로를 제공하여, 현재 모듈식 또는 순수 감독 종단간 시스템의 데이터 커버리지 한계를 극복할 가능성을 제시합니다.

저자들은 FLARE 가 단일 카메라 설정으로 최첨단 안전 및 계획 품질을 달성하면서 VLM 의 시각 - 의미 추론을 연속 제어에 성공적으로 해제했다고 결론지었습니다.