1. 문제 정의 (Problem)

기존의 자율주행 시스템과 비전 - 언어 모델 (VLM) 기반의 접근법 사이에는 다음과 같은 구조적 및 기능적 간극이 존재합니다.

• 이질적인 디코딩 패러다임: 자율주행은 객체 탐지, 차선 인식, 궤적 계획 등 병렬 (Parallel) 로 수행되어야 하는 구조화된 출력이 필요한 반면, VLM 은 텍스트 생성을 위해 자기회귀 (Autoregressive) 방식의 순차적 디코딩을 사용합니다.
• 아키텍처의 분열: 기존 연구들은 이러한 차이를 해결하기 위해 별도의 디코더를 사용하거나 (Dual-system), Cascaded(연속적) 구조를 도입했습니다. 이는 사전 학습된 가중치의 재사용을 제한하고, 태스크 간 정보 흐름을 차단하며, 아키텍처의 단편화를 초래합니다.
• VLM 의 한계: 순수한 VLM 아키텍처를 그대로 유지하면 복잡한 3D 구조적 작업 (예: BEV 모델링) 을 수행하기 어렵고, 반대로 VLM 구조를 크게 수정하면 대규모 일반 도메인 데이터와의 공동 학습이 어려워 확장성이 떨어집니다. 또한, 텍스트 생성과 복잡한 주행 출력 간의 격차를 메우는 것이 난제였습니다.

핵심 질문: 단일 사전 학습된 멀티모달 모델이 다양한 형태의 출력 (구조화된 주행 데이터 + 텍스트) 을 처리하면서도 일관된 텍스트 생성 능력을 유지하고, 생성적 모델링 패러다임으로 일반화할 수 있는가?

2. 방법론 (Methodology: OneDrive)

저자들은 OneDrive라는 통합 프레임워크를 제안하여, 단일 Transformer 디코더 내에서 이질적인 디코딩 행동을 조화시켰습니다.

가. 핵심 통찰 (Diagnostic Study)

사전 학습된 VLM 을 자율주행 태스크에 적용하는 실험을 통해 다음 사실을 발견했습니다.

• Attention 모듈의 전이성: 사전 학습된 Self-Attention 가중치는 시각적 토큰과 구조화된 쿼리 간의 관계를 모델링하는 데 탁월한 전이성 (Transferability) 을 보입니다.
• FFN 의 비적합성: 텍스트 생성에 최적화된 Feed-Forward Networks (FFN) 는 이질적인 태스크 (탐지, 계획 등) 에 재사용할 경우 성능 저하와 학습 불안정을 초래합니다.

나. 아키텍처 설계

OneDrive 는 사전 학습된 VLM 의 Causal Attention을 공유 백본으로 유지하면서 다음과 같은 변형을 가합니다.

1. 통합 토큰 시퀀스 (Unified Token Sequence): 이미지 토큰, 탐지/차선 쿼리 토큰, 계획 (Planning) 토큰, 텍스트 토큰을 하나의 시퀀스로 연결합니다.
   • Z = [X_img, Q_det, Q_lane, Q_plan, X_text]
   • 쿼리 토큰이 이미지 토큰 뒤에 위치함으로써, 사전 학습된 Causal Attention 을 통해 시각적 컨텍스트에 자연스럽게 조건부 (Conditioning) 를 형성합니다.
2. 혼합 디코더 레이어 (Mixed Decoder Layers):
   • 공유 Attention: 모든 토큰은 원래의 Causal Self-Attention 을 공유합니다.
   • 쿼리 간 상호작용: 병렬 구조화 예측을 지원하기 위해, 얕은 레이어에서 탐지/차선 쿼리 토큰들 간의 추가적인 Self-Attention 블록을 도입합니다.
   • 태스크 특화 FFN: 텍스트 생성용 FFN 은 유지하되, 구조화된 쿼리 (탐지, 계획 등) 에 대해서는 태스크별 FFN을 삽입하여 특징 변환을 수행합니다.
3. 3D 위치 임베딩: 이미지 및 구조화된 쿼리 토큰에 StreamPETR 방식의 3D 위치 임베딩을 적용하여 공간적 모델링 능력을 강화합니다.

다. 다단계 학습 전략 (Multi-Stage Training)

안정적인 적응을 위해 3 단계 학습을 수행합니다.

1. Perception-Language Pretraining: ViT 인코더를 고정하고, 탐지 및 텍스트 생성 목적 함수로 Mixed 디코더를 학습합니다.
2. Planning Adaptation: 계획 (Planning) 토큰을 도입하고, 계획 관련 모듈과 LLM 디코더 (LoRA) 를 최적화합니다.
3. Joint Finetuning: ViT 포함 모든 모듈을 탐지, 계획, 텍스트 목적 함수로 함께 미세 조정합니다.

3. 주요 기여 (Key Contributions)

1. 전이 메커니즘 규명: VLM 의 Causal Attention 은 텍스트 - 이미지/텍스트 - 텍스트 관계를 넘어 쿼리 - 시각적 특징 관계를 모델링하는 데 전이 가능하지만, 텍스트 생성용 FFN 은 전이가 어렵다는 것을 증명했습니다.
2. OneDrive 프레임워크 제안: 단일 Transformer 디코더에서 자기회귀 텍스트 생성과 병렬 탐지/계획 태스크를 동시에 수행하는 통합 아키텍처를 최초로 구현했습니다.
3. 성능 및 효율성 입증: nuScenes 및 NAVSIM 벤치마크에서 최상위 성능을 달성하면서도, 기존 VLM 기반 주행 모델 대비 추론 지연 시간을 약 40% 단축했습니다.

4. 실험 결과 (Results)

가. 오픈루프 평가 (nuScenes)

• 정확도: 평균 L2 오차 0.28m로 기존 최상위 방법 (SOLVE-E2E: 0.31m, ColaVLA: 0.30m) 보다 우수합니다.
• 안전성: 충돌률 (Collision Rate) **0.18%**로 ColaVLA 대비 23% 감소했습니다.
• 텍스트 능력: OmniDrive 와 동일한 데이터로 학습했을 때, 텍스트 생성 능력은 유지되면서 주행 성능도 동등하거나 더 나은 수준을 보였습니다.

나. 클로즈드루프 평가 (NAVSIM)

• PDMS 점수: 86.8점을 기록하여 기존 VLA 모델 및 엔드 - 투 - 엔드 모델들 (ReCogDrive: 86.5, Hydra-MDP: 86.5) 보다 우수한 성능을 보였습니다.
• 효율성: 전체 LLM 을 반복적으로 전달하는 방식과 달리, OneDrive 는 초기 레이어만 전달하여 지연 시간 (Latency) 을 약 40% 감소시켰습니다 (264ms → 156ms).

다. 추론 지연 비교

• ReCogDrive: 263ms
• OneDrive: 156ms
• ColaVLA: 727ms (FlashAttention 미사용 시 더 높음)
• OneDrive 는 커스텀 어텐션 마스크 없이 표준 Transformer 가속을 활용하여 하드웨어 효율성이 뛰어납니다.

5. 의의 및 결론 (Significance)

OneDrive 는 자율주행 분야에서 VLM 의 강력한 사전 학습 능력과 복잡한 주행 태스크의 구조적 요구사항을 성공적으로 통합한 획기적인 접근법입니다.

• 아키텍처 통합: 별도의 디코더나 복잡한 캐스케이드 구조 없이 단일 디코더로 모든 태스크를 처리함으로써, 모델의 복잡성을 줄이고 정보 흐름을 최적화했습니다.
• 실용성: 높은 정확도와 안전성을 유지하면서도 실시간 주행에 필요한 낮은 지연 시간을 달성하여, 실제 자율주행 시스템 배포에 매우 유망합니다.
• 미래 방향: VLM 기반 비전 백본의 탐지 성능을 더욱 향상시키기 위해, 멀티모달 프리트레이닝 단계에서 탐지 지향적 목적 함수를 도입하거나 고해상도 토큰화 전략을 연구할 필요성이 제기되었습니다.

결론적으로, OneDrive 는 Vision-Language-Action (VLA) 모델이 자율주행의 핵심 엔진으로 자리 잡을 수 있는 강력한 기반을 마련했습니다.