기술 요약: MindVLA-U1

문제 제기

자율 주행은 모듈형 파이프라인에서 엔드 - 투 - 엔드 통합 방향으로 진화해 왔습니다. 비전 - 액션 (VA) 모델은 센서 입력을 연속적인 궤적으로 매핑하여 최첨단 계획 품질을 달성했지만, 명시적이고 검사 가능한 의미론적 추론이 부족합니다. 이를 해결하기 위해 언어 기반 이해를 통합한 비전 - 언어 - 액션 (VLA) 모델이 제안되었습니다. 그러나 기존 주행용 VLA 는 일관되게 VA 모델보다 계획 품질이 뒤처져 왔습니다.

저자들은 이러한 성능 격차가 VLA 패러다임의 고유한 한계가 아니라, 기존 연구들의 인터페이스 수준 설계 실패로 인한 결과라고 주장합니다:

1. 불일치한 액션 인터페이스: 많은 VLA 모델은 궤적을 이산적인 언어 토큰으로 디코딩하여 센티미터 수준의 제어에 부적합한 정밀도 바닥을 부과하거나, 액션 컨텍스트가 VLM 의 자기 주의 (self-attention) 에 영향을 미치지 못하게 하는 별도의 액션 전문가 (expert) 를 사용합니다.
2. 비효율적인 시간적 모델링: 기존 모델들은 종종 주행을 고정 길이의 비디오 - 액션 청크로 처리하여 경계에서의 불연속성을 초래하고, 다중 프레임 입력에 대해 불필요한 토큰 처리를 유발합니다.
3. 측정 가능한 언어 제어의 부재: 대부분의 주행 VLA 에서 언어 기능은 추론 시 사실상 휴면 상태 (VLM 가중치로 VA 를 실행) 로 남아 있으며, 언어 의도에서 연속적인 액션 생성으로 가는 명시적이고 측정 가능한 경로가 없습니다.
4. 경직된 연산: 표준 VLA 백본은 일상적인 주행 순간에도 높은 추론 비용을 부과하며, 빠르고 느린 실행 모드를 위한 메커니즘이 부족합니다.

방법론: MindVLA-U1

MindVLA-U1 는 이러한 인터페이스 문제를 해결하도록 설계된 최초의 통합 스트리밍 VLA 아키텍처로 제시됩니다.

1. 통합 공유 백본

핵심 혁신은 단일 VLM 백본이 비전, 자기 상태 (ego-state), 언어, 메모리, 그리고 노이즈가 포함된 액션 토큰을 단일 순전파 (forward pass) 에서 공동으로 처리하는 것입니다.

• 듀얼 헤드 출력: 모델은 자기회귀 (AR) 언어 토큰(선택 사항) 과 플로우 매칭 (diffusion-style) 연속 액션 궤적을 동시에 생성합니다.
• 연속 액션: 기존 이산 토큰 접근법과 달리, 액션 토큰은 비전 및 언어 토큰과 함께 모든 트랜스포머 레이어를 통과합니다. 얇은 플로우 매칭 MLP 가 액션 위치에서 속도장을 읽어서 연속 제어 정밀도를 유지합니다.
• 공유 가중치: 두 모달리티는 동일한 트랜스포머 가중치를 공유하여, 장면 기반 특징들이 경쟁하기보다 구성되도록 보장합니다.

2. 스트리밍 패러다임

불필요한 계산 없이 주행의 시간적 특성을 처리하기 위해:

• 프레임 단위 처리: 모델은 고정된 비디오 청크가 아닌 개별 프레임의 스트림으로 주행을 처리합니다.
• 스트리밍 메모리: 제한된 선입선출 (FIFO) 채널이 프레임 간에 컴팩트하고 학습된 메모리 표현 ($m_i$) 을 전달합니다. 이 메모리는 Q-Former 스타일의 전파 트랜스포머를 통해 엔드 - 투 - 엔드로 업데이트됩니다.
• 모션 정렬: 메모리 토큰은 읽을 때 현재 차량 자세 (ego pose) 에 맞춰 모션 정렬되어, 차량이 이동함에 따라 공간적 일관성을 보장합니다. 이는 VLM 이 불필요한 다중 프레임 비디오 토큰에 주의를 기울일 필요가 없게 합니다.

3. 언어 - 액션 브릿지 (Intent-CFG)

언어 추론을 실행 가능하게 만들기 위해, 저자들은 의도 - 분류기 없는 안내 (Intent-CFG) 메커니즘을 도입합니다:

• 언어 헤드는 다음 토큰 예측을 통해 주행 의도 토큰 (예: "직진", "좌회전") 을 예측합니다.
• 이 의도 토큰은 임베딩되어 액션 MLP 의 시간 임베딩에 추가됩니다.
• 추론 시, 모델은 예측된 의도 $z$에 조건부인 두 번의 순전파와 무조건부 $\emptyset$를 실행합니다. 속도장은 CFG 를 사용하여 혼합됩니다:
  $$v_{cfg}(x_t, t) = v_\theta(x_t, t; \emptyset) + s (v_\theta(x_t, t; z) - v_\theta(x_t, t; \emptyset))$$
• 이는 언어 측의 의도를 연속 궤적 생성을 위한 제어 가능한 신호로 변환합니다.

4. MoT 를 통한 빠르고 느린 실행

아키텍처는 유연한 연산 할당을 지원합니다:

• 어텐션 마스킹: 어텐션 마스크를 구성함으로써 시스템은 네 가지 추론 순서 (예: vqa_first, action_only) 를 지원합니다. action_only 경로는 언어 토큰을 물리적으로 제외하여 반사적인 속도를 가능하게 합니다.
• 희소 혼합 트랜스포머 (MoT): 백본은 전문가 그룹 (컨텍스트: 비전/언어; 액션: 메모리/자기/액션) 으로 분할되어 전역 어텐션 풀을 공유할 수 있습니다. 이는 통합 표현을 유지하면서 빠른 추론을 위해 액션 그룹이 독립적으로 실행되도록 허용합니다.

5. 데이터 및 학습

• 데이터셋: Waymo Open Dataset End-to-End (WOD-E2E) 에서 학습되었습니다.
• MindLabel: 자동 라벨링 파이프라인은 장면 기반 VQA 쌍과 주행 의도에 조건부인 "꿈꾸는" 대체 궤적을 생성하여, 원시 로그에 언어 및 선호도 감독이 없는 경우 이를 제공합니다.
• 학습 목적: 공유 백본에서 AR 손실 (언어용) 과 플로우 매칭 손실 (액션용) 의 공동 최적화입니다.

주요 결과

WOD-E2E 벤치마크에서 평가된 결과:

• 계획 품질: MindVLA-U1 는 검증 세트에서 RL 사후 학습 후 평가자 피드백 점수 (RFS) 8.20을 달성하여 경험 많은 인간 운전자 (8.13 GT RFS) 를 능가했습니다. 공식 테스트 분할에서는 RFS 7.87 을 달성하여 기존 모든 VA 및 VLA 방법을 능가했습니다.
• 정밀도: 연속 액션 정밀도를 유지하면서 기존 방법 대비 평균 변위 오차 (ADE) 에서 큰 마진으로 최첨단 성능을 달성했습니다.
• 처리량: 빠른 추론 경로 (액션 전용) 는 일치된 규모에서 약 16 FPS를 달성하여 RAP-DINO(~18 FPS) 와 같은 강력한 VA 베이스라인과 비교 가능하며, 자연어 인터페이스를 유지합니다.
• 언어 제어: Intent-CFG 메커니즘은 액션 확산을 성공적으로 조종합니다. 다양한 의도에 조건부인 실행은 질적으로 구별되며 의미론적으로 일관된 기동을 생성하여, 언어에서 액션으로의 측정 가능한 인과 경로를 입증합니다.
• 확장 및 분해: 실험에 따르면 계획 품질 (RFS) 은 구조적으로 VLM 언어 품질과 분해되어 있습니다. VLM 의 언어 생성 능력이 저하되더라도 (예: 인스트럭션 튜닝 없이 기본 모델 사용), 공유 백본이 유효한 장면 표현을 학습하는 한 Intent-CFG 제어 가능성은 효과적으로 유지됩니다.

중요성과 주장

이 논문은 자율 주행에서 VLA 와 VA 성능 간의 격차는 주로 인터페이스 문제이지 패러다임의 한계가 아니라고 주장합니다. MindVLA-U1 는 다음을 입증합니다:

1. 통합 아키텍처: 의미론적 추론과 연속 제어는 정밀도를 희생하지 않고 단일 순전파 내에서 공존할 수 있습니다.
2. 스트리밍 효율성: 장기 계획은 비용이 많이 드는 다중 프레임 어텐션 대신 효율적인 메모리 전파를 통해 달성될 수 있습니다.
3. 실행 가능한 언어: 언어 의도는 CFG 를 통해 직접 제어 신호로 변환되어, "부수 작업으로서의 언어"를 넘어 "제어 메커니즘으로서의 언어"로 이동합니다.
4. 배포 타당성: 단일 통합 모델은 숙고형 (느린) 과 반사형 (빠른) 주행 모드를 모두 지원하여, 이전까지 VLA 배포를 방해했던 처리량 격차를 해소합니다.

저자들은 MindVLA-U1 를 완전 자율 주행 (L4) 을 향한 한 걸음으로 위치시키며, 자연어 인터페이스나 제어 정밀도를 희생하지 않고도 VLA-VA 격차를 해소할 수 있음을 검증했습니다. 그들은 오픈 - 루프 평가 (WOD-E2E 는 로그 데이터) 에 대한 의존성, 단일 벤치마크 집중, 그리고 VLA 확장 법칙과 클로즈드 - 루프 학습에 대한 추가 연구 필요성 등 한계를 인정합니다.