기술 요약: MVP-LAM

문제 정의

일반적인 로봇 정책 (generalist robot policies) 학습은 실제 세계의 행동 레이블이 지정된 시연 데이터의 높은 비용과 희소성으로 인해 병목 현상을 겪고 있습니다. 대규모 인간 조작 비디오는 학습 가능한 전이 가능한 사전 지식 (transferable priors) 을 위한 유망한 대안을 제공하지만, 정답 행동 레이블이 부재하여 표준 지도 방식의 모방 학습을 방해합니다. 최근 접근법들은 프레임 간 전이를 컴팩트한 표현으로 인코딩하여 비전 - 언어 - 행동 (VLA) 사전 학습을 위한 가짜 행동 레이블로 사용하는 **잠재 행동 모델 (Latent Action Models, LAMs)**을 학습함으로써 이 문제를 해결하려 시도합니다.

그러나 중요한 과제가 남아 있습니다: 단일 뷰 비디오에서 학습된 잠재 행동은 종종 근본적인 정답 행동에 대한 정보성을 유지하지 못합니다. 이들은 특히 **시점 변화 (viewpoint variation)**와 같은 **외재적 노이즈 (exogenous noise)**에 과적합되는 경향이 있습니다. 인간 비디오 (종종 1 인칭 시점) 에서 카메라 운동은 에이전트의 행동과 얽혀 있습니다. 결과적으로 표준 LAM 은 에이전트의 실제 제어 신호가 아닌 시점 고유의 단서 (예: 배경 이동 또는 카메라 이동) 를 인코딩할 수 있으며, 이는 하류 제어용 가짜 레이블로서의 유용성을 감소시킵니다.

방법론: MVP-LAM

저자들은 시간 동기화된 다중 뷰 비디오를 활용하여 **행동 중심 잠재 행동 (action-centric latent actions)**을 학습하도록 설계된 비지도 프레임워크인 **다중 시점 잠재 행동 모델 (Multi-ViewPoint Latent Action Model, MVP-LAM)**을 제안합니다.

핵심 목표

잠재 행동 $Z_t$와 정답 행동 $A_t$ 사이의 상호 정보 $I(Z_t; A_t)$를 최대화하면서, $Z_t$가 시점 $V_t$에 대해 보유하는 정보를 최소화하는 것입니다. 이론적으로, 고정된 용량의 병목 (예: 벡터 양자화) 하에서 시점 정보를 인코딩하면 행동 관련 역학에 사용 가능한 용량이 감소합니다.

아키텍처 및 학습

MVP-LAM 은 UniVLA 와 같은 이전 작업들과 유사한 벡터 양자화 변분 오토인코더 (VQ-VAE) 아키텍처를 기반으로 구축되었으나, 새로운 **교차 시점 재구성 목표 (cross-viewpoint reconstruction objective)**를 도입했습니다:

1. 입력: 시간 동기화된 다중 뷰 비디오 쌍 $(I^{v_1}_t, I^{v_2}_t)$.
2. 특징 추출: 고정된 인코더 (DINOv2) 를 사용하여 시각 특징 $o^v_t$를 추출합니다.
3. 잠재 행동 추론: 인코더 $E_\theta$가 특정 뷰 $v$의 연속된 특징 $(o^v_t, o^v_{t+1})$으로부터 연속적인 잠재 $e^v_t$를 예측한 후, 이를 벡터 양자화하여 이산 토큰 $z^v_t$로 변환합니다.
4. 재구성 손실: 모델은 두 가지 상호 보완적인 목표로 학습됩니다:
   • 자기 시점 재구성 ($L_{self}$): 현재 프레임과 동일한 뷰의 잠재 토큰 ($z^v_t$) 을 사용하여 다음 프레임 $o^v_{t+1}$을 재구성합니다.
   • 교차 시점 재구성 ($L_{cross}$): 현재 프레임과 다른 동기화된 뷰의 잠재 토큰 ($z^{\tilde{v}}_t$, 여기서 $v \neq \tilde{v}$) 을 사용하여 다음 프레임 $o^v_{t+1}$을 재구성합니다.

행동 중심성 메커니즘:
교차 시점 목표는 잠재 토큰 $z^v_t$가 다른 카메라 뷰의 미래 상태를 설명하도록 강제합니다. 뷰 $v$에 고유한 시점 특정 요인 (예: 배경 운동) 은 뷰 $\tilde{v}$의 전이를 설명할 수 없으므로, 모델은 이를 인코딩하지 않도록 유도됩니다. 대신 $z^v_t$는 모든 뷰에서 일관된 공유된 행동 주도 역학을 포착해야 합니다. 이는 행동 레이블 없이도 외재적 노이즈를 효과적으로 필터링합니다.

주요 기여

1. MVP-LAM 프레임워크: 다중 뷰 비디오와 교차 시점 재구성 목표를 활용하여 정답 행동과 높은 정렬도를 가진 이산 잠재 행동을 학습하는 비지도 학습 프레임워크를 도입했습니다.
2. 향상된 행동 중심성: Bridge V2 데이터셋에서 MVP-LAM 이 UniVLA, LAPA, Moto 와 같은 단일 뷰 베이스라인에 비해 정답 행동과 훨씬 높은 상호 정보를 달성하고 더 나은 선형 행동 예측 정확도를 보임을 입증했습니다.
3. 시점 교란에 대한 강인성: MVP-LAM 잠재 행동이 시점이 교란된 전이에서 추론되더라도 전이 관련 정보를 유지하며 뷰 간 일관된 역학을 유지함을 증명했습니다.
4. 효율적인 VLA 사전 학습: MVP-LAM 잠재 행동으로 사전 학습된 VLAs 가 SIMPLER 및 LIBERO 조작 벤치마크에서 베이스라인을 능가하면서도 OXE 기반 베이스라인보다 훨씬 적은 사전 학습 데이터 (예: OXE 기반 베이스라인보다 3 배 작은 데이터셋) 를 필요로 함을 검증했습니다.

실험 결과

저자들은 잠재 행동 학습을 위해 Bridge V2 데이터셋을, 하류 VLA 성능 평가를 위해 SIMPLER 및 LIBERO 스위트에서 MVP-LAM 을 평가했습니다.

• 행동 중심성 (Bridge V2):
  • 상호 정보 (MI): MVP-LAM 은 KSG, BA, MINE 추정기 모두에서 UniVLA, LAPA, Moto 대비 가장 높은 추정 MI($I(Z; A)$) 를 달성했습니다.
  • 선형 프로빙: 잠재 토큰으로부터 정답 행동을 예측하도록 학습된 간단한 선형 레이어는 MVP-LAM 에서 가장 낮은 정규화 평균 제곱 오차 (NMSE) 를 보여, 우수한 행동 정보 유지 능력을 나타냈습니다.
• 하류 조작 (SIMPLER & LIBERO):
  • SIMPLER: MVP-LAM 으로 사전 학습된 VLAs 는 60.4% 의 평균 성공률을 기록하여, 네 가지 모든 작업에서 UniVLA(39.6%) 및 기타 베이스라인을 크게 능가했습니다.
  • LIBERO: MVP-LAM 은 94.1% 의 평균 성공률을 달성하여 UniVLA(92.5%) 를 능가했고, OXE 의 $\ge$970k 궤적에 비해 훨씬 작은 데이터셋 (Bridge V2 만, $\le$60k 궤적) 으로 사전 학습되었음에도 불구하고 $\pi_0$(94.2%) 와 같은 최첨단 모델과 경쟁력을 유지했습니다.
  • 분포 외 (OOD): MVP-LAM 은 OOD 작업 (Spatial, Object, Goal, Long) 에서 견고한 성능을 보였으며, 특히 까다로운 LIBERO-Long 스위트에서 뛰어난 성과를 거두었습니다.
• 강인성 및 확장성:
  • 시점 교란: 새로운 뷰로 합성된 전이에서 테스트했을 때, MVP-LAM 은 높은 MI 와 낮은 NMSE 를 유지한 반면, UniVLA 와 같은 베이스라인은 주의 집중 및 예측 정확도에서 상당한 저하를 보였습니다.
  • 동기화 오류: 모델은 합성 동기화 지연 ($\ell \in \{0, 2, 4\}$ 프레임) 에 대해 견고하게 유지되었습니다.
  • 확장성: 성능은 뷰 포인트 수, 데이터셋 비율, 모델 크기가 증가함에 따라 일관되게 향상되었습니다.

중요성 및 주장

이 논문은 MVP-LAM 이 행동 감독 없이 비디오 기반 사전 학습의 외재적 노이즈 문제를 해결함으로써 범용 잠재 행동 모델로 나아가는 한 걸음이라고 주장합니다.

• 데이터 효율성: 주요 중요성은 웹 규모의 다중 뷰 인간 비디오에서 고품질 행동 중심 표현을 학습하여, 거대한 로봇 데이터셋에 의존하던 이전 방법들보다 수 orders of magnitude 적은 데이터로 효과적인 VLA 사전 학습을 가능하게 한다는 점에 있습니다.
• 일반화: 행동 역학을 시점 특정 단서와 분리함으로써, MVP-LAM 은 새로운 시점과 환경으로 더 잘 일반화되는 표현을 생성합니다.
• 실용성: 이 방법은 기존 다중 뷰 데이터셋 (예: EgoExo4D, Open X-Embodiment) 을 활용하며 현재 체화 AI 파이프라인에 자연스럽게 통합되어 일반 로봇 학습을 위한 확장 가능한 경로를 제공합니다.

저자들은 동기화된 다중 뷰 데이터에 대한 의존성 (단일 뷰보다 수집이 어려움) 과 현재 평가가 시뮬레이션에 국한되어 있다는 한계를 지적하지만, SIMPLER 가 실제 세계 성능과 상관관계가 있음을 강조합니다. 향후 연구는 약한 동기화 또는 의사 짝짓기 (pseudo-paired) 다중 뷰 데이터를 탐색하여 장비 요구 사항을 더욱 완화하는 것이 제안됩니다.