기술 요약: 범용 로봇 제어를 위한 네이티브 비디오-액션 사전 학습 (LingBot-VA 2.0)

문제 정의

현재 로봇 제어를 위한 비디오-액션 모델들은 대부분 디지털 콘텐츠 제작을 위해 설계된 범용 비디오 생성 아키텍처를 가져온 뒤, 사후적으로 액션 모듈을 추가하는 방식을 취하고 있습니다. 저자들은 이러한 접근 방식이 다음과 같은 세 가지 주요 한계점 때문에 물리적 환경에는 본질적으로 부적합하다고 주장합니다:

1. 표현 불일치 (Representation Mismatch): 표준 변이형 오토인코더(VAE)는 픽셀 재구성을 최적화하므로 시각적 세부 사항은 보존하지만, 의미론적 구조나 물리적 역학을 포착하는 데는 실패합니다. 결과적으로 세계 상태(world states)와 액션은 서로 제대로 정렬되지 않은 잠재 공간(latent spaces)에 머물게 됩니다.
2. 추론 지연 (Inference Latency): 고차원의 비디오 토큰과 반복적인 디노이징(denoising) 과정은 기존 모델들을 실제 로봇에 필요한 고주파 폐루프 제어(high-frequency closed-loop control)에 너무 느리게 만듭니다.
3. 사전 학습 신호의 불일치 (Pretraining Signal Misalignment): 웹 스케일의 비디오 사전 학습 목적 함수는 액션이 세계를 어떻게 변화시키는지 가르쳐주지 않습니다. 양방향 비디오 모델을 미세 조정을 통해 인과적 제어로 적응시키려 하면, 광범위한 사전 지식에 대한 파괴적 망각(catestrophic forgetting)이 발생하거나 희소한 로봇 데이터에 의존하게 되어 습득할 수 있는 제어 지식의 규모가 제한됩니다.

또한, 사전 학습된 비디오 백본의 양방향 어텐션 메커니즘과 엄격히 인과적이고 시간 순방향인 폐루프 로봇 제어 사이에는 구조적 불일치가 존재합니다.

방법론

본 논문은 체화(embodiment)를 위해 밑바닥부터 구축된 비디오-액션 파운데이션 모델인 LingBot-VA 2.0을 제시합니다. 이 아키텍처는 범용 비디오 생성기를 개조하는 대신 네이티브 사전 학습 경로를 따릅니다. 시스템은 네 가지 핵심 설계 원칙으로 구성됩니다:

1. 의미론적 시각-액션 토크나이저 (Semantic Visual-Action Tokenizer)

재구성 중심의 VAE에서 벗어나, 저자들은 시각적 표현을 의미론 및 액션과 정렬하는 토크나이저를 도입했습니다.

• 시각적 정렬 (Visual Alignment): 시각적 토크나이저는 재구성 지향적인 잠재 변수를 고정된 시각 파운데이션 모델(Perception Encoder)과 의미론적 정렬 목적 함수를 사용하여 정렬합니다. 이를 통해 단순한 픽셀 근사가 아닌, 압축되고 의미가 풍부한 표현을 생성합니다.
• 잠재 액션 추출 (Latent Action Extraction): 명시적인 액션 레이블을 사용하지 않고, 토크나이저는 자기 지도 학습 기반의 역방향 및 순방향 역학을 통해 잠재 액션($\ell_t$)을 학습합니다. 역방향 역학 모델(IDM)은 연속적인 시각 잠재 변수 사이의 압축된 변환을 예측하고, 순방향 역학 모델(FDM)은 다음 잠재 변수를 재구성합니다. 이를 통해 세계 상태와 액션을 공유된 의미론적 잠재 공간에 배치함으로써, 레이블이 없는 웹 비디오가 액션 관련 감독(supervision)을 제공할 수 있게 합니다.

2. 인과적 사전 학습 패러다임 (Causal Pretraining Paradigm)

모델은 양방향 아키텍처를 적응시킬 때 발생하는 파괴적 망각을 우회하기 위해 인과적 사전 학습 전략을 채택합니다.

• 아키텍처: 백본은 인과적 디퓨전 트랜스포머(Causal Diffusion Transformer, DiT)입니다. 비디오 스트림에는 희소 라우팅을 사용하는 혼합 전문가(Mixture-of-Experts, MoE) 구조를 적용하는 한편, 액션 스트림은 밀집(dense) 구조로 유지합니다. 이는 추론 효율성을 해치지 않으면서 모델 용량을 확장합니다.
• 학습 목적 함수: 모델은 인과적 차기 잠재(next-latent) 목적 함수를 사용하여 웹 스케일의 이미지 및 비디오 데이터로 사전 학습됩니다. 이를 통해 모델이 광범의 사전 지식을 네이티브한 인과적 형태로 습득하도록 보장합니다.
• 다중 청크 예측 (Multi-Chunk Prediction, MCP): 모델이 단순히 단기적인 시각적 외형만을 복제하는 것을 방дя하기 위해 MCP를 보조 목적 함수로 도입했습니다. 이는 여러 개의 미래 청크를 동시에 예측하도록 감독함으로써, 잠재 공간이 로컬 연속성이 아닌 궤적 수준의 역학을 인코딩하도록 강제합니다.

3. 계층적 계획 및 인-컨텍스트 학습 (Hierarchical Planning and In-Context Learning)

• 계층적 플래너 (Hierarchical Planner): 고수준 시각-언어 모델(VLM) 플래너는 장기 목표를 구조화된 하위 작업(명령어, 생성 큐, 장면 묘사)으로 분해합니다. 이 플래너는 비동기적으로 실행되어 제어 루프를 방해하지 않으면서 컨텍스트를 제공합니다.
• 인-컨텍스트 학습 (In-Context Learning, ICL): 모델은 비디오 기반 태스크 명시를 지원합니다. 인간의 시연 비디오는 공유 잠재 공간으로 인코딩되어 시각적 프롬프트로 사용되며, 이를 통해 로봇은 파라미터 업데이트 없이도 드물거나 복잡한 작업에 대한 절차적 큐를 추론할 수 있습니다 el습니다.
• 인간-로봇 공동 학습 (Human-Robot Co-training): 모델은 로봇 데이터와 에고센트릭(egocentric) 인간 조작 비디오를 함께 학습합니다. 인간의 손 포즈는 기능적 로봇 그리퍼 공간(6-DoF 루트 포즈 + 스칼라 개구도)으로 매핑되어, 공유된 월드 모델이 교차 체화 역학을 학습하는 동시에 저수준 액션 디코딩을 위한 도메인 특화 헤드를 사용할 수 있게 합니다.

4. 실시간 제어를 위한 예견 추론 (Foresight Reasoning for Real-Time Control)

모델 지연 시간이 제어 지연 시간으로 이어지는 직렬 병목 현상을 해결하기 위해, 저자들은 **예견 추론(Foresight Reasoning)**이라는 비동기 추론 스킴을 제안합니다.

• 병렬 실행 (Parallel Execution): 로봇이 현재의 액션 청크를 실행하는 동안, 예측 스트림은 동시에 다음 시각 잠재 변수와 액션 청크를 예측합니다.
• 재접지 (Re-grounding): 환각된 상태(hallucinated states)로 인한 드리프트를 방지하기 위해, 시스템은 최신 실제 관측값에 각 예측을 재접지합니다. 정책 내의 학습된 순방향 역학 단계가 현재 액션의 결과를 상상하고, 다음 단계 전 실제 센서 피드백에 의해 수정됩니다.
• 가속화 (Acceleration): 시스템은 몇 단계 일관성 증류(few-step consistency distillation), 저정밀도(FP8) 컴파일 실행(TensorRT), 페이지드/래기드(paged/ragged) KV-캐시 관리 및 런타임 오버헤드 감소를 활용하여 실시간 성능을 달면합니다.

주요 기여

1. 네이티브 비디오-액션 사전 학습: 범용 비디오 생성 구성 요소를 적응시키는 것이 아니라, 확장 가능한 자기 지도 학습을 사용하여 로봇 제어를 위해 특별히 설계된 의미론적 토크나이저 및 인과적 DiT를 포함한 풀스택 사전 학습을 구현한 최초의 모델입니다.
2. 공유 의미론적 표현: 언어 정렬된 시각 파운데이션 모델에 닻을 내린 세계 상태 및 액션의 통합된 잠재 공간을 통해, 시각-언어-액션 정렬을 강화하여 명령어 준수 및 정밀도를 높였습니다.
3. 범용적, 신속하며 정밀한 제어: 희소 MoE 추론, 몇 단계 증류, 예견 추론, 양자화된 배포의 결합을 통해 실시간 폐루프 실행(최대 225Hz 비동기 주파수)이 가능함을 입증했습니다. 이 모델은 강력한 퓨샷(few-shot) 및 제로샷(zero-shot) 일반화 능력을 보여줍니다.

실험 결과

본 논문은 시뮬레이션 및 실제 환경 벤치마크를 통해 LingBot-VA 2.0을 검증합니다:

• 실제 환경 배포: 자체 개발한 로봇 벤치마크(과일 분류, 펜 수집, 서랍 정리, 접시 전달)에서 평가되었습니다. LingBot-VA 2.0은 VLA 모델인 $\pi0.5$와 이전 VA 모델인 LingBot-VA를 포함한 강력한 베이스라인들을 능가하여, 특히 연속적이고 장기적인 작업에서 더 높은 성공률과 작업 진행 점수를 달로했습니다.
• 시뮬레이션 (RoboTwin): 양손 조작 RoboTwin 벤치마크에서 모델은 93.6%의 평균 성공률을 기록하며 $\pi0.5$(79.8%)와 이전 LingBot-VA(92.2%)를 넘어섰습니다. 또한 클린 환경과 도메인 무작위화(domain-randomized) 설정 사이의 성능 격차가 매우 작아 견고함을 입증했습니다.
• 인-컨텍스트 학습: 모델은 파라미터 미세 조정 없이 인간의 비디오 시연으로부터 절차적 큐를 새로운 작업 구성 및 객체 배치로 성공적으로 전이했습니다.
• 절제 연구 (Ablation Studies):
  • 토크나이저: 표준 VAE를 의미론적 시각-액션 토크나이저로 교체했을 때, 특히 더 긴 예측 호라이즌에서 성능이 크게 향상되었습니다.
  • MCP: 다중 청크 예측은 학습 단계에서의 수렴을 가속화(2.3배 빠른 속도)하고 최종 정확도를 개선했습니다.
  • 가속화: 추론 파이프라인은 청크당 지연 시간을 927ms에서 142ms로 줄여, 비동기 제어 주파수를 35Hz에서 225Hz로 높였습니다.

의의 및 주장

저자들은 LingBot-VA 2.0이 디지털 비디오 생성기를 "재사용"하는 것에서 물리적 체화를 위해 네이티브하게 "구축"하는 것으로의 패러다임 전환을 나타낸다고 주장합니다. 사전 학습 목적, 표현 공간, 그리고 추론 아키텍처를 로봇 제어의 엄격한 인과성 및 역학적 요구사항에 정렬함으로써, 모델은 다음을 달성합니다:

• 확장성 (Scalability): 희소한 로봇 시연에 국한되지 않고 웹 비디오 규모의 제어 지식을 습득합니다.
• 일반화 (Generalization): 소수의 시연(10~15개)만으로 새로운 작업에 적응하고, 대규모 재수집 없이도 체화 유형 간에 전이할 수 있는 능력입니다.
• 실시간 실행 가능성 (Real-Time Viability): 복잡한 비디오-액션 파운데이션 모델이 실제 세계의 폐루프 제어 내의 타이트한 지연 시간 제약 조건 내에서 작동할 수 있음을 증명했습니다.

결론적으로, 본 논문은 현재 시스템이 강력한 기초 모델이지만, 향후 연구에서는 플래너와 정책의 더 긴밀한 공동 학습, 상호작용적인 강화 신호의 통합, 그리고 더 넓은 체화 유형으로의 확장을 탐구할 수 있다고 밝히고 있습니다.