Causal World Modeling for Robot Control

논문 제목: LingBot-VA: 로봇 제어를 위한 인과적 세계 모델링 (Causal World Modeling for Robot Control)

1. 문제 정의 (Problem Statement)

기존의 비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델들은 로봇 조작 작업에서 뛰어난 성과를 보였으나, 근본적인 한계를 안고 있습니다.

• 표현의 얽힘 (Representation Entanglement): 대부분의 기존 VLA 모델은 현재 관측치에서 행동 시퀀스로 직접 매핑하는 순방향 (feedforward) 패러다임을 사용합니다. 이는 하나의 신경망이 고차원의 시각적 의미, 물리적 역학, 모터 제어를 동시에 학습하도록 강요하여, 이질적인 지식을 단일 표현 공간에 압축해야 하는 병목 현상을 초래합니다.
• 인과성 및 장기 기억의 부재: 기존 방법들은 주로 개방 루프 (open-loop) 생성이나 청크 (chunk) 기반 생성을 사용하는데, 이는 실시간 피드백 반영이 어렵고 (반응성 격차), 장기적인 작업 수행 시 시간적 일관성이 떨어지며 (장기 기억 부족), 물리적 현실의 인과적 구조 (현재는 과거에만 의존함) 를 위반할 수 있습니다.

2. 방법론 (Methodology)

저자들은 LingBot-VA를 제안하며, 이는 비디오 세계 모델링과 행동 추론을 통합한 자기회귀 (Autoregressive) 확산 (Diffusion) 프레임워크입니다. 핵심 구성 요소는 다음과 같습니다.

• 자기회귀 비디오 - 행동 세계 모델링:

  • 기존 VLA 가 행동을 직접 예측하는 대신, **시각적 역학 예측 (Visual Dynamics Prediction)**과 **역동역학 (Inverse Dynamics)**을 분리하여 통합합니다.
  • 모델은 과거의 관측치와 행동을 기반으로 미래의 시각적 상태 (비디오 잠재 벡터) 를 예측한 후, 이 예측된 미래 상태를 바탕으로 필요한 행동을 추론합니다.
  • 인과적 구조: 비디오 토큰과 행동 토큰을 단일 시퀀스로 교차 배치 (interleave) 하여, 현재와 미래 토큰이 과거에만 의존하도록 인과적 어텐션 (Causal Attention) 을 적용합니다.

• Mixture-of-Transformers (MoT) 아키텍처:

  • 비디오 스트림 (대규모 사전 학습된 Wan2.2-5B 기반) 과 행동 스트림 (더 작은 차원) 을 병렬로 처리하되, **공유 잠재 공간 (Shared Latent Space)**에서 상호작용하게 합니다.
  • 각 레이어에서 모달리티별 특징을 유지하면서 크로스-모달 어텐션을 통해 비디오와 행동이 서로 영향을 미치게 설계되었습니다.

• 효율적인 추론 및 배포 전략:

  • 노이즈 히스토리 증강 (Noisy History Augmentation): 행동 예측을 위해 비디오 토큰을 완전히 디노이즈 (denoise) 할 필요는 없다는 통찰을 바탕으로, 추론 시 비디오 생성을 중간 단계 (s=0.5) 에서 중단하고 행동을 예측하여 계산 부하를 줄입니다.
  • 비동기 파이프라인 (Asynchronous Inference): 로봇이 현재 행동을 실행하는 동안 모델이 다음 행동과 미래 시각 상태를 예측하도록 병렬화하여 지연 시간을 숨깁니다.
  • FDM 기반 보정: 단순 비동기 방식의 오류 누적을 방지하기 위해, 실제 관측치를 기반으로 '전진 역학 모델 (Forward Dynamics Model)'을 실행하여 예측을 실시간으로 보정하는 폐루프 (Closed-loop) 메커니즘을 도입했습니다.
  • KV Cache: 자기회귀 구조를 활용하여 이전 토큰의 키 - 값 쌍을 캐싱함으로써 장기적인 문맥을 유지하고 계산 효율성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 자기회귀 비디오 - 행동 세계 모델링: 시각적 역학 예측과 행동 추론을 단일 교차 시퀀스 내에서 통합하면서도 개념적 구분을 유지하는 새로운 프레임워크를 제시했습니다. 이는 KV 캐시를 통한 지속적 기억과 인과적 일관성을 보장합니다.
2. 비동기 실행을 위한 MoT 아키텍처: 비대칭 용량을 가진 듀얼 스트림 MoT 구조와 부분적 디노이즈 전략, 비동기 조정을 결합하여 효율적인 로봇 제어를 가능하게 했습니다.
3. 뛰어난 장기 작업 및 정밀도 성능: 시뮬레이션 및 실제 환경에서의 광범위한 실험을 통해, 특히 장기 작업 (Long-horizon) 과 고정밀 조작 작업에서 기존 최첨단 (SOTA) 방법들보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 실제 환경 (Real-world Deployment):
  • 6 가지 다양한 조작 작업 (조리, 배달 정리, 튜브 삽입, 나사 집기, 의류/바지 접기 등) 에서 평가되었습니다.
  • π0.5를 포함한 기존 SOTA 모델들을 압도적으로 능가하며, 특히 장기 작업과 변형 가능한 물체 (Deformable Objects) 조작에서 뛰어난 성과를 보였습니다.
  • 데이터 효율성: 실제 로봇에 적용 시, **50 개의 시연 (Demonstration)**만으로도 효과적으로 미세 조정 (Post-training) 이 가능하여 높은 데이터 효율성을 입증했습니다.
• 시뮬레이션 벤치마크 (Simulation Benchmarks):
  • RoboTwin 2.0: 양손 조작 작업에서 Easy/Hard 설정 모두에서 평균 성공률 92.9% (Easy) / 91.6% (Hard) 를 기록하여 기존 모델들을 상회했습니다. 특히 장기 작업 (Horizon=3) 에서 성능 향상이 두드러졌습니다.
  • LIBERO: 4 가지 태스크 스위트에서 평균 98.5% 의 성공률을 기록하여 새로운 SOTA 를 달성했습니다.
• 분석:
  • 샘플 효율성: 제한된 데이터 (10~50 개 시연) 에서도 π0.5 보다 우수한 성능을 보였습니다.
  • 시간적 기억 (Temporal Memory): "접시 닦기 (6 번 반복)" 및 "상자 찾기"와 같은 기억이 필요한 작업에서 π0.5 를 크게 앞섰습니다.
  • 일반화: 새로운 물체와 공간적 배치 (OOD) 에 대해 강력한 일반화 능력을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

LingBot-VA 는 로봇 학습을 위한 새로운 패러다임을 제시합니다. 단순한 반응형 (Reactive) 매핑을 넘어, 인과적 세계 모델링을 통해 로봇이 물리적 역학을 이해하고 미래를 "상상"하며 행동할 수 있게 합니다.

• 폐루프 제어의 혁신: 실시간 관측을 통합하여 장기 작업에서의 오류 누적을 방지하고, 장기적인 시간적 일관성을 유지합니다.
• 효율성: 비디오 생성의 높은 계산 비용을 최적화하여 실시간 로봇 제어에 적용 가능한 수준으로 끌어올렸습니다.
• 미래 지향성: 이 연구는 대규모 사전 학습된 비디오 모델과 로봇 제어의 결합을 통해, 더 일반적이고 적응력 있는 로봇 정책 학습의 토대를 마련했다는 점에서 의의가 큽니다.

이 모델의 코드, 체크포인트, 웹사이트는 공개되어 커뮤니티의 추가 연구와 발전을 장려하고 있습니다.