기술 요약: 대규모 비디오 플래너가 일반화 가능한 로봇 제어를 가능하게 함

문제 제기

범용 로봇은 다양한 작업과 새로운 환경에 걸쳐 일반화될 수 있는 계획 알고리즘이 필요합니다. 최근 비전 - 언어 - 행동 (VLA) 모델의 발전으로 멀티모달 대규모 언어 모델 (MLLM) 에 행동 출력이 포함되도록 확장되었으나, 이러한 시스템은 근본적인 데이터 부족 문제에 직면해 있습니다. MLLM 의 기반이 되는 웹 규모의 텍스트 및 이미지 데이터와 달리, 로봇 행동 데이터는 극히 제한적입니다. 결과적으로 기존 VLA 는 광범위한 사전 훈련 지식을 좁은 로봇 데이터셋으로 미세 조정하는 비대칭 전이 패러다임에 의존합니다. 이 접근법은 로봇이 새로운 작업이나 보이지 않는 상황에 직면할 때 일반화 성능이 저하되는 결과를 초래하며, 그 이유는 모델이 물리적 상호작용의 시간적 역학에 대한 충분한 노출이 부족하기 때문입니다.

방법론

저자들은 대안적인 패러다임을 제안합니다: 로봇 기반 모델을 구축하기 위한 주요 모달리티로 대규모 비디오 사전 훈련을 사용하는 것입니다. 정적 이미지나 언어와 달리, 비디오는 상태와 행동의 시공간적 시퀀스를 자연스럽게 인코딩하여 연속적인 물리적 행동에 대한 더 풍부한 표현을 제공합니다.

제안된 시스템인 Large Video Planner (LVP) 는 두 단계 파이프라인을 통해 작동합니다:

1. 비디오 기반 모델 (LVP)

LVP 는 생성적 계획을 위해 특별히 설계된 140 억 파라미터 비디오 확산 모델입니다.

• 아키텍처: 시계열 인과적 3D 변분 오토인코더 (VAE) 를 사용하여 비디오 클립을 잠재 공간으로 압축합니다. 그런 다음 Flow Matching 목적 함수를 사용하여 이 잠재 공간에서 Diffusion Transformer (DiT) 를 훈련합니다.
• 훈련 전략: 이 모델은 시퀀스 내의 서로 다른 프레임에 독립적인 노이즈 수준을 적용하는 Diffusion Forcing 기술을 사용합니다. 이를 통해 모델은 훈련 및 추론 중 다양한 양의 과거 정보 (0 프레임부터 여러 이전 프레임까지) 에 유연하게 조건을 설정할 수 있습니다.
• 가이드 메커니즘: 물리적 일관성과 지시 사항 준수를 보장하기 위해 모델은 History Guidance를 통합합니다. 이는 Classifier-Free Guidance (CFG) 의 변형으로, 텍스트 지시 사항과 함께 제공된 컨텍스트 프레임 (예: 초기 로봇 관찰) 에 기반하여 생성을 조건화하여 텍스트 전용 가이드에 비해 운동 충실도를 크게 향상시킵니다.
• 훈련 단계: 모델은 두 단계를 거칩니다:
  1. 연속적 사전 훈련: 풍부한 역학과 지시 사항 추종 능력을 학습하기 위해 방대한 데이터셋으로 훈련합니다.
  2. 저 카메라 운동 미세 조정: 원치 않는 카메라 드리프트를 억제하고 생성된 계획이 로봇 실행에 안정적이도록 보장하기 위해 광유속이 낮은 데이터의 하위 집합을 사용하는 전문화된 단계입니다.

2. LVP-1M 데이터셋

이 훈련을 지원하기 위해 저자들은 140 만 개의 비디오 클립으로 구성된 개방형 인터넷 규모 데이터셋인 LVP-1M을 큐레이션했습니다.

• 출처: 이 데이터셋은 4 개의 로봇 원격 조작 데이터셋 (Bridge, Droid, Language Table, AgiBot-World) 과 4 개의 인간 중심 활동 데이터셋 (Ego4D, Epic-Kitchens, Something-Something, 그리고 필터링된 Panda-70M 하위 집합) 의 데이터를 집계합니다.
• 처리: 클립은 품질, 가시적인 구현 (손 또는 그리퍼), 그리고 급격한 카메라 운동의 부재에 대해 엄격하게 필터링됩니다. 특히, 저자들은 시간적 정렬을 수행하여 로봇 비디오를 인간 속도에 맞게 재샘플링함으로써 서로 다른 형태학 간의 시간적 일관성을 보장합니다.
• 자막 생성: 지시 사항 추종 능력을 향상시키기 위해 LLM (Gemini) 이 생성한 행동 중심의 자막으로 데이터셋을 풍부하게 만들었습니다. 이는 짧은 작업 설명부터 상세한 행동 내러티브까지 다양합니다.

3. 행동 추출 및 리타게팅

시스템은 생성된 비디오 계획을 실행 가능한 로봇 행동으로 변환합니다:

• 운동 추정: 인간 손 비디오의 경우, 시스템은 프레임별 손 자세 추정을 위해 HaMeR을 사용하고, 메트릭 스케일과 시간적 부드러움을 보장하기 위해 4D 장면 재구성을 위해 MegaSAM을 사용합니다.
• 리타게팅: 추정된 인간 손 궤적을 로봇 엔드 이펙터에 리타게팅합니다. 교묘한 손 (dexterous hands) 의 경우, Dex-Retargeting이 인간 관절 구성을 로봇 관절에 매핑하는 최적화 문제를 해결합니다. 평행 턱 그리퍼의 경우, 시스템은 장면 기하학과 감지된 그립 의도에 기반하여 그립 포즈를 예측하기 위해 GraspNet을 사용합니다.
• 실행: 리타게팅된 궤적은 로봇 제어 프레임으로 변환되며, 팔에 대해서는 역운동학 ( cuRobo 사용) 이 해결되고, 손가락 궤적은 손 컨트롤러를 직접 구동합니다.

주요 기여

1. Large Video Planner (LVP): 단일 이미지와 텍스트 지시 사항에서 제로샷 비디오 계획을 생성하도록 설계된 140 억 파라미터 비디오 기반 모델로, 체화된 계획을 위해 고안되었습니다.
2. LVP-1M 데이터셋: 인간과 로봇 상호작용을 결합하고 행동 중심 학습 및 시간적 정렬을 위해 처리된 140 만 개의 클립으로 구성된 큐레이션된 개방형 데이터셋입니다.
3. 엄격한 평가 프로토콜: 표준 객체 수준 벤치마크를 넘어 작업 수준 일반화를 평가하기 위해 제 3 자가 선정한 "야외 (in-the-wild)" 작업과 실제 로봇 실험을 사용하는 새로운 평가 프레임워크입니다.

결과

이 논문은 두 가지 주요 실험을 통해 LVP 를 평가합니다:

비디오 운동 계획 평가

100 개의 다양한 제 3 자 선정 작업 (예: 테이프 찢기, 문 열기, 변기 세척) 으로 구성된 테스트 세트를 사용하여 LVP 는 기존 비디오 생성 모델 (Wan 2.1, Cosmos-Predict 2, Hunyuan) 보다 훨씬 뛰어난 성능을 보였습니다.

• 작업 완료: LVP 는 "Level 3"(작업 완료: 올바른 접촉, 최종 상태, 그리고 타당한 운동) 에서 **59.3%**의 성공률을 달성했으며, 이는 최상의 베이스라인 (Wan 2.1) 인 39.3% 보다 높습니다.
• 물리적 일관성: LVP 는 베이스라인에서 흔히 발생하는 공간적 및 의미론적 불일치를 피하면서 물리적으로 일관된 궤적을 생성하는 데 뛰어난 능력을 보여주었습니다.

실제 로봇 실행

이 시스템은 평행 턱 그리퍼가 장착된 Franka Arm 과 Inspire 교묘한 손이 장착된 Unitree G1 휴머노이드 두 가지 플랫폼에 배포되었습니다.

• 일반화: LVP 는 문 열기, 테이블 닦기, 커피콩 퍼내기, 테이프 찢기 등을 포함하여 보이지 않는 환경에서 제로샷 작업을 성공적으로 실행했습니다.
• 비교: 최첨단 VLA 베이스라인 (π0 및 OpenVLA) 과의 직접 비교에서 LVP 는 새로운 작업에서 더 강력한 일반화를 보여주었습니다. 베이스라인은 익숙한 픽 앤 플레이스 작업에서는 잘 수행되었지만, LVP 가 성공한 복잡한 분포 외 (out-of-distribution) 작업에서는 어려움을 겪었습니다.
• 교묘한 조작: 시스템은 복잡한 인간 손의 관절 운동을 교묘한 로봇 손으로 성공적으로 이전했으며, 이는 기존 베이스라인 (다중 손가락 손을 지원하지 않음) 이 평가할 수 없었던 능력입니다.

중요성 및 주장

이 논문은 비디오를 주요 모달리티로 사용하는 것이 로봇 공학에 "직접적으로 기반을 둔 전이 원천"을 제공한다고 주장합니다. 인터넷 규모의 비디오 데이터에 존재하는 풍부한 시간적 역학을 활용함으로써 LVP 는 대규모 사전 훈련과 체화된 의사 결정 간의 격차를 해소합니다.

저자들은 이 접근법이 보이지 않는 작업과 환경에 대한 강력한 지시 사항 추종과 강력한 일반화를 가능하게 하여, 체화된 지능의 핵심 과제를 해결한다고 주장합니다. 이 연구는 비디오 기반 모델이 픽셀 공간에서 시각적 운동 플래너로 기능하여 다양한 로봇 형태학에 리타게팅되어 실제 세계 실행이 가능한 계획을 생성할 수 있음을 보여줍니다. 저자들은 비디오 기반 로봇 학습에 대한 개방적이고 재현 가능한 연구를 지원하기 위해 모델, 데이터셋, 코드를 공개합니다.

참고: 저자들은 추론 시간 (단일 A100 GPU 에서 몇 분 소요), 오픈 소스 재구성 및 리타게팅 모듈의 잠재적 오류, 그리고 폐루프 피드백이 필요한 매우 교묘한 작업의 성능을 제한할 수 있는 현재 오픈 루프 실행에 대한 의존성 등 한계를 인정합니다.