기술 요약: MotionForesight

문제 정의

본 논문은 일상적인 단안(monocular) 인간-사물 상호작용 비디오로부터 조작되는 객체의 미래 3D 장면 흐름(scene-flow) 예측 문제를 다룹니다. 기존의 방식들이 미래의 강체 6-DoF 포즈(관절이 있거나 변형 가능한 객체에는 부적합함)나 미래의 2D 이미지 트랙(미터법적 깊이 정보가 부족함)을 예측하는 것과 달리, MotionForesight는 객체 위의 점들에 대한 **밀집된 참조 앵커 기반 3D 궤적(reference-anchored 3D trajectories)**을 예측하는 것을 목표로 합니다.

핵심적인 어려움은 명시적인 언어 지시, 행동 라벨, 또는 객체의 물리적 특성에 대한 지식 없이 오직 "수동적" 관찰만을 통해 이러한 예측을 학습하는 데 있습니다. 목표는 짧은 관찰 비디오 접두사(video prefix)만을 바탕으로 상호작용의 물리적 결과(예: 컵이 어떻게 들리는지 또는 서랍이 어떻게 미끄러지는지)를 추론하는 것입니다.

방법론

핵심 통찰

저자들은 대규모 코퍼스로 학습된 현대적인 비디오 모델들이 이미 시간적 규칙성, 접촉, 어포던스(affance), 그리고 타당한 역학(dynamics)에 관한 풍부한 사전 지식(priors)을 인코딩하고 있다고 제안합니다. 미래의 RGB 픽셀을 생성하는 대신(이는 계산 비용이 많이 들고 기하학적 충실도를 잃기 쉽습니다), MotionForesight는 이러한 비디오 사전 지식을 명시적인 미래 3D 모션 필드를 예측하는 방향으로 재전환합니다.

아키텍처 및 적응

MotionForesight는 사전 학습된 비디오 확산 트랜스포머(DiT)(구체적으로 Wan2.1 [12]) 위에 구축된 밀집 3D 트래커인 TrackCraft3R [11]를 기반으로 합니다. 이 방법은 다음과 같은 수정을 통해 기존의 회고적(retrospective) 트래커를 전방 예측기(forward predictor)로 재목적화합니다.

1. 입력 표현:

   • 관찰된 컨텍스트(Observed Context): 첫 $T_1$ 프레임 동안, 모델은 RGB 프레임과 추정된 포인트맵(단안 깊이 추정으로부터 유도됨)을 전달받습니다.
   • 미래 컨텍스트(Future Context): 미래 $T_2$ 스텝에 대해서는 실제 RGB 및 포인트맵 데이터를 사용할 수 없습니다. 이 슬롯들은 학습된 마스크 잠재 변수(learned mask latents)($m_{rgb}, m_{pm}$)로 대체됩니다. 이 마스크들은 특정 미래 외형을 인코딩하지 않고 "관찰되지 않은" 시간 단계를 나타냅니다.
   • 쿼리 스트림(Query Stream): 첫 번째 프레임의 객체 마스크에서 유도된 참조 프레임 쿼리 잠재 변수가 모든 타임스탬프($T_1 + T_2$)에 걸쳐 반복되며, 모델에게 "이 참조점이 시간 $t$에서 어디에 있는가?"라고 묻습니다.

2. 학습 전략:

   • 의사 정답(Pseudo-Ground Truth): 저자들은 약 4만 개의 인간-사물 상호작용 비디오(Something-Something V2에서 추출)로 구성된 데이터셋을 큐레이션했습니다. 이들은 전체 클립에 대해 TrackCraft3R 트래커를 오프라인으로 실행하여 밀집된 3D 궤적을 생성하였으며, 이를 의사 정답 타겟으로 사용합니다.
   • 학습 중 마스킹(Masking during Training): 학습 중에 모델은 관찰된 접두사($T_1$)와 마스킹된 미래 슬롯만을 입력받습니다. 모델은 미래 스텝에 대한 잔차 트랙 잠재 변수(residual track latents)를 예측해야 합니다.
   • 매개변수 효율성: 거대한 비디오 백본(DiT), 원래의 트래킹 어댑터, VAE 인코더/디코더는 **동결(frozen)**됩니다. 오직 경량화된 저차원 어댑터(LoRA), 예측 헤드, 그리고 마스크 잠재 변수만이 학습됩니다.

3. 목적 함수:
   모델은 예측된 3D 좌표와 의사 정답 사이의 유클리드 거리를 최소화하는 디코딩된 좌표 공간 손실(decoded coordinate-space loss)($L_{dec}$)을 사용하여 학습됩니다. 이 손실은 관찰된 프레임 재구성($\lambda_{obs}$)보다 미래 예측($\lambda_{fut}$)에 우선순위를 두도록 가중치가 부여되어, 모델이 단순히 과거를 암기하는 것이 아니라 움직임을 외삽(extrapolate)하도록 보장합니다.

주요 기여

1. 과업의 공식화: 본 논문은 캐주얼 RGB 비디오로부터의 미래 3D 장면 흐름 예측을 참조 앵커 기반의 트래킹-포인트맵 예측 과업으로 공식화하여, 특정 객체 범주나 강체 물리 가설으로부터 추상화하였습니다.
2. 데이터 큐레이션 파이프라인: 밀집 3D 트래킹과 객체 마스크를 사용하여 구조화되지 않은 인간 비디오를 의사 정답 3D 궤적으로 변환하는 새로운 파이프라인을 제시하며, 이를 통해 미터법 3D 센서 없이도 감독 학습(supervision)을 가능하게 했습니다.
3. 효율적인 모델 재목적화: TrackCraft3R을 최소한으로 수정하여 회고적 트래커를 전방 예측기로 변환했습니다. 이 접근 방식은 무거운 비디오 및 트래킹 구성 요소를 동결한 채 작은 어댑터만을 학습시키는 것만으로도 기하학적 예측을 학습하는 데 충분함을 보여줍니다.

실험 결과

모델은 SSv2의 40,000개 인간-사물 상호작용 비디오로 학습되었으며, 홀드아웃(held-out) SSv2 클립과 미지의 객체 및 환경을 포함하는 분포 외(Out-of-Distribution, OOD) 폰 비디오로 평가되었습니다.

• 베이스라인 대비 성능: MotionForesight는 116만 개의 비디오로 학습된 MolmoMotion 및 비디오 생성 파이프라인을 포함한 훨씬 더 큰 모델들을 유의미하게 능가했습니다.
  • OOD 폰 비디오에서 MotionForesight는 평균 변위 오차(ADE) 9.31 cm를 달성했으며, 이는 언어 조건이 없는 MolmoMotion(9.50 cm) 및 비디오 생성 베이스라인(13.82 cm)보다 우수한 수치입니다.
  • 결정적으로, MotionForesight는 MolmoMotion이 언어 조건 입력을 사용하는 것과 달리 언어나 행동 라벨 없이 이 성과를 달성했습니다.
• 확장성(Scaling): 실험 결과, 학습 데이터를 1K에서 40K 비디오로 늘리면 특히 임계값 내 예측 비율(Percentage of Predictions within a Threshold, PWT) 측면에서 다양한 미지의 시나리오에 대한 일반화 능력이 향상됨을 확인했습니다.
• 정성적 결과: 모델은 들어올리기, 회전, 제한된 슬라이딩, 비강체 변형 등 다양한 움직임을 성공적으로 예측하며, 장기 예측(long-horizon prediction)에서도 공간적 일관성을 유지합니다.

의의 및 주장

본 논문은 비디오 사전 지식을 효율적으로 재사용하는 것이 체화된 지능(embodied intelligence)을 위한 유효한 경로라고 주장합니다. 미래의 픽셀을 생성하는 과정을 건너뛰고 직접 미터법 3D 모션을 예측함으로써, 이 방법은 더 낮은 계산 오버헤드로 실행 가능한 표현을 제공합니다.

저자들은 다음을 강조합니다:

• 기하학적 그라운딩의 중요성: 트래킹으로부터 학습된 강력한 기하학적 사전 지식은 픽셀 외형에 집중된 생성적 사전 지식보다 미터법적 모션 예측에 더 효과적입니다.
• 수동 학습의 충분성: 복잡한 상호작용 역학은 값비싼 3D 센서나 언어 주석 없이도 수동적인 라벨 없는 인간 비디오로부터 학습될 수 있습니다.
• 일반화: 이 접근 방식은 분포 외(OOD) 객체, 환경 및 시점에 대해 잘 일반화되며, 이는 학습된 모션 사전 지식이 데이터셋 특유의 아티팩트가 아닌 근본적인 물리적 상호작용을 포착하고 있음을 시사합니다.

본 연구는 회고적 비디오 이해를 전방 지향적 기하학적 추론으로 변환하는 것이 가능함을 결론지으며, 이는 다운스트림 계획 및 체화된 추론 시스템을 위한 압축된 인터페이스를 제공합니다.