기술 요약: LAWM-3D

문제 정의

월드 모델(World models)은 에이전트가 실제 세계와의 상호작용 없이도 순방향 롤아웃(forward rollouts)과 계획을 수행할 수 있게 해주지만, 오픈 월드 임바디드 인텔리전스(embodied intelligence)에 대한 적용은 두 가지 주요 병목 현상에 의해 저해됩니다. 하나는 액션 주석(action annotations) 수집의 높은 비용이며, 다른 하나는 서로 다른 로봇 플랫폼 간의 액션 공간 이질성입니다. 최근의 잠재 액션 모델(Latent Action Models, LAMs)은 레이블이 없는 인간 비디오로부터 자기 지도 학습 방식으로 액션 표현을 학습함으로써 주석 문제를 완화했으나, 기존 방식들은 상당한 한계를 보입니다. 대부분의 방식은 2D 픽셀 공간 내의 단일 뷰 입력을 기반으로 작동하며, 이는 명시적인 3D 모션 시맨틱스(motion semantics)를 포착하는 데 실패합니다. 결과적으로, 학습된 잠재 액션은 진정한 3D 물리적 상호작용보다는 2D 외형 변화를 반영하는 경우가 많습니다.

저자들은 단순히 멀티뷰 비디오를 LAM 학습에 통합하는 것만으로 잠재 액션에 3D 인식 지각 능력을 부여할 수 있는지 조사했습니다. 연구 결과, 단순한 통합은 세 가지 구체적인 문제로 인해 효과적이지 않음이 드러났습니다:

1. 미래 프레임 외형 누수(Future-frame appearance leakage): 인코더가 픽셀을 재구성하기 위해 미래 프레임의 RGB 정보를 악용할 수 있으며, 이로 인해 잠재 액션이 모션 시맨틱스가 아닌 압축된 외형 표현으로 퇴화하게 됩니다.
2. 카메라 간 불일치(Inter-camera discrepancies): 멀티뷰 관측치는 명시적인 기하학적 제약이 없는 2D 투영체이므로, 일관된 3D 표현 학습을 어렵게 만듭니다.
3. 태스크와 무관한 정보(Task-irrelevant information): 픽셀 공간에서 작동하면 모션 시맨틱스보다 픽셀 재구성을 우선시하는 노이즈가 도입됩니다.

방법론

본 논문은 LAWM-3D(Generalizable Robot World Models를 위한 인간 비디오 기반 3D 인식 잠재 액션 학습)를 제안하며, 이는 대규모 인간 비디오 사전 학습 후 로봇 미세 조정을 거치는 2단계 패러다임을 통해 뷰 불변(view-invariant) 및 3D 인식 잠재 액션을 학습하도록 설계된 프레임워크입니다. 핵심 아키텍처는 잠재 액션 모델(LAM)과 조건부 월드 모델(conditional World Model)로 구성됩니다.

핵심 기술 설계

LAM은 세 가지 밀접하게 결합된 구성 요소를 포함하는 멀티뷰 변분 오토인코더(VAE)로 정식화됩니다:

1. 멀티뷰 불변 통합 액션 토큰화(Multi-View Invariant Unified Action Tokenization):
   모델은 여러 카메라 뷰(하나의 에고 뷰와 $V$개의 엑소 뷰)로부터 동기화된 관측치를 처리합니다. 입력 프레임은 토큰화되어 뷰 임베딩 및 회전 위치 인코딩(rotary positional encodings)이 추가된 액션 토큰과 결합됩니다. 시공간 트랜스포머 인코더는 뷰 간의 특징을 집계(풀링을 통해)하여 통일된 잠재 액션 표현을 생성합니다. 뷰 불변성을 강제하기 위해, 학습에는 무작위 뷰 마스킹 전략을 사용합니다. 즉, 인코더는 불완전한 뷰 세트로부터 일관된 잠재 액션을 추론해야 하며, 디코더는 남겨진 서브셋으로부터 무작위로 선택된 뷰를 재구성해야 합니다.

2. 기하학적 정렬 제약(Geometric Alignment Constraint):
   교차 뷰 대응 관계를 명시적으로 모델링하기 위해, LAM 인코더의 중간 특징들을 사전 학습된 3D 파운데이션 모델인 VGGT(Visual Geometry Grounded Transformer)와 정렬합니다. 이 정렬은 두 가지 손실 함수를 통해 이루어집니다:

   • 각도 손실($L_{Angular}$): 인코더 특징의 방향을 VGGT의 기하학적 특징과 일치시키기 위한 코사인 유사도 손실입니다.
   • 스케일 손실($L_{Scale}$): 정규화된 특징에 대한 회귀 손실로, 모델이 원시 특징에 대한 직접적인 MSE 회귀의 불안정성 없이 전체 기하학적 표현을 학습하도록 보장합니다.

3. 비단사적(Non-Injective) RGB-D 공동 재구성:
   인코더가 미래 프레임의 RGB 정보를 직접 잠재 액션으로 압축하는 지름길 학습(shortcut learning)을 방지하기 위해, 저자들은 비단사적 깊이 감독 신호를 도입합니다. 디코더는 현재 프레임과 해당 깊이 맵(depth map)의 결합을 받아 미래 프레임과 깊이 맵을 공동으로 예측합니다. 깊이 맵은 인코더에서 접근할 수 없으므로, 이를 통해 잠재 액션이 외형 누수보다는 기하학적 유의성을 가진 모션 큐에 집중하도록 강제합니다.

학습 파이프라인

• 1단계 (LAM 사전 학습): LAM은 대규모 멀티뷰(Ego-Exo4D, Assembly101) 및 싱글뷰(EgoDex) 인간 조작 비디오를 사용하여 학습됩니다. 목적 함수는 재구성 손실, KL 발산, 그리고 기하학적 정렬 손실을 결합합니다.
• 2단계 (월드 모델 사전 학습): 월드 모델(Cosmos-Predict2.5 기반)은 LAM에 의해 추출된 잠재 액션을 의사 액션 레이블(pseudo-action labels)로 사용하여 인간 비디오 상에서 사전 학습됩니다.
• 3단계 (로봇 미세 조정): 월드 모델은 실제 로봇 상호작용 데이터(예: GR1_robot 데이터셋)로 미세 조정되어, 잠재 액션 공간을 실제 제어 신호와 정렬함으로써 다운스트림 계획 및 정책 학습을 가능하게 합니다.

주요 기여

1. 단순 멀티뷰 LAM의 한계 식별: 본 논문은 단순히 멀티뷰 데이터를 기존 LAM에 추가하는 것이 외형 누수와 기하학적 제약의 부재로 인해 3D 인식을 유발하지 못함을 입증했습니다.
2. LAWM-3D 프레임워크: 멀티뷰 불변 토큰화, 3D 파운데이션 모델을 통한 기하학적 특징 정렬, 그리고 3D 물리적 일관성을 강제하기 위한 비단사적 RGB-D 재구성을 통합한 새로운 아키텍처를 제시합니다.
3. 최첨단 성능(SOTA): 제안된 방법은 DreamDojo 및 UniLACT와 같은 기존 LAM 방법들과 비교하여 월드 모델 생성 품질, 물리적 일관성 및 일반화 능력에서 우수한 결과를 달s합니다.
4. 인간 데이터를 통한 일반화: 3D 인식 잠재 액션이 인간 비디오로부터 학습되었을 때 로봇 월드 모델의 분포 외(OOD) 시나리오에서의 일반화 능력을 크게 향상시킨다는 것을 검증했습니다.

실험 결과

Ego-Exo4D, Assembly101 및 월드 모델을 위한 WorldArena 벤치마크를 포함한 광범-한 정성적 및 정량적 실험이 수행되었습니다.

• 잠재 액션 품질: Ego-Exo4D 및 Assembly101에서 LAWM-3D는 RGB 및 깊이 예측 지표(PSNR/SSIM) 모두에서 베이스라인(LAPA, UniLACT, CoMo, DreamDojo)을 능가합니다. 특히, Ego-Exo4D 깊이에서 35.62의 PSNR과 0.939의 SSIM을 달성하여 차상위 모델(DreamDojo-D)을 큰 차이로 앞질렀습니다.
• 월드 모델 생성: 6개 차원(시각적 품질, 모션 품질, 콘텐츠 일관성, 물리 법칙 준수, 3D 정확도, 제어 가능성)에 걸친 16개 지표로 평가했을 때, LAWM-3D는 SOTA 결과를 달성했습니다. 특히 모션 품질과 3D 정확도에서 강점을 보였으며, 이는 공간 구조 이해도가 향상되었음을 나타냅니다.
• 일반화 (OOD): 교차 장면 평가(In-lab, EgoDex, DreamDojo-HV)에서 LAWM-3D는 DreamDojo 변체들을 지속적으로 능가하며, 미학습 환경 및 복잡한 상호작용에 대한 강건성을 입증했습니다.
• 정책 평가: 학습된 월드 모델은 신뢰할 수 있는 정책 평가 프록시 역할을 수행하며, 실제 세계 리턴(return)과 $\rho = 0.952$의 스피어만 상관계수를 달성했습니다. 또한, 월드 모델을 활용한 적응형 정책 선택 메커니즘은 고분산 정책 그룹에서 폐루프 성공률을 17% 향상시켰습니다.
• 절제 연구(Ablation Studies): 실험을 통해 멀티뷰 데이터만 사용하는 경우(Case 1) 성능이 개선되지 않고 오히려 뷰 불일치로 인해 저하될 수 있음을 확인했습니다. 기하학적 정렬(Case 2)과 깊이 디코딩(Case 3)이 성능 향상의 주요 동력이며, 전체 모델이 가장 좋은 결과를 얻었습니다.

의의 및 주장

본 논문은 LAWM-3D가 레이블이 없는 인간 비디오 데이터와 일반화 가능한 로봇 월드 모델 사이의 간극을 메우는 중요한 진전임을 주장합니다. 2D 픽셀 공간 학습과 단순한 멀티뷰 통합의 한계를 명시적으로 해결함으로써, 제안된 방법은 3D 인식 및 뷰 불변 잠재 액션을 성공적으로 학습합니다.

저자들은 이러한 학습된 표현이 월드 모델로 하여다 다음과 같은 능력을 갖추게 한다고 주장합니다:

• 공간적 관계 및 객체 상태를 포함한 실제 세계의 역학을 더 잘 포착함.
• 높은 시간적 일관성과 긴 호라이즌 예측에서도 아티팩트가 적은 물리적으로 타당한 롤아웃을 생성함.
• 광범위한 로봇 특화 액션 주석 없이도 새로운 로봇 태스크와 환경에 효과적으로 일반화함.

이 연구는 기하학적 사전 지식(VGGT를 통해)과 비단사적 재구성 목적 함수의 통합이 멀티뷰 중복성을 물리적으로 근거 있는 액션 표현으로 전환하여, 현재의 잠재 액션 학습 패러다임에 존재하는 "외형 vs 모션" 딜레마를 극복하는 데 필수적임을 강조합니다.