Robot-Factored World Models via Robot Rendering

기술 요약: 로봇 렌더링을 통한 로봇-팩터화된 월드 모델 (Robot-Factored World Models via Robot Rendering)

문제 정의
액션 조건부 비디오 월드 모델(Action-conditioned video world models)은 초기 상태와 액션 신호로부터 미래의 관측치를 예측하는 것을 목표로 하며, 이를 통해 실제 세계와의 상호작용 없이도 계획 수립 및 정책 개선을 가능하게 합니다. 그러나 물리적 로보틱스에서 로봇의 액션이 미래의 관측치에 영향을 미치는 방식에는 두 가지 뚜렷한 과정이 존재하며, 이 과정에서 근본적인 과제가 발생합니다: (1) 액션 실현(Action Realization): 제어 신호가 로봇 고유의 바디, 컨트롤러, 키네마틱스를 통해 로봇의 움직임으로 변환되는 과정; (2) 장면 반응(Scene Response): 환경이 해당 움직임에 따라 접촉 및 물체 역학을 통해 반응하는 과정.

기존의 접근 방식들은 로봇 고유의 제어 신호(예: 관절 토크 또는 카테시안 포즈)에 직접적으로 조건을 부여하며, 이는 월드 모델이 구현체 특이적(embodiment-specific)이고 중복적인 액션 실현 과정 자체를 학습하도록 강제합니다. 반대로, 기록된 미래 상태(실현된 궤적)에 조건을 부여하는 방식은 모델이 예측하고자 하는 대상인 상호작용의 결과(접촉, 순응성, 지연 등)를 유출(leak)하게 됩니다. 핵심적인 문제는 배포 시 사용 가능하면서도, 액션 실현 과정을 학습할 필요가 없고, 미래의 상호작용 결과를 유출하지 않는 시각적 조건 신호를 식별하는 것입니다.

방법론
저자들은 로봇 고유의 실현 및 렌더링 프로세스를 월드 모델로부터 분리하는 **로봇-팩터화된 월드 모델(Robot-Factored World Models)**을 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어진 공유 시각 인터페이스를 도입합니다:

1. 명목 궤적 조건화 (액션 실현):
   원시 제어 명령이나 실현된 상태를 입력하는 대신, 시스템은 액션 시퀀스 $a_{1:F}$를 장면이 없는 환경에서 로봇 고유의 컨트롤러와 키네마틱스를 통해 처리하여 명목 궤적(nominal trajectory) $q_{1:F}$를 생성합니다. 이 궤적은 장면과의 어떠한 상호작용이 발생하기 전, 로봇이 자유 공간에서 실행했을 움직임을 나타냅니다. 이는 원시 명령과 실현된 상태 사이의 간극을 메우면서도 접촉 결과를 인코딩하지 않는, 배포 가능한 신호 역할을 합니다.

2. 로봇 렌더링 (시각 인터페이스):
   명목 궤적은 로봇의 URDF(Unified Robot Description Format)를 사용하여 타겟 카메라 프레임으로 렌더링됩니다. 이를 통해 다음을 생성합니다:

   • 로봇 메쉬 RGB ($M^{rgb}_{1:F}$): 장면 내에 나타날 로봇의 기하학적 구조(링크, 그리퍼, 엔드 이펙터)를 나타내는 비디오.
   • 엔드 이펙터 깊이 ($D^{eef}_{1:F}$): 엔드 이펙터에 특화된 깊이 정보.
     이 렌더링은 로봇의 기하학, 키네마틱스 및 외형을 팩터화하여, 액션을 픽셀 공간상의 가시적인 로봇 기하 구조로 월드 모델에 전달합니다.

3. 카메라 인식 정적 컨텍스트 (Camera-Aware Static Context):
   미래의 역학을 유출하지 않으면서 장면 컨텍스트를 제공하기 위해, 초기 장면 상태 $S_0$를 동일한 카메라 궤적 $C_{1:F}$를 따라 렌더링하여 정적 장면 RGB($B^{rgb}_{1:F}$)와 장면 깊이($D^{scene}_{1:F}$)를 생성합니다. 이 스트림은 로봇의 상호작용과 독립적인 외형 및 기하학적 컨텍스트를 제공합니다.

모델 아키텍처
월드 모델은 잠재 비디오 확산 모델(특히 비디오 인페인팅 백본 사용)로 구현됩니다. 조건부 입력 $c$는 정적 장면 컨텍스트, 렌더링된 로봇 메쉬, 장면 깊이, 그리고 엔드 이펙터 깊이의 인코딩된 잠재 표현을 결별(concatenation)하여 형성됩니다. 모델은 이러한 시각적 입력과 텍스트 프롬프트 $T$(장면 컨텍스트를 설명하지만 액션이나 미래 결과는 제외함)가 주어졌을 때 미래 비디오 $V_{1:F}$를 예측하도록 학습됩니다. 학습 목표는 잠재 공간에서의 예측 속도와 타겟 속도 사이의 플로우 매칭(flow-matching) 손실을 최소화하는 것입니다.

주요 기여

1. 배포 현실적인 인터페이스: 저자들은 액션을 명목 궤적으로 실현하고 이를 카메라 정렬된 URDF 메쉬 RGB 및 엔드 이펙터 깊이로 렌더링하는 시각적 인터페이스를 도입했습니다. 이는 장면의 외형과 시점을 정적 컨텍스트 스트림으로 팩터화합니다.
2. 깊이 인식(Depth-Awareness): 인터페이스는 엔드 이펙터 및 장면 깊이를 추가하여, RGB 이미지 평면의 중첩만으로는 구별할 수 없는 기하학적 모호성(근접성, 폐쇄, 잠재적 접촉)을 해결합니다.
3. 구현체 및 소스 일반화: 액션을 구현체 특이적 제어 신호가 아닌 렌더링된 기하 구조로 표현함으로써, 인터페이스는 월드 모델을 특정 로봇 컨트롤러로부터 분리합니다. 이를 통해 보지 못한 로봇 구현체로의 일반화를 가능하게 하며, 리타겟팅된 인간 데모로부터 접지된(grounded) 로봇 상호작용 비디오 생성을 허용합니다.

실험 결과
본 방법론은 DROID 및 RoboCasa-GR1 데이터셋에서 벡터 조건부 베이스라인(카테시안 포즈 조건화를 사용하는 Ctrl-World 및 AdaLN 상태 벡터 베이스라인)과 비교 평가되었습니다.

• 정량적 성능: 렌더링된 인터페이스는 두 데이터셋 모두에서 PSNR, SSIM, LPIPS 지표에 대해 벡터 조건부 베이스라인보다 우수한 성능을 보였습니다. 특히, 명목 메쉬 렌더링과 깊이 단서의 조합이 가장 좋은 결과(예: RoboCasa-GR1에서 상태 벡터 베이스라인의 17.67 대비 24.61 PSNR)를 달성했습니다.
• 정성적 분석: 렌더링된 인터페이스는 로봇의 움직임 및 접촉 영역 주변의 장면 변화를 더 잘 국소화(localize)했습니다. 절제 연구(Ablation studies)를 통해 명목 궤적을 사용하는 것이 정렬을 개선하고, 깊이 단서를 추가하는 것이 이미지 평면의 중첩과 실제 물리적 접촉을 구분하는 데 크게 도움이 된다는 것을 확인했습니다.
• 일반화: 모델은 새로운 로봇 기하 구조를 동일한 인터페이스로 렌더링하는 것만으로도 보지 못한 로봇 구현체(예: Inspire F1 핸드가 장착된 xArm 6)로 성공적으로 일반화되었습니다. 또한, 리타겟팅된 인간 손 동작으로부터 로봇 조작 비디오를 성공적으로 생성하여, 인터페이스가 동작 소스에 무관함을 입증했습니다.

의의 및 주장
본 논문은 액션 실현과 로봇 렌더링을 팩터화함으로써, 월드 모델이 구현체 특이적 제어 역학을 학습하는 것에서 벗어나 가시적인 로봇 기하 구조에 대한 장면의 반응을 예측하는 공통된 문제에 집중할 수 있다고 주장합니다. 이 접근 방식은 액션 실현 학습과 미래 상태 유출 사이의 트레이드오프를 해결합니다. 저자들은 이 "로봇-팩터화된" 방식이 다양한 시점과 로봇 구현체에 대해 일관된 시각적 인터페이스를 제공하여, 인간 데모를 포함한 다양한 동작 소스로부터 더욱 견고한 계획 수립과 접지된 상호작용 비디오 생성을 가능하게 한다고 단언합니다.

한계점
저자들은 이 접근 방식이 알려진 로봇 URDF와 카메라-로봇 캘리브레이션을 필요로 한다는 점을 인정합니다. 또한, 정적 컨텍스트 스트림은 정적인 장면 표현을 가정하는데, 이는 시뮬레이션에서는 완전히 사용 가능하지만 실제 세계에서는 피드포워드 3D 재구성이 없이는 부분적으로만 관찰 가능하다는 한계가 있습니다. 마지막으로, 학습 데이터(DROID)가 주로 성공적인 사례로 구성되어 있어, 모델이 파지 실패(grasp failure)나 미끄러짐(slip)과 같은 특정 시나리오에 대한 견고성이 제한될 수 있습니다.