기술 요약: IOI – 상호작용형 월드 모델을 위한 운동학(Kinematics)과 물리(Physics)의 디커플링

1. 문제 정의

범용적인 체화된 에이전트(Embodied Agents)를 개발하기 위해서는 시각적으로 사실적인 피드백과 행동 조건부 역학(Action-conditioned dynamics)을 모두 제공하는 확장 가능한 상호작용형 환경이 필요합니다. 상호작용형 월드 모델은 비현실적인 물리 시뮬레이터와 정적인 원격 조종 데이터셋 사이의 간극을 메우는 유망한 패러다임으로 등장했지만, 기존 방식들은 주로 순수 데이터 기반 프레임워크에 의존하고 있습니다. 이러한 접근 방식은 시각적 관측값과 행동을 미래의 비디오 프레임으로 직접 매핑하며, 명시적인 물리적 근거(Physical grounding)가 결여되어 있습니다.

이러한 근본적인 한계는 두 가지 결정적인 실패 모드로 이어집니다:

1. 행동 편차(Action Deviation): 누적된 예측 오류로 인해 합성된 움직임이 의도된 제어 명령으로부터 점진적으로 벗어나는 현상(시공간적 드리프트)이 발생합니다.
2. 상태 불적절성(State Implausibility): 모델이 물리적으로 일관된 객체 상태를 유지하지 못하여, 비현실적인 변형, 기하학적 침투 또는 객체 영속성 위반을 초래합니다.

핵심 과제는 노동 집약적인 자산 생성이나 명시적인 카메라 캘리브레이션의 부담 없이, 정밀한 기하학적 제어 정렬을 보장하는 동시에 확률적이고 물리적으로 타당한 시각적 피드백을 생성하는 것입니다.

2. 방법론: IOI 프레임워크

저자들은 결정론적인 로봇 운동학(Kinematics)과 확률적인 환경 역학(Dynamics)을 명시적으로 분리하는 하이브리드 상호작용형 월드 모델인 IOI를 제안합니다. IOI는 저차원 행동 임베딩으로부터 로봇의 기하학적 구조를 암시적으로 학습하도록 신경망에 강요하는 대신, 분석적인 운동학적 사전 지식(Kinematic priors)을 학습된 물리 역학과 통합합니다.

2.1 운동학적 사전 지식 추출

IOI는 **URDF(Universal Robot Description Format)**를 활용하여 결정론적인 로봇 운동을 분석적으로 계산합니다.

• 순운동학(Forward Kinematics): 행동 시퀀스(관절 공간 변위 또는 데카르트 말단 효과기 포즈)가 주어지면, 시스템은 관절 상태를 해결하고 순운동학을 적용하여 모든 타임스텝에서 로봇의 3D 관절 구조를 재구성합니다.
• 직교 투영(Orthographic Projection): 외부 카메라 파라미터에 의존하는 투영법(Perspective projection)의 부정확성과 캘리브레이션 요구 사항을 피하기 위해, IOI는 3D 로봇 기하학을 세 개의 동기화된 직교 투영(Orthographic projections) 뷰(정면, 측면, 평면)로 렌더링합니다. 이를 통해 관측 카메라의 포즈와 독립적인 뷰 불변(View-invariant) 기하학적 표현을 생성합니다.

2.2 다중 뷰 운동학적 집계 및 주입 (MKAI)

전용 MKAI 모듈은 이러한 다중 뷰 기하학적 단서를 융합하고 이를 확산 기반 비디오 생성기에 주입합니다. 이 모듈은 세 가지 구성 요소로 이루어져 있습니다:

1. 운동학적 융합 임베더(Kinematic Fusion Embedder): 공유 MLP를 사용하여 세 가지 직교 뷰(정면, 측면, 평면)의 잠재 표현을 집계하여 통합된 운동학적 특징 시퀀스를 생성합니다.
2. 정렬 임베더(Alignment Embedder): 집계된 운동학적 특징을 확산 백본(DiT)의 은닉 공간으로 토큰화하여, 비디오 토큰과 동일한 시공간 해상도 및 차원을 공유하도록 합니다.
3. 운동학적 블록(Kinematic Blocks): 크로스 어텐션(Cross-attention) 메커니즘을 통해 학습 가능한 블록들이 프리즈된(Frozen) DiT 백본에 운동학적 토큰을 계층적으로 주입합니다. 학습된 게이팅 투영(Gating projection)은 베이스 모델의 사전 학습된 생성 능력을 저해하지 않으면서 운동학적 가이드가 점진적으로 통합되도록 보장합니다.

2.3 비디오 생성

생성 백본은 플로우 매칭(Flow matching)에 기반한 사전 학습된 잠재 공간 비디오 확산 모델입니다. 모델은 다음 조건들에 기반하여 미래의 비디오 잠재 변수를 예측하도록 학습됩니다:

• 과거 관측 프레임 (장면 컨텍스트)
• 집계된 운동학적 토큰 (결정론적 로봇 운동)

결정론적인 로봇의 움직임을 분석적인 운동학 솔버로 오프로딩함으로써, 신경 생성기는 확률적인 물리적 상호작용(예: 접촉 역학, 객체 변형) 및 환경의 진화 모델링에 전적으로 표현 능력을 집중할 수 있게 됩니다.

3. 주요 기여

1. 새로운 패러다임 전환: IOI는 결정론적인 로봇 운동학과 확률적인 환경 역학을 명시적으로 분리하는 하이브리드 접근 방식을 도입합니다. 이 설계는 순수 데이터 기반 방식에서 발생하는 고유한 실패 모드인 행동 편차와 상태 불적절성을 완화합니다.
2. 우아한 아키텍처: 본 논문은 URDF 기반 운동학 솔버, 다중 뷰 직교 렌더러, MKAI 모듈을 특징으로 하는 엔드 투 엔드 파이프라인을 제시합니다. 특히, 이 아키텍처는 BridgeV2W와 같은 기존 방식과 달리 외부 카메라 캘리브레이션을 요구하지 않고도 기하학적으로 일관된 시뮬레이션을 가능하게 한다는 점에서 실질적인 이점을 가집니다.
3. 최첨단 성능: 광범적인 평가를 통해 IOI가 기존의 상호작용형 월드 모델에 비해 우수한 생성 충실도, 신뢰할 수 있는 정책 평가, 강력한 제로샷 일반화 성능을 달-성함을 입증했습니다.

4. 실험 결과

저자들은 세 가지 차원에서 RoboTwin 2.0 시뮬레이터와 물리적 로봇 플랫폼을 통해 IOI를 평가했습니다.

4.1 운동학적 충실도 및 물리적 준수

50가지 조작 작업에 대해 IOI는 모든 지표(PSNR, SSIM, LPIPS, FVD)에서 최첨단(SOTA) 결과를 달성했습니다.

• FVD (Fréchet Video Distance): IOI는 41.23의 FVD를 달성하여, Ctrl-World(64.90)와 IRASim(126.20)을 크게 앞질렀습니다.
• 정성적 분석: 시각적 비교 결과, 베이스라인 방법들은 구조적 붕괴(사지 소멸) 및 형태 왜곡 문제를 겪은 반면, IOI는 장기 시퀀스 전반에 걸쳐 견고한 로봇 형태와 정밀한 핸드-객체 상호작용을 유지했습니다.

4.2 분포 외(OOD) 일반화

IOI는 서브 스킬의 재조합(예: 인스턴스 스케일링, 객체 교체, 메커니즘 이식)이 필요한 10가지 미학습 작업에 대해 테스트되었습니다.

• IOI는 견고한 제로샷 일반화를 보여주었으며, OOD 작업의 모든 지표에서 최고의 성능을 기록했습니다.
• FVD 측면에서 Ctrl-World보다 12.23%, IRASim보다 58.39% 더 나은 성능을 보였으며, 이는 명시적인 운동학적 사전 지식이 작업별 미세 조정 없이도 새로운 조작 기술로 일반화될 수 있음을 나타냅니다.

4.3 정책 평가

IOI는 $\pi_0$ 시각-언어-행동(VLA) 정책을 시뮬레이션하는 대리 모델(Surrogate)로 사용되었습니다.

• IOI가 예측한 성공률은 실제 물리 시뮬레이터의 결과와 매우 밀접하게 일치하였으며, 평균 차이는 단 +1.6 퍼센트 포인트였습니다.
• IOI 평가와 실제 시뮬레이터 결과 사이의 피어슨 상관 계수는 0.9992로 나타나, 정책 평가 도구로서의 신뢰성을 검증했습니다.

4.4 실제 환경 배포

IOI가 합성한 데이터로만 학습된 정책을 실제 Franka Emika 매니퓰레이터에 배포했습니다. 그 결과, 원격 조종 데모로 학습된 정책과 대등한 성능을 보여 IOI의 체화된 정책 학습에 대한 실질적 가치를 확인했습니다.

4.5 절제 연구(Ablation Studies)

• 행동 조건화: 명시적 기하학적 조건화(URDR + MKAI)는 암시적 주입 메커니즘(Add, Concat, Cross-attention, AdaLN)보다 훨씬 뛰어난 성능을 보였으며, 가장 우수한 암시적 베이스라인인 AdaLN 대비 FVD를 26.97% 감소시켰습니다.
• 상한선 분석: 뷰 불변 직교 투영에 의 ground-truth 카메라 외부 파라미터를 사용하는 "오라클(Oracle)" 베이스라인과 거의 대등한 성능을 달성함으로써, 고충실도 생성을 위해 명시적인 캘리브레이션이 반드시 필수적인 것은 아님을 입증했습니다.

5. 의의 및 주장

본 논문은 IOI가 체화된 AI를 위한 신뢰할 수 있는 상호작용형 월드 모델을 구축하는 데 있어 중요한 진전이라고 주장합니다. 로봇 운동의 결정론적 측면을 물리적 상호작용의 확률적 특성과 분리함으로써, IOI는 현재의 데이터 기반 접근 방식들을 괴롭히는 시공간적 드리프트와 기하학적 불일치에 대한 원칙적인 해결책을 제공합니다.

저자들은 IOI가 매우 신뢰할 수 있는 정책 평가 도구이자 효과적인 데이터 생성 엔진 역할을 수행하며, 실제 세계의 데모로 학습된 것과 대등한 성능을 내는 정책을 생성할 수 있다고 강조합니다. 현재 구현은 행동이 관절 또는 말단 효과기 수준에서 지정된다고 가정하며, 잡힌 객체의 미세한 외관 세부 사항을 포착하지 못하는 직교 투영을 사용한다는 한계가 있으나, 본 연구는 체화된 정책 학습 및 평가를 확장할 수 있는 물리 정보 기반 월드 모델의 토대를 마련했습니다.