기술 요약: GeniWorld

문제 정의

일반적인 로봇 정책(Generalist robot policies)은 인상적인 다중 작업 능력을 보여주었으나, 복잡하고 구조화되지 않았거나 보지 못한 환경에 배치될 때 견고함이 부족한 경우가 많습니다. 배경, 객체 인스턴스, 공간적 배치 및 작업 구성의 변화로 인해 성능이 빈번하게 저하됩니다. 이러한 변동성을 커버하기 위해 로봇 학습과 평가를 확장하는 것은 새로운 물리적 환경을 구축해야 하므로 비용이 많이 들고 장면의 다양성을 제한합니다.

행동 조건부 월드 모델(Action-conditioned world models)은 로봇이 상호작용을 "상상"할 수 있게 함으로써 유망한 대안을 제시하지만, 기존 방식들은 두 가지 결정적인 한계점을 가집니다:

1. 공간적 접지(Spatial Grounding)의 부재: 이들은 일반적으로 저차원의 수치적 행동 벡터에 직접 조건화되는 생성 모델을 사용하며, 이는 명시적인 공간적 접지가 부족하여 복잡한 로봇 동작을 정확하게 모델링하는 데 한계가 있습니다.
2. 낮은 일반화 능력: 저차원 행동 조건화는 로봇의 움직임(Embodiment motion)과 환경의 변화를 얽히게 만듭니다. 이로 인해 모델은 상호작용과 무관한 세부 사항에 집중하게 되어, 분포 외(OOD) 시나리오 및 미지의 장면에 대한 일반화 성능이 떨어집니다.

방법론: GeniWorld

GeniWorld는 수치적 벡터가 아닌 **시각적 행동(Visual actions)**에 조건화됨으로써 미지의 시나리오 전반에 걸쳐 견고하게 일반화되도록 설계된 상호작용형 자기회귀 월드 모델입니다.

1. 수치적 행동에서 시각적 행동으로

GeniWorld는 원시 수치적 행동 벡터(예: 관절 각도 또는 엔드 이펙터 포즈)를 생성 백본에 직접 입력하는 대신, 이를 **밀집된 시각적 모션 표현(Dense visual motion representations)**으로 변환합니다.

• URDF 기반 렌더링: 대상 로봇 시스템을 위해, 운동학적 모델(URDF)이 수치적 행동 시퀀스를 밀집된 로봇 모션 시퀀스로 변 변환합니다.
• 렌더링 프로세스: 이러한 모션은 대상 카메라 시점에서 렌더링되어, 배경 객체나 외관을 제외하고 관절 구조만을 분리해 냅니다. 이를 통해 로봇의 공간적 움직임을 명시적으로 나타내는 "시각적 행동" 토큰 시퀀스($m_{t+1:t+H}$)가 생성됩니다.

2. 모델 아키텍처

GeniWorld는 사전 학습된 비디오 생성 모델(구체적으로 비디오 확산 백본)을 기반으로 하며 다음과 같은 수정 사항을 포함합니다:

• 공간 정렬 조건화(Spatially Aligned Conditioning): 시각적 행동은 인과적 3D VAE를 통해 잠재 표현($z_a$)으로 인코딩됩니다. 이들은 비디오 잠재 변수($z_v$)와 채널 단위로 결합되어 결합 표현($z = [z_v; z_a]$)을 형성합니다. 이는 행동과 장면 사이의 엄격한 공간적 대응을 보장하며, 로봇의 역학을 사전 학습된 시각적 잠재 공간과 정렬시킵니다.
• 인과적 자기회귀 모델링(Causal Autoregressive Modeling): 모델은 미래의 관측치를 자기회귀적으로 예측합니다. 인과적 어텐션 마스크는 각 예측된 토큰이 반드시 과거의 상태와 과거의 행동 토큰에만 의존하도록 하여, 미래로부터의 정보 누출을 방지합니다.
• 학습 목표: 모델은 히스토리와 그에 상응하는 행동 토큰에 조건화된 다음 관측 잠재 변수를 예측하기 위해 **플로우 매칭(Flow Matching)**을 활용합니다. 오직 관측 잠재 변수만이 노이즈가 추가되며, 시각적 행동은 깨끗한 조건화 신호 역할을 합니다.

3. 폐쇄 루프 상호작용(Closed-Loop Interaction)

인간 텔레오퍼레이터 및 로봇 정책과의 상호작용을 가능하게 하기 위해:

• 추론: 시스템은 초기 장면 이미지와 행동 시퀀스를 입력으로 받습니다. 행동은 URDF를 통해 렌더링되어 모션 조건을 생성합니다.
• KV 캐싱: 모델은 효율적인 역사적 문맥 유지를 위해 KV 캐싱을 활용하며, 이를 통해 고주파 폐쇄 루프 상호작용(NVIDIA H20 GPU에서 5단계 샘플링 시 약 8Hz로 시연됨)을 지원합니다.

주요 기여

1. GeniWorld 프레임워크: 고정된 장면의 데모로부터 학습하면서도, "상상 공간"에서 풍부한 조작 데이터를 합성함으로써 미지의 다양한 시나리오에 견고하게 일반화되는 상호작용형 월드 모델을 도입했습니다.
2. 시각적 행동 조건화: 시각적 행동(URDF 렌더링을 통한)에 조건화된 새로운 자기회귀 생성 모델을 제안하여 로봇의 움직임과 환경의 역학을 분리했습니다. 이는 명시적인 상호작용 모델링을 가능하게 하며 로봇 정책 및 인간 운영자 모두와의 폐쇄 루프 제어를 지원합니다.
3. 강력한 정책 평가기 및 데이터 합성기: GeniWorld가 환경적 섭동 하에서 신뢰할 수 있는 정책 평가기로서 기능하며, 제한된 실제 세계 데모로부터 다양한 조작 데이터를 합성하여 다운스트림 정책 성능을 크게 향로할 수 있음을 입증했습니다.

실험 결과

1. 생성 충실도 및 일반화

RoboTwin2.0 벤치마크의 "Clean-to-Clean" 및 "Clean-to-Random" (OOD) 설정에서 평가되었습니다:

• 성능: GeniWorld는 모든 지표(PSNR, SSIM, LPIPS, FID, FVD, EWM-Score)에서 Ctrl-World, IRASim, EnerVerse-AC와 같은 베이스라인보다 우수한 생성 품질을 달성했습니다.
• OOD 견고성: Clean-to-Random 설정에서 기존 연구들은 심각한 성능 저하를 겪었으나(예: IRASim의 FVD가 191.26으로 하락), GeniWorld는 20.15라는 높은 FVD를 유지하며 높은 충실도를 보여주었습니다.
• 정성적 분석: 베이스라인들이 미지의 장면에서 심각한 아티팩트, 의도하지 않은 객체 변경, 또는 물리적으로 불가능한 상호작용(예: 접촉 없는 파지)을 생성한 반면, GeniWorld는 명령된 로봇 모션을 보존하고 실제 값과 밀접하게 일치하는 상호작용 결과를 생성했습니다.

2. 정책 평가 신뢰성

• 상관관계: 다운스트림 정책($\pi_0$ VLA 모델에서 미세 조정됨)을 평가할 때, GeniWorld는 시뮬레이션 성공률과 실제 세계 성능 사이에 강한 양의 상관관계를 보여주었습니다.
• 견고성: 시각적 방해 요소가 있는 상황에서도 정확한 상호작용을 생성하지 못하는 베이스라인들과 달리, GeniWorld는 견고함을 유지하여 정책 선택을 위한 신뢰할 수 있는 오프라인 평가기로서 기능했습니다.

3. 정책 개선을 위한 데이터 합성

• 설정: 정책은 제한된 실제 데이터(태스크당 25개의 데모)로 학습되었으며, GeniWorld가 생성한 합성 데이터로 증강되었습니다.
• 결과:
  • 공간적 일반화: 공간적으로 무작위화된 합성 데이터를 추가했을 때, 공간 재배치 태스크의 성공률이 37.5%에서 62.5%로 향상되었습니다.
  • 다양한 조건: 다양한 장면 변형(방해 요소, 새로운 객체, 조명 변화)이 포함된 데이터를 추가하여 성능을 더욱 개선했습니다.
  • 결합 효과: 실제 데이터, 공간적 일반화, 그리고 다양한 합성을 결합한 결과, 도전적인 OOD 조건에서의 전체 성공률이 40.8%(실제 데이터만 사용 시)에서 **69.0%**로 증가했습니다.

의의 및 주장

본 논문은 GeniWorld가 물리적 데이터 수집의 막대한 비용 없이 다양한 실제 환경으로 로봇 학습을 확장하는 데 있어 핵심적인 병목 현상을 해결한다고 주장합니다. 시각적 행동 조건화를 통해 로봇의 운동학을 환경 역학으로부터 분리함으로써, GeniWorld는 다음을 달old합니다:

• 제로샷 일반화(Zero-Shot Generalization): 제한된 고정 장면 데이터로만 학습되었음에도 불구하고, 고도로 무작위화된 미지의 환경에서 작동하는 능력.
• 확장 가능한 상상(Scalable Imagination): 다운스트림 정책을 개선하기 위해 풍부하고 다양한 조작 궤적을 합성할 수 있는 확장 가능한 "상상 공간"의 구축.
• 신뢰할 수 있는 평가: 실제 배포 전 환경적 섭동 하에서 로봇 정책을 평가할 수 있는 견고한 메커니즘.

저자들은 GeniWorld가 일반화 가능한 월드 모델이 고도로 정밀한 상상 공간을 제공하여, 데이터 부족 문제를 완화하고 복잡하고 구조화되지 않은 환경에서의 견고성을 향상시킬 수 있는 잠재력을 보여준다고 결론짓습니다.