1. 문제 정의 (Problem)

로봇 조작 (Robotic Manipulation) 분야에서 동역학 모델 (시뮬레이터 또는 학습된 세계 모델) 은 핵심적인 역할을 해왔습니다. 그러나 기존 접근법들은 주로 예측 오차 최소화에 집중하여, 실제 세계 조작의 본질적인 특성인 **불확실성 (Uncertainty)**을 충분히 다루지 못했습니다.

실제 환경에서 발생하는 불확실성은 크게 세 가지 원천에서 기인하며, 기존 시스템은 이를 훈련 단계에서 도메인 랜덤화 (Domain Randomization) 등으로 처리하거나 잠재 공간에 숨겨두는 경향이 있어, 배포 시 명시적인 불확실성 구조가 손실됩니다.

1. 지각적 불확실성 (Perceptual): 노이즈가 있거나 지연된 관측치.
2. 매개변수 불확실성 (Parametric): 물리적 파라미터 (질량, 마찰 등) 의 부정확한 추정.
3. 구조적 불확실성 (Structural): 동역학 모델 자체의 불완전성.

기존 파이프라인은 이러한 불확실성들을 독립적으로 처리하여 오류가 누적되게 하거나, 단일 상태 예측만 제공하여 불확실성을 전파하고 제약하는 통합된 메커니즘이 부재했습니다.

2. 방법론 (Methodology)

저자들은 ManiDreams라는 오픈소스 모듈형 프레임워크를 제안합니다. 이는 "샘플링 - 예측 - 제약 (Sample-Predict-Constrain)" 패러다임을 구현하여, 불확실성을 표현, 전파, 제약하는 통합된 루프를 만듭니다.

핵심 아키텍처 (4 가지 컴포저블 추상화)

ManiDreams 는 OMPL 과 유사한 3 계층 구조를 가지며, 다음 4 가지 핵심 추상화를 통해 작동합니다.

1. 도메인 랜덤화 인스턴스 세트 (DRIS, Domain-Randomized Instance Set):

   • 단일 상태 점 (point estimate) 이 아닌, **분포 상태 (distributional state)**를 기본 단위로 사용합니다.
   • 물리적 파라미터 (질량, 마찰, 기하학적 형태 등) 가 랜덤화된 $m$개의 인스턴스 집합을 하나의 통일된 상태 ($D_t$) 로 표현하여 지각적 및 매개변수 불확실성을 포착합니다.
   • 관측치 (이미지, 포인트 클라우드 등) 와 분포적 컨텍스트를 함께 묶어 모달리티에 구애받지 않습니다.

2. 작업별 직관적 물리 (TSIP, Task-Specific Intuitive Physics):

   • DRIS 를 미래 상태로 전파하는 프론트엔드 인터페이스입니다.
   • 백엔드 중립성: GPU 기반 시뮬레이터 (ManiSkill3) 나 학습된 세계 모델 (Diffusion 모델 등) 등 어떤 동역학 백엔드든 표준화된 인터페이스를 통해 DRIS 를 예측할 수 있습니다. 이는 구조적 불확실성을 처리합니다.
   • $D_{t+1} = F(D_t, u_t)$ 형태로, 불확실성을 모델이 아닌 표현 (Representation) 에 담아 결정론적인 매핑으로 변환합니다.

3. 케ージ링 제약 (Caging Constraints):

   • DRIS 의 불확실성 확장을 작업 수준의 안전을 위해 경계 짓습니다.
   • 단일 구성에 대한 유효성 검사가 아닌, **분포의 확산 (spread)**을 논리합니다.
   • 기하학적, 궤적 기반, 픽셀 공간 기반 등 다양한 제약 조건을 정의할 수 있으며, 솔버가 이를 통해 유효한 행동을 필터링합니다.

4. 솔버 (Solver):

   • 샘플러 (정책, 가우시안 등) 가 제안한 $N$개의 후보 행동을 TSIP 를 통해 예측하고, 케ージ링 제약으로 평가/필터링하여 최적의 행동을 선택합니다.
   • 기존 정책을 재학습 없이도 "안전 필터"로 감싸서 사용할 수 있습니다.

실행 루프

• 계획 루프 (Planning Loop): 현재 DRIS 를 기반으로 후보 행동을 샘플링 $\rightarrow$ TSIP 로 예측 $\rightarrow$ 제약 조건 평가 $\rightarrow$ 최적 행동 선택.
• 실행 루프 (Execution Loop): 선택된 행동 블록을 실제 로봇이나 시뮬레이터에 실행하고, 새로운 관측치로 DRIS 를 업데이트하여 다음 주기로 전달합니다.

3. 주요 기여 (Key Contributions)

1. 플러그인 기반의 컴포저블 프레임워크: 샘플링 - 예측 - 제약 패러다임을 구현하는 오픈소스 모듈형 파이썬 프레임워크를 공개했습니다.
2. 통합 분포 동역학 (Unified Distributional Dynamics): DRIS, TSIP, 케ージ링을 표준 인터페이스로 통합하여 불확실성을 명시적으로 표현, 전파, 제약하는 체계를 제시했습니다.
3. 포괄적인 평가: 다양한 TSIP 백엔드, 솔버, 제약 조건 간의 호환성 입증, 3 가지 ManiSkill 태스크에서의 강건성 벤치마크, 런타임 분석, 그리고 실제 로봇 (Franka Panda) 을 통한 제로샷 시뮬레이션 - 현실 (Sim-to-Real) 전이를 성공적으로 수행했습니다.

4. 실험 결과 (Results)

• 강건성 (Robustness): ManiSkill3 의 PushCube, PickCube, PushT 태스크에서 관측 노이즈, 관측 지연, 물리 파라미터 변화 등 다양한 교란 (Perturbation) 하에서 기존 PPO 베이스라인보다 훨씬 우수한 성능을 보였습니다. 특히 중간 정도의 교란 수준에서 성능 차이가 두드러졌습니다.
• 컴포저빌리티 (Composability):
  • Pushing: 시뮬레이션 기반 TSIP 와 학습 기반 (Diffusion) TSIP 를 모두 성공적으로 적용.
  • Card Picking: 3D 기하학적 케ージ링과 MPPI 솔버를 사용하여 복잡한 3D 작업 수행.
  • Ball Catching: 사전 학습된 PPO 정책을 샘플러로 사용하여 동적 물체 포획 성공.
• 실제 로봇 배포: Franka Panda 로봇을 사용하여 혼잡한 환경에서의 물체 밀기/집기, 벽 모서리를 이용한 평평한 물체 퍼기 (Scooping) 작업을 성공적으로 수행했습니다. 추가적인 모델 미세 조정 (Fine-tuning) 없이 시뮬레이션에서 학습된 TSIP 와 DRIS 기반 계획이 실제 환경에서도 작동함을 입증했습니다.
• 성능 분석:
  • Ablation Study: DRIS 인스턴스 수 ($m$) 와 솔버 샘플 수 ($N$) 가 증가함에 따라 성공률이 향상되지만 일정 수준 ($m=16, N=16$) 이후 체감 효과가 줄어듦을 확인.
  • 런타임: 기본 PPO 실행 (20.2ms) 에 비해 계획 루프 추가 시 약 50~80ms 로 증가했으나, 일반적인 조작 작업 (10-20Hz) 에는 실용적인 수준이며, Diffusion 기반 TSIP 도 시뮬레이션 기반과 유사한 속도를 보임.

5. 의의 및 결론 (Significance)

ManiDreams 는 특정 태스크를 위한 최첨단 알고리즘을 제시하는 것을 넘어, 불확실성을 인식하는 로봇 조작을 실용화할 수 있는 모듈형 플랫폼을 제공합니다.

• 패러다임 전환: 불확실성을 훈련 시에만 처리하거나 억제하는 것이 아니라, 계획 루프 내에서 명시적인 분포 상태로 표현하고 제약하는 새로운 접근법을 제시했습니다.
• 유연성과 접근성: 시뮬레이터와 학습 모델, 다양한 제약 조건을 자유롭게 교체할 수 있어 연구자와 개발자가 다양한 시나리오에 쉽게 적용할 수 있습니다.
• 실용성: 실제 로봇에서의 성공적인 배포는 이 프레임워크가 이론적 모델을 넘어 실제 세계의 불확실성 (노이즈, 지연, 모델 오차) 을 효과적으로 처리할 수 있음을 증명합니다.

이 프레임워크는 향후 자동화된 DRIS 구성, 비전 - 언어 모델과의 통합, 잠재 세계 모델 확장 등을 통해 로봇 조작의 강건성을 더욱 높일 수 있는 기반이 될 것입니다.