기술 요약: 로봇 계획을 위한 구조화된 4D 잠재 예측 모델 (Structured 4D Latent Predictive Model)

문제 정의

현재의 로보틱스 계획 패러다임은 일반화와 공간 추론 측면에서 상당한 한계에 직면해 있다. 관측값을 행동으로 직접 매핑하는 엔드 투 엔드(end-to-end) 정책 기반 에이전트는 특정 환경 내에서는 잘 작동하지만, 조명 변화, 시점 변화 또는 작업 구성의 변화와 같은 분포 변화(distribution shifts)에 취약하다. 반대로, 장기 계획(long-horizon planning)을 위한 유망한 대안으로 부상한 비디오 기반 예측 모델은 본질적으로 2D 픽셀 공간에서 작동한다. 이러한 2D의 특성은 실제 3D 세계와의 물리적 불일치를 초래하며, 결과적으로 정확한 공간 이해와 다중 뷰 일관성(multi-view coherence)의 결여로 이어진다. 3D 단서(예: RGB와 함께 깊이 및 법선 벡터 예측)를 통합하려는 기존의 시도들은 종ed종 표면적인 투영에 머물러 있어, 폐쇄(occlusion)나 시점 변화에 취약하다. 전통적인 3D 표현 방식(포인트 클라우드, 메쉬)은 의미론적 이해에 필요한 풍부한 시각적 세부 사항이 부족하며, 광학적으로 사실적인 표현 방식(NeRF, 3D Gaussian Splatting)은 계산 집약적이고 동적인 모델링이 어렵다. 본 연구가 해결하고자 하는 핵심 과제는 정밀하고 3D 일관성이 있는 로봇 계획을 가능하게 하기 위해, 세계의 동적인 3D 구조를 본질적으로 시뮬레이션하는 모델을 구축하는 것이다.

방법론

1. 구조화된 3D 잠재 표현 (Structured 3D Latent Representation)

저자들은 픽셀 공간이 아닌 구조화된 잠재 공간에서 작동하는 구조화된 4D 잠재 예측 모델을 제안한다.

• 표현 (Representation): 장면은 **희소 복셀 그리드(sparse voxel grids)**의 시퀀스로 인코딩된다. 각 활성 복셀 $p_i$는 국부적 기하 구조와 색상을 인코딩하는 압축된 특징 벡터 $f_i$를 보유한다. 이는 $64^3$개의 요소를 필요로 하는 밀집 그리드와 비교하여, 약 8,000개의 8차원 특징을 가진 활성 복셀을 사용하여 구조적 정보와 잠재 압축 사이의 균형을 맞춘다.
• 인코딩 (Encoding): 다중 뷰 RGB-D 관측값은 카메라 기하학을 사용하여 역투영(unproject)되어 3D 포인트 클라우드를 형성하고, 이후 복셀화된다. 사전 학습된 DINOv2 인코더는 이미지에서 패치 수준의 임베딩을 추출하며, 이는 역투영되어 복셀 그리드에 평균화됨으로써 구조화된 3D 잠재 상태 $z_t$를 생성한다.
• 디코딩 (Decoding): 잠재 디코더는 복셀 특징을 3D 가우시안(Gaussians) 집합으로 매핑한다. 이 가우시안들은 임의의 시점에서 이미지로 렌더링되거나 명시적인 포인트 클라우드로 변환될 수 있어, 원시 시각적 인지와 내부 3D 상태 사이를 연결한다.

2. 예측 모델 아키텍처

모델은 현재 상태 $z_t$와 텍스트 지시문 $c$에 조건화되어 3D 장면의 진화($z_{t+1}, \dots, z_{t+T}$)를 예측한다. 이는 두 단계 파이프라인을 채택한다:

• 단일 역학 모델 (Single Dynamics Model, SD): 거친 기하학적 변화에 집중한다. 트랜스포머 백본을 사용하는 조건부 플로우 매칭(conditional flow matching)을 통해 다음 상태의 희소 복셀 위치를 예측한다. 이는 현재의 잠재 상태와 텍스트 지시문을 입력으로 받는다.
• 잠재 생성기 (Latent Generator, LG): 외관과 시각적 세부 사항에 집중한다. SD가 예측한 복셀 위치를 바탕으로, LG는 플로우 매칭 프레임워크를 사용하여 해당 복셀들의 특징 벡터를 채운다.
• 학습 (Training): 두 구성 요소는 독립적으로 조건부 플로우 매칭 모델로서 학습된다. 학습 목적 함수는 깨끗한 데이터와 가우시안 노이즈 사이의 보간 과정에서 예측된 속도장(velocity field)과 실제 노이즈 벡터 사이의 거리를 최소화한다.

3. 계획 파이프라인 (Planning Pipeline)

예측 모델은 고수준 플래너 역할을 수행하며, 생성된 미래 3D 상태는 **목표 조건부 역학 모듈(Goal-Conditioned Inverse Dynamics Module)**을 통해 실행 가능한 행동으로 변환된다:

• 잠재 상태에서 행동으로 (Latent to Action): 모델은 일련의 잠재 하위 목표(subgoals)를 예측한다. 역학 모듈은 현재 상태와 다음 하위 목표를 매핑하여 짧은 호흡의 행동 청크(joint positions)를 생성한다.
• 구현 옵션:
  1. 학습된 역학 (Learned Inverse Dynamics): 잠재 상태를 포인트 클라우드로 디코딩하고, 이를 피라미드 컨볼루션 백본으로 인코딩한 뒤, 디퓨전 헤드를 사용하여 행동을 예측한다.
  2. 학습 불필요 포즈 추정 (Learning-Free Pose Estimation): 예측된 하위 목표를 포인트 클라우드로 디코딩하고, FPFH, RANSAC, ICP를 사용하여 로봇 그리퍼 템플릿을 예측된 그리퍼 기하 구조에 정렬하는 강체 변환(rigid transformation)을 추정한 뒤, 타겟 포즈를 모션 플래너에 전달한다.
• 실행 (Execution): 시스템은 오픈 루프(예측된 행동 실행) 또는 클로즈 루프(새로운 관측에 기반하여 매 단계 재계획)로 작동할 수 있다.

주요 기여

1. 구조화된 4D 잠재 예측 모델: 2D 픽셀 공간이 아닌 구조화된 잠재 공간에서 작동함으로써 뛰어난 시각적 품질, 3D 일관성, 견고한 시점 일반화를 달성하는, 관측값과 텍스트에 조건화된 미래 3D 구조를 예측하는 새로운 모델을 제시한다.
2. 계획 프레임워크: 상세한 3D 예측을 역학 모듈을 위한 기하학적으로 풍부한 목표로 활용하여, 정밀하고 공간 인지적인 조작을 가능하게 하는 프레임워크를 제공한다.
3. 경험적 우월성: 생성 품질(generation quality)과 다운스트림 로봇 작업 성능 모두에서 UniPi, TesserAct와 같은 최신 비디오 기반 플래너를 능가하는 성능을 입증하였으며, 시각적 변화에 대한 강력한 제로샷 일반화와 실제 플랫폼에서의 효과성을 보여주었다.

실험 결과

4D 생성 품질

• 지표: 이미지 품질(PSNR, SSIM, LPIPS)과 3D 일관성(Chamfer Distance, depth error, multi-view PSNR/SSIM/LPIPS)을 기준으로 평가하였다.
• 성능: 제안된 방법은 Wan-2.1, TesserAct, OpenSora-1.3와 같은 베이스라인 모델보다 우수한 3D 일관성과 다중 뷰 일관성을 달성했다. 예를 들어, Chamfer Distance에서 베이스라인들이 ~42-44를 기록할 때 제안 방법은 5.95를 기록했으며, 다중 뷰 cPSNR에서도 베이스라인의 ~16-17 대비 27.42를 달성했다.
• 시각적 충실도: 생성된 시퀀스는 여러 카메라 뷰에 걸쳐 시간적 일관성과 높은 시각적 충실도를 유지했다.

로봇 계획 성능

• 시뮬레이션 (ManiSkill3 & RLBench): StackCube, ToolPull, PegInsertion 등의 작업에서, 본 방법은 ManiSkill3에서 평균 **61.3%**의 성공률을 기록하며 UniPi(29.3%)와 TesserAct(24.7%)를 크게 앞질렀고, 특화된 모방 학습 정책에 근접하는 성능을 보였다. RLBench 작업에서는 75.3%의 평균 성공률을 기록하여 UniPi(55.0%) 및 TesserAct(61.7%)보다 높은 성능을 보였다.
• 제로샷 일반화: 모델은 보이지 않는 시각적 조건(조명 변화, 노이즈, 배경 변화)과 새로운 시점(최대 10° 회전)에 대해 견고함을 입증했다. 베이스라인들이 급격히 하락하는 상황(예: 조명 변화 시 DP는 7%까지 하락)에서도 78% 이상의 성공률을 유지했다.
• 실제 환경 검증: 50회의 에피소드로 진행된 실제 환경의 '바구니에 블록 넣기' 작업에서, 본 방법은 80%의 성공률을 달성하여 Diffusion Policy 베이스라인(62%)을 능가했다.

절제 연구 (Ablation Studies)

• 입력 표현: 디코딩된 포인트 클라우드가 원시 복셀이나 전체 3D 잠재 상태에 비해 기하학적 충실도와 계산 효율성 사이의 균형을 제공하여, 역학 모듈에 가장 효과적인 입력임을 확인했다.
• 시점 수: 더 많은 뷰(40개)로 학습하는 것이 3D 일관성을 향상시켰으나, 클로즈 루프 재계획을 사용할 경우 제한된 뷰(4개)만으로도 효과적이었으며, 이는 성공률을 크게 높이는 데 기여했다.

의의 및 주장

본 논문은 구조화된 4D 잠재 공간으로 이동함으로써, 기존의 2D 비디오 생성 기반 플래너들이 가진 본질적인 물리적 불일치와 공간 추론 능력의 결여를 극복할 수 있다고 주장한다. 본 연구의 의의는 다음과 같다:

• 통합적 3D 이해: 완전한 3D 장면 구조를 인코딩하고 예측함으로써 다중 뷰 일관성과 물리적 일관성을 보장한다.
• 일반화: 재학습 없이도 새로운 시각적 조건과 시점에 일반화할 수 있는 능력을 갖추었으며, 이는 실제 환경 배포를 위한 필수 요구 사항이다.
• 모듈형 계획: 예측 모델(계획)과 역학 모듈(제어)의 분리는 다양한 로봇 설정과 작업에 대한 유연한 통합 및 전이를 가능하게 한다.
• 실제 적용 가능성: 시뮬레이션에서 실제 로봇 플랫폼으로의 성공적인 전이는 복잡한 조작 작업에 대한 본 방법의 실용적 배포 가능성을 입증한다.

저자들은 현재 구현 방식이 초기 재구성을 위해 보정된 다중 뷰 입력을 가정하고 있다는 점을 언급하며, 이를 더 약한 조건의 입력 환경으로 확장하는 것이 향후 연구 과제임을 밝히고 있다.