Compositional Visual Planning via Inference-Time Diffusion Scaling

1. 문제 정의 (Problem Statement)

• 배경: 확산 모델 (Diffusion Models) 은 이미지, 비디오, 로봇 계획 생성에 탁월한 성능을 보이지만, 주로 짧은 시퀀스 (short clips) 로 훈련됩니다.
• 도전 과제:
  • 계산적 제약: 긴 시퀀스를 직접 생성하려면 메모리와 계산 비용이 시퀀스 길이에 따라 비효율적으로 증가합니다.
  • 데이터 부족: 긴 시간 범위의 훈련 데이터는 부족합니다.
  • 구성적 생성의 불안정성: 기존 방법 (DiffCollage 등) 은 짧은 세그먼트를 생성한 후 겹치는 영역을 평균화하거나 점수 (score) 를 합산하여 긴 계획을 구성합니다. 그러나 확산 과정의 중간 상태 (noisy intermediate states) 에서 이러한 구성적 가정 (factorization assumption) 이 깨지기 때문에, 전역적인 일관성이 부족하고 불안정한 계획이 생성되는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 **Tweedie 추정치 (Tweedie estimates)**를 기반으로 한 **인퍼런스 타임 메시지 전달 (Inference-time Message Passing)**을 통해 이 문제를 해결합니다.

2.1 핵심 통찰: 노이즈 상태가 아닌 청정 데이터에서의 구성

• 기존 방법들은 노이즈가 섞인 중간 상태 ($x_t$) 에서 분해된 확률 분포를 가정하고 이를 결합하려 했습니다. 하지만 저자들은 Noisy-Bethe Gap Theorem을 통해 확산 과정 중에는 이러한 분해 가정이 성립하지 않음을 증명했습니다.
• 대신, 확산 모델이 가장 신뢰할 수 있는 **청정 데이터 추정치 ($x_{0|t}$, Tweedie estimate)**에서 구성적 제약을 부과해야 전역적 일관성을 유지할 수 있음을 제안합니다.

2.2 체인 구조의 팩터 그래프 (Chain-structured Factor Graph)

• 장기 계획을 겹치는 비디오 청크 (chunks) 의 체인으로 모델링합니다.
• 팩터 (Factors): 사전 훈련된 짧은 시간 범위 확산 모델이 각 로컬 청크에 대한 사전 분포 (local priors) 를 제공합니다.
• 변수 (Variables): 시작점 (Start), 목표점 (Goal), 그리고 인접한 청크 간의 전이 경계 (Transition boundaries) 변수로 구성됩니다.
• 제약 조건: 시작과 목표는 고정되고, 인접한 청크의 경계 변수는 서로 일치해야 합니다 ($B_i x_i = A_{i+1} x_{i+1}$).

2.3 동시 및 비동기 메시지 전달 (Joint Synchronous & Asynchronous Message Passing)

경계 일치 (Boundary Agreement) 를 달성하기 위해 두 가지 메시지 전달 방식을 결합합니다:

1. 동시 메시지 전달 (Synchronous): 전체 체인을 가우스 선형 시스템으로 간주하여 경계 조건을 동시에 업데이트합니다. 병렬 처리가 가능하지만 수치적으로 불안정할 수 있습니다.
2. 비동기 메시지 전달 (Asynchronous): 시간 차분 (TD) 스타일의 업데이트를 사용하여 한쪽 방향 (앞/뒤) 으로 제약을 전파합니다. 더 빠르고 안정적이지만 약간의 편향이 있을 수 있습니다.

• 결합: 두 방식을 함께 사용하여 제약의 강성과 유연성을 균형 있게 조절합니다.

2.4 확산 구체 안내 (Diffusion-Sphere Guidance)

• 학습 없이 (Training-free) 경계 일치를 강제하면서도 샘플의 다양성을 유지하기 위해 Diffusion Sphere Guidance를 적용합니다.
• 무조건적 샘플링 방향과 손실 함수에 기반한 경사 하강 방향을 구면 (hypersphere) 제약 하에 보간하여, 경계 일치를 유지하면서 국소적인 샘플 품질을 보존합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크: 장기 계획을 비디오 세그먼트의 체인 구조 팩터 그래프로 모델링하고, 노이즈 상태가 아닌 Tweedie 추정치에서 경계 일치를 강제하는 최초의 확산 계획 프레임워크를 제시했습니다.
2. 학습 없는 확장 (Training-free Scaling): 추가적인 훈련, 미세 조정 (fine-tuning), 또는 태스크별 어댑터 없이, 기존 짧은 시간 범위 모델을 재사용하여 긴 시간 범위 계획을 생성할 수 있습니다.
3. 동시/비동기 메시지 전달 및 안내: 경계 일치를 유지하면서도 샘플의 다양성과 병렬성을 보장하는 새로운 메시지 전달 및 확산 구체 안내 기법을 개발했습니다.
4. 성능 검증: 기존 구성적 방법 (DiffCollage, GSC 등) 과 비교하여 시간적 일관성, 정적 품질, 그리고 **미리 보지 못한 시작 - 목표 조합 (Out-of-Distribution)**에서의 작업 성공률이 크게 향상되었음을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: ManiSkill 기반의 로봇 조작 시뮬레이션 (Tool-Use, Drawer, Cube, Puzzle 등 4 가지 장면) 에서 100 개의 태스크 (18 개 분포 내, 82 개 분포 외) 를 평가했습니다.
• 비디오 생성 품질:
  • 동적 품질 (Dynamic Quality): 모션 부드러움 (Motion Smoothness) 과 배경 일관성 (Background Consistency) 에서 기존 방법 (DiffCollage) 보다 훨씬 우수한 성능을 보였습니다.
  • 정적 품질 (Static Quality): 이미징 품질 (Imaging Quality) 에서 흐릿한 프레임이 줄어들고 선명도가 크게 개선되었습니다.
• 작업 성공률 (Success Rate):
  • 분포 내 (IND): 기존 최첨단 정책 학습 방법들과 유사하거나 더 높은 성공률을 기록했습니다.
  • 분포 외 (OOD): 기존 방법들은 성능이 급격히 떨어졌으나, 제안된 방법은 90% 이상의 높은 성공률을 유지하며 미시적 조합에 대한 강력한 일반화 능력을 입증했습니다. (예: Drawer 장면에서 OOD 성공률 52% vs DiffCollage 0%)
• 실제 로봇 적용: Franka Emika Panda 로봇을 이용한 실제 실험에서도 분포 내/외 태스크 모두에서 기존 방법 대비 압도적인 성공률 (예: 9/10, 7/10) 을 보였습니다.

5. 의의 및 결론 (Significance)

• 효율성과 확장성: 긴 시간 범위의 계획을 위해 모델을 다시 훈련할 필요 없이, 추론 단계에서 계산 자원 (Test-time compute) 을 늘려 성능을 확장할 수 있는 효율적인 방법을 제시했습니다.
• 안정성: 확산 과정의 노이즈로 인한 구성적 불안정성을 Tweedie 추정치 기반의 명시적 경계 제약을 통해 해결함으로써, 로봇 계획 분야에서 신뢰할 수 있는 장기 계획을 가능하게 했습니다.
• 범용성: 로봇 조작뿐만 아니라 파노라마 이미지 생성이나 장문의 텍스트 - 비디오 합성 등 다양한 도메인에 적용 가능한 일반적인 프레임워크를 제공합니다.

이 논문은 확산 모델의 장기 계획 능력을 획기적으로 개선하여, 복잡한 로봇 작업 수행을 위한 실용적인 솔루션을 제시했다는 점에서 중요한 의의를 가집니다.