기술 요약: 장기 계획을 위한 Coarse-to-Fine 구성적 확산 (CoFi)

문제 정의

확산 모델(Diffusion models)은 구조화된 데이터를 생성하는 데 탁월하지만, 일반적으로 단기 지평(short-horizon) 스케일에서 학습됩니다. 로봇의 장거리 항법, 파노라마 이미지 합성, 또는 긴 비디오 생성과 같은 많은 실제 작업들은 모델의 학습 스케일을 초과하는 출력을 요구합니다. 이러한 장기 지평 출력을 위해 모델을 직접 학습시키는 것은 데이터 부족과 시퀀스 길이 또는 공간적 범위에 따른 모델링 비용의 급격한 증가로 인해 실질적으로 불가능한 경우가 많습니다.

구성적 생성(Compositional generation)은 사전 학습된 단기 지평 프라이어(prior)로부터 중첩되는 국소적 계획들을 조립하여 하나의 장기 지표 출력으로 만드는 해결책을 제시합니다. 그러나 표준적인 구성적 접근 방식은 주로 국소적 일관성(인접한 국소 계획들 사이의 합의)을 강제할 뿐, 전역적 구조를 명시적으로 지정하지는 않습니다. 결과적으로, 국소적으로 호환되는 계획들이 타당한 전역 경로, 작업 시퀀스 또는 시간적 진화를 형성하지 못할 수 있습니다. 기존 방법들은 반복적인 국소 일관성 신호 전파나 추론 시 최적화(예: 반복 탐색 또는 인구 기반 프루닝)를 추가하여 전역적 일관성을 개선하려고 시도합니다. 이러한 절차들은 효과적이긴 하지만, 국소 계획의 수나 차원이 증가함에 따라 계산 비용이 매우 높아집니다.

방법론: Coarse-to-Fine 구성적 확산 (CoFi)

저자들은 전역 구조 형성과 국소 세부 사항 정제를 분리하는 추론 시 샘플러인 CoFi를 제안합니다. 반복적인 메시지 패싱이나 비용이 많이 드는 내부 루프 최적화에 의존하는 방법들과 달리, CoFi는 두 가지 별개의 단계로 작동합니다.

1. Coarse Global Scaffold Construction (조대 전역 스캐폴드 구축)

첫 번째 단계는 공유된 조대 구조를 중심으로 국소 노이즈 제거 추정치를 정렬하여 전역적 일관성을 확립하는 것을 목표로 합니다.

• Scaffold Alignment (스캐폴드 정렬): 각 노이즈 제거 단계 $t$에 대해, 이 방법은 각 국소 계획에 대한 "Tweedie 추정치" $\hat{X}^i_{0|t}$를 계산합니다. 전역적 정렬을 강제하기 위해, 이 방법은 국소 충실도와 공유된 전역 구성 요소 사이의 균형을 맞추는 단순화된 최적화 목적 함수를 해결합니다. 이는 각 국소 추정치가 공유된 스캐폴드 평균 $\bar{X}_{0|t}$를 향해 수축되는 폐쇄형 해(closed-form solution)를 산출합니다:
  $$\bar{X}^i_{0|t} = (1 - \lambda_t) \bar{X}_{0|t} + \lambda_t \hat{X}^i_{0|t}$$
  여기서 $\lambda_t$는 스케줄에 의존하는 계수로, 트레이드오프를 제어합니다. 확산 과정 초기에는 $\lambda_t$가 작아 국소 계획들이 전역 스캐폴드에 강력하게 정렬되도록 강제합니다. $t$가 감소함에 따라 $\lambda_t$가 증가하여 국소 세부 사항이 드러나도록 허용합니다.
• Guided Update (가이드 업데이트): 역방환 확산 단계는 전역적으로 일관되지만 국소적으로는 조대한 스캐폴드에 편향된 이 정렬된 추정치를 사용하여 업데이트됩니다:
  $$X^i_{t-1} = \text{DDIM}_\theta(\bar{X}^i_{0|t}, t) + \sigma_t \nabla \hat{r}_t(X^i_t, X^{i+1}_t)$$
  첫 번째 항은 전역적 정렬을 강제하고, 두 번째 항(국소 가이드)은 인접 세그먼트 간의 경계 일관성을 보장합니다.

2. Structure-Preserving Refinement (구조 보존 정제)

두 번째 단계는 확립된 전역 구조를 유지하면서 억제되었던 미세한 국소 세부 사항을 복원합니다.

• Re-noising (재노이징): 조대한 전역 계획 $Y^c_0$는 공유된 노이즈 실현을 사용하여 중간 노이즈 레벨 $t^*$까지 순방향으로 확산됩니다. 이는 매우 중요합니다. 국소 계획에 독립적인 노이즈를 적용하면 첫 번째 단계에서 달성한 정렬이 깨지게 됩니다.
  $$Y^r_{t^*} = \sqrt{\bar{\alpha}_{t^*}} Y^c_0 + \sqrt{1 - \bar{\alpha}_{t^*}} \epsilon$$
• Refinement (정제): $t^*$부터 샘플러는 동일한 사전 학습된 국소 프라이어와 국소 가이드를 사용하여 두 번째 역방환 확산 패스를 수행합니다. 이 단계는 전역 스캐폴드가 전체 구조를 고정하는 동안 고주파 국소 세부 사항과 질감을 복구합니다.

주요 기여

1. Decoupled Design (분리된 설계): CoFi는 전역 구조 형성과 국소 세부 사항 정제를 분리하여, 기존의 구성적 방법에서 사용되는 비용이 많이 드는 반복적 메시지 패싱이나 탐색 기반 최적화를 피합니다.
2. Shared Scaffold Mechanism (공유 스캐폴드 메커즘): 국소 추정치를 공유된 스캐폴드에 투영하는 조대 정렬 단계를 도입함으로써, 고차원 공간을 위해 설계하기 어려운 복잡한 보상 함수 없이도 장거리 일관성을 보장합니다.
3. Structure-Preserving Refinement (구조 보집 정제): 재노이징 단계에서 공유된 노이즈 실현을 사용하는 것은 정제된 국소 계획들이 동일한 전역 객체의 호환 가능한 뷰(view)로 남도록 보장하며, 장기 생성에서 흔히 발생하는 "드리프트(drift)" 현상을 방지합니다.
4. Efficiency (효율성): 이 방법은 내부 반복이나 인구 탐색에 의존하는 베이스라인들에 비해 훨씬 적은 수의 함수 평가(NFE)를 필요로 합니다.

실험 결과

저자들은 세 가지 도메인에서 CoFi를 평가했습니다: 장기 로봇 계획, 파노라마 이미지 생성, 그리고 장기 비디오 생성.

• 로봇 계획 (OGBench): 도전적인 "Giant" 및 "Scene-Play" 작업에서, CoFi는 이전 SOTA인 CDGS(각각 82% 및 51%)를 능가하여 96%(PointMaze-Giant) 및 63%(Scene-Play)의 성공률을 달s성했습니다. 스캐폴드 단계가 미로 형태의 궤적에서 장거리 불일치를 해결하는 데 결정적임이 밝혀졌습니다.
• 파노라마 이미지 생성: CoFi는 Multi-Diffusion, SyncDiffusion, CDGS와 같은 베이스라인들과 비교하여 모든 지표(Intra-LPIPS, Intra-Style loss, CLIP score)에서 가장 좋은 점수를 기록했습니다. 이는 더 안정적인 전역 스타일과 패치 경계 간의 급격한 전환이 적은 파노라마를 생성했습니다.
• 장기 비디오 생성: 50프레임 프라이어를 사용하여 273프레임 비디오를 생성할 때, CoFi는 대상 일관성(Subject consistency)을 개선(CDGS의 91.67 대비 94.11)하고 미적 품질을 높여 네이티브 단기 지평 생성의 품질에 근접했습니다. 이는 긴 시간적 지평 동안 대상 드리프트를 효과적으로 방지했습니다.
• 계산 효율성: CoFi는 CDGS에 비해 함수 평가(NFE) 횟수를 2~8배 감소시키면서도 샘플 품질을 유지하거나 향상시켰습니다. 이는 반복 탐색을 단일한 coarse-to-fine 패스로 대체했기 때문입니다.

의의 및 주장

본 논문은 CoFi가 기존 방법들의 계산 오버헤드 없이 국소 일관성과 전역적 일관성을 모두 만족하는 단순하고 효과적인 추론 시 샘플러를 제공한다고 주장합니다. 전역 스캐폴드 구축과 국소 정제를 분리함으로써, CoFi는 국소 일관성만으로는 타당한 전역 구조를 보장할 수 없다는 한계점을 해결합니다. 저자들은 이를 로보틱스, 비전, 비디오 생성 분야에서 단기 지평 프라이어를 장기 지평 작업으로 확장하기 위한 실용적인 대안으로 제시하며, 성능과 계산 비용 사이의 유리한 트레이드오프를 제공한다고 위치시킵니다.

저자들은 다음과 같은 한계점을 겸허히 언급했습니다: 출력의 품질은 사전 학습된 국소 프라이어의 표현력에 의해 제한되며, 하이퍼파라미터(스케줄 $\lambda_t$ 및 정제 깊이 $t^*$)는 도메인별 선택이 필요합니다. 또한, 현재의 합의 메커니즘은 모든 국소 계획에 균등한 가중치를 적용하는데, 이는 세그먼트마다 구조적 중요성이 다를 경우 최적이 아닐 수 있습니다.