기술 요약: 신뢰성 있는 장기 계획 강화를 위한 구성적 확산 정제

1. 문제 제기

확산 확률 모델은 실현 가능한 계획의 분포에서 직접 샘플링하는 법을 학습함으로써 궤적 계획에 강력한 프레임워크로 부상했습니다. 그러나 그 효과성은 가용한 훈련 데이터의 시야 (horizon) 에 본질적으로 제한을 받습니다. 모든 시작 - 목표 조합을 포괄하는 장기 시야의 데모를 수집하는 것은 과도하게 비용이 듭니다. 이를 해결하기 위해 구성적 접근법은 긴 궤적을 겹치는 짧은 시야의 세그먼트로 분해하고, 이를 단일 짧은 시야 확산 모델로 모델링한 뒤 추론 시에 이들의 스코어 함수를 구성합니다.

기존 구성적 방법 (예: GSC, CompDiffuser) 의 주요 실패 양상은 **모드 평균 (mode-averaging)**입니다. 지역적 계획 분포가 다중 모드일 때 (예: 로봇이 복도 교차로를 왼쪽이나 오른쪽으로 통과할 수 있는 경우), 인접한 세그먼트가 서로 호환되지 않는 모드에 독립적으로 종속될 수 있습니다. 겹치는 영역에서 인접 세그먼트의 노이즈 예측 (스코어) 을 평균화하는 표준 구성 전략은 이러한 호환되지 않는 모드들을 혼합합니다. 그 결과, 구성된 궤적은 실제 분포의 낮은 밀도 영역에 위치하게 되어, 지역적으로 실현 가능하지도 전역적으로 일관성도 없는 계획이 됩니다. 집단 기반 탐색 방법 (예: CDGS) 은 가지치기와 재샘플링을 통해 이를 완화하려 시도하지만, 추론 시 상당한 오버헤드를 발생시키며 확산 과정 자체를 유도하는 것이 아니라 사후 후보 선택에 의존합니다.

2. 방법론: 구성적 확산 정제 (RCD)

저자들은 추가적인 훈련이나 지역 확산 모델의 아키텍처 변경 없이 사전 훈련된 지역 모델들로부터만 유도된 두 가지 유도 신호를 결합하여, 구성적 샘플링을 고밀도 전역 일관성 계획으로 유도하는 훈련 없는 유도 방법인 **구성적 확산 정제 (Refining Compositional Diffusion, RCD)**를 제안합니다. RCD 는 다음과 같이 작동합니다:

A. 밀도 프록시로서의 자기 재구성 오차

RCD 는 데이터 매니폴드의 고밀도 영역에 있는 샘플이 노이즈 - 탈노이즈 사이클을 통해 충실히 재구성되는 반면, 매니폴드 밖의 샘플 (모드 평균 아티팩트 포함) 은 큰 재구성 오차를 보인다는 관찰을 활용합니다.

• 메커니즘: 후보 클린 궤적 $\hat{\tau}_0$ (Tweedie 추정을 통해 획득) 이 주어지면, 이 방법을 프로브 시간 단계 $s$에서 노이즈로 교란시키고 지역 확산 모델을 사용하여 재구성합니다.
• 이론적 기반: 자기 재구성 오차 ($E_{recon}$) 는 지역 로그 밀도에 대한 미분 가능한 프록시임이 입증되었습니다. 공식적으로, 프로브 시간 단계에 걸친 재구성 오차의 가중 합은 구성된 분포의 음의 증거 하한 (ELBO) 에 대한 상한을 제공합니다. 이 오차를 최소화하는 것은 샘플링을 고밀도 영역으로 유도합니다.

B. 겹침 일관성 항

재구성 오차는 전역 충실도를 포착하지만, 세그먼트 경계에서의 지역적 불일치는 놓칠 수 있습니다.

• 메커니즘: RCD 는 인접 세그먼트가 공유하는 경계 변수에서 스코어 불일치를 패널티로 부과하는 겹침 일관성 항 ($E_{ov}$) 을 도입합니다.
• 이론적 기반: 구성적 확산에 사용되는 Bethe 근사 프레임워크에서, 주변 일관성은 인접 세그먼트가 겹치는 영역에서 동일한 스코어를 생성해야 함을 요구합니다. $E_{ov}$는 겹침 영역으로 제한된 인접 세그먼트의 Tweedie 추정치 간의 제곱 차이를 측정합니다. 이 항을 최소화하는 것은 일관된 전역 계획을 위해 필요한 주변 일관성을 강제합니다.

C. 유도 목적 함수

결합된 유도 목적 함수는 다음과 같이 정의됩니다:
$$E_{RCD}(\hat{\tau}_0; s) := E_{recon}(\hat{\tau}_0; s) + \lambda_{ov} E_{ov}(\hat{y}_{1:M})$$
여기서 $\lambda_{ov}$는 겹침 일관성에 가중치를 부여합니다. 역확산 과정에서, 이 목적 함수의 노이즈 샘플에 대한 기울기를 계산하여 표준 역단계에 보정값으로 적용합니다. 이는 샘플링을 고밀도 전역 일관성 계획에 집중되는 기울어진 분포로 유도합니다.

3. 주요 기여

1. 이론적 분석: 이 논문은 구성된 궤적의 자기 재구성 오차와 확산 증거 하한 (ELBO) 간의 공식적 연결을 확립하여, 재구성 오차를 밀도 프록시로 사용하는 것에 대한 원칙적인 정당성을 제공합니다. 또한 겹침 일관성 항이 Bethe 주변 일관성의 직접적인 위반인 스코어 불일치를 측정함을 입증합니다.
2. 알고리즘 제안: 저자들은 플러그 앤 플레이 방식의 훈련 없는 유도 방법인 RCD 를 소개합니다. 이는 사전 훈련된 지역 확산 모델만을 사용하여 구성적 샘플링을 유도하는 결합 신호 (재구성 오차 + 겹침 일관성) 를 생성하며, 집단 기반 탐색의 오버헤드 없이 모드 평균을 효과적으로 완화합니다.
3. 실증적 검증: RCD 는 보행 (PointMaze, AntMaze, HumanoidMaze), 물체 조작 (Cube, AntSoccer), 픽셀 기반 관찰 (Visual AntMaze) 을 포함한 다양한 장기 작업을 포괄하는 OGBench 벤치마크에서 평가되었습니다.

4. 실험 결과

• 계획 실현 가능성: AntMaze-Giant-Stitch 환경의 시각적 분석에서, RCD 는 물리적으로 실현 가능한 계획 (벽 침투 방지) 을 생성하는 데 있어 CompDiffuser 와 CDGS 를 크게 능가합니다. CompDiffuser 는 모드 평균으로 인해 유효율이 15% 로 낮아지는 반면, RCD 는 모든 작업에서 85-100% 이상의 유효율을 유지합니다.
• 성공률: RCD 는 모든 OGBench 작업에서 일관되게 가장 높은 성공률을 달성합니다. 특히 계획 시야가 훈련 데이터를 훨씬 초과하는 가장 까다로운 "Giant" 미로 작업에서 RCD 는 거의 완벽한 성공 (예: PointMaze-Giant 에서 100%, AntMaze-Giant 에서 89%) 을 달성하여, 표준 구성적 방법과 CDGS 와 같은 탐색 기반 대안 모두를 능가합니다.
• 효율성: RCD 는 탐색 기반 베이스라인보다 훨씬 빠릅니다. 반복적인 재샘플링과 가지치기가 필요한 CDGS 보다 한 자릿수 (order of magnitude) 더 빠르며, RCD 가 각 탈노이즈 단계에서 단일 배치 호출로 모든 세그먼트를 평가하기 때문에 CompDiffuser 의 자기회귀 양방향 조건부 처리보다도 빠릅니다.
• 절대 실험 (Ablation Studies): 실험은 자기 재구성 오차와 겹침 일관성 항이 상호 보완적임을 확인시켜 줍니다. 자기 재구성 오차만으로도 상당한 개선을 제공하지만, 겹침 일관성을 추가하면 AntMaze-Giant 와 같은 복잡한 환경에서 특히 성능이 더욱 향상됩니다.

5. 중요성과 주장

이 논문은 RCD 가 사후 후보 필터링이 아닌 탈노이즈 과정을 직접 정제함으로써 구성적 확산 계획의 지배적인 실패 양상인 모드 평균을 해결한다고 주장합니다. 사전 훈련된 모델의 고유한 밀도 신호 (자기 재구성을 통해) 를 활용하고 경계 일관성을 강제함으로써, RCD 는 추가 훈련 데이터나 모델 재훈련 없이 신뢰성 있는 장기 계획을 가능하게 합니다.

저자들은 RCD 를 확산 모델을 위한 범용 플러그 앤 플레이 구성 요소로 위치시킵니다. 이 방법은 계획 시야가 임의로 길고 지역 분포가 다중 모드인 시나리오에서도 높은 성공률과 물리적 실현 가능성을 유지할 수 있다는 점에서 특히 중요합니다. 이는 집단 기반 탐색 방법보다 계산 효율성이 우수합니다. 이 연구는 외부 탐색이나 후처리에 의존하는 것보다 고유한 모델 신호를 통해 샘플링 궤적을 정제하는 것이 구성적 계획에 더 효과적인 전략임을 시사합니다.