Contractive Diffusion Policies: Robust Action Diffusion via Contractive Score-Based Sampling with Differential Equations

이 논문은 ICLR 2026에 게재된 **"Contractive Diffusion Policies (CDP, 수축성 확산 정책)"**에 대한 연구입니다. 이 연구는 오프라인 정책 학습 (Offline Policy Learning) 에서 확산 모델 (Diffusion Models) 의 한계를 해결하고, 특히 연속 제어 (Continuous Control) 환경에서의 안정성과 강건성을 향상시키는 새로운 방법을 제안합니다.

다음은 논문의 핵심 내용을 문제 정의, 방법론, 주요 기여, 실험 결과, 그리고 의의로 나누어 상세히 요약한 것입니다.

---

1. 문제 정의 (Problem)

확산 정책 (Diffusion Policies) 은 오프라인 강화학습 (RL) 및 모방 학습 (IL) 에서 강력한 성능을 보여주며, 특히 다중 모드 (Multimodal) 행동과 장기 계획 (Long-horizon) 을 학습하는 데 탁월합니다. 그러나 실제 로봇 제어 및 연속 제어 환경에서는 다음과 같은 심각한 문제점들이 존재합니다.

• 오차 누적 (Error Accumulation): 확산 모델은 노이즈가 제거되는 역방향 과정 (Reverse Process) 을 통해 행동을 생성합니다. 이 과정은 확률 미분 방정식 (SDE) 또는 상미분 방정식 (ODE) 솔버를 사용하여 이산적으로 근사됩니다. 이 과정에서 **스코어 매칭 오차 (Score-matching errors)**와 **솔버 이산화 오차 (Solver discretization errors)**가 발생합니다.
• 불일치 및 불안정성: 이미지 생성과 달리, 로봇 제어에서는 작은 행동의 편차도 시간이 지남에 따라 누적되어 정책이 데이터 분포에서 벗어나게 만들고 (Out-of-distribution), 실제 물리적 시스템에서는 실패나 안전 사고로 이어질 수 있습니다.
• 데이터 부족에 대한 취약성: 제한된 데이터셋 (Low-data regimes) 에서 학습된 스코어 함수의 정확도가 낮아지면, 위와 같은 오차들이 증폭되어 정책 성능이 급격히 저하됩니다.

2. 방법론 (Methodology)

저자들은 확산 샘플링 역학에 **수축성 (Contraction)**을 도입하여 위 문제들을 해결하는 **Contractive Diffusion Policies (CDP)**를 제안합니다.

2.1 수축성 이론의 적용

수축성 이론 (Contraction Theory) 은 미분 방정식의 해가 시간이 지남에 따라 서로 수렴하는지 여부를 다룹니다. CDP 는 확산 ODE 의 흐름이 서로 가까워지도록 유도하여 초기 조건 (노이즈 시드) 의 작은 교란이나 솔버 오차에 대해 시스템이 강건해지도록 설계합니다.

• 이론적 분석: 역방향 확산 ODE 의 자코비안 (Jacobian) 을 분석하여, 스코어 함수의 자코비안 ($J_{\epsilon_\theta}$) 이 특정 조건을 만족할 때 전체 시스템이 수축적임을 증명했습니다. 구체적으로, 스코어 자코비안의 대칭 부분의 최대 고유값 ($\lambda_{max}$) 이 드리프트 항에 의해 결정된 임계값보다 작아야 수축이 보장됩니다.
• 학습 레시피 (Training Recipe):
  1. 효율적인 고유값 계산: 직접적인 고유값 계산은 비용이 많이 들기 때문에, 파워 반복 (Power Iteration) 방법을 사용하여 가장 큰 고유값을 효율적으로 추정합니다.
  2. 수축 손실 함수 (Contraction Loss): 추정된 최대 고유값을 기반으로 손실 함수를 설계합니다. 이는 스코어 함수가 국소적으로 수축적이 되도록 페널티를 부과합니다.
     • $L_c(\theta) = \max(-\beta, \hat{\lambda}_{max} + f(t)h(t)^{-1})$
     • 또는 프로베니우스 노름 (Frobenius norm) 을 이용한 근사 방식을 사용합니다.
  3. 통합 학습: 기존 확산 정책 (예: EDP, DBC) 의 손실 함수에 수축 손실 항을 추가하여 학습합니다.
     • 총 손실: $L(\theta) = L_{diffusion} + \gamma L_{contraction}$
     • 여기서 $\gamma$는 수축 강도를 조절하는 하이퍼파라미터입니다.

이 방식은 기존 아키텍처를 거의 수정하지 않고도 구현 가능하며, 계산 비용도 낮습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 오프라인 학습을 위한 확산 정책에 수축성을 체계적으로 통합한 CDP를 최초로 제안했습니다.
2. 이론적 기반 및 실용적 가이드: 확산 ODE 의 수축성을 보장하는 수학적 조건을 증명하고, 이를 실제 모델에 적용하기 위한 효율적인 손실 함수 및 학습 전략을 제시했습니다.
3. 강건성 및 데이터 효율성 향상: 수축성이 솔버 오차와 스코어 매칭 오차를 억제하여, 특히 데이터가 부족한 상황 (Low-data regimes) 에서 기존 방법보다 우수한 성능을 발휘함을 입증했습니다.
4. 실제 로봇 적용: 시뮬레이션뿐만 아니라 실제 Franka 로봇 팔을 이용한 물리적 실험을 통해 CDP 의 유효성을 검증했습니다.

4. 실험 결과 (Results)

저자들은 D4RL (오프라인 RL), Robomimic (모방 학습), 그리고 실제 로봇 조작 태스크에서 광범위한 실험을 수행했습니다.

• 오프라인 RL (D4RL Benchmark):
  • HalfCheetah, Hopper, Walker2D, Kitchen, Antmaze 등 다양한 환경에서 CDP 는 기존 확산 기반 방법 (EDP, IDQL, DQL 등) 보다 평균적으로 더 높은 보상을 달성했습니다.
  • 특히 Medium-Replay나 Antmaze와 같이 데이터가 제한적이거나 복잡한 환경에서 성능 향상이 두드러졌습니다.
• 모방 학습 (Robomimic Benchmark):
  • Lift, Can, Square, Transport 태스크에서 CDP 는 기존 Diffusion Policy (DP) 및 DBC 보다 높은 성공률을 보였습니다.
  • 데이터 제한 실험: 전체 데이터의 10% 만을 사용하여 학습했을 때, CDP 는 베이스라인보다 압도적으로 좋은 성능을 보여주어 수축성이 스코어 매칭 오차를 완화한다는 가설을 뒷받침했습니다.
• 실제 로봇 실험 (Real-world):
  • Franka Panda 로봇을 사용하여 Slide, Stack, Peg, Lift 태스크를 수행했습니다.
  • 특히 정밀도가 요구되는 Peg (못 끼우기) 및 Slide 태스크에서 CDP 가 기존 DBC 보다 높은 성공률과 실행 시간을 기록하며, 실제 물리 환경에서의 안정성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 확산 모델이 가진 본질적인 불안정성 (솔버 오차, 이산화 오차) 을 **수축성 (Contraction)**이라는 동역학적 개념을 통해 해결한 획기적인 연구입니다.

• 안전한 로봇 제어: 로봇 제어와 같이 작은 오차도 치명적인 분야에서 확산 모델의 신뢰성을 크게 높였습니다.
• 데이터 효율성: 실제 로봇 학습에서 데이터 수집 비용이 높은 문제를 해결할 수 있는 잠재력을 보여주었습니다. 적은 데이터로도 안정적인 정책을 학습할 수 있게 되었습니다.
• 실용성: 복잡한 이론적 배경에도 불구하고, 하나의 하이퍼파라미터와 간단한 손실 함수 추가만으로 기존 모델에 쉽게 적용 가능하여 실제 산업 및 연구 현장에서의 활용도가 높습니다.

결론적으로, Contractive Diffusion Policies 는 오프라인 학습 기반의 로봇 제어 분야에서 확산 모델의 한계를 극복하고, 더 안전하고 효율적인 정책 학습을 가능하게 하는 중요한 진전입니다.