기술 요약: 강건한 확산 정책을 위한 콜모고로프 회귀 (Kolmogorov Regression)

문제 정의

유한 차원(FD) 확산 정책은 로보틱스 및 자율 시스템을 위한 시각-운동 정책 학습에서 지배적이지만, 이산화 아티팩트(discretization artifacts)로 인한 시간적 드리프트(temporal drift) 문제를 겪습니다. 표준적인 접근 방식은 훈련 전 단계에서 행동 공간을 이산화합니다(예: 연속적인 궤적을 픽셀이나 텍스트 토큰으로 매핑). 이러한 "확산 전 데이터 이산화" 방식은 정책을 기저의 연속적인 자율 시스템 역학(dynamics)과 정렬되지 않게 만듭니다. 그 결과 발생하는 그리드 아티팩트는 궤적 롤아웃 과정에서 보간 오차를 누적시켜 다음과 같은 문제를 야기합니다:

• 실세계의 안전 필수 배포에서의 불안정성.
• 장기 계획 실행 능력 저하.
• 행동 차원 $d$에 따라 $O(\sqrt{d})$로 저하되는 수렴 경계.
• 보상 신호에 의존하지 않는 결정론적 정책 실패 진단 기능의 부재.

본 논문은 원칙적인 제어 지향적 근사가 가능한 궤적에 대한 분포를 직접 함수 공간(function space) 상에서 표현해야 하며, 기하학적 역학 구조를 보존하기 위해 이산화를 최대한 늦추어야 한다고 주장합니다.

방법론

저자들은 가우시안 측도 이론(Gaussian measure theory)과 **역방향 콜모고로프 방정식(Backward Kolmogorov Equation, BKE)**에 기반한 무한 차원(Infinite-Dimensional, ID) 확산 프레임워크를 제안합니다. 이 방법은 유클리드 공간에서 확률적 스코어 매칭 목적 함수를 학습하는 대신, 확산 정책을 카메론-마틴 공간(Cameron-Martin space)(힐베르트 공간 $H = L^2([0, T], \mathbb{R}^{d_a})$의 부분 집합)으로 격상시킵니다.

핵심 혁신은 신경망 아키텍처의 변경 없이도 적용 가능한 세 가지 최소한의 치환을 통해 기존 DDPM 파이프라인을 대체하는 것입니다:

1. 컬러드 포워드 노이즈 (Colored Forward Noise):

   • 표준 백색 잡음 $\eta \sim \mathcal{N}(0, I)$를 컬러드 노이즈(colored noise) $\eta = L_N \xi$로 대체합니다. 여기서 $\xi \sim \mathcal{N}(0, I)$이며, $L_N = \text{chol}(G_N)$은 마테른 그람 행렬(Matérn Gram matrix)의 촐레스키 인자입니다.
   • 이는 행동 분포의 공분산 구조를 존중하여, 물리적으로 타당하고 매끄러운 궤적을 생성하며 급격한 속도 불연속성을 방지합니다.

2. 정밀도 가중 카메론-마틴 손실 (Precision-Weighted Cameron-Martin Loss):

   • 표준 평균 제곱 오차(MSE) 손실을 카메론-마틴 손실로 대체합니다:
     $$\mathcal{L}_{CM} = \mathbb{E} \left[ \| C_\mu^{-1/2} (\eta_\theta - \eta) \|_H^2 \right]$$
   • 여기서 $C_\mu$는 공분산 연산자입니다. 이 역공분산 가중치는 디노이징 손실이 (라돈-니코딤 정리(Radon-Nikodym theorem)를 통해) 기저 잡음 분포의 측도론적 구조를 보존하도록 보장하며, 차원에 독립적인 수렴을 달성합니다.

3. 컬러드 리버스 노이즈 (Colored Reverse Noise):

   • 추론 시, 훈련 시 사용된 것과 동일한 컬러드 노이즈 구조($\eta = L_N \xi$)를 사용하여 샘플링 궤적 전체에서 공분산 구조와의 일관성을 유지합니다.

이론적 기초: 역방향 콜모고로프 방정식 (BKE)

이 프레임워크는 (무한 차원에서는 르베그 기준 측도의 부재로 인해 실패하는) 밀도 기반 정식화를 피하고, 스코어를 카메론-마틴 로그 미분(logarithmic derivative)으로 정의합니다. 가치 함수 $u(x, s) = \mathbb{E}[f(X_t) | X_s = x]$는 결정론적 BKE를 만족합니다:
$$-\frac{\partial u}{\partial s} = \left\langle -\frac{1}{2}x, \nabla_x u \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2_x u]$$
이는 확률적 스코어 매칭 문제를 결정론적 경계값 PDE 문제로 변환합니다.

추론 시 진단: 콜모고로프 잔차 (Kolmogorov Residual)

새로운 기여는 오라클(oracle) 없이도 정책 실패를 감지할 수 있는 결정론적 신호인 **콜모고로프 잔차($R(\hat{u})$)**입니다. 이는 학습된 함수 $\hat{u}$가 BKE 제약을 위반하는 정도를 측정합니다:
$$R(\hat{u}) := \left\| \frac{\partial \hat{u}}{\partial s} + \left\langle -\frac{1}{2}x, \nabla_x \hat{u} \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2 \hat{u}] \right\|_H$$
높은 잔차는 학습된 함수가 BKE 제약에서 벗어났음을 나타내며, 이는 보상 신호나 정답(ground truth) 없이도 궤적 드리프트나 실행 불가능한 계획과 같은 하위 실패 모드와 상관관계를 가집니다.

주요 기여

1. 확산을 위한 콜모고로프 PDE: 확산 정책을 BKE에 기반하여 정립함으로써, 확률적 스코어 매칭을 결정론적 경계값 문제로 대체하여, 수렴 상수가 행동 차원이 아닌 커널의 **유효 랭크(effective rank)**에 의존하도록 합니다.
2. 3단계 알고리즘 구현: ID 프레임워크가 세 가지 치환(컬러드 노이즈, 정밀도 가중 손실, 컬러드 리버스 노이즈)으로 축소됨을 입증하여, 네트워크 아키텍처 변경 없이도 용이한 채택이 가능함을 보여줍니다.
3. 결정론적 실패 탐지: 해석 가능한 무감독 진단 도구로서 콜모고로프 잔차를 도입하여 정책의 신뢰성을 검증합니다.
4. 다중 도메인 검증: 로봇 조작 및 제조 흐름 제어 전반에 걸쳐 접근 방식을 검증합니다.

실험 결과

1. PushT 조작 벤치마크

• 성능: 카메론-마틴 손실은 최대 에피소드 보상에서 17%의 향상(MSE 대비 0.95 vs 0.78)을 달성했습니다.
• 궤적 품질: MSE 베이스라인 대비 추론 중 단계 간 드리프트(inter-step drifts)가 67.6% 감소했습니다.
• 진단: CM으로 훈련된 모델의 콜모고로프 잔차는 $\approx 0.11$이었던 반면(MSE는 $\approx 0.34$), 이는 BKE 제약과의 강력한 정렬을 보여줍니다. 높은 잔차는 작업 실패와 강한 상관관계를 보였습니다.

2. 제조 흐름 제어 (6-Station CONWIP)

• 예측: ID 모델은 고전적인 LSTM 베이스라인에 비해 재공품(WIP) 예측에서 28.4% 낮은 RMSE를 달성했습니다.
• 이상 탐지: 콜모고로프 잔차는 병목 구간 탐지기 역할을 수행하며, Precision@1 = 1.0과 **13배의 신호 대 잡음비(SNR)**를 기록했습니다(과부하된 스테이션 S2를 평균 잔차 13.05로 식별, 타 스테이션은 0.96).
• 안전 인증: **해밀턴-야코비(HJ) 도달 가능성 이론(reachability theory)**과 통합되어, 제어되지 않은 디스패치와 비교했을 때 데드락(deadlock) 이벤트를 96% 감소(100회 실행 중 351개 이벤트 방지)시키는 디스패치 정책을 인증했습니다.

의의 및 주장

본 논문은 확산 정책을 무한 차원 함수 공간으로 격상시키고 측도론에 기반함으로써, 이산 훈련 아티팩트와 연속적인 물리 역학 사이의 근본적인 불일치를 해결한다고 주장합니다.

• 수렴 보장: 이론적 경계는 수렴 속도가 문제의 차원이 아닌, 공분사 연산자의 스펙트럼 특성(유효 랭크)에 따라 결정됨을 보여줍니다.
• 해석 가능성: 프레임워크는 보상 신호 없이도 정책 실패를 감지하는 물리 기반 진단 도구인 콜모고로프 잔차를 제공하여, 블랙박스 학습과 안전 필수 검증 사이의 간극을 메웁니다.
• 운영적 우월성: 제조 분야에서, 이 방법은 함수 값 형태의 스테이션 간 결합을 포착함으로써 스칼라 기반 예측(LSTM)보다 우수한 성능을 보이며, HJ 도달 가능성을 통해 스타베이션(starvation)이나 데드락과 같은 운영 실패를 방지하는 인증된 안전 영역을 제공합니다.

저자들은 무한 차원 구조가 단순한 이론적 구성물이 아니라, 기저 역학이 함수 값 형태인 시스템에서 운영적으로 더 우월하며, 더 신뢰할 수 있고 해석 가능하며 안전한 확산 정책 배포를 위한 경로를 제시한다고 결론짓습니다.