Reverse-Time Diffusion Processes for Discrete Time Linear and Nonlinear Systems with non-Gaussian Noise

기술 요약: 이산 시간 선형 및 비선형 시스템에서의 비가우시안 노이즈를 갖는 역시간 확산 과정

문제 정의
생성형 AI, 특히 확산 기반 모델은 데이터를 노이즈로부터 생성하기 위해 순방향 확률 과정을 역전시키는 과정에 의존한다. 연속 시간 확산 모델은 확률 미분 방정식(SDE)을 통해 잘 이해되어 있는 반면, 실제 구현에 필수적인 이산 시간 대응 모델들은 역전을 위한 직접적인 이론적 프레임워크가 부족하다. 현재의 접근 방식들은 일반적으로 이산 과정을 연속 SDE의 극한으로 취하여 근사화하고, SDE를 역전시킨 뒤, 그 결과를 다시 이산화하는 방식을 취한다. 이러한 간접적인 "근사의 근사" 방식은 오차, 계산 부담, 그리고 잠재적 불안정성(예: 유계인 연속 솔루션이 유계되지 않은 이산 솔루션을 초래하는 문제)을 유발한다.

또한, 가우시안 입력과 상태를 갖는 선형 시변(LTV) 시스템에 대한 기존의 이산 시간 역전 이론은 비가우시안 초기 상태와 비선형 동역학을 포함하는 현대 생성형 AI 응용 분야에 적용하기에는 불충분하다. 본 논문이 다루는 핵심 문제는 연속 시간 근사에 의존하지 않고, 일반적인 비선형 시스템과 비가우시안 노이즈에 대해 직접적인 역시간 이산 시간 확산 과정을 찾는 직접적인 이론을 개발하는 것이다.

방법론
본 논문은 다음과 같이 정의된 순방향 이산 시간 확산 과정을 직접 역전시키는 엄격한 프레임워크를 구축한다:
$$x_{k+1} = f_k(x_k, u_k)$$
여기서 $x_k \in \mathbb{R}^n$은 상태, $u_k \in \mathbb{R}^m$은 백색(white), 비가우시안 프로세스 노이즈 시퀀스이며, $f_k$는 연속 미분 가능한 비선선형 함수이다. 목표는 다음과 같은 역방향 과정(reverse-time process)을 구성하는 것이다:
$$x_k = a_{k+1}(x_{k+1}, v_{k+1})$$
그리고 역방향 노이즈 시퀀스 $v_k = h_k(x_k, u_{k-1})$를 정의한다. 이때 다음 조건들을 만족해야 한다:

1. 순방향 변수 $(x_k, u_k)$와 역방향 변수 $(x_{k+1}, v_{k+1})$ 사이의 매핑은 전단사(bijection)이다.
2. 역방향 노이즈 $v_k$는 백색(white)이다(시간에 따라 결합 독립적이다).
3. 역방향 노이즈 $v_k$는 모든 $i \geq k$에 대하여 상태 $x_i$와 독립이다.

방법론은 다음과 같은 몇 가지 주요 이론적 단계를 거친다:

• 독립성 조건: 저자들은 역방향 노이즈 $v_{k+1}$과 상태 $x_{k+1}$의 독립성을 위한 필요충분조건을 도출한다. 이 조건은 노이즈 변환 함수 $h$의 조건부 특성 함수를 통해 표현된다. 구체적으로, $v_{k+1}$과 $x_{k+1}$은 $E[e^{j\omega^T h(x, u)} | x]$가 $x$에 대해 함수적으로 독립할 때에만 독립이다.
• 전단사 및 구성: 역방향 과정이 순방향 과정과 동일한 샘플 경로를 생성하도록 보장하기 위해, 본 논문은 암묵 함수 정리(implicit function theorem)를 활용한다. 저자들은 조건부 누적 분포 함수(CDF)를 사용하여 유효한 노이즈 변환 함수 $h_k$의 가계(family)를 구성한다. 구체적으로, 로젠블랫 변환(Rosenblatt transform)이 사용되며, 여기서 $v_{k+1}$의 성분들은 상태에 대한 순방향 노이즈 성분들의 조건부 CDF로 정의된다. 이는 $v_{k+1}$이 $[0, 1]^m$ 상에서 균등 분포를 따르고 $x_{k+1}$과 독립임을 보장한다.
• 입력 아핀(Input-Affine) 분석: 본 논문은 순방향 과정이 선형($x_{k+1} = F_k x_k + G_k u_k$)이고 노이즈가 가우시안인 특정 사례를 조사한다. 저자들은 역방향 모델이 "입력 아핀"(즉, 역방향 노이즈에 대해 아핀인 형태)이 되기 위한 필요충분조건을 확립한다. 이를 위해서는 노이즈 변환 함수가 순방향 노이즈에 대해 아핀이어야 한다.

주요 결과

1. 일반 역 확산의 존재성: 본 논문은 광범위한 비선형, 비가우시안 시스템에 대해 직접적인 역시간 이산 확산이 존재함을 증명한다. 또한, 연속 시간 근사를 거치지 않고도 요구되는 독립성과 백색성을 보장하면서 역방향 동역학 및 역방향 노이즈 시퀀스를 구성하는 명시적인 방법을 제공한다.
2. 비가우시안 상태에 대한 입력 아핀 역전의 부재: 중요한 이론적 발견은, 가우시안 노이즈를 갖는 선형 순방향 과정의 경우, 초기 상태가 비가우시안이라면 입력 아핀 역방향 모델(역방향 상태가 역방향 노이즈의 아핀 함수인 모델)이 일반적으로 존재하지 않는다는 것이다.
   • 스칼라 케이스의 경우, 본 논문은 만약 입력 아핀 역방향 모델이 존재한다면 초기 상태는 반드시 가우시안이어야 함을 증명한다.
   • 벡터 케이스의 경우, 광범위한 비가우시안 초기 상태 밀도(가우시안 혼합 분포 포함)에 대해 역방향 모델은 아핀이 될 수 없다. 이는 역방향 모델이 종종 선형 또는 아핀이라고 가정되는 연속 시간 SDE 이론과 극명하게 대조된다.
3. 기존 결과의 회복: 초기 상태와 노이즈가 모두 가우시안인 경우, 도출된 이론은 선형 가우시안 시스템에 대한 기존 결과(예: [13])를 회복하며, 이를 통해 새로운 프레임워크의 타당성을 확인한다.
4. 가우시안 혼합 밀도: 본 논문은 상태 밀도가 가우시안 혼합(많은 분포를 근사하는 방식)으로 모델링될 때, 순방향 과정이 선형이고 노이즈가 가우시안이라 하더라도 역방향 확산은 본질적으로 비선형이며 비아핀(non-affine)임을 강조한다.

의의 및 주장
본 논문은 연속 시간 근사의 한계를 우회하여, 비가우시안 상태와 노이즈를 갖는 이산 시간 확률 차분 방정식을 직접 역전시키기 위한 최초의 직접 이론을 제공한다고 주장한다. 주요 기여는 다음과 같다:

• 이론적 토대: 직접적인 이산 시간 역전을 위한 수학적 프레임워크를 제공함으로써, "간접적 접근" 방식의 문제점인 오차 누적 및 계산 비용 문제를 해결하여 문헌의 공백을 메운다.
• 일반성: 본 이론은 실제 생성형 AI 응용 분야에서 매우 중요한 비선형 시변 시스템과 비가우시안 분포에 적용 가능하다. 초기 데이터 분포는 거의 가우시안이 아니기 때문이다.
• 근본적 한계: 저자들은 이산 시간과 연속 시간 역전 사이의 근본적인 차이를 엄격하게 입증한다. 즉, 역방향 모델이 입력 아핀이라는 가정은 광범위한 비가우시안 초기 상태에 대해 유효하지 않다. 이는 연속 시간 근만에 의존하는 현재의 생성형 AI 관행에서 간과되기 쉬운 부분이며, 선형 순방향 과정에 대해서도 역방향 모델이 본질적으로 비선형 구조를 필요로 할 수 있음을 시사한다.
• 구성적 접근: 조건부 CDF를 사용하여 역방향 노이즈와 동역학을 구성하는 명시적인 공식을 제공함으로써, 이산 시간에 이론적으로 근거한 생성 모델을 설계할 수 있는 경로를 제시한다.

저자들은 일반적인 경우에 역방향 모델이 존재하기는 하지만, 역방향 과정의 구체적인 구조(예: 입력 아핀 여부)는 초기 상태 분포에 의해 크게 제약받는다는 점을 결론짓는다. 이는 연속 시간 근만에 의존하는 현재의 생성형 AI 관행에서 자주 간과되는 미묘한 차이이다.