기술 요약: 잠재 과정 생성기 매칭

문제 정의

생성 모델링, 특히 흐름 매칭 (flow matching) 및 확산 프레임워크 내의 최근 발전은 훈련 중 보조 확률 역학에 자주 의존합니다. 이러한 접근법에서는 조건부 목표를 정의하기 위해 확장된 상태 공간 $\mathcal{X} \times \mathcal{Z}$ 위에 마르코프 과정을 구성합니다. 그러나 생성 시에는 관찰된 공간 $\mathcal{X}$에서만 과정을 시뮬레이션하는 것이 목표이며, 이때의 1 시점 주변분 (one-time marginals) 은 결합 과정의 사영 (projection) 과 일치해야 합니다.

기존 문헌은 이러한'사영'문제를 사례별로 해결합니다.Edit Flows[Havasi 등, 2025], OneFlow[Nguyen 등, 2025], Branching Flows[Billera 등, 2025b]와 같은 연구들은 이산 잠재 변수나 특정 확장 상태 구성에 대해 구체적인 사영 결과와 관련 손실 함수를 유도합니다. 이러한 기존 연구들의 중요한 한계는 이론적 보장이 종종 확장된 상태 공간의 이산 구성 요소에 대한 주변화에 국한된다는 점입니다. 관찰된 공간에서 학습된 생성기가 사영된 주변분을 올바르게 재현하도록 보장하면서, 풍부하고 시간에 의존적인 잠재 과정 (연속, 이산, 또는 다양체 값) 에 조건을 부여할 수 있는 일반적인 프레임워크는 부재합니다.

방법론

저자들은 **잠재 과정 생성기 매칭 (Latent Process Generator Matching)**을 소개합니다. 이는 임의의 상태 공간 $\mathcal{Y}$ 위에 정의된 다루기 쉬운 마르코프 과정 $Y_t$의 결정론적 이미지 $\Phi(Y_t)$로 관찰된 생성 상태 $X_t$를 형식화하는 일반적인 프레임워크입니다.

이론적 기반

핵심 이론적 기여는 **푸시포워드 콜모고로프 전진 방정식 (Pushforward Kolmogorov Forward Equation, KFE)**입니다. $(Y_t)_{0 \le t \le 1}$를 폴란드 공간 $\mathcal{Y}$ 위의 시간 비동질적 펠러 과정으로 하고, 그 무한소 생성자를 $W_t$라고 합시다. 가측 사상 $\Phi: \mathcal{Y} \to \mathcal{X}$가 주어졌을 때, 논문은 푸시포워드 과정 $X_t = \Phi(Y_t)$를 정의합니다.

저자들은 특정 정규성 및 적분 가능성 조건 (가정 A.15–A.18) 하에서 $\mathcal{X}$ 위의 펠러 과정의 생성자 $L_t$에 대한 선형 파라미터화를 학습할 수 있음을 증명합니다. 이때 학습된 과정의 1 시점 주변분은 사영된 과정 $(\Phi(Y_t))_{0 \le t \le 1}$의 주변분과 일치합니다. 주변 생성자는 리프트된 생성자의 조건부 기댓값으로 정의됩니다:
$$L_t f(x_t) := \mathbb{E}[W_t(f \circ \Phi)(Y_t) \mid \Phi(Y_t) = x_t]$$
이 공식화는 정적 잠재 변수에 조건을 부여하는 표준 생성기 매칭 프레임워크를 잠재 확률 과정에 조건을 부여하는 것으로 일반화합니다.

훈련 목적

신경망 $F^\theta_t$를 훈련하여 주변 생성자를 근사하기 위해, 논문은 **잠재 과정 조건부 생성기 매칭 손실 ($\mathcal{L}_{cgm}$)**을 제안합니다. 다루기 힘든 주변 목표 $F_t(x_t)$를 요구하는 대신, 모델은 결합 과정 $Y_t$의 샘플에서 유도된 조건부 목표 $F^{y_t}_t(\Phi(y_t))$에 대해 훈련됩니다.

핵심 이론적 결과 (정리 3.12) 는 기울기 등식을 확립합니다:
$$\nabla_\theta \mathcal{L}_{cgm}(\theta) = \nabla_\theta \mathcal{L}_{gm}(\theta)$$
여기서 $\mathcal{L}_{gm}$은 다루기 힘든 목표에 의존하는 주변 손실입니다. 이 등식은 조건부 생성자가 선형 파라미터화를 허용하고 적분 가능성 조건이 충족될 때 성립합니다. 결과적으로, 잠재 역학을 포함하는 결합 과정 $Y_t$의 샘플로 훈련하는 것은 주변 과정으로 훈련할 때와 동일한 정상점을 회복하며, 이는 학습 과정에서 잠재 역학을 효과적으로 주변화합니다.

이 프레임워크는 과정이 정적 잠재 변수 (예: 끝점) 와 시간 의존적 잠재 과정 모두에 조건을 부여하는'이중 조건부 (double conditioning)'를 수용하여 다양한 기존 샘플링 절차를 통합합니다.

주요 기여

1. 생성기 매칭의 일반화: 논문은 생성기 매칭을 정적 잠재 변수에서 풍부한 시간 의존적 잠재 조건부 과정의 가족으로 확장합니다. 이는 $\mathcal{Y} = \mathcal{X} \times \mathcal{Z}$이고 $\Phi$가 사영인 경우로, 이전 이산 잠재 결과 (예: Edit Flows, Branching Flows) 를 특수한 경우로 포함합니다.
2. 푸시포워드 생성자 이론: 이는 사영된 과정 $\Phi(Y_t)$에 대한 생성자의 엄밀한 유도를 제공하며, 주변 생성자가 리프트된 생성자의 조건부 기댓값임을 보여줍니다. 이를 통해 생성 시 잠재 과정 $Z_t$의 복잡한 역학을 명시적으로 모델링하지 않고도 $\mathcal{X}$ 위의 생성 모델을 구축할 수 있습니다.
3. 유효한 손실 함수: 저자들은 확장된 상태 공간의 샘플을 사용하여 조건부 목표에 대해 훈련하는 것이 올바른 주변 생성자를 산출하는 데 필요한 충분 조건을 확립합니다. 이는 추론 시 폐기되더라도 훈련을 위한 보조 과정의 사용을 유효하게 합니다.
4. 비사영 푸시포워드: 이 프레임워크는 표준 사영에 국한되지 않습니다. 논문은 잠재 공간이 체인 수준의 강체 운동과 내부 유연성을 포함하여 관찰된 세계 좌표계 좌표로 매핑되는 단백질 구조 생성에 대한 비사영 응용을 개요로 제시합니다.

결과 및 예시

논문은 여러 예시를 통해 이론을 검증합니다:

• 정세 전환 확산 (Regime-Switching Diffusion): 연속 과정 $X_t$가 이산 잠재 과정 $Z_t \in \{-1, +1\}$와 함께 진화하는 1 차원 예시입니다. 조건부 경로는 $Z_t$에 따라 불연속적인 드리프트 변화를 보이지만, 주변 생성자는 표준 확산입니다. 조건부 손실을 사용하여 $X_t$만으로 훈련된 네트워크는 성공적으로 주변 역학을 학습하여 전환 행동을 효과적으로 통합합니다.
• 이전 연구의 회복: 이 프레임워크는 Edit Flows[Havasi 등, 2025] 및 Branching Flows[Billera 등, 2025b]의 특정 정리와 손실 함수를 부록으로 회복하여, 이러한 특정 이산 사례가 광범위한 잠재 과정 이론의 사례임을 보여줍니다.
• 정규성 위반: 논문은 $\Phi$의 매끄러움과 $Y_t$의 정규성이 항상 KFE 해의 유일성 (가정 A.19) 을 보장하기에 충분하지 않음을 보여주는 반례 (예시 3.15) 를 포함합니다. 이는 명시된 정규성 조건의 필요성을 강조합니다.

중요성 및 주장

이 논문은 종종 이산 잠재 구성 요소로 제한되거나 사례별로 유도되었던 기존 사영 결과의 제약을 제거하는 일반 프레임워크를 제공한다고 주장합니다. 다루기 쉬운 잠재 과정과 그 사영된 이미지 사이의 관계를 형식화함으로써, 이 연구는 일반 잠재 공간 (연속, 이산, 또는 다양체) 을 사용하여 광범위한 새로운 흐름 매칭 체계를 구축할 수 있게 합니다.

저자들은 이 접근법이 잠재 공간 내에서 서로 다른 역학 스케일 (예: 단백질의 체인 수준 대 잔기 수준) 의 분리를 허용하며, 모델은 최종 상태만 관찰한다고 강조합니다. 논문은 체인 수준의 강체 운동을 포함하는 단백질 구조 생성에 대한 특정 응용을 개요로 제시하지만, 이 특정 예시의 구현은 향후 작업으로 계획되어 있음을 명시합니다. 주요 기여는 잠재 확률 과정에 대한 생성기 매칭의 이론적 통합과 일반화에 남아 있습니다.