Nonparametric undirected graphical model selection using diffusion models

기술 요약: 확산 모델을 이용한 비매개적 무방향 그래프 모델 선택

문제 정의
무방향 그래프 모델은 고차원 확률 변수들 사이의 조건부 독립 구조를 표현하기 위한 프레임워크를 제공한다. 모델 선택은 유전학, 신경과학, 금융 분야에서 응용되는 고차원 통계학의 핵심 문제이지만, 기존의 대부분의 방법론은 매개적 가정(예: 가우시안 그래피컬 모델 또는 이징 모델)에 의존한다. 이러한 방법들은 실제 분포가 가정된 매개적 형태에서 벗어날 경우 실패하는 경우가 많다. 비매개적 접근법들이 존재하지만, 이는 "차원의 저주"로 인한 밀도 추정의 어려움과 그래프 구조를 식별하기 위해 필요한 2차 미분(로그 밀도의 헤시안) 추정의 추가적인 복잡성 때문에 통계적으로 까다롭다. 즉, 식 $\frac{\partial^2 \log p_0}{\partial x_i \partial x_j} = 0 \iff (i, j) \notin E_0$를 통해 구조를 파악해야 한다.

방법론
저자들은 확산 모델(diffusion models)에 기반한 새로운 비매개적 무방향 그래프 모델 선택법을 제안한다. 이 방법은 확산 모델이 스코어 함수(score functions, 로그 밀도의 기울기)를 추정할 수 있으며, 차원의 저주를 온전히 겪지 않고도 저차원 구조에 적응할 수 있다는 점을 활용한다.

제안된 절차는 알고리즘 1에 요약되어 있으며, 다음과 같은 단계로 구성된다:

1. 스코어 함수 추정: 표준 확산 모델링 프레임워크(구체적으로는 디노이징 확산 확률 모델, DDPM)를 사용하여, 저자들은 $f_0(x, t) = \nabla \log p_t(x)$라는 스코어 함수 군을 추정한다. 여기서 $p_t$는 전방 확산 과정의 시간 $t$에서의 주변 밀도이다. 이는 관측된 데이터에 대한 스코어 매칭(score matching)을 통해 수행된다.
2. 트위디의 공식(Tweedie's Formula)을 통한 헤시안 추정: 직접적으로 추정된 스코어 함수의 미분을 수행하는 대신(이는 수치적으로 불안정하다), 이 방법은 2차 트위디 공식을 활용한다. 이 공식은 로그 밀도의 헤시안 $\nabla^2 \log p_t(x)$를 노이즈가 섞인 관측값 $X_t = x$가 주어졌을 때의 원본 데이터 $X_0$의 조건부 공분산과 연결한다:
   $$\nabla^2 \log p_t(x) = \sigma_t^{-4} \mu_t^2 \text{Cov}[X_0 | X_t = x] - \sigma_t^{-2} I_D$$
   여기서 $\mu_t$와 $\sigma_t$는 전방 오른슈타인-우렌벡(Ornstein-Uhlenbeck) 과정의 파라미터이다.
3. 그래프 복구: 이 방법은 역방향 확산 과정으로부터 몬테카를로 샘플링을 사용하여 조건부 공분산 $\text{Cov}[X_0 | X_t = x]$를 추정한다. 구체적으로, 고정된 시간 $t$와 무작위 벡터 $U_t$에 대해, 저자들은 추정된 헤시안 성분의 절대값의 경험적 기댓값 $E_n[|\hat{H}_{ij}(U_t, t)|]$을 계산한다.
4. 임계값 설정 및 클러스터링: 추정된 헤시안 성분의 평균 크기가 임계값 $\tau$를 초과하는 경우 에지(edge) $(i, j)$를 추정된 그래프에 포함시킨다. 실질적인 튜닝을 다루기 위해, 저자들은 여러 개의 작은 시간 단계 $t_1, \dots, t_M$에 걸쳐 정보를 집계하고, 에지와 비-에지를 구분하기 위해 표준화된 헤시안 값들에 K-평균(K-means) 클러스터링을 적용할 것을 제안한다.

주요 이론적 기여
본 논문은 완만한 정규성 조건(구체적으로 $\log p_0$가 횔더 클래스 $\mathcal{H}_{\beta, K}$에 속한다는 조건) 하에서 제안된 방법론에 대한 엄격한 이론적 보증을 확립한다:

• 감쇄율(Decay Rates): 저자들은 조건부 공분산 $\text{Cov}[X_{0,i}, X_{0,j} | X_t = x]$가 노드 간의 그래프 거리 $d(i, j)$에 따라 서로 다른 비율로 감쇄함을 증명한다. 에지($d(i, j)=1$)의 경우 공분산은 $O(t^2)$로 감쇄하는 반면, 비-에지($d(i, j) \ge 2$)의 경우 $O(t^{(\beta+2)\wedge 5/2})$로 더 빠르게 감쇄한다.
• 선택 일관성(Selection Consistency): 스코어 함수 추정량이 실제 스코어 함수로 수렴하는 속도가 $\epsilon_n$이라는 가정하에, 저자들은 잘못된 그래프 선택의 확률에 대한 비점근적 상한을 도출한다. 적절한 시간 파라미터 $t$와 임계값 $\tau$를 선택하면, 고정 차원 체제에서 이 추정량은 일관성(즉, $P(\hat{G}_{t, \tau} \neq G_0) = o(1)$)을 갖는다.
• 직접적인 헤시안 추정 회피: 확산 과정과 트위디 공식을 활용함으로써, 이 방법은 원래 분포 $p_0$의 로그 밀도에 대한 헤시안을 직접 추정해야 하는 통계적 부담을 피한다.

실험 결과
저자들은 광범의 시뮬레이션과 두 가지 실데이터 분석을 통해 방법을 평가한다:

• 시뮬레이션: 제안된 방법(DDPM)은 네 가지 분포(두 개의 가우시안 및 두 개의 비가우시안—버터플라이 분포 및 가우시안 코풀라)에 대해 테스트되었다. 제안된 확산 기반 방법은 올바르게 지정된 매개적 모델(예: 가우시안 데이터에 대한 Graphical Lasso)과 경쟁력 있는 성능을 보였으며, 모든 분포에서 기존의 비매개적 베이스라인(SING 및 L-SING)보다 크게 앞섰다. 특히, 매개적 방법들이 실패한 비가우시안 환경에서도 완벽한 그래프 복구를 달est했다.
• 이미지 분석 (MNIST): MNIST 데이터셋($D=784$)에 적용했을 때, 이 방법은 이미지의 국소성 원리(픽셀이 인접한 이웃과 주로 연결됨)와 일치하는 희소한 조건부 독립 그래프를 복구했다. 또한, 손글씨 숫자의 오른쪽 기울기를 반영하는 대각선 에지의 특정 비대칭성을 식별해냈다.
• 금융 데이터 (주가): 28개 산업 기업의 일일 수익률에 적용했을 때, 이 방법은 조건부 의존성의 희소 그래프를 복구했다. 추정된 에지들은 외부 데이터베이스에 경쟁사로 명시적으로 라벨링되지 않았더라도 공급망이나 기술 파트너십에 의해 뒷받침되는 의미 있는 경제적 관계를 보여주었다.

의의 및 주장
본 논문은 확산 모델의 이론적 적응성과 명시적 그래프 추정을 위한 실질적 응용 사이의 간극을 메운다고 주장한다. 저자들은 자신들의 방법이 복잡한 비가우시안 분포를 올바른 모델 지정 없이도 처리할 수 있는 통합된 비매개적 대안을 제공한다고 강조한다. 또한, 고정 차원에서의 이론적 일관성을 확립했지만, 실험 결과는 이 방법이 데이터의 내재된 저차원 구조를 활용하여 고차원 설정($D \gg n$)에서도 효과적으로 확장될 수 있음을 시사한다고 언급한다. 본 연구는 고차원 점근론 및 이산 분포로의 확장을 향후 연구를 위한 자연스러운 방향으로 제시하며 결론을 맺는다.