A Differentiable Covariance Calculus for Linear Gaussian Bayesian Networks

기술 요약: 선형 가우시안 베이지안 네트워크를 위한 미분 가능한 공분산 계산법

문제 정의
선형 가우시안 베이지안 네트워크(LGBN)는 선형 가우시안 구조 방정식 모델(SEM)과 동일하며, 통계학, 제어 이론, 통신 분야에서 핵심적인 역할을 한다. 노드가 벡터(예: 안테나 어레이, 잠재 특징)를 나타내고 엣지가 행렬(예: MIMO 채널)을 나타내는 벡터 값 설정에서, 결합 분포는 전역 공분산 행렬에 의해 완전히 결정된다. 국소 파라미터(엣지 행렬 및 혁신 공분산)로부터 전역 공분산으로의 매핑은 고전적인 문제이지만, 기존 방식들은 대개 특정 토폴로지에 특화된 추론, 추정 및 식별 작업을 별도로 유도하고 구현한다. 이러한 파편화는 임의의 벡터 값 유향 비순환 그래프(DAG)를 다루기 어렵게 만들며, 특히 결합된(tied) 파라미터나 구조화된 파라미터(예: 공유 가중치, 저계수 제약), 또는 은닉 노드가 포함된 경우를 처리하기 어렵게 만든다. 과제는 이러한 작업을 개별 토폴로지별로 그래디언트를 유도할 필요 없이, 복잡한 비체인(non-chain) 구조를 지원하고 단일한 미분 가능 프레임워크로 통합하는 것이다.

방법론
본 논문은 단일 미분 가능한 백엔드인 **K-재귀(K-recursion)**를 기반으로 한 통합 프레임워크를 제안한다. 이 재귀는 국소 조건부 파라미터 $\eta$(엣지 행렬 및 혁신 공분산)를 위상적 순방향 패스(topological forward pass)를 통해 전역 공분산 행렬 $K$로 매핑한다. 주요 방법론적 특징은 다음과 같다:

1. 공분산 차트(The Covariance Chart): K-재귀는 "공분산 차트"로 취급되며, 이는 $\eta \mapsto K$로 가는 명시적이고 미분 가능한 맵 $\Phi_G$이다. 전체 시스템의 행렬 역행렬을 구하는 폐쇄형 해법(closed-form solution)과 달리, 이 재귀는 위상 순서에 따라 행렬 곱, 합, 전치만을 사용하여 $K$를 계산한다. 이를 통해 맵이 매끄러운 계산 그래프가 되도록 보장한다.
2. 블록 대수(Block Algebra): 모든 하위 작업은 단일 행렬 $K$의 하위 블록들에 적용되는 몇 가지 선형 대수 프리미티브(블록 선택, 슈어 보수(Schur complement), 로그 행렬식, 선형 솔브)로 환원된다.
3. 자동 미분(AD): 차트가 매끄러운 그래프이므로, 역방향 모드 AD를 사용하여 단 한 번의 역방향 스윕(backward sweep)만으로 모든 엔트리 $\eta$에 대한 임의의 스칼라 목적 함수(예: 우도, 피셔 정보량)의 그래디언트를 계산할 수 있다. 이는 특정 토폴로지나 파라미터 제약(예: 결합된 파라미터)을 위한 수동 그래디언트 유도의 필요성을 제거한다.
4. 퇴화(Degeneracy) 처리: 이 프레임워크는 양의 준정부호(PSD) 혁신 공분산을 자연스럽게 수용하여, 관련 주변 공분사 블록이 양의 정부호(positive definite)인 한 결정론적 노드(노이즈 없는 업데이트)를 허용한다.

주요 기여
본 논문은 추론, 추정, 식별을 하나의 응집된 계산법으로 구성한다:

• 통합 추론: 확률적 쿼리(주변 분포, 조건부 분포)는 블록 선택과 슈어 보수를 통해 계산된다. 조건부 독립성은 상호 정보량(MI)과 조건부 상호 정보량(CMI)을 통해 테스트되며, 이는 특정 슈어 보수 블록에 대한 제로 테스트로 귀결된다.
• 미분 가능한 추정: 완전 관측 및 부분 관측(은닉 노드) 네트워크 모두에 대한 최대 우도 추정(MLE)은 공분산 차트를 통해 음의 로그 우도를 최소화함으로써 수행된다. 프레임워크는 결합 및 구조화된 파라미터를 네이티브하게 처리하며, AD는 이러한 파라미터의 생성 과정을 역전파한다.
• 식별성 및 신뢰성: 본 논문은 관측 분포로부터 역투영(pullback)된 Slepian–Bangs 피셔 정보 메트릭에 기반한 국소 식별성 테스트를 도입한다. 이 메트릭의 계수(rank)는 국소 식별성을 결정하며(풀 랭크는 식별성을 의미), 그 역행렬은 추정기 신뢰성을 위한 크라메르-라오 하한(CRB)을 제공한다. 이 접근법은 "게이지(gauge)" 방향(식별 불가능한 파라미터 조합)을 식별하고 몬테카를로 샘플링 없이 추정 오차를 정량화한다.
• 순방향 샘플링: 추론의 생성적 대응물로서, DAG를 위상 순서대로 순회하며 전역 $K$를 형성하지 않고도 노드별로 결합 법칙을 실현하여 샘플을 추출하는 방법이 제공된다.

결과 및 검증
프레임워크는 두 가지 선형 가우시안 상태 공간 모델에 대해 고전적 참조 모델들과 비교 검증되었다:

1. 표준 체인 모델: 노이즈가 섞인 1차 벡터 자기회귀 모델이다. 프레임워크는 칼만 필터(사전 공분산)와 라우흐-퉁-스티벨(Rauch–Tung–Striebel) 스무더(사후 공분산)를 기계 정밀도($10^{-16}$ ~ $10^{-18}$) 내에서 재현한다. 또한 마르코프 조건부 독립성(사라지는 CMI)을 정확히 식별하고, 은닉 상태의 노이즈 섞인 관측으로부터 결합된 전이 인자를 복구한다.
2. 스킵 연결 확장 모델: 상태가 여러 상관된 부모를 병합하는 비체인 모델(예: $x_n$이 $x_{n-1}$과 $x_{n-2}$에 의존)이다. 이 토폴로지는 1차 재귀를 무력화한다. 프레임워크는 수기로 유도된 동반 형식(companion-form) 재귀와 일치하는 주변 분포를 성공적으로 계산하며, CMI를 통해 비마르코프 의존성을 정확히 탐지하고, 경험적 산점도와 일치하는 신뢰 구간을 가지며 결합된 전이 인자를 복구한다.
3. 신뢰성 분석: 두 경우 모두, 피셔 메트릭에서 유도된 해석적 크라메르-라오 하한은 표본 크기에 따른 MLE 추정기의 경험적 표준 오차($1/\sqrt{N}$ 수렴 속도 준수)와 일치한다.

의의
본 논문의 주된 기여는 새로운 공식이 아니라, 조직 원리(organizing principle), 즉 국소-전역 공분사 맵을 미분 가능한 차트로 취급하는 것이다. 이를 통해 조건화, 독립성 테스트, 우도 추정, 식별성 분석과 같은 가우시안 네트워크의 모든 과제를 몇 가지 블록 행렬 프리미티브의 합성으로 표현할 수 있다. 자동 미분을 활용함으로써, 이 프레임워크는 임의의 벡터 값 DAG와 복잡한 파라미터 제약(결합, 구조화, 은닉)을 개별 과제별 유도 없이 처리할 수 있는 토폴로지 불가지론적(topology-agnostic) 백엔드를 제공한다. 이 작업은 오픈 소스 구현(gaussian-bn)으로 실현되었으며, 관련 논문들에서 개발된 정보 최적화 작업의 보완적인 백엔드 역할을 한다.