기술 요약: 인공지능에서의 추론 기계로서의 확률적 회로 (Part I)

문제 정의

인공지능(AI)은 불확실성 하에서 지식 표현, 추론 및 학습이 가능한 시스템을 필요로 한다. 확률 이론은 이러한 과업들을 위한 엄격하고 일관되며 개념적으로 단순한 언어(합과 곱의 규칙으로 환원 가능한)를 제공하지만, 근본적인 계산적 장벽에 직면해 있다: 대부분의 확률 모델에서 확률적 추론은 일반적으로 NP-hard이다.

기존 프레임워크들은 다음과 같은 이분법적 구조를 보인다:

1. 표현력은 높으나 계산이 불가능한 모델: 딥 생성 모델(예: VAEs, GANs, Normalizing Flows, Score-based models)과 복잡한 확률적 그래픽 모델(PGMs)은 복잡한 결합 분포를 표현할 수 있지만, 일반적으로 근사 추론(예: 변분 추론, MCMC)을 필요로 한다. 이는 정확한 주변화(marginalization)나 조건부화(conditioning)가 계산적으로 불가능하기 때문이다.
2. 계산은 가능하나 제한적인 모델: 유계 트리 너비(bounded tree-width) 또는 특정 구조적 제약을 가진 모델들은 정확한 추론을 허용하지만, 특정 분포에 대해 지수적으로 거대한 표현을 요구하는 등 표현 효율성 측면에서 한계를 겪는 경우가 많다.

본 연구가 다루는 핵심 문제는 딥러닝의 표현력과 정확한 확률적 추론의 **계산 가능성(tractability)**을 결합하여, 근사가 아닌 다항 시간 내에 주변 확률(marginals), 조건부 확률(conditionals), 기댓값(expectations) 및 최빈 설명(most probable explanations, MPE)을 계산할 수 있는 통합된 프레임워크의 부재이다.

방법론: 확률적 회로 (Probabilistic Circuits, PCs)

본 논문은 **확률적 회로(PCs)**를 계산 가능한 확률적 모델링을 위한 "공통 언어(lingua franca)"로 제안한다. PC는 세 가지 유형의 노드를 가진 유향 비순환 계산 그래프(directed acyclcyclic computational graphs, 신경망)로 정의된다:

• 분포 노드 (Leaves): 변수의 부분 집합에 대한 매개변수적 확률 분포 (예: 가우시안, 범주형).
• 합 노드 (Sum Nodes): 입력의 가중 합을 나타내며, 혼합(mixtures)을 의미한다.
• 곱 노드 (Product Nodes): 입력의 곱을 나타내며, 인수분해(factorizations)를 의미한다.

계산 가능한 추론을 보장하기 위해, PC는 다음과 같은 구조적 제약을 충족해야 한다:

1. 분해 가능성 (Decomposability): 모든 곱 노드의 입력은 서로 겹치지 않는 범위(disjoint scopes, 변수 집합)를 가져야 한다. 이는 곱이 변수들이 독립적인 인수분해된 분포를 나타냄을 보장한다.
2. 매끄러움 (Smoothness): 모든 합 노드의 입력은 동일한 범위(identical scopes)를 가져야 한다. 이는 합이 유효한 혼합 분포를 나타냄을 보장한다.
3. 결정론 (Determinism): (선택적이지만 강력한 속성) 임의의 완전한 할당(complete assignment)에 대해 합 노드의 입력 중 최대 하나만이 0이 아닌 값을 갖는다. 이는 효율적인 최빈 설명(M-P-E) 계산을 가능하게 한다.

이러한 제약 하에서 PC는 **계층적 혼합 모델(hierarchical mixture models)**로 기능한다. 본 논문은 잎(leaf) 분포가 계산 가능한 주변화 및 조건부화를 지원한다면, 이러한 연산들이 네트워크를 통해 재귀적으로 위임될 수 있음을 입증한다:

• 주변화 (Marginalization): 합의 주변 확률은 주변 확률들의 합이며, 곱의 주변 확률은 주변 확률들의 곱이다 (범위가 서로 겹치지 않으므로).
• 조건부화 (Conditioning): 합의 조건부 확률은 조건부 확률들의 재가중치 합이며, 곱의 조건부 확률는 조건부 확률들의 곱이다.
• 기댓값 및 공분산 (Expectations and Covariances): 총 기댓값 법칙과 공분산 법칙을 사용하여 재귀적인 네트워크 패스를 통해 계산될 수 있다.
• M-P-E: 결정론 하에서, 각 합 노드에서 최대값을 갖는 브랜치를 선택함으로써 단일 순방향 패스(forward pass)를 통해 계산될 수 있다.

주요 기여

본 논문은 지난 10년간의 연구를 종합하며 다음과 같은 기여를 강조한다:

1. 기초 및 이론

• 정규화 및 표현력: 저자는 unnormalized 합 가중치를 사용하는 것이 매끄럽고 분해 가능한 PC의 모델링 능력을 높이지 않음을 증명하며, 이를 표현되는 분포를 변화시키지 않고 정규화된 동등한 형태로 변환할 수 있음을 보여준다. 마찬가지로, "일관성(consistency)" 개념(분해 가능성의 완화된 형태)이 표준적인 분해 가능성을 넘어 표현력을 크게 확장하지 못함을 보여준다.
• 잠재 변수 해석: PC는 계층적 잠재 변수 모델로 공식적으로 해석된다. 이를 통해 정확한 조상 샘플링(ancestral sampling), 기대 최대화(EM) 알고리즘, 그리고 잠재 변수를 가진 베이지안 네트워크로의 "역전개(decompilation)"를 도출할 수 있다.

2. 베이지안 접근법

• 베이지안 추론: 익명의 데이터 타입을 처리하기 위해 잎을 지수 가족(exponential families)의 혼합으로 확장하는 Gibbs 샘플링 알고리즘을 도입한다.
• 구조 학습: 디리클레 사전 확률(factorized Dirichlet priors)을 사용하여 결정론적 PC를 위한 원칙적인 베이지안 구조 점수를 도출한다. 이를 통해 PC를 위한 원칙적인 접근 방식이었던, 무한 데이터 한계에서의 최적 구조 학습을 가능하게 한다.

3. 딥러닝 통합

• 확장 가능한 구현: PC 구현의 진화 과정을 초기 TensorFlow 그래프에서 RAT-SPNs 및 **Einsum Networks (EiNets)**에 이르기까지 상세히 기술한다. EiNets는 텐서 수축(tensor contraction, einsum)을 활용하여 연산을 벡터화함으로써, MLP와 대등한 성능을 달성하고 MNIST와 같은 대규모 데이터셋 학습을 가능하게 한다.
• 조건부 PC: 파라미터가 컨텍스트의 함수(신경망을 통해 학습됨)인 조건부 PC를 지원하여, 조건부 분포 $p(y|x)$에 대한 계산 가능한 추론을 가능하게 한다.
• 강건성: (확률적 제약을 완화한) 분해 가능한 신경망과의 연결을 통해, 적대적 공격에 대한 정확한 강건성 보장을 제공한다.

4. 하이브리드 모델

본 논문은 계산 가능한 PC와 계산 불가능한 모델을 결합하는 "중도적" 접근 방식을 제안한다:

• 하위 모듈로서의 PC: Attend-Infer-Repeat 시스템의 계산 불가능한 구성 요소(예: 객체 모델)를 PC로 교체하여, 대규모 잠재 공간의 정확한 주변화를 수행하고 변분 추론을 위한 변수는 소수만 남긴다.
• 잎 노드로서의 계산 불가능한 모델: VAE나 가우시안 프로세스(GP)를 PC 내부의 잎 노드로 사용한다. 이는 "작은 계산 불가능한 모델들의 집합을 계산 가능한 모델로 접착하는 것"과 같으며, 단독 VAE에 비해 로그 가능도(log-likelihood)와 예측 정확도를 향상시킨다.
• 적분 노드 (Integral Nodes): PC에 연속 잠재 변수에 대한 적분 노드를 추가하여, 표준 VAE가 근사를 필요로 하는 경우에도 수치 적분(numerical quadrature)을 통해 정확한 추론을 수행한다.

5. 기호적 모델과의 연결

• 의사결정 나무 (Decision Trees): 의사결정 나무를 PC로 변환하여, 원래의 분류 로직을 보존하면서 조건부 분류기를 전체 결합 분포로 변환하는 방법을 제시한다.
• 지식 그래프 임베딩 (KGEs): KGE를 PC에 매핑하여, 표준 최대 가능도 학습, SPO 트리플렛으로부터의 샘pling, 그리고 엄격한 논리적 제약의 인코딩을 가능하게 한다.
• 부채널 공격 (Side-Channel Attacks): 암호 알고리즘(예: AES)에 대한 소프트 분석 부채널 공격(SASCA)에 PC 추론을 적용하여, 루피 믿음 전파(loopy belief propagation)보다 높은 성공률과 정확한 추론을 달성한다.

결과 및 주장

본 논문은 PC가 AI 지형에서 독특한 위치를 점하고 있다고 주장한다:

• 정확성: 대부분의 딥 생성 모델과 달리, PC는 다항 시간 내에 주변 확률, 조건부 확률 및 기댓값의 정확한 계산을 보장한다.
• 경쟁력 있는 성능: (논문의 Part II에서 언급된) 경험적 증거는 계산 가능한 모델이 종종 계산 불가능한 모델과 대등하거나 때로는 로그 가능도 및 예측 정확도 측면에서 능가함을 시사하며, 이는 계산 가능성이 낮은 표현력을 필연적으로 수반한다는 가설에 도전한다.
• 해석 가능성: 계층적 혼합 구조와 정확한 추론 능력은 PC를 매우 해석 가능하게 만들며, 이상치 탐지(outlier detection) 및 결측 데이터 임퓨테이션(missing data imputation) 과업을 지원한다.
• 통합 프레임워크: PC는 기존의 다양한 계산 가능한 모델들(예: 산술 회로, Sum-Product Networks, Cutset Networks)을 위한 통합된 구문을 제공하며, 이들의 구조적 차이점과 공유된 특성을 명확히 한다.

의의

본 연구의 의의는 확률을 AI의 핵심 언어로 옹호하고, 복잡한 결합 분포를 표현하는 능력을 희생하지 않고도 계산 가능성을 달성할 수 있음을 입증하는 데 있다.

구조적 제약(분해 가능성, 매끄러움, 결정론)을 계산 가능성의 메커니즘으로 설정함으로써, 본 논문은 불확실성 하에서 최적의 의사결정을 수행할 수 있는 "추론 기계"를 위한 엄격한 토대를 제공한다. 이는 확률적 추론의 개념적 우아함(합/곱 법칙)과 현대 AI의 실질적인 요구 사항 사이의 간극을 메우며, 추론이 근사가 아닌 보장된 효율적 계산이 되는 프레임워크를 제시한다. 본 연구는 PC를 단순한 모델 클래스가 아니라, 학습, 추론, 그리고 의사결정 이론을 일관된 방식으로 통합하기 위한 기초적인 접근법으로 자리매김한다.