🤖 machine learning

Composing Non-Conjugate Factor Graphs with Closed-Form Variational Inference

본 논문은 다섯 가지 특정 인자 그래프 원소를 조합함으로써 폐형 변분 추론을 심층 확률적 아키텍처에서 유지할 수 있음을 보여주며, 이를 통해 학습된 게이트 파라미터 없이도 calibrated 불확실성을 갖춘 의사결정나무와 베이지안 전문가 혼합과 같은 범용 함수 근사기를 구성할 수 있음을 입증한다.

원저자: Mykola Lukashchuk, Kyrylo Yemets, Wouter M. Kouw, Dmitry Bagaev, żsmail Şenöz, Jeff Beck, Bert de Vries

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mykola Lukashchuk, Kyrylo Yemets, Wouter M. Kouw, Dmitry Bagaev, żsmail Şenöz, Jeff Beck, Bert de Vries

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

날씨를 예측하려고 한다고 상상해 보세요. 비를 포착하는 데 탁월한 한 명, 폭염을 예측하는 데 마법 같은 능력을 가진 또 한 명, 그리고 풍속을 추측하는 데 뛰어난 세 번째 예보관 등 총 일곱 명의 서로 다른 예보관 팀이 있다고 가정해 봅시다.

이 일을 하는 옛 방식 (표준 머신러닝) 에서는 일곱 명 모두의 의견을 묻고, 고정된 가중치를 부여한 뒤 (예: "비 예보관에게 투표의 20% 를, 폭염 예보관에게 10% 를 부여한다") 그들의 답변을 평균냅니다. 문제는 무엇일까요? 때로는 "비 예보관"이 실제로 폭염 예측에는 매우 형편없을 수 있지만, 시스템은 그를 더 이상 듣지 말아야 한다는 것을 알지 못합니다. 시스템은 그의 확신을 상황에 따라 변하는 감정이 아닌 고정된 사실로 취급합니다.

이 논문은 더 똑똑하고 유연하며, 가장 중요한 점은 추측할 때를 안다는 "슈퍼 예보관" 팀을 구축하는 새로운 방식을 제안합니다.

문제: "블랙박스" 함정

보통 더 깊고 복잡한 시스템을 만들기 위해 스마트한 구성 요소들을 계층적으로 쌓으면, 수학이 깨집니다. 방정식이 너무 지저분해져서 컴퓨터가 정확하게 풀 수 없게 됩니다. 컴퓨터는 샘플링이나 블랙박스 최적화와 같은 시행착오 방법을 사용하여 답을 추측해야 합니다. 이는 빠르지만 종종 부정확하며, 시스템이 답에 대해 얼마나 확신하는지 알려주지 않습니다.

해결책: 확률적 모델을 위한 레고 세트

저자들은 어떤 순서로든 조립하여 깊고 복잡한 모델을 만들 수 있는 다섯 개의 특수한 레고 블록 (수학적 구성 요소) 을 발견했습니다. 마술 같은 점은 어떻게 쌓아도 수학이 정확하게 풀릴 만큼 간단하게 유지된다는 것입니다.

이 다섯 개의 블록은 다음과 같습니다:

소프트닷 (Softdot): 입력을 혼합하는 기본 계산기 (재료를 섞는 것과 같음).
지수 링크 (Exponential Link): 숫자를 "확신 점수"로 변환하는 스위치 (점수가 항상 양수가 되도록 보장).
감마 사전 (Gamma Prior): "이 확신 점수는 이 범위 어딘가에 있을 것으로 기대한다"라고 말하는 규칙.
가우시안 가능도 (Gaussian Likelihood): 관측치가 얼마나 그럴듯한지에 대한 표준 종형 곡선 규칙.
등식 노드 (Equality Node): "이 두 개의 서로 다른 와이어는 정확히 같은 값을 전달해야 한다"라고 말하는 접착제.

작동 원리: "스마트 게이트" 시스템

이 논문은 이러한 블록들을 사용하여 교통 관제사처럼 행동하는 시스템을 구축하는 방법을 보여줍니다.

깊이 0 (정적): 모두 고정된 자리에 앉은 위원회를 상상해 보세요. 시스템은 일반적으로 누가 좋은지 학습하지만, 날씨에 따라 변하지는 않습니다.
깊이 1 (동적): 이제 시스템은 현재 입력 (예: "비가 매우 많이 오고 있다") 을 봅니다. "좋아, 이 특정 상황에서는 비 예보관에게 90% 를 신뢰하고 나머지는 무시하자"라고 말하는 '게이트'가 있습니다. 중요한 점은 시스템이 단순히 승자를 선택하는 것이 아니라, 누구를 신뢰해야 하는지에 대한 확률 분포를 계산한다는 것입니다. 시스템은 그 결정에 대해 얼마나 확신하는지 알고 있습니다.
깊이 2 (분기 분기 라우팅): 이것이 깊은 마법입니다. 시스템은 의사결정 트리를 구축합니다. "비가 오나요?"라고 묻습니다. 그렇다면 왼쪽으로 가세요. "바람이 불나요?"라고 묻습니다. 그렇다면 오른쪽으로 가세요. (특정 요인의 조합에 따라 답이 달라지는 "XOR" 문제와 같은) 까다로운 상황을 처리하기 위해 복잡하고 분기된 경로를 만들 수 있습니다.

"컴파일러" 비유

이 프레임워크를 프로그래밍 언어처럼 생각해 보세요:

알파벳: 다섯 개의 레고 블록.
문법: 이들을 어떻게 조립할 수 있는지에 대한 규칙.
런타임: 수학을 자동으로 계산하는 컴퓨터 엔진.

대부분의 확률적 프로그래밍에서는 복잡한 모델을 작성하면, 이를 해결하는 방법의 수학 방정식을 수동으로 유도해야 합니다. 마치 프로그램을 작성한 뒤, 매번 컴파일러를 직접 손으로 작성해야 하는 것과 같습니다.

이 논문에서 저자들은 보편적 컴파일러를 구축했습니다. 블록을 조립하기만 하면 "베트 자유 에너지 (Bethe Free Energy)"라는 세련된 수학적 목적 함수가 모델을 해결하는 데 필요한 정확한 방정식을 자동으로 생성합니다. 업데이트를 유도하기 위해 수학 천재가 될 필요는 없습니다. 시스템이 대신 해줍니다.

결과: 보정된 불확실성

가장 큰 승리는 불확실성입니다.

옛 방식: 신경망은 "25 도를 예측한다"고 말할 수 있지만, 추측 중인지 100% 확신하는지 알지 못합니다.
이 방식: 시스템은 "25 도를 예측하지만, 데이터가 이상하므로 60% 만 확신한다"고 말합니다. 이는 모델 구조에 기반하여 수학적으로 정확함이 보장된 "신뢰 구간"을 제공합니다.

현실 세계 테스트: 시계열 예측

저자들은 시계열 데이터 (전력 사용량이나 외환 환율 등) 를 예측하는 데 이를 테스트했습니다. 그들은 일곱 개의 서로 다른 AI 모델 (일부는 추세를, 일부는 계절성을 잘 파악하는) 을 결합했습니다.

그들의 시스템은 데이터에 기반하여 전문가들 사이에서 동적으로 전환하는 법을 학습했습니다.
표준 "전문가 혼합 (Mixture of Experts)" 모델보다 더 높은 정확도를 제공했습니다.
가장 중요한 점은 신뢰할 수 있는 불확실성 추정치를 제공했다는 것입니다. 표준 모델들은 종종 잘못되었을 때 확신한다고 주장하는 "과신"에 빠지는 반면, 이 시스템은 불확실할 때 정확하게 신호를 보냈습니다.

요약

이 논문은 다음과 같은 새로운 방식으로 깊고 복잡한 AI 모델을 구축하는 방법을 제공합니다:

조립 가능: 원하는 만큼 쌓을 수 있습니다.
정확: 수학이 추측이 아닌 정확하게 해결됩니다.
자기 인식: 모델이 언제 불확실한지 알고, "보정된" 확신 감각을 제공합니다.

이것은 규칙에 기반한 경직된 로봇에서, 언제 누구를 신뢰해야 할지 정확히 아는 유연하고 자기 성찰적인 전문가 팀으로 업그레이드하는 것과 같습니다.

기술적 요약: 폐형 변분 추론을 통한 비공액 인자 그래프의 구성

문제 제기
확률적 모델링은 종종 입력에 의존하는 전문가의 신뢰도나 앙상블 예측의 라우팅 메커니즘과 같은 복잡한 의존성을 포착하기 위해 계층적 아키텍처를 필요로 합니다. 그러나 확률적 구성 요소를 더 깊은 아키텍처로 적층하는 것은 일반적으로 폐형 (closed-form) 추론의 속성을 깨뜨립니다. 비공액성을 처리하는 표준 접근법은 마르코프 연쇄 몬테카를로, 상변분 오토인코더, 또는 정규화 흐름과 같은 블랙박스 추론 방법에 의존하는데, 이는 추론 절차를 학습하거나 샘플링하지만 분석적 처리 가능성을 희생합니다. 저자들은 확률적 모델을 계층적으로 구성하면서도 폐형 추론을 유지하여 근사적 또는 샘플링 기반 추론 절차의 필요성을 피할 수 있는지 질문합니다.

방법론
본 논문은 포니 스타일 인자 그래프 (FFG) 와 변분 메시지 전달 (VMP) 을 기반으로 한 구성 프레임워크를 제안합니다. 핵심 기여는 평균장 분해 제약 하에서 폐형 업데이트를 보존하는 5 개의 확률적 인자로 구성된 유한한 '알파벳'을 규명하는 것입니다.

알파벳: 저자들은 다섯 가지 인자 그래프 원시 (primitives) 를 정의합니다:
- 소프트닷 (이차식): $f_*(z | w, \phi, \tau) = \mathcal{N}(z | w^\top\phi, \tau^{-1})$
- 지수 링크: $f_{exp}(\gamma | z) = \delta(\gamma - \exp(z))$
- 감마 사전분포: $f_G(\gamma | \alpha, \beta) = \mathcal{G}(\gamma | \alpha, \beta)$
- 가우시안 가능도: $f_N(y | \mu, \tau) = \mathcal{N}(y | \mu, \tau^{-1})$
- 등식 노드: $f_=(x_1, x_2, x_3) = \delta(x_1 - x_2)\delta(x_1 - x_3)$
구성 및 문법:
- 깊이 0 (정적 앙상블): 고정된 정밀도를 가진 전문가들의 단순한 결합.
- 깊이 1 (정밀도 게이트형 전문가): 소프트닷과 지수 링크로 구성된 재사용 가능한 '단어' (정밀도 단어 $\pi$ ) 를 도입합니다. 이를 통해 전문가의 정밀도가 고정된 상수가 아닌 입력 특징의 학습된 함수가 될 수 있습니다.
- 깊이 2 (분기 분할 라우팅): 상반된 스위치로 여러 정밀도 단어를 구성하여 조각별 선형 정밀도 함수를 생성합니다. 이러한 레이어를 적층하면 모델이 임의의 이진 결정 트리를 인코딩할 수 있으며, 입력 공간을 서로 다른 전문가가 활성화되는 영역으로 분할합니다.
런타임 및 추론:
- 추론 알고리즘은 명시적으로 규정되지 않지만, 베트 자유 에너지 (BFE) 의 최소화를 통해 모델 명세에서 도출됩니다.
- 메시지 전달 유형: 이 프레임워크는 하이브리드 접근법을 사용합니다. 비결정적 인자 (소프트닷, 감마, 정규) 의 경우 평균장 제약 하에서 변분 메시지 전달 (VMP) 을 사용합니다. 반면, 결정적 인자 (등식 및 지수 링크) 의 경우 평균장 분해가 퇴화를 초래할 수 있으므로 벨리프 전파 (BP) 가 필요합니다.
- Q-공액성: 지수 링크의 비공액성에도 불구하고 메시지가 처리 가능하다는 것이 주요 이론적 결과입니다. 지수 링크는 잠재 변수 $z$ 에 대한 가우시안 메시지를 정밀도 $\gamma$ 에 대한 로그 - 정규 메시지로, 그리고 그 반대로 (로그 - 감마) 변환합니다. 형태 제약 ( $z$ 에 대한 가우시안, $\gamma$ 에 대한 감마) 을 부과하고 가우시안의 모멘트 생성 함수와 감마 계열의 충분 통계를 활용함으로써, 저자들은 주변 사후분포에 대한 폐형 고정점 방정식을 유도합니다. 이는 모든 메시지 계산과 주변 업데이트가 수치적 적분이나 샘플링 없이 분석적으로 수행됨을 보장합니다.

주요 기여

폐형 구성 추론: 저자들은 다섯 글자 알파벳으로 구성된 모든 모델이 폐형 변분 메시지 전달을 허용함을 증명합니다. 이 집합은 Q-공액 업데이트 하에 닫혀 있어, 메시지의 매개변수 형태 (가우시안 또는 감마) 가 비공액 지수 링크를 포함한 그래프 전체에서 보존됩니다.
보편적 함수 근사: 논문은 분기 분할 라우팅 레이어를 적층하는 것이 임의의 결정 트리를 인코딩함을 보여줍니다. 날카로운 라우팅 (높은 정밀도) 의 극한에서 출력의 사후 평균은 콤팩트 영역 위의 임의의 연속 함수를 근사하여, 폐형 추론을 유지하면서 보편적 근사 능력을 확립합니다.
베이지안 전문가 혼합: 이 프레임워크는 앙상블 시계열 예측에 적용되어, 게이트 함수가 경사 하강을 통해 학습되는 것이 아니라 추론되는 베이지안 전문가 혼합을 산출합니다. 이는 전문가 선택에 대한 보정된 불확실성을 제공합니다.

결과
이 프레임워크는 CNN, LSTM, DLinear, 그리고 양분자 예측기를 포함한 7 개의 다양한 예측기로 구성된 앙상블을 사용하여 5 개의 벤치마크 시계열 데이터셋 (ETTh1, ETTh2, 환율, 전력, 교통) 에서 평가되었습니다.

성능: 예측기 간 불일치를 불가피한 노이즈와 분리하고 대각 공분산 제약을 사용하는 "Noisy Diagonal" 변형이 정확도 (MSE), 보정 (음의 로그 가능도, NLL), 그리고 매개변수 효율성 사이의 가장 좋은 균형을 달성했습니다.
보정: 종종 유한하지 않은 NLL 값을 생성하여 (부족한 보정 또는 과도한 자신감을 나타냄) 소프트맥스 기반 전문가 혼합 (MoE) 기준 모델과 달리, 제안된 프레임워크는 잘 보정된 예측 분포를 제공했습니다. 불확실성 추정은 라우팅 모호성을 자연스럽게 포착하여, 날카로운 라우팅 체제에서 사후 표준 편차가 결정 경계에서 집중되었습니다.
효율성: 대각 변형은 전체 공분산 및 심층 신경망 기준 모델과 비교하여 경쟁력 있거나 우수한 성능을 유지하면서 매개변수 수를 크게 줄였습니다 (예: 환율 데이터셋의 경우 약 15,000 개에서 약 950 개로 감소).

의의 및 주장
본 논문은 딥러닝의 모듈성과 확률적 추론의 분석적 엄밀성 사이의 격차를 좁힌다고 주장합니다. 인자의 알파벳을 언어로, 베트 자유 에너지를 컴파일러로 간주함으로써, 저자들은 각 아키텍처마다 새로운 유도가 필요하지 않은 깊고 계층적인 확률적 모델의 구축을 가능하게 합니다.

겸손함: 저자들은 알파벳이 연산 (곱셈, 지수화, 덧셈) 의 특정 부분집합이며, 순수한 선형 - 가우시안 알파벳은 보편적 근사를 달성할 수 없음을 인정합니다. 이러한 표현력을 위해서는 지수 링크가 필수적입니다.
함의: 이 연구는 폐형 추론이 깊고 비공액인 아키텍처와 상호 배타적이지 않음을 확립합니다. 이는 블랙박스 추론 방법에 대한 원칙적인 대안을 제공하며, 주변 사후분포와 보정된 불확실성을 추론 알고리즘의 직접적인 출력으로 "무료"로 제공하여 추가 요소나 근사치로 취급하지 않습니다.