From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

기술 요약: 베이즈 법칙(Bayes' Rule)에서 베이즈 규칙들(Bayes Rules)로

문제 정의
표준적인 베이지안 추론은 확률 이론에 의존하며, 여기서 불확실성은 가산적(additive)이고 베이즈 법칙을 통해 업데이트된다. 그러나 고전 통계학과 현대 머신러닝 모두 이러한 프레임워크에서 벗어나 손실 기반 업데이트(loss-based updates), 템퍼드 사후 분포(tempered posteriors), 또는 불확실성이 자연스럽게 가산적이지 않은 증거 융합 체계(evidence-fusion schemes)를 활용하는 경우가 빈번하다. 근본적인 질문은 무엇이 베이즈 법칙을 "올바른" 정보 처리 규칙으로 만드는가 하는 것이며, 이것이 정보의 수학적 표현 방식에 어떻게 의존하는가이다. 구체적으로, 고정된 파라미터에 대한 불확실성이 확률 분포가 아닌 가능성 함수(possibility function)(확률 분포의 maxitive 대응물)로 표현될 때, 원칙적인 업데이트 규칙은 무엇인가?

방법론
본 논문은 추론을 정보 처리로 취급함으로써 이 문제에 접근한다. 저자들은 고전적인 확률적 유도 과정을 모사하되 이를 가능성 이론(possibility theory)의 구조에 맞게 조정하여, 두 가지 상호 보완적인 기초적 관점에서 가능성 추론의 정형적(canonical) 업데이트 규칙을 도출한다.

1. 관점 1: 최적 정보 처리 (정보 보존)

   • 프레임워크: 저자들은 전통적으로 Zellner [1988] 및 스칼라 교차 엔트로피와 연관된 정보 보존 원리(Information Conservation Principle, ICP)를 가능성 설정으로 재구성한다.
   • 핵심 메커니즘: 정보를 스칼라(엔트로피와 같은)로 압축하는 대신, 본 논문은 가능성 함수에 내재된 점별 부분 순서(pointwise partial order)($f \preceq g \iff \forall \theta, f(\theta) \leq g(\theta)$)를 활용한다.
   • 유도: 순서 일관성(order-consistency), 정규화(normalisation), 그리고 독립적 결합(product t-norm) 하에서의 가산성을 만족하는 점별 정보 점수 $S$를 도입함으로써, 저자들은 정형적인 로그 정보 맵 $I[f](\theta) = -\log f(\theta)$를 도출한다.
   • 보존: 정보 처리 규칙(IPR)은 정보 손실과 정보 생성을 모두 일으키지 않을 때 최적이라고 정의된다. 이는 정보 불균형 범함수(information imbalance functional) $\Delta(\text{IPR})$를 통해 공식화되며, 이는 파라미터 공간에 대한 함수이다. $\Delta(\text{IPR}) = 0$ (점별 등가) 조건은 업데이트 규칙을 유일하게 식별한다.

2. 관점 2: 공리적 접근 (일관성)

   • 프레임워크: 저자들은 Bissiri 등 [2016]이 확립한 일반화된 베이지안 추론의 일관성 공리에 대한 가능성 대응물을 제안한다.
   • 공리: 업데이트 규칙 $\psi[\ell, \pi]$ (사전 분포 $\pi$와 손실 $\ell$을 사후 분포로 매핑하는 규칙)는 다음을 만족해야 한다:
     • 순차적 일관성 (A2.1).
     • 제한 호환성 (A2.2).
     • 손실에 대한 단조성 (A2.3).
     • 공백 손실(vacuous losses) 및 가산적 이동에 대한 불변성 (A2.4, A2.5).
   • 유도: 적분이 정규화 역할을 하는 확률적 경우와 달리, 가능성 유도는 maxitive 제한이 쌍별 오즈(pairwise odds)를 보존함을 확립하고 이진 업데이트가 삼중항(triples) 상에서 일관성을 유지함을 확립해야 한다. 이러한 공리들은 사후 분포가 특정한 함수 형태를 갖도록 강제한다.

주요 기여 및 결과

1. 정형적 업데이트 규칙:
   두 유도 과정은 모두 **가능성 베이즈 규칙(possibilistic Bayes' rule)**이라 불리는 동일한 유일한 업데이트 규칙으로 수렴한다:
   $$\pi(\theta | y) = \frac{\pi(\theta) L(\theta | y)}{\sup_{\vartheta \in \Theta} \pi(\vartheta) L(\vartheta | y)}$$
   여기서 $\pi(\theta)$는 사전 가능성 함수이고 $L(\theta | y)$는 가능도(likelihood) 또는 증거(evidence)이다.

   • 입력이 샘플링 분포 $p_\theta(y)$인 경우, $L$은 가능도이다.
   • 입력이 일반적인 손실 $\ell(\theta, y)$인 경우, $L(\theta | y) \propto \exp(-w \ell(\theta, y))$이며, 여기서 $w \geq 0$은 학습률 파라미터이다.

2. 학습률 ($w$)의 역할:
   본 논문은 $w$ (인식론적 강도를 제어하는 파라미터)가 두 유도 과정 모두에서 **외생적(exogenous)**임을 명확히 한다.

   • 관점 1에서, $w$는 손실을 증거 가능성 함수로 변환할 때의 인코딩 선택이다.
   • 관점 2에서, $w$는 일관성 공리에 의해 결정되지 않은 채 남겨진 상수이다.
   • 결과: 강도 $w$는 증거의 정규화만으로는 **식별 불가능(not identifiable)**하다. 가능성 증거를 최대화하는 것은 허용 가능한 강도들을 가장 작은 값으로 몰아넣을 뿐이다. 따라서 $w$는 데이터로부터 식별되는 양이 아니라, 인식론적 강도에 대한 모델링 선택을 나타낸다.

3. 정보 손실 및 생성:
   점별 부분 순서를 활용함으로써, 본 논문은 정보 손실과 생성을 확률적 설정에서의 스칼라 요약과는 다른, 실제 관찰 가능한 현상으로 구분한다.

   • IPR이 사후 분포에 의해 곳곳에서 베이즈 업데이트에 의해 지배될 때($g \preceq \pi(\cdot|y)$), 정보 생성이 발생하지 않는다.
   • IPR이 사후 분포에 의해 베이즈 업데이트를 지배할 때($g \succeq \pi(\cdot|y)$), 정보 손실이 발생하지 않는다.
   • 베이즈 규칙은 정보의 손실과 생성을 동시에 피하는 유일한 IPR이다.

4. 기존 연구와의 연결:

   • 도출된 규칙은 최근의 부정확한 확률론(imprecise probabilistic) 문헌(예: Martin [2026])에서 제안된 sup-normalised prior-likelihood product와 일치한다.
   • 정보 불균형 함수는 maxitive Donsker–Varadhan duality(Singh et al. [2025])의 피적분 함수에 대응하며, 이는 베이즈 규칙이 이중 일관성 경계(dual consistency bounds)의 유일한 공통 최적화 도구임을 보여준다.

의의 및 주장
본 논문은 베이즈 법칙이 단일 공식이 아니라, 기저에 깔린 정보 계산 방식(가산적 vs maxitive)과 데이터-파라미터 간의 연결 성격에 따라 인덱싱되는 규칙들의 가족 중 하나임을 입증한다고 주장한다.

• 기초적 정당화: 본 논문은 sup-normalised product가 단순히 휴리스틱이나 가능성 있는 조합 선택이 아니라, 가능성 설정에서의 정보 보존 및 일관성이라는 근본적인 원리에 의해 강제되는 것임을 논증한다.
• 일반화된 베이즈의 명확화: 일반화된 베이지안 업데이트에서 학습률에 관한 모호함을 해결하며, 가능성 프레임워크에서 이 파라미터가 데이터로부터 본질적으로 식별 불가능하며, 대신 인식론적 강도의 교정 역할을 한다는 것을 입증한다.
• 범위: 본 연구는 기초적이고 공리적이다. 새로운 경험적 알고리즘이나 광범sel한 실험적 비교를 제안하기보다는, 왜 sup-normalised 업데이트가 가능성 추론을 위한 정형적 선택인지를 설명하는 이론적 토대를 제공한다. 또한, 가능성 함수는 점별로 정의되므로 확률적 확장에서 흔히 요구되는 측도론적 복잡성 없이 연속적인 파라미터 공간으로 자연스럽게 확장될 수 있음을 시사한다.

요약하자면, 본 논문은 불확실성이 가능성 함수로 표현될 때, 정보를 처리하는 "올바른" 방법이 필연적으로 sup-normalised 업데이트 규칙으로 귀결되며, 이때 학습률은 학습 가능한 통계량이 아닌 외부 교정 파라미터로 작용한다는 것을 보여준다.