Bayesian Hierarchical Models and the Maximum Entropy Principle

이 논문은 하이퍼파라미터를 통해 정의된 계층적 베이지안 모델에서 조건부 사전분포가 최대 엔트로피 분포일 때, 하이퍼파라미터를 적분하여 얻은 종속적인 주변 사전분포 역시 다른 제약 조건 하에서 최대 엔트로피 성질을 가진다는 것을 증명함으로써 계층적 모델 할당이 실제로 어떤 정보를 가정하는지에 대한 통찰을 제공합니다.

핵심

🎯 핵심 주제: "모르는 것을 어떻게 추측할까?"

우리가 어떤 미지의 값들 (예: 100 명의 학생 키, 혹은 100 개의 사과 무게) 을 예측해야 한다고 가정해 봅시다.

1. 가장 단순한 생각 (균일 분포):
   아무 정보도 없으니, 모든 값이 나올 확률을 똑같이 (균일하게) 둡니다. 마치 주사위를 던질 때 1~6 이 나올 확률이 모두 1/6 인 것처럼요.

   • 문제점: 이렇게 하면, '100 명의 평균 키'나 '사과들의 무게 합' 같은 **전체적인 특징 (통계량)**은 우리가 원치 않는 방식으로 좁아지거나 특이한 모양을 띠게 됩니다. (예: 평균 키가 170cm 에 매우 가깝게 몰리는 이상한 현상)

2. 최대 엔트로피의 해결책:
   "우리는 평균 키가 170cm 일 것이라고 확신한다"라고 가정하면, 가장 공정한 분포는 지수 분포가 됩니다. 하지만, "정말 평균이 170cm 일까? 165cm 일 수도 있고 175cm 일 수도 있는데?"라고 생각하면 어떨까요?

🏗️ 계층 모델 (Hierarchical Model) 은 무엇일까?

여기서 계층 모델이 등장합니다. 이는 "모르는 것 (파라미터) 을 추정할 때, 그보다 더 큰 틀의 '모르는 것 (하이퍼파라미터)'을 두자"는 아이디어입니다.

• 비유: 요리사와 레시피
  • 일반적인 모델: "이 요리는 소금 10g, 설탕 5g 이다." (고정된 값)
  • 계층 모델: "이 요리는 소금과 설탕의 양이 매일 조금씩 달라질 수 있다. 하지만 그 '변동하는 양' 자체는 어떤 규칙 (예: 평균 10g, 변동 폭 2g) 을 따른다."
  • 즉, 우리는 구체적인 값 (소금 양) 을 바로 정하는 대신, 그 값을 결정하는 **규칙 (하이퍼파라미터)**에 대한 분포를 먼저 정합니다.

🧩 이 논문의 놀라운 발견: "숨겨진 규칙"

논문의 저자 (Brendon J. Brewer) 는 다음과 같은 의문을 품었습니다.

"우리가 계층 모델을 쓰면, 최종적으로 나오는 분포는 여러 가지 '최대 엔트로피 분포'가 섞인 형태 (혼합 분포) 가 됩니다. 그런데 최대 엔트로피 원리는 보통 '단 하나의 분포'를 말할 때 적용되죠. 그럼 계층 모델은 최대 엔트로피 원리를 위반한 걸까?"

저자의 결론은 "아니오"입니다. 오히려 계층 모델은 다른 형태의 최대 엔트로피를 만족하고 있습니다.

🌟 핵심 비유: "직접적인 명령 vs 전체적인 분위기"

1. 기존 방식 (명령형):
   "너희들 평균 키는 반드시 170cm 가 되어야 해!"라고 명령하면, 가장 공정한 분포는 지수 분포가 됩니다.

   • 한계: 평균이 정확히 170cm 라는 게 너무 강박적인 가정이 아닐까?

2. 계층 모델 방식 (분위기형):
   "너희들 평균 키는 170cm 일 수도 있고 160cm 일 수도 있어. 하지만 그 '평균 키'라는 값 자체가 균등하게 퍼져있을 가능성이 높아."라고 설정합니다.

   • 결과: 이렇게 하면 최종적으로 나오는 분포는 복잡해 보이지만, 사실은 **"평균 키라는 전체적인 특징 (Derived Quantity) 의 분포에 대한 제약"**을 둔 것과 똑같은 효과가 납니다.

즉, 계층 모델을 쓴다는 것은 "개별 값들의 평균을 고정하는 것"이 아니라, "그 평균이 가질 수 있는 분포 자체를 공평하게 만드는 것"과 같습니다.

📊 실제 예시 (논문 속 이야기)

1. 지수 분포 예시 (사과 무게):

   • 사과 100 개의 무게를 예측할 때, 단순히 "평균 무게가 100g 이다"라고 고정하면 이상한 결과가 나옵니다.
   • 대신 "평균 무게 (μ) 는 10g 에서 1000g 사이에서 고르게 분포할 수 있다"라고 설정 (계층 모델) 하면, 최종 결과는 가장 공정한 분포가 됩니다.
   • 이는 마치 "평균 무게가 정확히 100g 이라는 사실을 모른다"는 것을 인정하고, 그 불확실성까지 고려한 최고의 예측을 하는 것과 같습니다.

2. 가우스 (정규) 분포 예시 (학생 키):

   • 학생들의 키 합계와 제곱합을 고려할 때, 계층 모델을 쓰면 "평균 키"와 "표준편차"에 대한 불확실성을 포함하게 됩니다.
   • 이 과정을 거친 결과물은, 마치 "키의 합계와 제곱합이라는 전체적인 특징이 특정 분포를 따르도록 제약"을 둔 것과 수학적으로 동일합니다.

💡 요약: 왜 이 논문이 중요한가?

우리가 복잡한 계층 모델을 사용할 때, **"우리가 실제로 무엇을 가정하고 있는가?"**에 대한 답을 줍니다.

• 오해: "계층 모델은 최대 엔트로피 원리를 무시하고 임의로 섞은 분포다."
• 진실: "계층 모델은 개별 값이 아닌, 그 값들이 만들어내는 '전체적인 특징 (평균, 분산 등)'의 분포에 대해 최대 엔트로피 원리를 적용한 것이다."

마무리 비유:
우리가 100 명의 학생 키를 예측할 때, "100 명 모두 170cm 다"라고 단정 짓는 게 아니라, "100 명의 평균 키는 160cm~180cm 사이에서 자유롭게 움직일 수 있어"라고 생각하는 것이 더 현명합니다. 이 논리는 개별 학생의 키를 예측하는 것보다, '평균 키'라는 개념 자체에 대한 불확실성을 공평하게 다루는 것이 최대 엔트로피의 진정한 의미임을 보여줍니다.

이 논문은 복잡한 수학적 모델이 실제로는 **"우리가 모르는 것에 대해 얼마나 공평하게 생각하는가"**를 수학적으로 증명해 주는 통찰을 제공합니다.

기술 요약

논문 요약: 베이지안 계층적 모델과 최대 엔트로피 원리

1. 문제 제기 (Problem)

• 배경: 베이지안 계층적 모델 (Bayesian Hierarchical Models) 은 실제 데이터 분석에서 미지의 매개변수에 대한 사전 분포를 할당할 때 자주 사용됩니다. 이는 초매개변수 (hyperparameters) 를 도입하여 매개변수에 대한 간접적인 사전 분포를 부여하는 방식입니다.
• 핵심 문제:
  1. 일반적으로 최대 엔트로피 (MaxEnt) 원리는 기대값 (기대 모멘트) 과 같은 제약 조건 하에서 '정준 분포 (Canonical Distribution)'를 유도하는 데 사용됩니다.
  2. 그러나 실제 상황에서는 이러한 기대값이 정확히 '알려져' 있는 경우가 드뭅니다.
  3. 따라서 연구자들은 정준 분포를 조건부 분포로 간주하고, 초매개변수 (라그랑주 승수 등) 에 대한 사전 분포를 도입하여 계층적 모델을 구성합니다.
  4. 모순점: 이렇게 유도된 최종 주변 분포 (Marginal Prior) 는 정준 분포의 혼합 (Mixture) 형태가 되며, 이는 더 이상 정준 분포가 아닙니다. 따라서 기존 MaxEnt 해석이 무효화되는 것처럼 보였습니다. 즉, 계층적 모델을 선택할 때 실제로 어떤 정보가 가정되고 있는지, 그리고 이것이 MaxEnt 원리와 어떤 관계가 있는지 불분명했습니다.

2. 방법론 (Methodology)

저자는 계층적 모델의 주변 분포가 실제로는 다른 형태의 제약 조건 하에서의 최대 엔트로피 분포임을 증명하기 위해 다음과 같은 논리적 접근을 취했습니다.

• 제약 조건의 일반화: MaxEnt 원리는 기대값 제약뿐만 아니라 확률 분포에 대한 임의의 '검증 가능한 정보 (testable information)'에 적용될 수 있음을 전제합니다.
• 파생량 (Derived Quantity) 의 분포 제약:
  • $x$에 대한 사전 분포 $\pi(x)$가 주어졌을 때, $x$의 함수인 $T = f(x)$에 대한 유도된 분포가 부적절할 수 있습니다 (예: 균일 사전분포가 $x$에 적용되면, 중앙극한정리에 의해 $T$의 평균에 대한 분포가 너무 좁아지는 문제 발생).
  • 이를 해결하기 위해 $T$의 주변 분포 (Marginal Distribution) 자체에 제약을 가하는 MaxEnt 문제를 설정합니다.
• 수학적 유도:
  • $T$가 이산적인 값만 가질 때, $T$의 확률 분포를 제어하는 것은 $T$의 지시함수 (indicator function) 에 대한 기대값을 제어하는 것과 동일함을 보입니다.
  • 이를 통해 업데이트된 분포는 $p(x) \propto \pi(x) \exp(g(f(x)))$ 형태, 즉 $p(x) \propto \pi(x)g(f(x))$ 형태임을 유도합니다. 여기서 $g$는 $T$의 원하는 분포를 달성하도록 조정된 함수입니다.
• 계층적 모델과의 연결:
  • 조건부 분포 $p(x|\lambda)$가 정준 분포 (Canonical) 형태일 때, 초매개변수 $\lambda$에 대한 사전 분포 $p(\lambda)$를 도입하고 이를 적분하여 주변 분포 $p(x)$를 구합니다.
  • 이 적분식은 $x$에 대해 $\{f_i(x)\}$ (충분 통계량) 를 통해서만 의존하므로, 앞서 유도된 $p(x) \propto \pi(x)g(f(x))$ 형태와 일치함을 보입니다.

3. 주요 기여 (Key Contributions)

1. 계층적 모델의 MaxEnt 해석 정립: 계층적 모델을 통해 얻은 주변 사전 분포가 정준 분포의 혼합일 뿐 아니라, 파생된 양 (derived quantities) 의 주변 분포에 대한 제약 조건 하에서의 최대 엔트로피 분포임을 증명했습니다.
2. 잠재적 제약의 규명: 계층적 모델을 선택할 때, 우리는 단순히 초매개변수에 대한 불확실성을 모델링하는 것이 아니라, 미지의 양들의 함수 (예: 평균, 분산, 합 등) 에 대한 특정 분포를 암묵적으로 가정하고 있음을 명확히 했습니다.
3. 실용적 통찰: 초매개변수에 대한 사전 분포를 선택하는 것은, 본질적으로 우리가 관심 있는 통계량 (예: 평균 $\mu$) 에 대한 사전 불확실성을 어떻게 표현할지 결정하는 것과 동치임을 보였습니다.

4. 결과 및 사례 (Results & Examples)

논문은 두 가지 구체적인 예시를 통해 이론을 검증했습니다.

• 지수 분포 예시 (Exponential Example):
  • $x_i$에 균일 사전분포를 적용하면, 산술 평균 $T$의 분포가 너무 좁아지는 문제가 발생합니다.
  • 대신 평균 $\mu$에 대한 로그 균일 사전분포 (Log-uniform prior) 를 가진 계층적 모델 (조건부 지수 분포) 을 적용했습니다.
  • 그 결과, 유도된 $T$의 분포는 실제 데이터에 더 적합한 넓은 분포를 가지며, 이는 $T$의 주변 분포에 대한 MaxEnt 제약 하에서 얻어진 분포와 일치함을 확인했습니다.
• 가우시안 분포 예시 (Gaussian Example):
  • $x_i$의 합 ($T_1$) 과 제곱의 합 ($T_2$) 에 관심이 있는 경우, 조건부 분포를 정규 분포로 설정하고 평균 ($\mu$) 과 분산 ($\sigma$) 에 대한 계층적 사전분포를 도입했습니다.
  • 이 과정은 $T_1$과 $T_2$의 주변 분포에 대한 제약 하에서 MaxEnt 분포를 유도하는 것과 수학적으로 동등함을 보였습니다.
  • 시뮬레이션 결과 (Figure 2), 균일 사전분포에서 유도된 분포는 $T_1, T_2$의 합과 제곱합에 대해 부적절한 집중을 보인 반면, 계층적 모델은 더 합리적인 불확실성 (평평한 분포) 을 제공했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 통합: 이 연구는 '평균에서의 최대 엔트로피 (Maximum Entropy on the Mean)' 접근법과 '슈퍼스타티스틱스 (Superstatistics)'가 단순히 계산적 편의를 위한 것이 아니라, 파생된 통계량의 분포에 대한 MaxEnt 원리의 직접적인 적용임을 보여줍니다.
• 모델링의 명확성: 연구자는 계층적 모델을 사용할 때, 단순히 초매개변수를 도입하는 것이 아니라 "우리가 관심 있는 통계량에 대해 어떤 분포를 가정하고 있는가"를 명확히 인식해야 함을 강조합니다.
• 실용적 가치: 이는 불확실성이 큰 상황에서 사전 분포를 설계할 때, 직접적인 제약 조건을 찾기 어려운 경우 계층적 모델을 통해 간접적으로 원하는 분포 특성을 구현할 수 있음을 보장하며, 그 이론적 근거를 MaxEnt 원리에 두고 있음을 입증했습니다.

요약하자면, 브루어는 계층적 베이지안 모델이 MaxEnt 원리와 모순되지 않으며, 오히려 파생된 함수의 분포에 대한 제약이라는 새로운 관점에서 MaxEnt 분포의 한 형태로 해석될 수 있음을 증명했습니다.