Beyond Mixtures and Products for Ensemble Aggregation: A Likelihood Perspective on Generalized Means

이 논문은 로그 가능도 관점에서 일반화된 평균을 분석하여 선형 및 기하학적 풀링이 개별 분포보다 체계적인 개선을 보장하는 유일한 범위임을 이론적으로 증명하고, 딥 앙상블 실험을 통해 이를 검증했습니다.

핵심

이 논문은 **"여러 개의 AI 모델을 하나로 합칠 때, 어떤 방법을 쓰는 것이 가장 똑똑한 선택인가?"**라는 질문에 답합니다.

여러 AI 모델 (예: 10 개의 다른 신경망) 이 같은 문제를 풀 때, 각 모델의 답을 어떻게 섞어서 최종 답을 내느냐에 따라 성능이 천차만별입니다. 이 논문은 수학적으로 **"어떤 섞는 방식이 실패하지 않고 항상 좋은 결과를 보장하는가?"**를 찾아냈습니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 상황: 여러 전문가의 의견 수렴하기

상상해 보세요. 어떤 복잡한 사건을 해결하기 위해 10 명의 전문가를 모았습니다.

• 전문가 A: "범인은 왼쪽에 있을 확률이 90% 입니다."
• 전문가 B: "아니요, 범인은 오른쪽에 있을 확률이 90% 입니다."
• 전문가 C: "왼쪽일 수도 있고 오른쪽일 수도 있어요."

이제 이 10 명의 의견을 하나로 합쳐서 **"범인은 어디에 있을까?"**라는 하나의 결론을 내려야 합니다. 이때 두 가지 전통적인 방법이 있습니다.

1. 선형 평균 (Linear Pooling, r=1): "모든 전문가의 말을 똑같이 들어보자." (A 와 B 의 말을 더해서 평균 내기)
   • 비유: 회의실에서 "다들 한 번씩 말해봐, 그리고 다 같이 1 점씩 주고 평균을 내자."
   • 결과: 의견이 갈리면 결론도 모호해집니다. (양쪽 모두 50% 가능성)
2. 기하 평균 (Geometric Pooling, r=0): "모두가 동의하는 부분만 믿자." (모든 전문가가 "왼쪽"이라고 할 때만 확신을 가짐)
   • 비유: "누구라도 '아니오'라고 하면 그건 틀린 거야. 모두 '예'라고 할 때만 '예'로 인정하자."
   • 결과: 결론이 매우 명확해지지만, 너무 까다로워져서 아무것도 못 믿을 수도 있습니다.

2. 문제: "무조건 섞으면 좋은 건가?"

과거에는 "여러 모델을 섞으면 (Ensemble) 무조건 더 좋아진다"는 믿음이 있었습니다. 하지만 이 논문은 **"어떻게 섞느냐에 따라 오히려 더 나빠질 수도 있다"**고 경고합니다.

논문의 저자들은 'r'이라는 숫자를 도입했습니다. 이 숫자가 섞는 방식의 '성격'을 결정합니다.

• r = 1: 선형 평균 (민주적, 모든 의견 존중)
• r = 0: 기하 평균 (비관적, 합의된 부분만 신뢰)
• r < 0: 극단적 비관 (누구라도 반대하면 그건 0 점)
• r > 1: 극단적 낙관 (누구라도 찬성하면 그건 100 점)

3. 발견: "안전지대 (Safe Zone) 는 [0 과 1 사이]"

이 논문이 찾아낸 가장 중요한 결론은 다음과 같습니다.

"r 값이 0 과 1 사이일 때만, 여러 모델을 합치는 것이 항상 개별 모델보다 낫다."

이를 비유로 설명하면:

• r=0 과 r=1 사이 (안전지대): 이는 마치 **"현명한 중재자"**와 같습니다. 너무 낙관적이지도, 너무 비관적이지도 않습니다. 전문가들의 의견을 적절히 조율해서, 어떤 상황에서도 개별 전문가들보다 더 나은 결론을 내줍니다. 이를 논리에서는 **'대중의 지혜 (Wisdom of Crowds)'**가 작동하는 구간이라고 합니다.
• r < 0 (비관적 극단): 이는 **"너무 까다로운 심판"**입니다. "누구라도 틀리면 다 틀린 거야!"라고 생각해서, 실제로는 맞을 수도 있는 기회를 놓쳐버립니다. (예: 범인이 왼쪽일 확률이 99% 인데, 한 명만 "아니오"라고 하면 범인 확률을 0 으로 만들어버림)
• r > 1 (낙관적 극단): 이는 **"너무 낙관적인 열혈팬"**입니다. "누구라도 맞으면 다 맞는 거야!"라고 생각해서, 실제로는 틀린 부분까지 과신하게 됩니다. (예: 두 전문가가 서로 다른 곳을 가리키는데, 한 명이라도 가리킨 곳을 100% 확신으로 믿어버림)

4. 실험 결과: 실제로도 그렇다

저자들은 실제 이미지 인식 (사진 분류) 과 감정 분석 (영화 리뷰) 작업에서 이 이론을 검증했습니다.

• r=0(기하 평균) 과 r=1(선형 평균) 사이에서 작동하는 모델들은 항상 개별 모델보다 실수가 적었습니다.
• r 이 0 보다 작거나 1 보다 큰 극단적인 경우는 상황에 따라 성능이 급격히 떨어졌습니다. 특히 의견이 갈리는 부분에서 큰 실수를 범했습니다.

5. 요약: 우리가 배울 점

이 논문은 AI 모델을 여러 개 모아서 쓸 때 (Deep Ensemble), **"무조건 섞으면 되는 게 아니라, 섞는 '방식'이 중요하다"**고 말합니다.

• 가장 안전한 방법: 전문가들의 의견을 너무 강하게 배제하지도 (r<0), 너무 맹신하지도 (r>1) 않는 **중도적인 방식 (r=0~1)**을 사용하세요.
• 실제 적용: 우리가 흔히 쓰는 **'선형 평균 (r=1)'**과 **'기하 평균 (r=0)'**이 왜 그렇게 널리 쓰이는지, 수학적으로 증명해준 셈입니다. 이 두 가지가 바로 '실패하지 않는 안전지대'의 양 끝을 지키고 있기 때문입니다.

한 줄 요약:

"여러 AI 의 의견을 합칠 때는, 너무 비관적이지도 너무 낙관적이지도 않은 **'중도 (0~1 사이)'**의 방식을 택해야 가장 똑똑한 결론을 얻을 수 있습니다."

기술 요약

이 논문은 **앙상블 학습 (Ensemble Learning)**에서 여러 확률 분포 (예: 딥 앙상블의 예측) 를 단일 분포로 통합할 때, **일반화된 평균 (Generalized Mean)**을 사용하여 어떤 지수 $r$을 선택해야 하는지에 대한 이론적 근거와 실증적 결과를 제시합니다. 특히, 기존의 선형 풀링 (선형 평균) 과 기하학적 풀링 (로그 평균) 을 넘어선 다양한 집계 규칙을 로그 가능도 (Log-likelihood) 관점에서 분석하여, 어떤 구간에서 '대중의 지혜 (Wisdom of Crowds)' 효과가 보장되는지 규명했습니다.

다음은 논문의 상세한 기술 요약입니다.

---

1. 문제 정의 (Problem)

• 배경: 현대 머신러닝은 단일 모델 대신 여러 확률 모델의 앙상블을 사용하여 예측 성능과 불확실성 추정을 개선합니다.
• 핵심 질문: 여러 모델의 예측 분포 $p^{(1)}, \dots, p^{(k)}$를 어떻게 하나의 통합된 분포 $\bar{p}$로 합쳐야 하는가?
• 기존 접근법:
  • 선형 풀링 (Linear Pooling): 확률의 산술 평균 ($r=1$). 분포의 지지집합 (support) 을 합쳐 이질성을 포착 ('OR' 논리).
  • 기하학적 풀링 (Geometric Pooling): 확률의 기하 평균 또는 정규화된 곱 ($r=0$). 모델 간 합의 영역을 강조하고 분산을 줄임 ('AND' 논리).
• 한계: 두 방법 중 어느 것이 더 나은지, 혹은 그 사이의 다른 규칙 (예: 조화 평균, 최대/최소 기반 집계) 이 더 유리한지에 대한 이론적 기준이 부족했습니다.

2. 방법론 (Methodology)

저자들은 **일반화된 평균 (Generalized Mean)**을 확률 밀도 함수에 적용하여 새로운 집계 프레임워크를 제안했습니다.

• 정의: $k$개의 밀도 함수 $p^{(i)}$에 대해, 지수 $r \in \mathbb{R} \cup \{-\infty, +\infty\}$를 갖는 정규화된 일반화된 평균 밀도 $\bar{p}_{k,r}$를 정의합니다.
  $$\bar{p}_{k,r}(x) = \frac{1}{Z_{k,r}} \left( \frac{1}{k} \sum_{i=1}^k [p^{(i)}(x)]^r \right)^{1/r}$$
  (단, $r=0$일 때는 기하 평균, $r=\pm\infty$일 때는 최소/최대 값으로 정의됨).
• 평가 기준: 머신러닝의 표준 평가 지표인 **로그 가능도 (Log-likelihood)**를 사용하여 집계된 모델이 개별 모델들보다 데이터를 얼마나 잘 설명하는지 분석합니다.
  • 목표: $\log \bar{p}_{k,r}(x) \ge \frac{1}{k} \sum \log p^{(i)}(x)$가 모든 데이터 포인트 $x$에서 성립하는지 확인 (즉, 집계된 모델이 개별 모델들의 평균 성능보다 항상 우수해야 함).

3. 주요 기여 및 이론적 결과 (Key Contributions & Results)

A. 신뢰할 수 있는 구간 $r \in [0, 1]$의 발견

• 이론적 보장 (Theorem 3.1): 지수 $r$이 $[0, 1]$ 구간에 있을 때, 집계된 모델은 모든 데이터 포인트에서 개별 모델들의 평균 로그 가능도보다 항상 크거나 같은 값을 가집니다.
  • 이는 "대중의 지혜" 효과가 수학적으로 보장되는 구간입니다.
  • $r=1$ (산술 평균): 가장 낙관적이고 민주적인 집계 방식.
  • $r=0$ (기하 평균): 가장 비관적이고 독재적인 (최소값에 가까운) 집계 방식.
  • 이 두 가지 고전적인 방법이 널리 사용되는 이유는 이 구간이 이론적으로 가장 안전하기 때문입니다.

B. 구간 밖에서의 실패 메커니즘 (Failure Cases)

• $r < 0$ (비관적/최소화 경향): 모델 간 의견이 상충하는 (disagreement) 영역에서 성능이 급격히 떨어집니다. 한 모델이 매우 낮은 확률을 할당하면 전체 확률이 0 에 수렴하여 로그 가능도가 급감합니다.
• $r > 1$ (낙관적/최대화 경향): 모델 간 의견이 일치하는 (consensus) 영역에서 정규화 상수 ($Z_{k,r}$) 의 영향으로 인해 성능이 저하될 수 있습니다. 최대값을 강조하는 집계는 정규화 과정에서 합의 영역의 확률 질량을 희석시킵니다.
• 결론: $r \notin [0, 1]$인 경우, 특정 데이터 포인트에서 집계된 모델이 개별 모델들의 평균보다 나쁜 성능을 보일 수 있음을 반례 (Counter-examples) 를 통해 증명했습니다.

C. 실증적 검증 (Empirical Evaluation)

• 실험 설정: CIFAR-100 (이미지), MedMNIST (의료 이미지), IMDb (텍스트 감정 분석) 데이터셋에서 딥 앙상블 (Deep Ensembles) 을 훈련하고 다양한 $r$값에 대해 테스트했습니다.
• 결과:
  • U 자형 성능 곡선: $r$을 $-\infty$에서 $+\infty$까지 변화시켰을 때, 성능 (교차 엔트로피) 은 U 자형 곡선을 그렸습니다.
  • 최적 구간: 이론적 구간인 $[0, 1]$에서 일관되게 개별 모델보다 우수한 성능을 보였습니다.
  • 극단값의 실패: $r < 0$ 또는 $r > 1$인 극단적인 값들은 성능이 저하되거나 개별 모델의 불확실성 밴드 아래로 떨어지는 경우가 많았습니다.
  • 최적 $r$의 위치: 이론적 구간 $[0, 1]$ 내에서 최적의 $r$이 발견되기도 했으나, 데이터 특성에 따라 $1$보다 약간 큰 값 ($r \approx 1.4$) 이 더 좋은 결과를 내는 경우도 관찰되었습니다.

4. 의의 및 결론 (Significance)

1. 통일된 프레임워크 제시: 선형 풀링과 기하학적 풀링을 포함한 연속적인 집계 규칙의 가족 (family) 을 제시하고, 이를 일반화된 평균의 관점에서 통합했습니다.
2. 이론적 근거 제공: 왜 산술 평균 ($r=1$) 과 기하 평균 ($r=0$) 이 앙상블에서 가장 널리 쓰이는지에 대한 엄밀한 이론적 정당성 ($r \in [0, 1]$ 구간에서의 로그 가능도 보장) 을 제시했습니다.
3. 실용적 가이드라인:
   • 안전한 앙상블 집계를 원한다면 $r \in [0, 1]$ 구간을 선택해야 합니다.
   • $r < 0$ (최소화) 은 모델 간 불일치가 심할 때 치명적일 수 있으며, $r > 1$ (최대화) 은 정규화 문제로 인해 합의 영역에서 성능이 저하될 수 있음을 경고합니다.
4. 미래 연구 방향: 데이터의 불균형이나 모델의 특성 (예: 긴 꼬리 분포) 에 따라 최적의 $r$이 $[0, 1]$을 벗어날 수 있음을 보여주어, 데이터에 적응적인 $r$ 학습의 필요성을 시사합니다.

요약하자면, 이 논문은 앙상블 학습에서 어떤 방식으로 예측을 합칠지에 대한 근본적인 질문에 대해, 로그 가능도 관점에서 $r \in [0, 1]$이 유일하게 보장된 안전 구간임을 이론과 실험을 통해 입증한 중요한 연구입니다.