📊 statistics

Robust model selection using likelihood as data

이 논문은 오설정이 있는 상황에서 후보 모델들이 참 데이터 생성 과정을 얼마나 잘 근사하는지에 대한 불확실성을 정량화하기 위해, 음의 로그 가능도 값 행렬을 확률 데이터 행렬로 간주하고 다변량 정규 모델을 적용하여 견고한 모델 선택을 가능하게 하는 새로운 접근법을 제시합니다.

원저자: Jongwoo Choi, Neil A. Spencer, Jeffrey W. Miller

게시일 2026-03-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jongwoo Choi, Neil A. Spencer, Jeffrey W. Miller

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 통계학에서 매우 중요한 '모델 선택 (Model Selection)' 문제를 다루고 있습니다. 어렵게 들릴 수 있지만, 사실은 **"어떤 설명이 가장 현실을 잘 반영하는가?"**를 찾는 과정입니다.

저자 (조용우, 스펜서, 밀러) 는 기존의 방법들이 가진 치명적인 약점을 발견하고, 이를 해결하는 새로운 방법인 **'Likelihood as Data (LaD, 데이터를 데이터처럼 다루기)'**를 제안했습니다.

이 복잡한 논문을 일상적인 언어와 비유로 쉽게 설명해 드리겠습니다.

1. 문제: "완벽한 답은 없다"는 사실

통계 모델을 만들 때, 우리는 항상 '진짜 현실 (True Data Generating Process)'을 완벽하게 이해할 수 없습니다. 마치 미스터리 소설을 읽는데, 진짜 범인이 누구인지 모르고 여러 가지 추측 (후보 모델) 을 하는 상황과 같습니다.

기존의 방법들 (AIC, BIC, 베이지안):
- 이 방법들은 "어떤 추측이 가장 확률이 높은가?"를 계산합니다.
- 하지만 문제점: "이 추측이 현실과 얼마나 멀리 있는가?"에 대한 불확실성을 알려주지 않습니다.
- 비유: "범인은 A 일 확률이 90%, B 일 확률이 10% 야!"라고 말해주지만, **A 가 범인일지라도 범인과 얼마나 닮지 않았는지 (오차)**는 알려주지 않습니다. 게다가 현실에 완벽한 범인 (정답) 이 아예 없을 때, 이 방법들은 엉뚱하게 복잡한 추측 (과도한 복잡성) 을 고집하거나, 여러 후보가 비슷할 때 불안정하게 흔들립니다.

2. 해결책: "증거 (Likelihood) 를 데이터로 쓰다"

이 논문은 완전히 새로운 관점을 제시합니다. 바로 **"각 모델이 계산해낸 '불만 점수 (부정 로그 가능도)' 자체를 새로운 데이터로 취급하자"**는 것입니다.

핵심 아이디어 (LaD):
- 보통 우리는 데이터를 보고 모델을 만듭니다. 하지만 이 방법은 모델이 데이터를 얼마나 잘 설명하는지 (점수) 를 다시 데이터로 보고 분석합니다.
- 비유:
  - 기존 방식: 10 명의 요리사 (모델) 가 요리를 만들고, 가장 맛있는 요리를 고릅니다.
  - LaD 방식: 10 명의 요리사가 만든 요리의 **맛 평가 점수 (데이터)**를 모아서, "이 점수들의 평균이 얼마나 신뢰할 만한가?"를 분석합니다.
  - 이 점수의 평균은 사실 **"진짜 현실과 모델 사이의 거리 (KL 발산)"**를 의미합니다.

3. 새로운 방법의 장점: "단순함과 정확함의 균형"

이 방법은 단순히 "가장 좋은 모델"을 찾는 게 아니라, **"충분히 좋은 모델 중 가장 간단한 것"**을 찾습니다.

허용 오차 (Tolerance, $\delta$ ) 개념:
- "완벽한 100 점 모델이 없다면, 95 점짜리 모델도 괜찮지 않을까?"라고 생각합니다.
- 비유: 길을 찾을 때, "정확히 100m 떨어진 곳"만 찾는 게 아니라, "10m 이내라면 어디든 괜찮다"라고 설정합니다.
- 이 범위 (허용 오차) 안에 들어오는 모델들 중에서 **가장 간단한 모델 (예: 재료 3 개 vs 재료 10 개)**을 선택합니다.
- 결과: 불필요하게 복잡한 모델을 피하면서도, 현실을 충분히 잘 설명하는 모델을 골라냅니다.

4. 왜 이것이 혁신적인가? (불확실성 측정)

가장 큰 장점은 불확실성을 정량화한다는 점입니다.

기존: "A 모델이 최고야!" (일방통행)
LaD: "A 모델이 최고일 확률이 60% 이고, B 모델이 2 번째로 좋을 확률이 30% 야. 그리고 A 와 B 의 차이는 통계적으로 의미 없을 수도 있어." (다양한 가능성 제시)
비유:
- 기존 방법은 "이 팀이 우승할 거야!"라고 외칩니다.
- LaD 는 "이 팀이 우승할 확률이 높지만, 만약 2 등 팀이 1 등 팀과 점수 차이가 1 점 이내라면, 굳이 복잡한 전술을 쓰는 1 등 팀보다 간단한 전술을 쓰는 2 등 팀을 선택해도 괜찮을 것 같아"라고 현실적인 조언을 합니다.

5. 실제 적용 사례 (논문 속 예시)

이 방법론은 다양한 분야에서 테스트되었습니다.

은하수 데이터 (Gaussian Mixture):
- 은하의 속도를 분석할 때, "은하가 몇 개의 무리로 나뉘어 있을까?"를 찾는 문제입니다. 기존 방법은 은하 수가 늘어날수록 계속 복잡한 모델을 선택했지만, LaD 는 "은하 수가 8 개 정도면 충분하고, 그 이상은 불필요한 복잡함"이라고 명확히 지적했습니다.
미생물 생태 (Thermal Performance Curves):
- 미생물의 성장 속도와 온도의 관계를 모델링할 때, 너무 복잡한 수식 대신 "간단하면서도 충분히 설명력 있는 수식"을 찾아냈습니다.
유전학 (Population Structure):
- 물고기의 유전적 구조를 분석할 때, "몇 개의 집단으로 나뉘어 있는가?"를 찾을 때, 기존 방법 (Evanno's method) 이 2 개 집단이라고 했지만, LaD 는 "2 개 집단도 괜찮지만, 4 개 집단으로 보는 것이 더 현실을 잘 반영할 수 있다"는 더 풍부한 통찰을 주었습니다.

6. 요약: 이 논문이 주는 교훈

이 논문은 통계학자에게 **"완벽한 정답을 찾으려 애쓰지 말고, 현실과 얼마나 가까운지, 그리고 그 거리가 얼마나 불확실한지를 정직하게 평가하라"**고 말합니다.

핵심 메시지: "모델은 현실을 완벽하게 복제할 수 없습니다. 하지만 **'Likelihood as Data'**라는 새로운 안경을 쓰면, 어떤 모델이 현실을 얼마나 잘 설명하는지, 그리고 그 설명이 얼마나 신뢰할 만한지 불확실성까지 포함한 채로 현명하게 선택할 수 있습니다."

마치 나침반을 사용할 때, "정북 (True North) 을 정확히 가리키는 나침반"만 찾는 게 아니라, "나침반이 흔들리는 정도 (불확실성) 를 고려해서 가장 안전한 방향을 찾는 것"과 같은 원리입니다.

논문 제목: Robust model selection using likelihood as data (우도 (Likelihood) 를 데이터로 활용한 강건한 모델 선택)

저자: Jongwoo Choi, Neil A. Spencer, Jeffrey W. Miller
출처: arXiv:2602.23355v2 [stat.ME] (2026 년 3 월)

1. 문제 제기 (Problem Statement)

통계학에서 모델 선택은 핵심적인 과제이지만, 기존의 표준 방법론들은 모델 오지정 (Model Misspecification) 상황에서 강건하지 못하다는 한계가 있습니다.

배경: 실제 데이터 생성 과정 (DGP) 은 알려지지 않았으며, 후보 모델 집합 중 어느 것도 DGP 와 정확히 일치하지 않는 경우가 대부분입니다.
기존 방법의 한계:
- AIC, BIC 와 같은 정보 기준: 로그 우도를 기반으로 상대적인 근사도를 추정하지만, 추정치나 모델 선택에 대한 **불확실성 (Uncertainty)**을 정량화하지 못합니다.
- 베이지안 사후분포: 모델 선택의 불확실성을 제공하지만, 각 모델이 '진실'로부터 얼마나 먼지를 측정하지는 않습니다. 단순히 대안 모델들이 더 나쁠 때 높은 확률을 부여받을 수 있습니다.
- 불안정성: 여러 모델이 최소 KL 발산 (Kullback-Leibler divergence) 을 공유하는 경우 (Tie), 기존 방법들은 불안정하게 작동하거나 임의적으로 하나의 모델을 선택하는 경향이 있습니다.
핵심 문제: 오지정된 환경에서 각 후보 모델이 실제 DGP 를 얼마나 잘 근사하는지에 대한 불확실성을 정량화하고, 복잡성과 적합도 사이의 균형을 강건하게 선택할 수 있는 방법이 부족합니다.

2. 제안된 방법론 (Methodology: Likelihood as Data, LaD)

저자들은 **"우도 (Likelihood) 를 데이터로 (Likelihood as Data, LaD)"**라는 새로운 프레임워크를 제안합니다. 이는 관측된 데이터 $X_i$ 에 대한 각 모델 $k$ 의 음의 로그 우도 (Negative Log-Likelihood, NLL) 값을 새로운 데이터 행렬로 간주하여 분석하는 접근법입니다.

2.1 핵심 아이디어

$n$ 개의 관측치와 $K$ 개의 후보 모델이 있을 때, $n \times K$ 크기의 음의 로그 우도 행렬 $Z = [Z_{ik}]$ 를 생성합니다. 여기서 $Z_{ik} = -\log f_k(X_i)$ 입니다.
이 행렬의 각 행 $Z_i = (Z_{i1}, \dots, Z_{iK})^T$ 를 독립적인 데이터 포인트로 간주합니다.
기대값의 해석: $Z_i$ 의 기대값 $\mu_k = E[Z_{ik}]$ 는 실제 DGP 와 모델 $k$ 사이의 KL 발산에 실제 DGP 의 엔트로피 (상수) 를 더한 것과 같습니다. 즉, $\mu_k$ 를 추정하는 것은 각 모델이 DGP 로부터 얼마나 떨어져 있는지를 추정하는 것입니다.

2.2 베이지안 추론 프레임워크

$Z_1, \dots, Z_n$ 을 다변량 정규분포 $N(\mu, \Sigma)$ 에서 추출된 데이터로 가정합니다.
$(\mu, \Sigma)$ 에 대해 정규 - 역와시르트 (Normal-Inverse-Wishart, NIW) 사전분포를 부여하여 사후분포를 계산합니다.
강건성: 이 방법은 모델이 정확히 지정되었다는 가정을 하지 않으며, 오직 로그 우도 값의 1 차, 2 차 모멘트 조건만 만족하면 KL 발산에 대한 신뢰구간과 불확실성을 제공합니다.

2.3 강건한 모델 선택 기준 (Robust Model Selection Criterion)

단순히 KL 발산이 가장 작은 모델을 선택하는 대신, $\delta$ -최적 (delta-optimal) 모델을 고려합니다.

$\delta$ -최적 모델: 최소 KL 발산으로부터 $\delta$ 이내의 거리에 있는 모든 모델.
목표: $\delta$ -최적 모델 집합 내에서 가장 단순한 (Minimal Complexity) 모델을 선택하되, 그 중에서도 KL 발산이 가장 작은 모델을 찾습니다.
SLC (Smooth LaD Criterion):
- 하드 미니멈 (Hard Minimum) 대신 **소프트 선택 점수 (Soft Selection Score)**를 사용하여 Tie(동점) 상황에서 불안정성을 해결합니다.
- 점수는 (i) 클래스 간 선택 확률 (어떤 복잡도 클래스가 $\delta$ -최적인가) 과 (ii) 클래스 내 선택 기대값 (동일 복잡도 내에서 얼마나 잘 맞는가) 의 곱으로 정의됩니다.
해석 가능한 허용 오차 ( $\tau$ ): $\delta$ 를 절대값이 아닌, '노이즈 모델'과 '최적 모델' 사이의 설명 가능한 정보의 비율 ( $\tau$ ) 로 재스케일링하여 해석을 용이하게 합니다.

3. 주요 기여 (Key Contributions)

새로운 프레임워크 (LaD): 모델 선택을 위해 로그 우도 값 자체를 데이터로 취급하여, 모델 오지정 하에서도 KL 발산에 대한 불확실성을 정량화하는 새로운 접근법을 제시했습니다.
이론적 보장: 제안된 방법 (SLC 점수) 이 점근적으로 일관성 (Consistency) 을 가지며, Tie 상황에서 기존 방법들의 불안정성을 해결하고 강건하게 작동함을 수학적으로 증명했습니다.
강건한 선택 기준: 단순히 '가장 좋은' 모델을 찾는 것이 아니라, '충분히 좋은' 모델 중 가장 단순한 모델을 선택할 수 있도록 허용 오차 ( $\delta$ ) 를 도입하고 이를 해석 가능한 척도로 변환했습니다.
실증적 검증: 가우스 혼합 모델, 희소 다변량 정규 모델, 미생물 생태학의 열 성능 곡선, 유전학의 집단 구조 모델 등 다양한 시뮬레이션 및 실제 데이터 분석을 통해 기존 방법 (AIC, BIC, 베이지안 사후분포, Coarsened Posterior 등) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

가우스 혼합 모델 (Shapley 은하 데이터): 기존 AIC, BIC, 베이지안 방법은 표본 크기가 커질수록 복잡도가 과도하게 증가하는 경향을 보였으나, LaD 는 표본 크기가 커질수록 안정적으로 특정 복잡도로 수렴했습니다.
희소 다변량 정규 모델: Tie(동점) 상황 (모델 4 와 5) 에서 기존 방법은 임의적으로 하나를 선택하거나 불안정했으나, LaD 는 두 모델에 대해 동등한 점수를 부여하여 Tie 의 존재를 올바르게 반영했습니다.
성능 비교 (Brier Score): 다양한 허용 오차 ( $\delta$ ) 설정에서 LaD-soft(제안 방법) 는 다른 모든 방법 (AIC, BIC, Coarsened Posterior 등) 보다 일관되게 낮은 Brier 손실 (선택 오차) 을 보였습니다. 특히 Tie 상황과 모델 오지정 상황에서 우월한 성능을 발휘했습니다.
실제 적용 사례:
- 미생물 생태학: 다양한 열 성능 곡선 모델 중 데이터에 가장 적합한 단순 모델을 선택하여, 복잡한 모델이 불필요하게 선택되는 것을 방지했습니다.
- 집단 구조 (Brook Trout): STRUCTURE 소프트웨어의 Evanno 방법 ( $k=2$ 추천) 과 달리, LaD 는 $k=2$ 가 단순하지만 적합도가 낮음을 지적하고, $k=3$ 또는 $4$가 더 나은 균형을 이룬다는 통찰을 제공했습니다.

5. 의의 및 결론 (Significance)

이 논문은 모델 선택 분야에서 다음과 같은 중요한 의의를 가집니다:

불확실성 정량화: 모델이 '진실'로부터 얼마나 떨어져 있는지에 대한 불확실성을 직접적으로 측정하고 시각화할 수 있게 했습니다.
강건성: 모델 오지정은 통계적 분석에서 피할 수 없는 현실인데, LaD 는 이러한 오지정 하에서도 신뢰할 수 있는 추론을 제공합니다.
해석 가능성: 복잡도와 적합도 사이의 트레이드오프를 사용자가 정의한 허용 오차 ( $\tau$ ) 를 통해 직관적으로 조절할 수 있게 하여, 실제 응용 분야에서 더 실용적인 모델 선택을 가능하게 합니다.
계산 효율성: MCMC 와 같은 복잡한 계산 없이도 (단순한 NIW 사후분포 샘플링) 효율적으로 계산 가능하여 확장성이 뛰어납니다.

결론적으로, Likelihood as Data (LaD) 프레임워크는 모델 선택의 패러다임을 '최적 모델 찾기'에서 '모델의 근사 품질과 불확실성 평가'로 전환하여, 통계 모델링의 신뢰성과 실용성을 크게 향상시킵니다.