Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems

본 논문은 RMSE 와 MAE 와 같은 표준 점별 지표가 재구성을 체계적으로 더 좁은 분포로 편향시킴으로써 다중 모드 역문제를 구조적으로 평가하지 못한다고 주장하며, 과학적으로 타당한 결론을 보장하기 위해 분포 정확도, 스펙트럼 충실도, 불확실성 보정을 기반으로 한 3 단계 평가 프로토콜을 제안한다.

핵심

이 논문은 간단한 언어와 일상적인 비유를 사용하여 설명합니다.

큰 문제: "평균"의 함정

숨겨진 보물의 위치를 추측하려 한다고 상상해 보세요. 지도는 있지만 조금 흐릿합니다. 때로는 보물이 확실히 북쪽 동굴에 있고, 때로는 확실히 남쪽 동굴에 있습니다. 절대 중간에는 없습니다.

과학 세계 (입자 물리학이나 의료 영상 등) 에서 과학자들은 종종 컴퓨터를 사용하여 이러한 "추측 게임"을 해결합니다. 오랫동안 그들은 컴퓨터의 성능을 평가할 때 하나의 간단한 질문을 던져 왔습니다. "당신의 추측이 실제 정답에 얼마나 가까운가?"

컴퓨터가 "북쪽"이라고 추측하고 보물이 "북쪽"에 있으면 높은 점수를 받습니다. "남쪽"이라고 추측하고 보물이 "북쪽"에 있으면 낮은 점수를 받습니다.

이 논문은 두 가지 가능한 답 (북쪽과 남쪽) 이 있을 때 이러한 평가 방식이 결함이 있다고 주장합니다.

컴퓨터가 "오류 점수"를 최소화하기 위해 단 하나의 숫자만 답으로 제시하도록 강요받으면, 그것은 속일 것입니다. "북쪽이거나 남쪽이다"라고 말하는 대신, **"중간"**이라고 추측할 것입니다.

• 왜냐하면? 수학적으로 "중간"은 북쪽과 남쪽의 평균이기 때문입니다. 중간에서 북쪽까지의 거리는 중간에서 남쪽까지의 거리와 같습니다. 따라서 "중간" 추측이 가장 낮은 평균 오류를 가집니다.
• 문제점: 보물은 절대 중간에 없습니다. 컴퓨터는 물리적으로 불가능한 수학적으로 "완벽한" 평균 답을 제시하고 있는 것입니다.

결과: 흐릿하고 왜곡된 그림

이 논문은 과학자들이 이러한 "평균" 점수 (RMSE 또는 MAE 라고 함) 를 사용하여 최고의 컴퓨터 모델을 선택할 때, 우연히 진실을 평평하게 만드는 모델을 선택한다고 보여줍니다.

흐릿한 사진들에서 산맥을 재현하려 한다고 상상해 보세요.

• 진실: 두 개의 날카롭고 뚜렷한 봉우리 (북쪽과 남쪽).
• "평균" 모델: 중간에 하나의 넓고 평평한 언덕을 그립니다.

"평평한 언덕"을 보면 날카로운 봉우리들보다 사진에 더 가깝게 보일 수 있으므로 컴퓨터는 더 좋은 점수를 받습니다. 하지만 그 평평한 언덕을 스키 리조트로 건설하려 한다면 큰 문제가 생길 것입니다. 실제로 스키를 탈 수 있는 봉우리가 없기 때문입니다.

과학에서 이러한 데이터의 "봉우리"와 "꼬리"에는 가장 중요한 비밀 (새로운 입자의 질량 등) 이 담겨 있습니다. 컴퓨터에게 단일한 "평균" 답을 강요함으로써, 우리는 우연히 가장 중요한 세부 사항을 흐리게 만들어 과학적 측정을 잘못하게 됩니다.

해결책: 새로운 3 단계 테스트

저자들은 이러한 컴퓨터를 테스트하는 새로운 방법을 제안합니다. 마치 하나의 시험이 아니라 세 가지 다른 부분으로 구성된 운전 면허 시험과 같습니다.

1. "전체 지도" 테스트 (CRPS)
단 하나의 추측만 요구하는 대신, 컴퓨터에게 가능성의 전체 지도를 그리도록 요청합니다.

• 비유: "보물이 북쪽인가 남쪽인가?"라고 묻는 대신, "확률 지도를 그려라"라고 묻습니다.
• 좋은 모델은 두 개의 뚜렷한 덩어리 (북쪽용 하나, 남쪽용 하나) 를 그립니다. 나쁜 모델은 중간에 하나의 큰 덩어리를 그립니다. 이 테스트는 "정확히 어느 것인지 모르지만, 이 두 가지 중 하나임은 안다"라고 인정하는 모델을 보상합니다.

2. "군중" 테스트 (스펙트럼 충실도)
10,000 개의 추측 결과를 모두 함께 살펴봅니다.

• 비유: 1,000 명의 사람들에게 보물의 위치를 추측하게 했을 때, 500 명이 북쪽이라고 하고 500 명이 남쪽이라고 하면 두 동굴에 대한 완벽한 그림을 얻습니다. 만약 "평균" 모델이 사용된다면, 모두 "중간"이라고 말하게 되어 단일한 가짜 동굴의 그림만 얻게 됩니다.
• 이 테스트는 개별 추측이 가까운지 여부가 아니라, 추측들의 집합이 실제 세계처럼 보이는지 확인합니다.

3. "신뢰도" 테스트 (보정)
컴퓨터가 얼마나 확신하는지에 대해 정직한지 확인합니다.

• 비유: 날씨 앱이 비 올 확률이 90% 라고 말한다면, 실제로는 90% 의 확률로 비가 와야 합니다. 90% 라고 말했지만 실제로는 50% 만 비가 온다면, 그 앱은 자신의 신뢰도에 대해 거짓말을 하는 것입니다.
• 이 테스트는 컴퓨터가 무작위로 추측하는 것이 아니라, 실제로 올바른 곳에서 확신을 가지고 있는지 보장합니다.

그들이 발견한 것

저자들은 이 새로운 방법을 두 가지 것에 대해 테스트했습니다.

1. 정확한 정답을 알고 있는 가상의 수학 문제.
2. 두 개의 중성미자 (유령 입자) 가 탐지를 피해 수학이 매우 까다로운 실제 물리학 문제 (톱 쿼크 관련).

놀라운 결과:
이전 "평균" 테스트 하에서 "승자"처럼 보였던 모델들 (단일하고 평평한 중간 답을 제시한 모델들) 은 실제로 데이터의 진정한 형태를 보존하는 데 가장 나쁜 모델들이었습니다.

"지저분한" 두 덩어리 답을 제시한 모델들 (이전 테스트에서는 더 나빠 보였던 모델들) 은 실제로 진실을 말하는 데 가장 뛰어난 모델들이었습니다.

교훈

이 논문은 성공을 측정하는 방식이 무엇을 발견하는지 결정한다고 결론 내립니다.

"추측이 진실에 얼마나 가까운가"만 측정한다면, 현실의 흥미롭고 복잡한 부분을 지워버리는 모델을 만들게 될 것입니다. 올바른 과학적 답을 얻으려면 단일 숫자를 요구하는 것을 멈추고 가능성에 대한 전체 이야기를 요구하기 시작해야 합니다.

간단히 말해: "얼마나 가까웠는가?"라고만 묻지 마십시오. "전체 이야기를 했는가?"라고 물어보십시오.

기술 요약

"Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems" 논문에 대한 상세한 기술적 요약입니다.

문제 제기

과학적 재구성 (예: 입자 물리학, 의료 영상, 지구 물리학) 에서 평가는 현재 Root-Mean-Squared-Error(RMSE), Mean-Absolute-Error(MAE), 그리고 이벤트별 해상도 (per-event resolution) 와 같은 **점별 지표 (pointwise metrics)**에 의해 지배받고 있습니다. 이러한 지표들은 낮은 오차가 더 나은 재구성을 의미한다는 암묵적인 가정 하에 작동합니다.

저자들은 이 가정이 **조건부 사후분포 $p(z|x)$가 다중 모드 (multimodal) 인 제약이 부족한 역문제 (under-constrained inverse problems)**에서는 구조적으로 실패한다고 주장합니다. 이러한 시나리오에서 최소제곱법 (MSE) 하의 최적 예측자는 조건부 기댓값 $E[z|x]$입니다. 다중 모드 사후분포의 경우, 이 기댓값은 종종 확률 밀도가 사라지는 영역 (모드 사이) 에 위치합니다. 결과적으로 점별 오차를 최소화하도록 훈련된 모델은 개별적으로 "비물리적 (unphysical)"인 예측을 생성하며, 집계될 때 잠재 변수 $z$의 주변 분포 (marginal spectrum) 를 체계적으로 압축합니다. 이 압축은 하류 과학적 측정이 의존하는 분포의 꼬리, 모드, 그리고 모양을 왜곡시킵니다.

이론적 기반

이 논문은 **전체 분산의 법칙 (Law of Total Variance)**에 기반한 이론적 주장을 제시합니다:
$$\text{Var}[z] = E[\text{Var}[z|x]] + \text{Var}[E[z|x]]$$
저자들은 조건부 평균 $E[z|x]$로 수렴하는 임의의 점 추정기 (point estimator) $f_\theta(x)$에 대해, 예측의 분산 $\text{Var}[E[z|x]]$는 사후분포의 폭이 0 인 경우를 제외하고는 항상 참인 주변 분산 $\text{Var}[z]$보다 작거나 같음을 증명합니다.

• 함의: 점 추정기는 본질적으로 진실보다 좁은 주변 분포를 생성합니다. 이는 분산 항이 아닌 편향 (bias) 이므로, 데이터 세트 크기가 커져도 감소하지 않습니다.
• 결과: 점별 지표만으로 모델을 평가하는 것은 사후분포 구조의 억제를 적극적으로 보상하고 이를 보존하는 모델을 처벌하여 편향된 과학적 결론으로 이어집니다.

방법론: 3 단계 평가 프로토콜

이러한 실패 모드를 해결하기 위해 저자들은 각 지표가 다른 지표가 놓친 특정 결함을 목표로 하는 3 가지 지표 프로토콜을 제안합니다:

1. 이벤트별 분포 정확도 (CRPS):

   • 엄격한 적절성 점수 규칙 (strictly proper scoring rule) 인 **연속 순위 확률 점수 (Continuous Ranked Probability Score, CRPS)**를 사용합니다.
   • RMSE/MAE와 달리 CRPS 는 예측 분포가 참인 사후분포와 일치할 때만 최소화됩니다. 이는 다중 모드 공간에서 단일 점을 예측하는 "사후분포 붕괴 (posterior collapse)"를 보상하는 것이 아니라 처벌합니다.
   • 점 추정기의 경우 MAE 로 축소되어 생성 모델과 회귀 모델 간의 공정한 비교를 가능하게 합니다.

2. 집단 수준 스펙트럼 충실도:

   • 하류 물리학에서 관심 대상인 전체 데이터 세트에 걸친 주변 분포 $p(z)$를 평가합니다.
   • 예측 값의 히스토그램과 참 값의 히스토그램을 비교하는 **빈 $\chi^2$ 통계량 (binned $\chi^2$ statistic)**을 사용합니다.
   • 이 지표는 점별 지표가 놓치는 스펙트럼 특징 (꼬리와 모드) 의 체계적 압축을 감지합니다.

3. 불확실성 신뢰도 (보정):

   • **준거 예측 (conformal prediction)**을 사용하여 커버리지 곡선을 생성함으로써 예측된 사후분포의 폭이 신뢰할 만한지 평가합니다.
   • 완벽하게 보정된 모델은 대각선을 따라가는 커버리지 곡선 (실제 커버리지가 명목 신뢰 수준과 일치함) 을 생성합니다.
   • 이는 단순히 날카로운 (좁은) 모델과 날카롭고 보정된 모델을 구별합니다.

주요 기여

1. 이론적 증명: 사후분포의 분산이 0 이 아닌 한, 아키텍처나 데이터 세트 크기와 관계없이 MSE 나 MAE 를 최소화하는 모든 점 추정기가 참보다 엄격하게 좁은 주변 분포를 생성함을 증명했습니다.
2. 평가 프로토콜: 회귀, 혼합, 생성 모델 계열 전반에 적용 가능한 통합 프로토콜 (CRPS, 스펙트럼 충실도, 보정) 을 도입했습니다.
3. 실증적 검증: 합성 및 실제 벤치마크 모두에서 점별 지표와 분포 지표 간의 모델 순위가 뒤집어짐을 보여주었습니다.

실험 결과

벤치마크 I: 합성 역문제

• 설정: 분석적으로 다루기 쉬운 이모달 사후분포 ($x = z^2 + \epsilon$) 를 가진 통제된 문제.
• 결과:
  • 표준 회귀 MLP 는 가장 낮은 RMSE 를 달성했지만, 조건부 평균 (0) 에서의 스파이크로 주변 분포를 붕괴시켜 이모달 진실을 표현하지 못했습니다.
  • 생성 모델 (정규화 흐름, 혼합 밀도 네트워크) 은 더 높은 RMSE 를 보였지만 거의 완벽한 CRPS 와 스펙트럼 충실도 ($\chi^2_{spec}$가 자유도에 근접) 를 달성했습니다.
  • 정규화 흐름의 사후분포 샘플을 평균화하면 회귀 모델의 열악한 RMSE 와 스펙트럼 왜곡이 회복되었으며, 이는 회귀 모델이 단순히 흐름의 조건부 평균임을 확인시켜 주었습니다.

벤치마크 II: 입자 물리학 (톱 쿼크 재구성)

• 설정: 디렙토닉 붕괴 (조합적 모호성과 누락된 중성미자가 있는 다대일 역문제) 로부터 톱 쿼크 쌍을 재구성합니다.
• 결과:
  • 점별 지표: 순수 MSE 로 훈련된 Transformer 가 가장 좋은 RMSE 를 달성했습니다. MMD(주변 최대 평균 불일치) 정규화가 적용된 Transformer 는 약간 더 나쁜 성능을 보였습니다.
  • 분포 지표: 순위가 뒤집혔습니다. 이산 정규화 흐름 (Discrete Normalizing Flow) 이 CRPS 와 스펙트럼 충실도에서 우세했습니다. MMD 정규화가 적용된 Transformer 들조차 이벤트별 다중 모달성을 교정하지 못해 막대한 $\chi^2_{spec}$ 값 (흐름보다 수 배 더 나쁨) 을 기록했습니다.
  • 보정: CRPS 와 스펙트럼 충실도가 흐름과 Transformer 를 구별한 반면, 보정은 두 흐름 아키텍처를 구별했습니다. 이산 흐름 (정확한 가능도) 은 잘 보정되었으나, 연속 흐름 (근사 ODE 기반 가능도) 은 체계적으로 커버리지가 부족했는데, 이는 CRPS 만으로는 구별할 수 없는 차이였습니다.

중요성과 주장

이 논문은 모델이 아닌 평가 프로토콜이 과학적 결론을 결정한다고 주장합니다. 점별 지표에 의존함으로써 과학계는 무의식적으로 하류 측정을 지원하지 못하는 재구성 스펙트럼을 가진 모델을 선호해 왔습니다.

• 구조적 불일치: 저자들은 점별 지표가 다중 모드 설정에서 과학적 재구성의 목표와 구조적으로 불일치한다고 주장합니다.
• 프로토콜의 필요성: 제안된 3 단계 프로토콜은 표준 지표 하에서 동일해 보이는 아키텍처 간의 차이 (예: 보정을 통해 정확 및 근사 가능도 흐름을 구별) 를 드러내는 데 필수적입니다.
• 도메인 중립성: 이 발견은 특정 벤치마크뿐만 아니라 사후분포 분산이 무시할 수 없는 모든 역문제 (예: 위상 복원, 우주론적 추론) 에 적용됩니다.

저자들은 이 프로토콜을 사용한 신중한 평가를 통해 점별 지표만 사용하는 평가의 편향을 가시화하며, 과학적 결론이 기반할 수 있는 비교의 근거를 실무자에게 제공한다고 결론지었습니다. 그들은 그들의 발견이 견고하지만 절대적인 성능 값은 실험 설정에 특정되며, 순위 뒤집기 자체가 견고하고 일반화 가능한 결과라고 지적합니다.