Uncertainty in Physics and AI: Taxonomy, Quantification, and Validation

본 논문은 물리학을 위한 기계 학습의 불확실성 정량화에 대한 통합된 분류 체계와 구조화된 개요를 제시하여 통계적 프레임워크 간 해석을 명확히 하고 과학적 발견을 위한 신뢰할 수 있는 확률적 진술을 보장하기 위한 원칙에 기반한 검증 도구를 제시합니다.

핵심

"물리학과 AI 의 불확실성: 분류, 정량화, 검증"이라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 정리합니다.

큰 그림: 추측만으로는 부족합니다

당신이 새로운 입자를 발견하려는 물리학자이거나, AI 를 이용해 질병을 진단하는 의사라고 상상해 보세요. 두 경우 모두 정답을 얻는 것이 중요하지만, 그 정답에 대해 얼마나 확신하는지 아는 것이 훨씬 더 중요합니다.

만약 AI 가 "이것은 종양일 확률이 99% 입니다"라고 말하지만 실제로는 그저 그림자라면, 이는 위험합니다. 만약 물리학자가 "우리는 새로운 입자를 발견했습니다"라고 말하지만, 그들의 수학이 데이터의 '흐림'을 고려하지 않는다면, 그들은 틀렸을 수 있습니다.

이 논문은 과학자와 AI 연구자를 위한 안내서입니다. 이 논문은 예측의 '흐림'이나 '의심'인 불확실성에 대해 이야기할 때 공통된 언어가 필요하며, 해당 불확실성이 정직하게 보고되고 있는지 확인하기 위한 엄격한 규칙이 필요하다고 주장합니다.

---

1. 의심의 사전 (분류)

이 논문은 물리학자와 AI 전문가들이 종종 같은 것을 가리키는 다른 단어를 사용하여 혼란을 초래한다고 지적하며 시작합니다. 그들은 불확실성을 정리할 두 가지 주요 축을 가진 명확한 '사전'을 제안합니다.

축 A: 의심은 어디서 오는가? (원천)

• 통계적 불확실성 (소음): 방 안의 사람들의 평균 키를 추정하기 위해 단 세 사람만 재고 있다고 상상해 보세요. 충분한 사람을 재지 않았기 때문에 추정이 틀릴 수 있습니다. 이것이 통계적입니다. 1,000 명을 재면 이 의심은 사라집니다.
• 계통적 불확실성 (고장 난 자): 1,000 명을 재더라도 자가 실제로 1 인치 짧다면 어떨까요? 몇 명을 재든 상관없이 답은 항상 틀립니다. 이것이 계통적입니다. 이는 데이터 부족이 아니라 나쁜 도구나 잘못된 가정에서 비롯됩니다.

축 B: 고칠 수 있는가? (성질)

• 알레토릭 불확실성 (주사위 굴리기): 이는 자연에 내재된 무작위성입니다. 동전 던지기를 생각해 보세요. 동전과 던지는 사람에 대해 모든 것을 알고 있더라도 다음 던짐을 예측할 수는 없습니다. 이는 복구 불가능합니다. 더 많은 데이터를 얻는다고 해서 이를 고칠 수 없습니다. 이것이 세상이 작동하는 방식일 뿐입니다.
• 인식적 불확실성 (빠진 퍼즐 조각): 이는 지식 부족으로 인한 의심입니다. 퍼즐을 풀려고 하는데 조각의 절반이 없다고 상상해 보세요. 더 많은 조각 (더 많은 데이터) 이나 퍼즐이 어떻게 생겼는지 더 나은 그림 (더 나은 이론) 을 얻으면, 이 의심은 사라집니다. 이는 복구 가능합니다.

논문의 핵심 통찰: 이러한 범주들은 겹칩니다. 예를 들어, '고장 난 자' (계통적) 는 우리가 아직 자가 고장 났다는 것을 모를 때 '빠진 퍼즐 조각' (인식적) 일 수 있습니다. 논문은 과학자들이 이를 혼동하지 않도록 분류하는 데 도움이 되는 차트를 제공합니다.

---

2. 두 가지 사고방식 (빈도론자 vs 베이즈주의자)

이 논문은 이러한 의심을 다루는 두 가지 주요 사상이 있음을 설명합니다.

• 빈도론자 (장기 도박꾼): 이 접근법은 "내가 이 실험을 1,000 번 반복한다면 내 답이 얼마나 자주 맞을까?"라고 묻습니다. 그들은 **커버리지 (Coverage)**에 집중합니다. 그들이 "95% 확신한다"고 말한다면, 100 번의 반복 실험 중 95 번에서 진정한 답이 그들의 범위 안에 들어온다는 의미입니다.
• 베이즈주의자 (신념 업데이트러): 이 접근법은 "내가 이전에 알고 있던 것과 방금 본 것을 바탕으로 내 답이 얼마나 그럴듯한가?"라고 묻습니다. 그들은 '사전 신념' (과거 경험에 기반한 추측) 으로 시작하여 새로운 데이터로 업데이트하여 '사후 신념' (새롭고 업데이트된 신념) 을 만듭니다.

논문은 입자 물리학이 일반적으로 빈도론적 접근을 선호하는 반면, 우주론은 종종 베이즈주의적 접근을 선호한다고 지적합니다. 둘 다 유효하지만 서로 다른 언어로 말합니다.

---

3. 스트레스 테스트 (검증)

이 논문에서 가장 중요한 부분은 검증입니다. AI 가 95% 확신한다고 말한다고 해서 그것이 95% 확신인 것은 아닙니다. 논문은 이러한 AI 예측을 '스트레스 테스트'할 세 가지 방법을 제안합니다.

• 커버리지 테스트 (안전망): AI 가 진정한 답을 95% 의 확률로 잡을 것이라고 말하며 안전망 (예측 구간) 을 그렸다면, 그 안전망을 확인해야 합니다. 100 개의 공을 떨어뜨렸을 때 안전망이 80 개만 잡는다면, AI 는 거짓말을 하고 있는 것입니다 (과신). 99 개를 잡는다면 지나치게 조심스러운 것입니다.
• 편향 테스트 (중심): AI 의 최선 추정이 일관되게 왼쪽이나 오른쪽으로 치우쳐 있습니까? 다트판을 상상해 보세요. AI 의 다트가 모두 빽빽하게 모여 있지만 명중점 (bullseye) 에서 2 인치 왼쪽에 있다면, 그것은 편향이 있습니다. 정밀하지만 정확하지는 않습니다.
• 점수 규칙 (성적표): AI 가 맞았는지 틀렸는지만 확인하는 대신, AI 의 전체 확률 지도가 현실과 얼마나 잘 일치하는지에 따라 점수를 매깁니다. 이는 AI 가 자신의 불확실성에 대해 정직할 때 보상을 줍니다. AI 가 "50 대 50 입니다"라고 말하고 실제로 50 대 50 이라면 좋은 점수를 받습니다. "100% 확신합니다"라고 말하고 틀리면 끔찍한 점수를 받습니다.

---

4. '장난감' 예시 (현실 세계에서 무슨 일이 일어나는가?)

저자들은 다양한 AI 방법의 행동을 보기 위해 간단한 수학 문제 (회귀 및 분류) 에서 이러한 아이디어를 테스트했습니다.

• 안전 지대 (보간): AI 가 이전에 본 것과 유사한 것을 예측하도록 요청받을 때 (예: 7 월 데이터를 바탕으로 7 월 날씨 예측), 거의 모든 방법이 잘 작동합니다. 그들은 모두 유사한 답과 유사한 신뢰 수준을 제공합니다.
• 위험 지대 (외삽): AI 가 본 적이 없는 것을 예측하도록 요청받을 때 (예: 1 월 데이터만으로 7 월 날씨 예측), 상황이 혼란스러워집니다.
  • 교훈: 위험 지대에서 AI 의 신뢰는 더 이상 데이터에 기반한 것이 아니라 가정에 기반합니다.
  • 비유: 도시 지도를 상상해 보세요. AI 에게 본 적이 없는 집의 거리 이름을 물어보되, 그 집이 당신이 아는 길에 있다면 AI 는 추측할 수 있습니다. 하지만 완전히 다른 나라에 있는 집의 거리 이름을 물어보면, AI 는 도시가 어떻게 생겼다고 생각하는지에 기반하여 추측해야 합니다.
  • 결과: 논문은 이러한 '알려지지 않은' 영역에서 서로 다른 AI 방법들이 극적으로 다른 답과 신뢰 수준을 준다는 것을 발견했습니다. 그 중 어느 것도 완벽하게 신뢰할 수 없었습니다. 그들이 보고한 불확실성은 실제 지식보다는 그들의 내부 '성격' (수학적 가정) 을 반영한 것이었습니다.

요약

이 논문은 과학에서의 명확성과 정직성을 요구하는 호소입니다.

1. 단어를 섞지 마세요: 당신의 의심이 소음 (무작위성) 에서 오는지 무지 (데이터 부족) 에서 오는지 명확히 하십시오.
2. 작업을 확인하세요: AI 의 숫자만 믿지 마십시오. '커버리지 테스트'와 '편향 테스트'를 사용하여 AI 가 실제로 자신의 신뢰에 대해 진실을 말하고 있는지 확인하십시오.
3. 알려지지 않은 것에 주의하세요: AI 가 본 적이 없는 것에 대해 추측하도록 요청받을 때, 그 신뢰는 사실이 아니라 추측입니다. 과학자들은 이러한 '외삽' 결과를 극도로 주의 깊게 다뤄야 합니다.

궁극적인 목표는 AI 가 과학적 발견을 도울 때, 우리가 그 결과에 대해 얼마나 신뢰할 수 있는지 정확히 알 수 있도록 하는 것입니다.

기술 요약

기술적 요약: 물리학과 인공지능의 불확실성: 분류, 정량화, 검증

문제 제기

물리학에 머신러닝 (ML) 을 통합하려면 과학적 결론이 통계적으로 타당하도록 신뢰할 수 있는 불확실성 정량화 (UQ) 가 필요합니다. 물리학에서 불확실성 추정은 측정의 신뢰성을 판단하고, 결과를 결합하며, 발견 임계값을 설정하는 데 필수적이지만, 머신러닝에서의 적용은 종종 통일된 통계적 해석이 부족합니다. 용어는 커뮤니티 간에 일관성이 없습니다: 물리학자들은 전통적으로 '통계적'과 '체계적' 불확실성을 구분하는 반면, 통계학과 머신러닝 문헌에서는 종종 '알레토릭 (데이터)'과 '에피스테믹 (모델)' 구분을 사용합니다. 이러한 어휘들은 겹치지만 동의어가 아니므로, 불확실성의 감소 가능성과 원인에 대해 혼란을 초래할 수 있습니다. 또한, UQ 를 위한 현대적 머신러닝 방법들은 이론적 기반이 다양하여, 유한 표본 보장을 가진 방법 (예: 합동 예측) 에서부터 경험적 검증에 의존하는 방법 (예: 딥 앙상블) 까지 광범위하게 분포합니다. 이러한 개념들을 명확히 하고, 추론 불확실성과 예측 불확실성을 구분하며, 검증에 대한 원칙 있는 도구를 제공하기 위한 구조화된 프레임워크가 시급히 필요합니다.

방법론

본 논문은 세 가지 주요 방법론적 기둥을 통해 UQ 의 구조화된 개요를 제시합니다:

1. 분류 체계 프레임워크: 저자들은 세 가지 차원을 기반으로 한 통일된 분류 체계를 제안합니다:

   • 원천: 통계적 (유한한 데이터 변동) 대 체계적 (불완전한 모델링/가정).
   • 성질: 알레토릭 (데이터 생성의 불가감 무작위성) 대 에피스테믹 (지식 부재로 인한 불확실성, 더 많은 데이터나 더 나은 모델로 감소 가능).
   • 대상: 추론 불확실성 (매개변수 $\theta$에 관한 것) 대 예측 불확실성 (미래 관측치 $y^*$에 관한 것).
     본 논문은 통계적/체계적이 원천을 분류하는 반면, 알레토릭/에피스테믹은 성질을 분류한다고 명확히 합니다. 또한 에피스테믹 불확실성을 학습 변동성, 데이터 변동성, 모델 편향, 도메인 전이로 명시적으로 분해합니다.

2. 통계적 관점: 본 논문은 빈도주의와 베이지안 프레임워크를 대조합니다.

   • 빈도주의: 데이터가 무작위이고 매개변수가 고정된 상태에서 장기적 보장 (예: 신뢰 구간, 합동 예측) 에 중점을 둡니다.
   • 베이지안: 매개변수의 확률적 모델링 (사후 분포) 과 주변화를 통한 예측 분포에 중점을 둡니다.
   • 텍스트는 베르슈타인 - 폰 미세스 정리와 엄격한 가능도 가정과 추론 목적을 분리하는 일반화/사후 베이지안 접근법 (예: 일반화 변분 추론) 과 같은 이들 간의 연결 고리에 대해 논의합니다.

3. 검증 및 진단: 저자들은 UQ 를 검증하기 위한 구체적인 통계 도구를 상세히 설명합니다:

   • 커버리지 테스트: 예측 영역이 광고된 빈도로 실제 결과를 포함하는지 평가 (주변적 대 조건부).
   • 보정: 예측 확률과 관찰된 빈도 간의 정렬을 측정 (예: 기대 보정 오차, 신뢰도 다이어그램).
   • 편향 테스트: 풀 (pull) 분포와 정규화된 잔차를 사용하여 중앙 추정치의 체계적 이동을 진단.
   • 적절한 스코어링 규칙: 예측 분포의 전반적인 충실도를 평가하여 정직한 확률적 예측을 장려 (예: 브라이어 점수, 음의 로그 가능도).

4. 경험적 예시: 본 논문은 통제된 회귀 및 분류 작업에서 다섯 가지 UQ 방법을 구현하고 비교합니다:

   • 방법: 가우시안 프로세스 (GP), 합동 예측 (CP), 변분 추론 (VI) 및 해밀토니안 몬테카를로 (HMC) 를 통한 베이지안 신경망 (BNN), 반발 앙상블 (RE), 그리고 증거 기반 딥러닝 (EDL).
   • 작업: 1 차원 회귀 문제 (보간 대 외삽 테스트) 와 이진 분류 문제 (중앙 사각형이 제거된 두 달 dataset).

주요 기여

• 통일된 분류 체계: 본 논문은 물리학의 '통계적/체계적' 언어와 머신러닝의 '알레토릭/에피스테믹' 언어를 조화시키는 명확한 다차원 불확실성 분류를 제공하며, 그 교차점을 명시적으로 매핑합니다 (예: 표 1).
• 대상의 구분: 이는 추론 불확실성(매개변수) 과 예측 불확실성(관측치) 을 엄격히 분리하여, 커버리지와 같은 검증 기준이 두者 사이에서 현저히 다르다는 점을 명확히 합니다.
• 검증 도구 세트: 과학적 워크플로우에서 ML 기반 불확실성 진술이 신뢰할 수 있는지 평가하는 데 필요한 일련의 원칙 있는 진단 도구 (커버리지, 보정, 편향, 스코어링 규칙) 를 통합합니다.
• 방법론적 비교: 실증 예시를 통해 서로 다른 모델링 가정 (유도 편향) 이 특히 데이터가 희소한 외삽 영역에서 어떻게 상이한 불확실성 추정으로 이어지는지 보여줍니다.

결과

경험적 예시들은 몇 가지 중요한 발견을 도출합니다:

• 보간 대 외삽: 데이터가 풍부한 보간 영역에서는 다양한 UQ 방법 (GP, BNN, 앙상블, CP) 이 비교 가능한 정확도와 불확실성 밴드를 생성합니다. 그러나 외삽 영역 (학습 도메인 외부) 에서는 방법들이 현저히 갈라집니다. 그들의 행동은 데이터 제약이 아닌 유도 편향 (예: GP 의 커널 선택, NN 의 아키텍처) 에 의해 지배됩니다.
• 외삽에서의 보정 실패: 검증 진단 (보정 곡선 및 풀 분포) 은 학습 도메인 내에서는 방법들이 잘 보정될 수 있지만, 외삽을 강요받을 때 명목상의 커버리지나 단위 너비 풀 분포를 유지하지 못한다는 것을 보여줍니다. 이러한 영역의 불확실성 추정은 통계적 제약이 아닌 사전 가정을 반영합니다.
• 분류 성능: 이진 분류 작업에서 사후 추론을 수행하는 방법 (HMC, VI, 앙상블) 은 일반적으로 결정론적 베이스라인보다 보정 측면에서 더 나은 성능을 보입니다 (낮은 브라이어 점수 및 ECE). 반발 앙상블은 사후 분포를 더 잘 커버함으로써 단순 앙상블보다 향상된 보정을 보여주었습니다.
• 근사 한계: HMC 는 '골드 스탠다드'로 기능하지만, 평균장 VI 및 기타 근사법들은 단순한 단봉 시나리오에서 비교 가능한 성능을 보일 수 있습니다. 그러나 본 논문은 복잡한 사후 분포 (다봉, heavy-tailed) 의 경우 근사법의 선택이 결정적이라고 지적합니다.

중요성 및 주장

본 논문은 물리학에서 ML 의 검증 및 검증을 위한 표준을 확립하려는 VERaiPHY 이니셔티브에 대한 기초적인 기여로 자신을 위치시킵니다. 그 중요성은 다음과 같습니다:

• 개념적 명확성: 물리학, 통계학, ML 커뮤니티 간의 용어 간극을 해소하여 불확실성 논의에 대한 공통 언어를 제공합니다.
• 실용적 지침: UQ 의 타당성은 방법의 공식적 유도에서 보장되는 것이 아니라 특정 진단을 사용하여 경험적으로 검증되어야 함을 강조합니다.
• 현실적 기대: 저자들은 확장 가능한 UQ 방법이 존재하지만, 가장 중요한 열린 문제는 모델 오지정, 분포 전이와 같은 비이상적 가정 하에서의 견고성이라고 겸손하게 주장합니다. 그들은 외삽 영역에서 불확실성은 근본적으로 모델링 가정에 의존하므로, 알고리즘 출력에 맹목적으로 신뢰하기보다 신중한 해석이 필요하다고 논합니다.
• 파이프라인 통합: 본 논문은 견고한 UQ 는 선택적 부가 기능이 아니라 풀링, 매개변수 추정, 글로벌 피팅과 같은 하류 작업을 위해 필수적인 전체 과학적 추론 파이프라인의 구조적 구성 요소라고 주장합니다.

이 연구는 ML 의 신뢰할 수 있는 과학적 사용은 파이프라인의 모든 단계에서 모델링 가정, 추론 절차, 검증 진단을 명시적이고 검증 가능하게 만드는 것을 요구한다고 결론지었습니다.