Fine-Grained Uncertainty Quantification via Collisions

1. 문제 정의 (Problem Statement)

머신러닝 분류 모델이 의료, 금융, 채용 등 고위험 분야에서 널리 사용됨에 따라, 예측의 불확실성을 정량화하는 것 (Uncertainty Quantification, UQ) 이 중요해졌습니다. 기존 UQ 기법들은 다음과 같은 한계가 있었습니다:

• 세부 정보 부족: 베이지안 오차율 (BER) 이나 엔트로피와 같은 지표는 전체 데이터 분포의 불확실성을 단일 값으로 요약하여, 어떤 클래스 쌍 (Class Pair) 사이에서 혼동이 발생하는지에 대한 세부적인 정보를 제공하지 못합니다.
• 알레토릭 (Aleatoric) 불확실성 측정의 어려움: 관측된 입력이 클래스를 유일하게 결정하지 못하는 경우 (예: 동일한 증상이라도 다른 질병일 수 있는 경우) 를 '클래스 충돌 (Class Collision)'이라고 정의합니다. 기존에는 동일한 입력이 서로 다른 클래스로 관측될 확률을 직접 계산하기 어렵습니다 (고차원 공간에서 동일한 입력이 반복될 확률이 거의 0 이기 때문).
• 사후 확률 추정 (Posterior Estimation) 의 난제: 실제 데이터는 '원-핫 (one-hot)' 레이블로만 제공되므로, 모델이 특정 입력에 대해 각 클래스에 속할 확률 분포 (사후 확률) 를 학습하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 충돌 행렬 (Collision Matrix, $S$) 이라는 새로운 지표를 제안하고, 이를 추정하여 사후 확률 분포를 복원하는 2 단계 접근법을 제시합니다.

A. 충돌 행렬 (Collision Matrix, $S$) 의 정의

• 개념: $K \times K$ 크기의 행렬 $S$로, $S_{i,j}$는 클래스 $i$의 특징 벡터가 두 번째 관측 시 클래스 $j$로 잘못 분류될 확률 (충돌률) 을 의미합니다.
• 의미: $S_{i,j}$ 값이 클수록 클래스 $i$와 $j$를 구별하기 어렵다는 것을 나타내며, 이는 데이터 분포 고유의 불확실성 (알레토릭 불확실성) 을 정량화합니다.
• 베이지안 최적 분류기와의 관계: $S$는 확률적 베이지안 분류기 (Probabilistic Bayes Classifier, PBC) 의 기대 혼동 행렬 (Expected Confusion Matrix) 로 해석될 수 있으며, 이를 통해 BER(베이지안 오차율) 과의 수학적 관계를 규명했습니다.

B. 충돌 행렬 추정 (Estimation via Pair-Wise Contrastive Model)

단일 레이블 데이터 ($T$) 로부터 $S$를 직접 추정하는 것은 불가능하므로, 다음과 같은 2 단계 과정을 제안합니다:

1. 쌍별 대비 모델 (Pair-Wise Contrastive Model, $V$) 학습:
   • 입력 데이터 $T$로부터 모든 가능한 입력 쌍 $(x, \tilde{x})$을 생성하고, 두 입력이 같은 클래스인지 다른 클래스인지에 따라 레이블을 부여합니다.
   • 이 데이터를 사용하여 두 입력이 같은 클래스에 속할 확률 (유사도) 을 출력하는 이진 분류기 $V$를 학습합니다.
2. 행렬 $G$ 추정 및 $S$ 복원:
   • 행렬 $G$ ($G = S S^T$) 추정: 학습된 모델 $V$를 사용하여 $G_{i,j} = E[\text{Sim}(x, \tilde{x}) | x \in D_i, \tilde{x} \in D_j]$를 추정합니다.
   • $S$ 복원: $S$가 비음수 행렬 (Non-negative), 대칭성 (Symmetry, 균일한 사전 확률 가정 하), 그리고 엄격한 대각 우세 (Strict Diagonal Dominance) 조건을 만족한다고 가정할 때, $G$로부터 $S$가 유일하게 복원 가능함을 수학적으로 증명했습니다 (Theorem 1). 이를 통해 $G$를 구한 후 최적화 문제를 풀어 $S$를 추정합니다.

C. 사후 확률 분포 추정 (Posterior Estimation)

• 선형 관계 도출: 임의의 입력 $x$에 대해 각 클래스 $i$와의 기대 유사도 벡터 $q(x)$와 사후 확률 분포 $y(x)$ 사이에 $q(x) = S y(x)$라는 선형 관계가 성립함을 증명했습니다.
• 추정 과정:
  1. 추정된 충돌 행렬 $\hat{S}$와 유사도 벡터 $\hat{q}(x)$를 계산합니다.
  2. $\hat{y}(x) = \hat{S}^{-1} \hat{q}(x)$를 계산하여 각 입력에 대한 사후 확률 분포를 얻습니다.
  • 이 방법은 원-핫 레이블만 있는 데이터에서도 불확실성을 포함한 확률 분포를 추정할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 불확실성 지표 (Collision Matrix): 클래스 쌍 간의 구별 난이도를 세분화하여 보여주는 $K \times K$ 행렬을 제안했습니다. 이는 기존 BER 나 엔트로피보다 훨씬 풍부한 정보를 제공합니다.
2. 수학적 이론 및 유일성 증명: 충돌 행렬 $S$가 그 행렬의 행 그라미안 (Row Gramian, $G=S S^T$) 에 의해 유일하게 결정된다는 새로운 수학적 결과를 증명했습니다.
3. 효율적인 추정 알고리즘: 원-핫 레이블 데이터만으로 $S$와 사후 확률 분포를 추정할 수 있는 새로운 파이프라인 (대조 학습 모델 + 행렬 복원) 을 제시했습니다.
4. 다양한 응용 가능성 제시:
   • 클래스 통합 (Class Consolidation): 혼동이 심한 클래스들을 묶어 분류 문제를 단순화하는 전략 수립.
   • 적응형 샘플링: 학습 중 모델이 혼동하기 쉬운 클래스 쌍에 대해 손실 함수 가중치 조정 또는 과잉 샘플링.
   • 데이터 기반 레이블 스무딩: 클래스 간 유사도에 따라 레이블을 부드럽게 조정하여 모델 성능 향상.

4. 실험 결과 (Results)

• 합성 데이터 (Synthetic Data): 가우시안 혼합 모델 (Gaussian Mixture) 을 사용하여 생성된 데이터에서 제안된 방법 (Algorithm 1) 은 보정된 분류기 (Calibrated Classifier), MC Dropout, 베이지안 신경망 (BNN) 등 기존 베이스라인보다 충돌 행렬 ($S$) 추정 정확도가 높았습니다. 특히 클래스 간 중첩이 적거나 데이터 차원이 낮은 환경에서 우월한 성능을 보였습니다.
• 실제 데이터 (Real-World Data):
  • MNIST: 손글씨 숫자 데이터에서 '4'와 '9', '3'과 '5'처럼 시각적으로 혼동하기 쉬운 쌍에서 높은 충돌 확률을 보여주어 직관과 일치함을 확인했습니다.
  • /tabular 데이터 (Adult, Law School, Diabetes, German Credit): 추정된 $S$를 통해 각 데이터셋의 정밀도 (Precision) 와 재현율 (Recall) 한계를 분석했습니다. 예를 들어, 당뇨병 예측 데이터에서는 재현율은 높지만 정밀도가 낮아 (거짓 양성 많음), 이 데이터만으로는 신뢰할 수 있는 진단이 어렵고 추가 검사가 필요함을 시사했습니다. 이는 모델 성능이 아닌 데이터 자체의 한계를 보여줍니다.
• 사후 확률 추정: 제안된 방법으로 추정한 사후 확률 분포가 실제 불확실성 (Ambiguous inputs) 에 대해 합리적인 확률 분포를 생성함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 불확실성 정량화 (UQ) 에 있어 세분화된 (Fine-Grained) 접근법의 중요성을 강조합니다.

• 데이터 중심의 통찰: 분류 모델의 성능이 아닌, 데이터 분포 자체의 불확실성을 정량화하여 어떤 분류 작업이 본질적으로 불가능한지, 혹은 어떤 클래스 쌍이 혼동되기 쉬운지를 사전에 파악할 수 있게 합니다.
• 실용적 가치: 의료나 금융과 같은 고위험 분야에서 "왜 이 예측이 불확실한가?"에 대한 구체적인 이유 (어떤 다른 클래스와 혼동되는가) 를 제공하여, 의사결정자의 리스크 관리에 직접적인 도움을 줍니다.
• 이론적 확장: 비음수 행렬의 그라미안 분해에 대한 새로운 유일성 정리는 머신러닝을 넘어 행렬 이론 분야에서도 독립적인 관심을 가질 수 있는 결과입니다.

결론적으로, 저자들은 충돌 행렬을 통해 불확실성을 더 정교하게 측정하고, 이를 활용하여 데이터의 본질적 한계를 이해하고 더 나은 분류 전략을 수립할 수 있는 새로운 프레임워크를 제시했습니다.