기술 요약: 인식론적 불확실성과 우연적 불확실성의 구조적 분리

1. 문제 정의

예측 불확실성은 전통적으로 인식론적 불확실성(Epistemic Uncertainty, EU)(줄일 수 있는 모델의 무지)과 우연적 불확실성(Aleatoric Uncertainty, AU)(지속되는 데이터의 모호성)으로 분해된다. 개념적으로는 구별되지만, 이 두 양을 추정하는 표준적인 방법들은 종-종 이들을 경험적으로 분리하는 데 실패한다. 몬테카를로 드롭아웃(Monte Carlo dropout), 딥 앙상블(Deep Ensembles), 증거 기반 네트워크(Evidential Networks)와 같은 기법들은 동일한 예측 분포 $p(y|x)$로부터 두 추정치를 모두 도출한다.

이는 "대수적 함정(Algebraic Trap)"을 만든다. EU와 AU 모두 동일한 분포의 함수이기 때문에, 이들은 공유된 대수적 의존성을 물려받는다. 최근의 벤치마크 결과는 이 두 성분이 강하게 상관되어 있음($\rho \ge 0.78$)을 보여주며, 이는 모델이 혼란스러운 상태(높은 EU)와 데이터가 본질적으로 모호한 상태(높은 AU)를 구분하는 것을 불가능하게 만든다. (Tomov et al., 2026 등의) 형식적 결과에 따르면, $p(y|x)$의 어떤 사후 함수(post-hoc function)도 줄일 수 있는 오류(reducible error)와 본질적인 모호성(intrinsic ambiguity)을 유일하게 구별할 수 없다. 서로 다른 기저의 불확실성 상태가 동일한 최적 예측 분포를 유도할 수 있기 때문이다.

2. 방법론: 구조적 분리

본 논문은 이러한 대수적 결합을 깨기 위한 설계 원칙으로서 **구조적 분리(Structural Separation)**를 제안한다. 단일 예측 객체로부터 두 불확실성을 도출하는 대신, 저자들은 지도 학습된 잠재 변수 모델(Supervised Latent Variable Models, SLVMs) 내에서 EU와 AU를 **서로 분리된 파라미터 경로(disjoint parameter paths)**에 할당한다.

핵심 아키텍처: 크레달 개념 병목 모델 (Credal Concept Bottleneck Model, CBM)

주요 구현체는 고정된 인코더(예: DistilBERT)를 기반으로 구축된 Credal CBM이다. 이 아키텍처는 세 가지 직교하는 파라미터 경로를 도입한다:

1. 평균 경로 ($\mu$): 개념의 점 추정치(point estimate)를 예측하며 태스크 헤드로 전달된다.
2. 인식론적 헤드 ($\sigma_{epi}$): **줄일 수 있는 예측 오류(reducible prediction error)**를 추적하도록 훈련된다. 이는 분리된 파라미터 집합 $\phi_{epi}$에 의해 매개되며, 예측 오류(그래디언트 중단(stop-gradients)을 통해 게임 방지)와 Hausdorff KL 정규화 항이 결합된 손실 함수에 의해 감독된다.
3. 우연적 헤드 ($\sigma_{ale}$): **지속되는 레이블 모호성(persistent label ambiguity)**을 추적하도록 훈련된다. 이는 분리된 파라미터 집합 $\phi_{ale}$에 의해 매개되며, 다수 주석가 간의 불일치 또는 코퍼스 유래 답변 분포에서 도출된 실제 레이블 분포의 엔트로피($H[\hat{p}^*]$)에 의해 직접 감독된다.

주요 메커니즘

• 분리된 매개변수화 (Disjoint Parameterization): 인식론적 헤드와 우연적 헤드는 겹치지 않는 파라미터 집합($\phi_{epi} \cap \phi_{ale} = \emptyset$)을 사용한다.
• 직교 투영 (Orthogonal Projections): 인코더 출력 $h$는 직교하는 부분 공간($W_{epi}h$, $W_{ale}h$)으로 투영되어, 각 헤드가 겹치지 않는 특징 입력을 받도록 보장한다.
• 그래디언트 격리 (Gradient Isolation): 훈련 손실은 $\phi_{epi}$에만 의존하는 인식론적 손실($L_{epi}$)과 $\phi_{ale}$에만 의존하는 우연적 손실($L_{ale}$)로 분해된다. 저자들은 이러한 조건 하에서 교차 그래디언트(cross-gradients)가 동일하게 0임을 증명한다 ($\nabla_{\phi_{epi}} L_{ale} = 0$ 및 \nabla_{\phi_{ale}} L_{epi} = 0}).
• 크레달 집합 (Credal Sets): 모델은 개념을 평균 $\mu$와 인식론적 공분산 $\Sigma_{epi}$로 정의되는 확률 분포의 볼록 집합(convex sets)인 크레달 집합으로 표현하며, 우연적 분산 $\sigma_{ale}$은 크레달 집합 외부에서 별도로 모델링된다.

3. 주요 기여

1. 구조적 분리 원칙: 저자들은 $p(y|x)$의 사후 분해가 아닌, 별도의 감독된 파라미터 경로를 통해 EU와 AU가 계산되는 SLVM을 위한 프레임워크를 도입한다.
2. 그래디언트 격리 정리: 분리된 파라미터와 별도의 손실 항을 사용하면 훈련 중에 EU와 AU 헤드가 서로 결합되지 않고 대수적 함정을 피할 수 있음을 보여주는 형식적 증명을 제공한다.
3. Credal CBM 구현: 직교 투영과 하이브리드 손실 함수를 사용하여 이러한 분리를 달성하는 Credal Concept Bottleneck Model의 구체적인 구현을 제시한다.
4. 포괄적 진단: 단순한 탈상관화를 넘어 의미론적 타당성을 테스트하기 위한 지표를 도입하고 검증한다:
   • 그래디언트 격리: 제로 교차 그래디언트 확인.
   • 상관관계: $\rho(U_{epi}, U_{ale})$ 측정.
   • 데이터 스케일링 가변성: 데이터 증가에 따라 EU가 감소하는지 확인.
   • 모호성 추적: AU가 실제 근거가 되는 모호성($H[\hat{p}^*]$)과 상관관계가 있는지 확인.

4. 실험 결과

이 방법은 다섯 가지 벤치마크(주석가 유래 모호성이 포함된 세 개의 개념 병목 데이터셋 CEBaB, HateXplain, GoEmotions 및 코퍼스 유래 모호성이 포함된 두 개의 QA 데이터셋 MAQA*, AmbigQA*)에서 평가되었다.

• 탈상관화 (Decorrelation): 구조적 분리는 Deep Ensembles 및 MC Dropout과 같은 표준 방식에서 관찰되는 EU와 AU 사이의 스피어만 상관계수 범위를 $\rho \in [0.75, 0.84]$에서 $\rho \approx 0.05$로 감소시켰다. 명시적인 탈상관화 페널티($\lambda_d = 0$) 없이도 상관관계는 "사후 하한선(post-hoc floor)"보다 훨씬 낮은 $\rho \in [0.12, 0.23]$를 유지했다.
• 의미론적 타당성 (Semantic Validity):
  • 우연적 추적: 우연적 헤드는 실제 모호성과 강한 상관관계($\rho(\sigma_{ale}, H) \in [0.42, 0.74]$)를 보인 반면, 베이스라인 모델들은 훨씬 약한 추적 성능을 보였다.
  • 인식론적 민감도: 인식론적 헤드는 예측 오류에 민감하게 반응했으며, 기대되는 가변성 신호(데이터 증가에 따른 그래디언트 노름의 감소)를 보여주었다.
• 다운스트림 유용성: 이 방법은 **사분면 기반 라우팅(quadrant-based routing)**을 가능하게 하여 다음의 경우를 성공적으로 구분하였다:
  • DATA (높은 EU, 낮은 AU): 더 많은 데이터가 필요한 경우 (예: 생소한 사실).
  • REVIEW (낮은 EU, 높은 AU): 본질적인 모호성으로 인해 인간의 검토가 필요한 경우 (예: 주관적 의견).
    표준 베이스라인들은 이러한 구별된 사례들을 대각선상으로 붕괴시켜, 운영상의 결정을 지원하지 못했다.
• 강건성: 결과는 다양한 인코더 아키텍처(DistilBERT, BERT, RoBERTa) 전반에서 유지되었으며, Self-Explaining Neural Network(SENN) 구현에서도 확인되었다.

5. 의의 및 주장

본 논문은 감독된 잠재 변수 아키텍처가 단순히 탈상관화된 것이 아니라 운영적으로 구별 가능한 불확실성 추정치를 제공하는 실질적인 경로를 제공한다고 주장한다.

• 불가능성 극의: 추정을 출력 공간(즉, $p(y|x)$의 함수)에서 파라미터 공간(즉, 별도의 그래디언트를 가진 별도의 헤드)으로 이동함으로써, 사후 분해에 적용되는 불가능성 결과들을 우회한다.
• 운영적 구별: 주요 의의는 단순한 통계적 탈상관화가 아니라, 서로 다른 결정을 지원할 수 있다는 점에 있다. 즉, 높은 EU는 더 많은 데이터나 모델 개선의 필요성을 알리고, 높은 AU는 중단(abstention)이나 인간의 검토가 필요함을 알린다.
• 한계점: 저자들은 이 프레임워크가 감독된 잠재 구조(개념)와 모호성 관련 감독 신호(예: 다수 주석가 데이터)의 가용성에 의존한다는 점을 솔직하게 언급한다. 또한 대규모 LLM의 엔드투엔드 미세 조정으로 확장할 때 분리를 유지하기 위해 세심한 그래디언트 라우팅이 필요할 수 있음을 인정하며, 현재의 벤치마크가 상대적으로 작고 특수하게 설계되었음을 밝힌다.

요약하자면, 본 논문은 아키텍처적 분리가 결합된 명확한 감독 대상이 단순한 탈상관화를 넘어 의미론적으로 유효하고 의사결정에 유용한 불확실성 추정치를 생성하는 데 필수적이고 효과적인 조건임을 논증한다.