Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

"Epistemic–Aleatoric Uncertainty Decomposition을 위한 Credal Concept Bottleneck Models" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

고위험 (high-stakes) 자연어 처리 (NLP) 응용 분야 (예: 의료, 법률, 금융) 에서 표준 모델은 두 가지 구별되는 유형의 불확실성을 혼동하는 단일 신뢰도 점수를 출력합니다.

• 인지적 불확실성 (Epistemic Uncertainty): 모델의 무지나 미명세 (underspecification) 로 인해 발생하는 감소 가능한 불확실성 (예: 모델이 충분한 유사한 학습 예시를 보지 못함).
• 우연적 불확실성 (Aleatoric Uncertainty): 입력 데이터의 고유한 모호성이나 노이즈로 인해 발생하는 감소 불가능한 불확실성 (예: 인간 주석자들이 라벨에 대해 진정으로 이견을 보임).

현재 접근법의 한계:

• 개념 병목 모델 (Concept Bottleneck Models, CBMs): CBM 은 인간이 이해할 수 있는 중간 개념을 예측함으로써 해석 가능성을 향상시키지만, 일반적으로 **점 확률 (single values)**을 출력합니다. 이는 인지적 불확실성과 우연적 불확실성을 축소시켜 예측이 왜 불확실한지 파악할 수 없게 만듭니다.
• 실행 가능성 격차: 분해가 없으면 실무자는 더 많은 학습 데이터가 필요한 경우 (높은 인지적 불확실성) 와 모호한 입력으로 인해 인간 검토가 필요한 경우 (높은 우연적 불확실성) 를 구분할 수 없습니다.

2. 방법론: CREDENCE

저자들은 개념 수준에서 불확실성을 구성적으로 분해하는 CREDENCE(Credal Ensemble Concept Estimation) 를 제안합니다.

핵심 아키텍처 혁신

1. Credal 예측 (구간): 단일 확률 $p_k$ 대신, 각 개념 $k$는 확률 구간 $[p_k, \bar{p}_k]$로 예측됩니다. 이 구간은 가능한 확률의 범위를 포착하는 Credal Set을 나타냅니다.
2. 불확실성의 구조적 분리: 아키텍처는 인지적 신호와 우연적 신호가 단일 점수로 축소되는 것을 방지하기 위해 서로 다른 소스에서 오도록 보장합니다.
   • 인지적 불확실성 ($U_{epi}$): 앙상블 불일치에서 유도됩니다. 모델은 다양한 랭크와 드롭아웃 비율을 가진 $H$개의 다양한 경량 헤드 (LoRA 어댑터) 를 사용합니다. 예측의 분산은 모델의 혼란을 정량화합니다.
   • 우연적 불확실성 ($U_{ale}$): 전용 헤드에서 유도되며, 이는 주석자 불일치(모호성) 를 예측하도록 특별히 훈련됩니다. 이 헤드는 주어진 개념에 대한 인간 라벨의 분산에 비례하는 값을 출력하도록 학습됩니다.

파이프라인 단계

1. 인코더: 고정된 사전 훈련된 모델 (예: RoBERTa, LLM) 이 입력 텍스트 $x$를 표현 $h$로 인코딩합니다.
2. 앙상블 헤드: $H$개의 다양한 LoRA 헤드가 개념 확률 $\hat{p}_h^{(k)}$를 예측합니다.
3. Credal 집계:
   • 구간 경계가 형성됩니다: $C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$.
   • 인지적 불확실성은 헤드 간의 분산으로 계산됩니다: $U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$.
4. 우연적 헤드: 별도의 헤드가 $\sigma_\theta^{(k)}$를 예측하며, 훈련 중 관측된 주석자 불일치율 (ground truth) 에 맞춰 훈련됩니다.
5. 분류 및 결정:
   • 최종 라벨은 개념 확률의 평균을 사용하여 예측됩니다.
   • 결정 규칙: 시스템은 분해된 신호를 사용하여 샘플을 라우팅합니다.
     • 신뢰: 낮은 인지적, 낮은 우연적 $\rightarrow$ 자동화.
     • 데이터 수집: 높은 인지적, 낮은 우연적 $\rightarrow$ 더 많은 학습 데이터 수집.
     • 인간 검토: 낮은 인지적, 높은 우연적 $\rightarrow$ 인간에게 라우팅 (입력이 모호함).
     • 거부: 높은 인지적, 높은 우연적 $\rightarrow$ 예측 거부.

3. 주요 기여

1. Credal CBM 공식화: 개념 예측을 점 추정치가 아닌 확률 구간으로 표현하는 새로운 CBM 변형으로, 원칙적인 불확실성 정량화를 가능하게 합니다.
2. 구조적 분해: 앙상블 분산과 감독된 모호성 헤드와 같은 별도의 아키텍처 구성 요소를 사용하여 인지적 (모델 혼란) 과 우연적 (데이터 모호성) 신호를 분리하는 방법으로, 신호 축소를 방지합니다.
3. 실행 가능한 처방적 지침: 불확실성을 분해함으로써 데이터 수집 우선순위 지정 (인지적 오류용) 대 인간 검토 (우연적 사례용) 와 같은 구체적이고 최적화된 개입이 가능함을 보여줍니다.

4. 실험 결과

이 프레임워크는 CEBaB, GoEmotions, HateXplain, SST-2와 같은 데이터셋을 사용하여 여러 NLP 작업 (감정, 정서, 독성) 에서 평가되었습니다.

• 분해 유효성 (RQ1 및 RQ2):

  • 인지적 상관관계: CREDENCE 는 인지적 불확실성과 예측 오류 간에 강한 양의 상관관계를 보입니다 (CEBaB 에서 $\rho_{epi} \approx 0.287$). 모델이 틀릴 때 앙상블 헤드들이 불일치합니다.
  • 우연적 상관관계: 우연적 불확실성은 주석자 불일치와 강하게 상관관계가 있습니다 (CEBaB 에서 $\rho_{ale} \approx 0.785$). 이는 베이스라인 (예: CBM+Ensemble $\rho_{ale} \approx 0.356$) 을 크게 능가합니다.
  • 분리: 주석자 불일치 라벨이 없는 SST-2 에서 우연적 불확실성은 오류와 상관관계가 없음을 올바르게 보여주어, 이것이 모델 실패가 아닌 모호성을 측정함을 증명합니다.

• 실행 가능성 (RQ3):

  • 개념 개입: 높은 우연적 불확실성을 가진 개념을 ground-truth 라벨로 대체하는 것은 높은 인지적 개념을 대체하는 것 ($\Delta Acc \approx 4.3\%$) 에 비해 훨씬 더 큰 정확도 향상 ($\Delta Acc \approx 18.9\%$) 을 가져옵니다. 이는 모델 혼란보다 모호한 개념이 작업 결과에 더 큰 영향을 미친다는 것을 시사합니다.
  • 라우팅 효율성: 4 분면 결정 프레임워크는 모델이 실제로 정확하지만 인간이 이견을 보이는 "인간 검토" 사례 (낮은 인지적, 높은 우연적) 를 식별하여, 올바르게 라우팅될 경우 가장 높은 잠재적 정확도 향상 (85.7%) 을 달성합니다.

• 효율성: CREDENCE 는 전체 Deep Ensembles 에 비해 최소한의 오버헤드 (LoRA 어댑터 사용) 로 이러한 결과를 달성하며, 풍부한 불확실성 신호를 제공하면서도 경쟁력 있는 정확도를 유지합니다.

5. 중요성 및 영향

• 이론과 실무의 연결: 이 논문은 이론적 불확실성 정량화를 넘어 처방적 행동을 제공합니다. 불확실성의 유형에 따라 실무자에게 무엇을 해야 하는지 (예: "데이터 수집" 대 "인간에게 전송") 알려줍니다.
• 주관성 처리: "ground truth"가 종종 논쟁적인 인간 판단의 복합체 (주관성) 인 NLP 작업에서 모델의 무지와 고유한 모호성을 구분하는 것은 중요합니다. CREDENCE 는 이러한 구분을 명시적으로 모델링하는 최초의 CBM 프레임워크를 제공합니다.
• 인간-AI 협업: 인간 판단이 필수적인 경우 (높은 우연적) 와 모델이 단순히 더 많은 훈련이 필요한 경우 (높은 인지적) 를 식별함으로써, 이 프레임워크는 인간 자원과 데이터 수집 예산의 할당을 최적화합니다.
• 강건성: 이 방법은 다양한 모델 규모 (66M 파라미터 인코더에서 8B 파라미터 LLM 까지) 와 다양한 NLP 작업에 걸쳐 일반화됩니다.

요약하자면, CREDENCE는 불확실성을 단일하고 불투명한 신뢰도 점수에서 구조화되고 실행 가능한 진단 도구로 변환하여, 고위험 환경에서 AI 시스템의 더 신뢰할 수 있고 효율적인 배포를 가능하게 합니다.