To Predict or Not to Predict? Towards reliable uncertainty estimation in the presence of noise

이 논문은 다국어 텍스트 분류에서 노이즈와 도메인 이동이 있는 환경의 불확실성 추정 방법을 평가한 결과, 소프트맥스 기반 방법은 한계가 있지만 몬테카를로 드롭아웃이 모든 언어와 조건에서 더 강력한 보정 능력과 예측 신뢰성을 제공함을 입증했습니다.

핵심

이 논문은 **"AI 가 답을 말할 때, 얼마나 확신할 수 있는가?"**라는 아주 중요한 질문을 다룹니다.

마치 우리가 길을 가다가 내비게이션을 볼 때, "이 길은 90% 확률로 맞아요"라고 말하는 것과 "정말 모르겠는데 일단 이쪽으로 가보세요"라고 말하는 것의 차이를 생각해 보세요. 이 연구는 AI(특히 여러 언어를 다루는 번역이나 분류 AI) 가 **"내가 틀릴 가능성이 높은 순간을 스스로 알아채고, 그 순간에는 입을 다물고(예측을 포기하고) 있는 것이 더 현명하다"**는 것을 증명했습니다.

이 복잡한 연구를 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 연구의 배경: "모르는 척하는 것이 더 똑똑한 일이다"

우리는 보통 AI 가 "정답"을 맞히는 것만 중요하다고 생각합니다. 하지만 현실 세계는 엉망진창입니다.

• 잡음 (Noise): 글자가 틀리게 쓰이거나, 문맥이 이상한 경우.
• 비전문적 주제 (Non-topical): AI 가 훈련받지 않은 생소한 주제.
• 언어 장벽: 훈련된 언어와 다른 언어.

이런 상황에서 AI 가 무조건 "내가 맞을 거야!"라고 확신하며 엉뚱한 답을 내는 것보다, **"이건 내가 잘 모르는 영역이야, 답을 내지 않는 게 낫겠다"**라고 말하는 것이 훨씬 안전하고 신뢰할 수 있습니다. 이를 **'불확실성 추정 (Uncertainty Estimation)'**이라고 합니다.

2. 실험: 다양한 '감지 센서' 테스트하기

연구진은 AI 가 "내가 얼마나 모르는지"를 감지하는 다양한 센서 (방법론) 들을 7 개 언어 (아랍어, 영어, 프랑스어 등) 로 테스트했습니다. 마치 자동차에 달린 다양한 경고등들을 시험하는 것과 비슷합니다.

주요 센서들은 다음과 같습니다:

• 소프트맥스 (Softmax): AI 가 가장 확신하는 답의 점수만 봅니다. (가장 간단하지만, AI 가 착각할 때 점수가 높게 나오는 함정이 있음)
• 몬테카를로 드롭아웃 (MC Dropout): AI 에게 "눈을 가리고" 여러 번 같은 문제를 풀게 해서, 매번 답이 달라지면 "아, 내가 진짜 모르는구나"라고 판단합니다. (조금 더 느리지만 정확함)
• 거리 측정 (MD, LOF 등): 훈련 데이터와 너무 멀리 떨어진 이상한 데이터를 찾아냅니다. (외부인 감지)

3. 주요 발견: "단순함 vs 복잡함"의 대결

🏆 승자: "몬테카를로 드롭아웃" (MC Dropout)

이 방법은 AI 에게 "여러 번 생각해보라"고 시키는 방식입니다.

• 비유: 시험을 볼 때, 한 번만 풀고 "100 점 맞았어!"라고 외치는 학생 (소프트맥스) 보다, 문제를 여러 번 풀고 "음, 이 부분은 조금 애매하네?"라고 스스로 의심하는 학생 (MC Dropout) 이 훨씬 신뢰할 만합니다.
• 결과: 언어가 바뀌거나 (영어를 배우다가 프랑스어로 넘어갈 때), 데이터가 엉망일 때 이 방법이 가장 일관되게 "내가 모르는 구간"을 정확히 찾아냈습니다.

🥈 준우승: "소프트맥스" (Softmax)

• 비유: 훈련된 환경 (학교 시험지) 에서는 아주 잘합니다. 하지만 새로운 환경 (실전) 에서는 "내가 다 안다!"라고 과신하는 경향이 있습니다.
• 결과: 익숙한 환경에서는 빠르고 좋지만, 낯선 환경에서는 "나쁜 확신"을 보여줍니다.

🥉 실패한 센서들: "거리 측정기" (LOF, ISOF 등)

• 비유: "이 사람은 내 친구圈子에 없으니 이상한 사람이다"라고 판단하는 방식입니다.
• 결과: 이론적으로는 좋지만, 실제 데이터에 따라 결과가 들쑥날쑥해서 신뢰하기 어려웠습니다.

4. 가장 놀라운 결론: "10% 를 포기하면 100% 가 된다"

연구진이 가장 강조한 점은 **'선택적 예측 (Selective Prediction)'**입니다.
AI 가 가장 확신이 없는 상위 10% 의 경우는 아예 답을 내지 않고 "모르겠다"라고 말하게 했더니, 나머지 90% 의 정답률이 0.81 에서 0.85 로 크게 상승했습니다.

• 일상 비유: 식당에서 요리사가 "이 재료는 신선하지 않아서 못 드려요"라고 10% 를 거절하면, 손님이 받는 나머지 90% 요리의 맛은 훨씬 좋아집니다. AI 도 마찬가지입니다. "모르겠다"라고 말하는 용기가 있어야 전체적인 신뢰도가 올라갑니다.

5. 요약: 우리가 배운 교훈

1. AI 는 "모른다"고 말할 줄 알아야 합니다. 무조건 답을 내놓는 것보다, 틀릴 확률이 높을 때 멈추는 것이 더 안전합니다.
2. 환경이 바뀌면 단순한 방법은 실패합니다. 익숙한 환경에서는 간단한 방법도 잘 통하지만, 낯설고 어려운 상황 (다른 언어, 엉망인 데이터) 에서는 AI 가 여러 번 생각해보게 하는 (MC Dropout) 방법이 훨씬 믿을 만합니다.
3. 완벽함보다 신뢰가 중요합니다. 모든 것을 다 맞추려 하지 말고, 확신할 수 있는 부분만 내놓는 것이 현실 세계의 AI 를 만드는 지름길입니다.

한 줄 결론:

"AI 에게는 '정답'을 맞추는 능력보다, '내가 틀릴 것 같다'고 알아채고 입을 다물 줄 아는 능력이 더 중요합니다. 특히 낯선 환경에서는 AI 가 여러 번 생각하게 해주는 것이 가장 안전합니다."

기술 요약

논문 개요

제목: To Predict or Not to Predict? Towards reliable uncertainty estimation in the presence of noise (예측할 것인가 말 것인가? 노이즈가 존재하는 환경에서의 신뢰할 수 있는 불확실성 추정)
저자: Nouran Khallaf, Serge Sharoff (University of Leeds, UK)
주제: 다국어 텍스트 분류 작업에서 노이즈가 있는 데이터와 도메인 전이 (Domain Shift) 상황 하에서 불확실성 추정 (Uncertainty Estimation, UE) 방법론의 역할을 평가하고, 이를 통해 더 견고한 예측 시스템을 구축하는 방안을 모색합니다.

---

1. 연구 배경 및 문제 정의

• 문제 상황: 실제 NLP 응용 프로그램에서는 단순히 분류기를 예측하는 것뿐만 아니라, 모델이 특정 인스턴스 (예: 문장) 에 대해 얼마나 불확실한지, 즉 "잘못 예측할 가능성이 높은 경우"를 식별하는 것이 필수적입니다. 이는 특히 비주제적 (non-topical) 분류, 노이즈가 있는 데이터, 그리고 다국어 환경에서 더욱 어렵습니다.
• 핵심 과제: 문장 복잡도 분류 (단순 vs. 복잡) 작업에서 교차 언어 전이 (Cross-lingual transfer) 와 도메인 전이 (Domain shift) 로 인해 모델 성능이 저하될 때, 다양한 UE 방법이 어떻게 작동하는지, 그리고 이를 통해 예측을 거절 (Abstention) 함으로써 전체적인 견고성 (Robustness) 을 얼마나 향상시킬 수 있는지 분석하는 것이 목표입니다.
• 현재의 한계: 기존 연구들은 주로 영어와 인-도메인 (in-domain) 환경에 집중했으며, 다양한 언어와 노이즈 조건에서 UE 방법론을 포괄적으로 평가한 연구는 부족했습니다.

---

2. 방법론 (Methodology)

2.1. 데이터셋

• Readme++ (훈련 및 인-도메인 테스트): CEFR 수준으로 등급이 매겨진 다국어 단락 모음. 이진 분류 작업으로 변환 (단순: B1 이하, 복잡: C1/C2).
• Vikidia/Wikipedia (아웃 - 도메인 테스트): 어린이용 위키 스타일 콘텐츠. 주제 편향을 제거하기 위해 스태브 (stub) 항목을 제거하고 본문을 사용.
• Simplext (아웃 - 도메인 테스트): 스페인어 뉴스 기사 (간단화된 텍스트).
• 언어: 아랍어, 카탈로니아어, 영어, 프랑스어, 힌디어, 러시아어, 스페인어 등 7 개 언어.

2.2. 모델 및 실험 설정

• 기반 모델: Multilingual BERT (mBERT) 를 사용하여 5-fold 교차 검증을 수행.
• 하이퍼파라미터: AdamW 옵티마이저, 학습률 $5 \times 10^{-5}$, Cosine decay 스케줄러, 드롭아웃 (p=0.3), 그라디언트 클리핑 등.
• UE 방법론 평가 대상 (9 가지):
  1. 확률 기반 (Probabilistic): Softmax Response (SR), Sampled Max Probability (SMP, MC Dropout 기반), Entropy (ENT), ENT-MC, Probability Variance (PV), BALD.
  2. 특징 기반 (Feature Geometry): Mahalanobis Distance (MD), Isolation Forest (ISOF), Local Outlier Factor (LOF).
  3. 하이브리드 (Hybrid): HUQ-MD (MD 와 SR 결합).

2.3. 평가 지표

UE 의 품질을 세 가지 관점에서 평가:

1. 불확실성 구별 (Discrimination): 잘못된 예측에 높은 불확실성을 부여하는 능력 (ROC-AUC, AU-PRC).
2. 캘리브레이션 (Calibration): 모델의 신뢰도가 실제 정확도와 일치하는지 (C-Slope, CITL, ECE).
3. 선택적 예측 (Selective Prediction): 불확실한 예측을 거절하여 신뢰도를 높이는 능력 (RC-AUC, Trust Index, E-AUoptRC).

---

3. 주요 기여 (Key Contributions)

1. 포괄적인 UE 방법론 벤치마킹: 확률적, 분포적, 기하학적, 하이브리드 접근법을 포함하는 9 가지 인기 있는 기법을 다국어 및 노이즈 환경에서 평가.
2. 다국어 및 교차 도메인 조사: 7 개 언어와 3 개의 데이터셋을 활용하여 언어 및 도메인 변화에 대한 UE 방법의 견고성을 분석.
3. 다양한 평가 지표 분석: 9 가지 널리 사용되는 지표를 비교하고, 서로 다른 관점 (구별, 캘리브레이션, 선택적 예측) 간의 상관관계를 규명.
4. 선택적 예측의 실용적 통찰: 가장 불확실한 5~10% 의 예측을 거절할 때 Macro F1 점수가 유의미하게 향상됨을 입증 (Readme 작업에서 0.81 → 0.85).

---

4. 주요 결과 (Results)

4.1. 분류기 성능 및 도메인 전이

• 인-도메인 (Readme) 에서는 Macro F1 이 0.83 정도로 양호했으나, 복잡한 문장 탐지에는 어려움이 있었습니다.
• 도메인/언어 전이 시 성능 저하: Vikidia/Wikipedia 나 Simplext 와 같은 아웃 - 도메인 데이터로 테스트 시 모든 언어에서 성능이 일관되게 하락했습니다.

4.2. 불확실성 추정 방법론 비교

• Softmax Response (SR) 및 ENT: 인-도메인 고자원 언어 환경에서는 경쟁력 있는 성능을 보이며 계산 비용이 낮아 효율적입니다. 하지만 도메인 전이 시 신뢰도가 급격히 떨어집니다.
• MC Dropout 기반 방법 (SMP, ENT-MC, PV, BALD): 모든 언어와 조건에서 가장 일관되고 강력한 성능을 보였습니다. 특히 아웃 - 도메인 환경에서 SR 보다 훨씬 견고한 캘리브레이션과 선택적 예측 능력을 발휘했습니다.
• 특징 기반 방법 (MD, ISOF, LOF):
  • MD (Mahalanobis Distance): 언어와 평가 지표에 걸쳐 가장 신뢰할 수 있고 일관된 선택지였습니다.
  • ISOF/LOF: 구별 능력 (Discrimination) 은 높았으나, 언어와 데이터셋에 따라 변동성이 매우 커서 실용적인 신뢰성 확보에는 한계가 있었습니다.
• 하이브리드 (HUQ-MD): 구별과 선택 품질은 좋았으나 캘리브레이션 성능은 약했습니다.

4.3. 선택적 예측 (Selective Prediction) 효과

• 거절 (Abstention) 전략: 가장 불확실한 예측 (예: 하위 10%) 을 거절하는 경우, 인-도메인 환경에서 Macro F1 이 0.81 에서 0.85 로 상승했습니다.
• 아웃 - 도메인 환경: 도메인 전이 상황에서는 개선 폭이 줄어들고 불안정해지지만, MC Dropout 기반 방법 (SMP, ENT-MC) 이 여전히 상대적으로 강세를 보였습니다.
• 메트릭의 한계: 전통적인 UE 지표 (ROC-AUC 등) 가 높은 점수를 받은 방법 (예: ISOF) 이 실제 선택적 예측 성능 (거절 시 F1 향상) 에서 항상 좋은 결과를 내지는 않는다는 것을 발견했습니다. 즉, 지표와 실제 실용성 사이의 괴리가 존재합니다.

4.4. 효율성

• SR, ENT: 계산 비용이 거의 없음 (추론 시 추가 오버헤드 없음).
• MC Dropout 기반: T=20 회 반복 추론으로 인해 가장 높은 런타임 오버헤드 (약 21 초/폴드) 를 보임.
• MD, HUQ-MD: 중간 정도의 오버헤드 (약 5.8 초/폴드).

---

5. 결론 및 의의 (Significance)

• 핵심 통찰: "예측할 것인가 말 것인가"라는 질문은 단일 최상의 UE 점수를 찾는 것이 아니라, 견고성 (Robustness) 과 계산 효율성 사이의 균형을 맞추는 문제입니다.
• 실무적 제언:
  • 고자원 인-도메인 환경에서는 계산 비용이 낮은 SR 또는 ENT가 안전하고 효율적인 선택입니다.
  • 저자원 언어, 아웃 - 도메인, 노이즈가 있는 환경에서는 **MC Dropout 기반 방법 (SMP, ENT-MC)**이 신뢰할 수 있는 불확실성 추정을 제공하므로 이를 사용해야 합니다.
  • 기존 UE 지표만으로는 실제 선택적 예측 성능을 완전히 예측할 수 없으므로, Trust Index와 같은 실제 성능 기반 지표를 함께 고려해야 합니다.
• 향후 연구 방향: 데이터 컨텍스트에 따라 적응적으로 UE 지표를 선택하거나 결합하는 메타 - 불확실성 (Meta-uncertainty) 프레임워크 개발 필요. 또한, 다중 클래스 분류 및 더 넓은 텍스트 분류 작업으로의 일반화 연구가 필요합니다.

이 연구는 실제 세계의 다국어 NLP 시스템에서 모델이 언제 "모르겠다"고 말할지 결정하는 신뢰할 수 있는 기준을 마련하는 데 중요한 기여를 합니다.