Concerning Uncertainty -- A Systematic Survey of Uncertainty-Aware XAI

이 논문은 불확실성 정량화 방법, 설명 통합 전략, 그리고 평가 관행의 현황을 체계적으로 분석하고, 불확실성 전파와 인간 의사결정을 연결하는 통합된 평가 원칙과 보정 및 반사실적 접근법의 중요성을 강조합니다.

핵심

🌟 핵심 비유: "비밀스러운 요리사 vs. 솔직한 요리사"

지금까지의 AI(블랙박스) 는 마치 **정말 맛있는 요리를 해주는 '비밀스러운 요리사'**와 같습니다.

• 기존 AI: "이 요리는 소고기입니다." (결론만 알려줌)
• 문제점: 하지만 그 소고기가 정말 신선한지, 아니면 상한 고기를 섞었는지는 말해주지 않습니다. 요리사가 "이거 진짜 소고기야!"라고 외쳐도, 우리가 그 말을 100% 믿을 수 있을까요? 특히 중요한 상황 (병원, 대출 승인 등) 에서는 "그거 진짜 맞나요?"라고 묻고 싶지만, AI 는 "네, 맞아요"라고만 답할 뿐입니다.

이 논문은 이제 AI 가 '솔직한 요리사'가 되어야 한다고 주장합니다.

• 새로운 AI (불확실성 인식 AI): "이 요리는 소고기입니다. 하지만 제가 80% 확신합니다. 나머지 20% 는 소고기가 아니라 다른 고기일 수도 있거든요. 왜냐하면 제가 본 소고기 데이터가 좀 부족해서요."

이처럼 **결론 (무엇인지) + 확신도 (얼마나 믿을 수 있는지)**를 함께 알려주는 것이 이 논문의 핵심입니다.

---

🔍 이 논문이 찾아낸 3 가지 주요 방법 (요리사의 설명 방식)

연구진들은 문헌을 조사하며 AI 가 불확실성을 설명하는 세 가지 방식을 발견했습니다.

1. "신뢰도 점수"를 붙여주기 (Assessing Trustworthiness)

• 비유: 요리사가 "이 요리는 A+ 등급입니다. 하지만 B 등급일 가능성도 10% 있어요"라고 점수를 매겨주는 것입니다.
• 의미: AI 가 내린 예측이나 설명에 대해 "얼마나 확신하는지"를 숫자나 그래프로 보여줍니다. 사용자가 "아, 이 부분은 90% 확신이라 믿어도 되겠구나"라고 판단할 수 있게 돕습니다.

2. "불확실한 부분은 설명하지 않기" (Constraining Models)

• 비유: 요리사가 "이 부분은 제가 잘 모르겠으니, 이 부분만은 설명해 드리지 않겠습니다"라고 말하는 것입니다.
• 의미: AI 가 확신이 없는 영역에서는 억지로 설명을 하지 않거나, 설명의 범위를 좁혀서 사용자가 오해하지 않도록 막아줍니다. "모르는 건 모른다고 말하는 게 더 안전하다"는 철학입니다.

3. "불확실성 그 자체를 설명하기" (Explicitly Communicating)

• 비유: 요리사가 "이 요리의 맛이 안 좋은 이유는 소고기 자체가 상했을 수도 있고 (데이터 문제), 제가 요리하는 실력이 부족해서일 수도 있어요 (모델 문제)"라고 원인을 구체적으로 설명하는 것입니다.
• 의미: AI 가 왜 헷갈리는지 그 이유를 분석합니다.
  • 데이터 문제 (Aleatoric): 소고기 자체가 원래 변덕이 심해서 (잡음) 어쩔 수 없는 경우.
  • 지식 부족 (Epistemic): 제가 소고기를 아직 많이 안 봐서 모르는 경우.
  • 이 두 가지를 구분해주면 사용자는 "데이터 문제라면 어쩔 수 없네" 혹은 "모델을 더 공부시켜야겠네"라고 판단할 수 있습니다.

---

📊 현재 상황과 앞으로의 과제

이 논문은 현재 연구 상황을 다음과 같이 요약합니다.

• 과거: AI 는 "무조건 정답"인 것처럼 행동했습니다.
• 현재: "제 답은 80% 맞을 것 같아요"라고 말하기 시작했습니다. (베이지안, 몬테카를로, 컨포멀 예측 등 다양한 기술이 등장)
• 문제점: 아직까지 "어떻게 평가할지"가 정해지지 않았습니다. 요리사가 "80% 확신"이라고 했을 때, 그게 진짜로 80% 인지를 검증하는 방법이 부족합니다. 또한, 사용자가 이 '확신도'를 어떻게 받아들일지에 대한 연구도 부족합니다.

🚀 미래 전망: "진짜 신뢰할 수 있는 AI"를 위해

연구진은 앞으로 다음과 같은 일이 필요하다고 말합니다.

1. 공식적인 보증서 발급: "이 설명은 95% 확률로 맞다"는 것을 수학적으로 증명하는 시스템이 필요합니다.
2. 사용자 테스트: 사람들이 "80% 확신"이라는 말을 듣고 실제로 어떻게 결정을 내리는지 실험해봐야 합니다.
3. 원인 분석: AI 가 왜 헷갈리는지 (데이터 문제인지, AI 능력 문제인지) 를 명확히 구분해서 알려줘야 합니다.

💡 한 줄 요약

"AI 가 "이게 정답이야!"라고 외치는 것보다, "이게 정답일 가능성이 80% 인데, 그 이유는 ~때문이에요"라고 솔직하게 말하는 것이, 우리가 AI 를 믿고 중요한 결정을 내리는 데 훨씬 더 안전하고 도움이 됩니다."

이 논문은 바로 그 **'솔직한 AI'**를 만드는 방법을 체계적으로 정리한 지도와 같습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 인공지능 (AI) 이 의료, 자율주행 등 고위험 의사결정 분야에 광범위하게 적용되면서, 모델의 '블랙박스' 성향으로 인한 투명성, 신뢰성, 신뢰 구축의 필요성이 대두되었습니다. 이를 해결하기 위해 설명 가능한 인공지능 (XAI) 이 발전해 왔으나, 기존 XAI 는 주로 "왜 그 결정이 내려졌는가 (Why)"에 초점을 맞추고 있습니다.
• 문제점: 기존 설명 기법들은 모델 예측이나 설명 자체의 신뢰도 (Reliability) 나 불확실성 (Uncertainty) 을 명시적으로 전달하지 못합니다. 고위험 환경에서는 사용자가 예측의 타당성뿐만 아니라 그 예측이 얼마나 확신할 수 있는지 (신뢰도) 와 위험을 평가해야 하므로, 불확실성 정보가 결여된 설명은 충분하지 않습니다.
• 핵심 과제: 불확실성 (Aleatoric: 데이터 고유의 잡음, Epistemic: 지식 부족으로 인한 불확실성) 을 설명 과정에 통합하고, 이를 어떻게 체계적으로 정의, 분류, 평가할 것인지에 대한 합의가 부재합니다.

2. 연구 방법론 (Methodology)

• 체계적 문헌 고찰 (Systematic Survey): IEEE Xplore 와 Web of Science 데이터베이스를 활용하여 2025 년 4 월 5 일까지 발표된 논문을 대상으로 체계적인 검색 및 분석을 수행했습니다.
• 검색 전략: "uncertainty AND explanations", "UAXAI", "epistemic/aleatoric uncertainty" 등의 키워드를 조합하여 검색했으며, Snowballing(참고문헌 추적) 과 Scopus AI 를 활용한 외부 감사를 병행하여 누락된 핵심 연구를 확인했습니다.
• 선정 기준:
  • 포함: XAI 맥락에서 불확실성을 명시적으로 다루는 동료 검토 논문 및 컨퍼런스 논문.
  • 제외: 설명 요소가 없는 불확실성 정량화 (UQ) 전용 연구, 불확실성 논의가 없는 XAI 연구, 에디토리얼/초록/논문 등.
• 분석 프로세스: 초기 184 건의 논문 중 초록 및 전체 텍스트 심사를 거쳐 최종 46 편의 논문을 선정했습니다. 선정된 논문들을 코딩 (Coding) 하여 다음 10 가지 카테고리로 분석했습니다: 주요 초점, 불확실성 유형, 설명 기법, 적용 도메인, 사용자 참여, 주요 기여, 한계점, 지식 격차, SOTA(최신 기술) 여부 등.

3. 주요 기여 및 정의 (Key Contributions & Definitions)

• UAXAI 의 운영적 정의: 본 논문은 **불확실성 인지형 설명 가능한 인공지능 (UAXAI)**을 다음과 같이 정의합니다.
  1. 모델 예측, 설명, 또는 둘 다에 관련된 불확실성을 명시적으로 표현, 전달, 추론하는 방법.
  2. 공식적인 불확실성 추정을 설명 출력에 통합하거나, 불확실성을 이용해 설명을 검증/제한하거나, 인간 사용자가 접근 가능한 방식으로 알레토릭/에피스테믹 불확실성 등을 구분하여 전달하는 방법.
• 불확실성의 세 가지 역할 (Categorization): 문헌 분석을 통해 불확실성이 설명 파이프라인에서 수행하는 세 가지 역할을 도출했습니다.
  1. 신호로서의 불확실성: 예측과 함께 신뢰도나 위험을 전달하는 설명 신호로 활용 (예: 예측 구간 제시).
  2. 제약/조정 도구: 기존 XAI 기법으로 생성된 설명을 불확실성 추정치를 통해 검증하거나, 설명의 범위를 제한/조정하는 데 활용.
  3. 설명 대상: 설명의 견고성 (Robustness), 안정성 (Stability), 신뢰성을 평가하기 위해 불확실성 정량화 (UQ) 를 사용.
• 불확실성 분해 (Decomposition): 데이터의 잡음 (Aleatoric) 과 모델의 지식 부족 (Epistemic) 을 구분하는 분해 방식이 중요하게 다루어지며, 이는 사용자의 신뢰 형성에 핵심적인 요소로 작용합니다.

4. 주요 결과 (Results)

• 불확실성 정량화 (UQ) 방법의 진화:
  • 초기에는 베이지안 방법 (Bayesian Neural Networks, Gaussian Processes) 이 주류였으나, 최근에는 **몬테카를로 드롭아웃 (Monte Carlo Dropout)**과 컨포멀 예측 (Conformal Prediction) 기반의 접근법이 급격히 증가하고 있습니다.
  • 특히 2024 년 이후 분포 자유 (Distribution-free) 성을 보장하는 컨포멀 예측과 보정 (Calibration) 기법이 신뢰성 있는 간격 추정을 위해 선호되는 추세입니다.
• 통합 트렌드:
  • 불확실성 추정치를 설명의 선택/가중치 결정에 활용 (Active Learning 등).
  • 불확실성을 설명 학습 과정에 통합하여 제약 조건으로 사용.
  • 불확실성 자체를 설명하는 (예: 2 차 효과 분석, 불확실성 분해 시각화) 기법 등장.
• 평가의 한계:
  • 현재 UAXAI 평가는 대부분 **모델 중심 (Model-centric)**이며, 설명의 품질을 모델 성능 (정확도 등) 으로 간접 평가하는 경향이 강합니다.
  • 사용자 중심 평가와 **신뢰도 특성 (보정, 커버리지, 설명 안정성)**에 대한 보고가 부족하고 파편화되어 있습니다.
  • 설명 방법 자체의 변동성 (Explainer Variability) 이 불확실성의 중요한 원인으로 인식되기 시작했습니다.

5. 의의 및 향후 방향 (Significance & Future Work)

• 의의: 본 연구는 XAI 와 UQ 의 융합 분야인 UAXAI 에 대한 최초의 체계적인 정립을 시도했습니다. 불확실성을 단순한 부수적 요소가 아닌 설명의 핵심 구성 요소로 재정의함으로써, 고위험 의사결정 환경에서 AI 에 대한 인간의 신뢰를 '보정 (Calibrated Trust)'하는 데 기여할 수 있는 이론적 틀을 제공합니다.
• 향후 연구 방향:
  1. 공식적 보장 (Formal Guarantees) 의 확장: 컨포멀 예측이나 크레달 세트 (Credal Sets) 와 같은 수학적 보장을 해석 가능성과 결합.
  2. 표준화된 평가 프로토콜: 예측 신뢰도, 설명 안정성, 사용자 해석력을 종합적으로 측정하는 평가 체계 마련.
  3. 사용자 연구: 다양한 불확실성 표현 방식이 사용자의 신뢰 보정 및 의사결정 질에 미치는 영향에 대한 실증 연구.
  4. 불확실성 분해의 실용화: 알레토릭과 에피스테믹 불확실성을 구분하여 사용자가 이를 어떻게 해석하고 대응해야 하는지에 대한 가이드라인 개발.

결론적으로, 이 논문은 UAXAI 가 단순한 기술적 추정을 넘어, 불확실성을 구조적으로 설명에 통합하고 인간 중심의 신뢰를 구축하는 방향으로 진화해야 함을 강조하며, 특히 **컨포멀 예측 기반의 접근법과 보정 (Calibration)**이 해석 가능성과 신뢰성을 동시에 달성할 수 있는 유망한 경로임을 제시합니다.