Beyond Explainable AI (XAI): An Overdue Paradigm Shift and Post-XAI Research Directions

이 논문은 현재 XAI 의 근본적 한계와 모순을 지적하고, 사후 설명을 넘어 검증 중심의 대화형 AI, AI 인식론, 사용자 중심 AI, 모델 중심 해석성이라는 네 가지 축을 통해 신뢰할 수 있는 AI 개발을 위한 새로운 패러다임 전환을 제안합니다.

핵심

🚨 문제: "설명"이라는 이름의 사기극?

지금까지 우리는 AI 가 왜 그런 결정을 내렸는지 알려달라고 요구해 왔습니다. 이것이 바로 **XAI(설명 가능한 인공지능)**입니다. 하지만 이 논문은 "지금 우리가 하는 '설명'은 사실 사기극에 가깝다"고 말합니다.

🍕 비유: "피자 가게의 비밀 레시피"

가상 피자 가게에 AI 가 있습니다. 이 AI 는 "이 피자에 페퍼로니가 들어가야 맛이 좋다"고 말합니다.

• 현재의 XAI 방식: 개발자가 AI 의 내부 코드를 못 보니까, "페퍼로니가 들어간 피자는 과거에 많이 팔렸어"라고 가상의 설명을 붙여줍니다.
• 논문의 지적: 이 설명은 AI 가 실제로 어떻게 생각한 건지 (내부 작동 원리) 와는 전혀 다를 수 있습니다. AI 는 단순히 "페퍼로니"라는 단어와 "맛있다"는 단어가 자주 같이 나오는 것을 통계적으로 기억했을 뿐일지도 모릅니다.
• 결과: 우리는 AI 가 피자를 잘 만든다고 착각하지만, 사실은 AI 가 통계적 우연을 '이유'라고 속이고 있는 것입니다.

🔍 왜 지금 방식이 실패했을까? (3 가지 치명적인 결함)

논문에 따르면 현재의 XAI 는 세 가지 큰 병에 걸려 있습니다.

1. 진짜 vs. 쉬운 것의 딜레마 (Deep-Superficial Paradox)

   • 진짜 설명: AI 의 복잡한 뇌세포 (뉴런) 작동 원리를 설명하면 너무 어렵습니다. 일반인도, 전문가도 이해 못 합니다. (정확하지만 쓸모없음)
   • 쉬운 설명: 이해하기 쉽게 "이게 중요해요"라고 요약하면, 사실과 달라서 틀린 정보가 됩니다. (이해는 되지만 거짓말)
   • 결론: 우리는 '정확한 거짓말'을 하고 있는 셈입니다.

2. 원인과 상관관계의 혼동

   • AI 는 '원인 (왜 그런지)'을 모릅니다. 단지 '상관관계 (함께 나타나는 것)'만 봅니다.
   • 비유: "우산이 많이 팔리면 비가 온다"는 통계는 맞지만, 우산이 비를 부르는 건 아닙니다. AI 는 우산이 비를 부른다고 설명할 수 있습니다. 이것이 과학적 설명이 아닙니다.

3. 신뢰의 함정

   • 사람들은 AI 가 "이렇게 생각했어요"라고 설명하면 더 믿습니다. 하지만 연구에 따르면, 잘못된 설명이 붙어있을 때 오히려 사람들은 AI 의 실수를 더 못 찾아냅니다. 설명이 있다는 게 오히려 독이 되는 것입니다.

---

🚀 해결책: "설명"을 버리고 "검증"으로 가자 (Post-XAI)

이 논문은 "AI 의 블랙박스 (내부) 를 열어서 설명하는 것"을 포기하고, 네 가지 새로운 방향으로 나아가야 한다고 제안합니다.

1. 🤝 대화형 AI (Interactive AI): "설명서"가 아닌 "검증자"

• 비유: 약을 처방할 때, 환자가 약의 화학 구조를 다 이해할 필요는 없습니다. 대신 **의사 (전문가)**가 "이 약은 안전하고 효과가 입증되었습니다"라고 검증해 주면 됩니다.
• 핵심: AI 가 "왜 그랬나요?"라고 설명하는 대신, 전문가들이 AI 의 결과를 실시간으로 검증하고 인증하는 시스템을 만듭니다. 사용자는 AI 자체를 이해할 필요 없이, 검증된 결과를 믿고 사용하면 됩니다.

2. 🧠 AI 인식론 (AI Epistemology): "지식"의 기준 세우기

• 비유: AI 가 쓴 논문이 진짜 과학인지, 그냥 통계적 우연인지 구별하는 새로운 과학 철학이 필요합니다.
• 핵심: AI 가 만들어낸 지식이 진짜 '과학적 지식'인지, 아니면 그냥 '데이터 패턴'인지 엄격하게 따지는 기준을 만들어야 합니다.

3. 👥 사용자 맞춤형 AI (User-Sensible AI): "일률적인 설명"은 없다

• 비유: 아이에게 복잡한 물리 법칙을 설명할 수 없습니다. 아이는 그림책으로, 의사는 전문 용어로, 일반인은 쉬운 말로 설명해야 합니다.
• 핵심: 모든 사람에게 똑같은 '설명'을 주는 게 아니라, 누가 보느냐에 따라 (아이, 의사, 일반인) 다른 방식의 소통을 해야 합니다.

4. 🔬 모델 중심 해석 (Model-Centered Interpretability): "개발자를 위한 도구"

• 비유: 자동차 정비사가 엔진을 뜯어보는 건 '고객에게 설명하기 위함'이 아니라, 고장을 고치고 성능을 높이기 위함입니다.
• 핵심: AI 내부 분석은 일반 사용자에게 '설명'을 주기 위한 것이 아니라, 개발자가 AI 를 디버깅하고 고치기 위한 도구로만 사용해야 합니다. "이게 왜 그런지"를 세상에 떠들지 말고, 개발자가 몰래 고치면 됩니다.

---

💡 요약: 우리가 배워야 할 교훈

이 논문의 결론은 매우 명확합니다.

"AI 가 어떻게 작동하는지 (블랙박스 내부) 를 완벽하게 설명하려 애쓰는 것은 시간 낭비이자 위험합니다. 대신, AI 가 내린 결과가 전문가에 의해 검증되었는지, 그리고 그 결과가 사용자에게 안전한지 확인하는 시스템으로 바꿔야 합니다."

우리는 AI 를 신비로운 마법처럼 설명하려 하지 말고, 검증된 도구처럼 다뤄야 합니다. 설명서 (XAI) 를 버리고, 검증된 인증서 (IAI) 를 받아들이는 시대가 온 것입니다.

기술 요약

논문 요약: 설명 가능한 AI (XAI) 를 넘어선 시급한 패러다임 전환과 포스트-XAI 연구 방향

이 논문은 현재 설명 가능한 AI (XAI) 분야가 직면한 근본적인 한계와 모순을 비판적으로 분석하고, 이를 극복하기 위한 새로운 연구 패러다임을 제안합니다. 저자들은 딥 뉴럴 네트워크 (DNN) 와 대규모 언어 모델 (LLM) 을 중심으로 한 현대 AI 시스템의 '블랙박스' 문제를 해결하기 위한 기존 XAI 접근법이 실패했으며, 이를 대체할 4 가지 핵심 요소로 구성된 통합적 패러다임 전환이 필요하다고 주장합니다.

1. 문제 제기 (Problem Statement)

• XAI 의 실패와 모순: DARPA 의 2016 년 프로그램 이후 XAI 는 주요 연구 분야로 자리 잡았으나, 최근 비판들은 XAI 가 신뢰 구축에 실패하고 오히려 사용자의 오해를 초래한다고 지적합니다.
• 블랙박스 역설: AI 의 성공은 불투명한 내부 표현을 기반으로 하며, 이를 설명하려는 시도가 오히려 신뢰를 저해하거나 사용자를 혼란스럽게 만듭니다.
• 메타 문제: XAI 자체의 정의, 범위, 성공 기준에 대한 합의가 부재하여 'XAI 라는 블랙박스'가 생성되었습니다.
• 핵심 쟁점:
  • 신뢰 - 설명 간극: 설명이 제공되더라도 사용자의 신뢰가 향상되지 않거나, 오히려 AI 의 오류를 감지하는 능력을 떨어뜨립니다 (Backfire Effect).
  • 기술적 한계: 현재 XAI 기법 (LIME, SHAP 등) 은 모델의 실제 작동 원리를 충실히 반영하지 못하며 (Unfaithfulness), 상관관계를 인과관계로 오해하게 만듭니다.

2. 방법론 및 진단 (Methodology & Diagnostic Framework)

저자들은 XAI 의 문제를 3 단계 진단 프레임워크를 통해 분석했습니다:

1. 경험적 증상 (Empirical Symptoms): 실제 데이터와 사례를 통해 XAI 의 4 가지 실패 증상을 규명했습니다.
   • 신뢰 형성에 대한 효과 부재.
   • 주 대상 (일반 사용자) 이 아닌 개발자 (디버깅) 에게만 유용함.
   • 설명이 오히려 신뢰를 떨어뜨리는 역효과 (Backfire).
   • 가장 취약한 계층 (저학력, 비전문가) 을 배제하거나 편향을 강화함.
2. 근본 원인 (Root Causes): 13 가지 핵심 이슈 (4 가지 증상 + 8 가지 근본 원인) 를 도출했습니다.
   • 두 가지 역설:
     1. 심층 - 피상적 역설 (Deep-Superficial Paradox): 정확한 설명은 이해하기 어렵고, 이해하기 쉬운 설명은 부정확함.
     2. XAI 의 형식적 논리적 역설 (Proxy Model Paradox): 대리 모델 (Proxy Model) 이 원본을 완벽하게 설명하면 XAI 가 불필요해지고, 완벽하지 않으면 무한 후퇴 (Infinite Regress) 에 빠짐 (러셀의 역설과 유사).
   • 두 가지 개념적 혼란: 설명의 수준 (알고리즘 vs 행동) 혼동, 상관관계와 인과관계 혼동.
   • 다섯 가지 잘못된 가정: (1) 알고리즘 투명성이 신뢰의 전제, (2) AI 와 인간의 추론 방식 일치, (3) 데이터 기반 계산이 지식 형성의 주된 경로, (4) 자율적 XAI 가 신뢰할 수 있는 지식 생성, (5) 설명이 신뢰 보정 (Calibration) 을 가능하게 함.
3. 형식적 논리적 한계: XAI 의 대리 모델 아키텍처가 내재적으로 모순적임을 논리적으로 증명했습니다.

3. 주요 기여 및 제안 (Key Contributions: Post-XAI Paradigm)

저자들은 XAI 를 대체할 4 가지 핵심 요소로 구성된 새로운 패러다임을 제안합니다. 이는 '설명 (Explanation)'에서 '검증 (Verification)'과 '상호작용 (Interaction)'으로의 전환을 의미합니다.

1. 상호작용적 AI (Interactive AI, IAI):

   • 개념: 블랙박스 모델의 내부 메커니즘을 설명하려 하지 않고, 과학적 커뮤니티 (전문가) 와의 상호작용을 통해 AI 의 출력을 실시간으로 검증하고 인증하는 접근법.
   • 방식: 사용자는 AI 내부 원리를 이해할 필요가 없으며, 신뢰할 수 있는 전문가가 검증한 결과를 바탕으로 '신뢰 (Trust)'가 아닌 '의존 (Reliance)'을 형성합니다. (예: 환자가 약의 메커니즘을 몰라도 의사의 처방을 신뢰하는 것과 유사)
   • 목표: 사후 설명 (Post-hoc explanation) 대신 실시간 검증 프로토콜을 확립하여 시스템의 신뢰성을 보장.

2. AI 인식론 (AI Epistemology):

   • 개념: AI 가 생성하는 지식이 과학적으로 유효한지 규명하기 위한 엄격한 방법론적 기초를 마련.
   • 목표: 통계적 상관관계와 실제 세계의 인과적 이해를 구분하고, AI 의 추론 과정을 과학적 엄밀성 (인도, 연역, 실험) 에 부합하도록 재정의. AI 가 생성한 가설을 검증하고 새로운 과학적 발견으로 이어질 수 있는 프레임워크 구축.

3. 사용자 감성 AI (User-Sensible AI):

   • 개념: 모든 사용자에게 동일한 '보편적 설명'을 제공하는 대신, 사용자 커뮤니티의 맥락, 전문성, 인지 수준에 맞춘 맞춤형 시스템을 설계.
   • 방식: 전문가 (의사, 교사 등) 가 매개자가 되어 검증된 AI 결과를 사용자에게 전달하는 '전문가 매개 경로 (Expert-mediated pathways)'를 구축.
   • 목표: 보편적 설명의 불가능성을 인정하고, 특정 사용자 집단에 적합한 이해와 신뢰를 형성.

4. 모델 중심 해석 가능성 (Model-Centered Interpretability):

   • 개념: 모델의 내부 작동 원리를 분석하는 기술적 노력은 유지하되, 이를 '실제 세계의 현상에 대한 설명'으로 오해하지 않도록 재정의.
   • 구분: '해석 시도 (Interpretation Attempt)'와 '해석 가능한 AI (Interpretable AI)'를 명확히 구분.
   • 목표: 개발자와 연구자를 위한 디버깅, 최적화, 안전성 평가 도구로 모델 분석을 활용하되, 외부 세계에 대한 인과적 설명을 주장하는 XAI 의 허위 주장을 배제.

4. 결과 및 시사점 (Results & Implications)

• XAI 의 구조적 한계: XAI 는 기술적 개선만으로는 해결될 수 없는 개념적, 논리적 모순을 내포하고 있어 근본적인 재개념화가 필요함.
• 신뢰의 재정의: 사용자의 신뢰는 AI 의 내부 작동 원리를 이해하는 데서 오는 것이 아니라, 검증된 출력과 전문가의 인증을 통해 형성됨.
• 고위험 분야 적용: 의료, 법률, 금융 등 고위험 분야에서 XAI 에 의존하는 것은 편향을 은폐하고 잘못된 결정을 정당화할 위험이 크므로, 검증 기반 접근법으로 전환해야 함.
• 에이전트 AI 대응: 다중 에이전트 시스템의 비결정적 행동은 사후 설명으로는 파악 불가능하므로, 실시간 검증과 감시 (Observability) 가 필수적임.

5. 의의 (Significance)

이 논문은 AI 투명성 연구의 전환점을 제시합니다.

• 학문적 기여: XAI 의 이론적 토대가 모순적임을 논리적으로 증명하고, AI 인식론과 같은 새로운 연구 분야를 개척함.
• 실용적 기여: 고위험 의사결정 환경에서 AI 배포의 안전성을 보장하기 위한 실용적인 프레임워크 (IAI, 검증 프로토콜) 를 제시.
• 사회적 영향: AI 에 대한 맹목적인 신뢰를 방지하고, 전문가와 사용자의 역할을 명확히 함으로써 AI 기술의 책임 있는 발전과 사회적 수용성을 높이는 데 기여.

결론적으로, 이 논문은 "블랙박스를 열기 위한 설명"이라는 XAI 의 기존 목표를 포기하고, "검증된 출력을 통한 신뢰 구축"과 "모델 분석의 과학적 엄밀성"을 중심으로 한 새로운 패러다임으로의 전환을 강력히 주장합니다.