Explainable and Human-Grounded AI for Decision Support Systems: The Theory of Epistemic Quasi-Partnerships

기술적 요약: 의사결정 지원 시스템을 위한 설명 가능하고 인간 기반의 AI

문제 제기
이 논문은 의사결정 지원 시스템 (AI-DSS) 과 관련된 설명 가능 인공지능 (XAI) 분야에서 중요한 격차를 다룹니다. EU AI 법 (2024) 과 같은 규제 체계가 고위험 AI 시스템에 대한 투명성을 의무화하고 있지만, 현재 XAI 연구는 일반 배포자 (머신러닝에 익숙하지 않은 도메인 전문가) 에게 무엇이 "충분히 투명한" 설명을 구성하는지 정의하는 데 어려움을 겪고 있습니다. 저자들은 설명이 종종 최종 사용자가 아닌 개발자를 위해 설계되는 '감옥을 관리하는 죄수들' 문제를 지적합니다. 또한, 기존 실증 문헌은 상반된 결과를 제시합니다. 일부 연구는 특성 그래프 (예: LIME, SHAP) 가 이해도를 향상시킨다고 주장하는 반면, 다른 연구들은 이것이 신뢰 보정 (사용자가 AI 권고에 의존하는 정도) 이나 정확도를 높이지 못한다고 나타냅니다. 인간 기반 설명을 위한 현재 이론적 틀은 이러한 실증적 증거를 설명하지 못하거나, 인간화 (anthropomorphism) 를 장려하는 것과 같이 윤리적으로 건전하지 않은 조언을 제공한다는 이유로 부적절하다고 비판받습니다.

방법론
저자들은 실증적 XAI 문헌 검토에 기반한 개념적 및 이론적 분석을 수행합니다.

• 문헌 검토: 이 논문은 신뢰 보정 (사용자가 AI 권고에 의존하는 정도) 을 측정하기 위해 '소득 예측 작업 (IPT)'과 '스위치 백분율 패러다임'을 활용한 주요 연구들의 결과를 종합합니다.
• 비교 분석: 저자들은 다양한 설명 기법의 효과를 분석합니다.
  • 특성 그래프: (LIME, SHAP) 특성 중요도를 시각화합니다.
  • 모델 신뢰도: 신뢰성에 대한 명제적 진술 (예: "90% 확신") 입니다.
  • 반사실적 (Counterfactuals): 결과를 변경하기 위해 입력이 어떻게 변해야 하는지에 대한 텍스트 기반 및 그래픽 설명입니다.
  • 앵커 (Anchors): 예측을 위한 조건을 명시하는 '만약 - 그러면 (If-then)' 규칙입니다.
  • 원형 (Prototypes): 새로운 사례를 대표적인 훈련 예시와 비교합니다.
• 이론적 비판: 이 논문은 인간 기반 설명에 관한 세 가지 주요 기존 이론을 평가합니다.
  1. 정신 모델 이론 (TMM): 신뢰는 내부 메커니즘에 대한 이해를 필요로 합니다.
  2. 정신 모델 플러스 이론 (TMM+): 신뢰는 오류 한계에 대한 이해를 필요로 합니다.
  3. 인간화 이론 (TA): 신뢰는 AI 를 인간과 유사하게 대우하는 것을 필요로 합니다.
• 개념적 틀 개발: 저자들은 실증적 증거의 종합과 기존 이론에 대한 비판을 바탕으로 새로운 이론적 틀인 **인식적 준-파트너십 이론 (Theory of Epistemic Quasi-Partnerships, EQP)**을 제안하고, 이를 바탕으로 **RCC 접근법 (Reasons, Counterfactuals, Confidence)**이라는 실용적 방법론을 도출합니다.

주요 기여

1. 인식적 불투명성 식별: 저자들은 특성 그래프가 비전문가에게 종종 '인식적으로 불투명'하다고 주장합니다. 이는 신념의 이유를 판단하는 능력인 *인식적 변별력 (epistemic discernment)*을 촉진하지 못하기 때문입니다. 전문가에게는 직관적일지라도, 이들은 일반적인 인간의 인식적 관행과 부합하지 않습니다.
2. 기존 이론에 대한 비판:
   • TMM/TMM+: 이러한 이론들은 직관에 반합니다 (사용자는 매일 불투명한 시스템을 신뢰함) 그리고 개념적으로 제한적입니다. 내부 메커니즘을 드러내지 않고도 모델 신뢰도나 반사실적 설명이 효과적인 이유를 설명할 수 없기 때문입니다.
   • TA: TA 는 인간과 유사한 설명의 성공을 설명하지만, 저자들은 이것이 인지적 편향 (인간화) 을 조작하는 데 의존하며 기계의 주체성에 관한 범주적 오류를 심어줄 위험이 있어 윤리적으로 문제 있다고 주장합니다.
3. 인식적 준-파트너십 이론 (EQP): 이 논문은 인간 - 기계 상호작용에 대한 새로운 이론인 EQP 를 도입합니다. 이는 AI-DSS 를 사회적 책임 없이 전문가적 기여를 제공하는 도구인 '인식적 준-파트너'로 보아야 한다고 주장합니다. 신뢰는 인간을 모방하거나 (인간화) 내부 코드를 드러냄으로써 (메커니즘적 투명성) 형성되는 것이 아니라, 인간 추론에 공통적인 건전한 인식적 관행에 참여함으로써 형성됩니다.
4. RCC 접근법: EQP 에서 도출된 저자들은 세 가지 구성 요소로 이루어진 인간 기반 설명을 위한 구체적인 틀을 제안합니다.
   • 이유 (Reasons): 결정에 대한 명제적 정당성을 제공합니다 (예: "Y 때문에 X 를 선택했습니다").
   • 반사실적 (Counterfactuals): '만약에' 시나리오에 대한 대응력을 보여줌으로써 견고성과 결정 경계를 입증합니다.
   • 신뢰도 (Confidence): 신뢰도 점수를 명시적으로 제시하며, 이상적으로는 반사실적 변화 하에서 신뢰도가 어떻게 변하는지와 관련하여 제시합니다.

결과 및 실증적 정렬
이 논문은 새로운 실험 데이터를 제시하지는 않지만, RCC 접근법을 지지하기 위해 기존 연구들을 종합합니다.

• 신뢰도: 연구들 (예: Zhang et al., 2020) 은 명제적 모델 신뢰도가 특성 그래프보다 더 나은 신뢰 보정을 촉진한다고 보여줍니다.
• 반사실적: 연구들 (예: Le et al., 2022) 은 반사실적 설명, 특히 그래픽 설명이 정확도와 신뢰 보정을 향상시킨다고 나타냅니다.
• 앵커 vs. 특성 그래프: 특성 그래프는 전문가의 '시뮬레이션 가능성 (simulatability)'을 돕지만 (Hase & Bansal, 2020), 초보자의 정확도나 신뢰를 향상시키지는 못하는 경우가 많습니다. 반면, 앵커 설명 (if-then 규칙) 과 원형 설명은 각각 연역적 추론 (modus ponens) 과 귀납적 추론과 일치하여 일반적인 인식적 관행에 더 효과적입니다.
• 편향 완화: 분석은 예제 기반 및 반사실적 설명이 시스템 2(합리적) 사고를 참여시켜, 특성 그래프 및 분리된 신뢰도 점수와 관련된 앵커링 편향을 감소시킨다고 시사합니다.

의의 및 주장
저자들은 인식적 준-파트너십 이론과 RCC 접근법이 윤리적이고 설명 가능한 AI-DSS 개발을 위한 우월한 틀을 제공한다고 주장합니다.

• 설명력: EQP 는 현재 이론들 (TMM, TMM+, TA) 이 설명하지 못하는 실증적 증거, 특히 비메커니즘적 설명 (신뢰도, 반사실적) 이 효과적인 이유를 성공적으로 설명합니다.
• 윤리적 지침: 인간화 이론과 달리, EQP 는 기만이나 범주적 오류를 통한 사용자 신뢰 조작이라는 윤리적 함정을 피합니다. 이는 인간과 기계의 주체성 사이에 명확한 구분을 유지하면서 인식적 신뢰를 장려하는 유용한 허구인 '준-파트너십'을 옹호합니다.
• 실무 적용: 이 논문은 투명성 의무 (EU AI 법 등) 를 준수하고 알고리즘 혐오를 완화하기 위해 개발자들은 모델의 내부 메커니즘을 비전문가에게 투명하게 만드는 시도를 하는 대신, 인간의 인식적 관행과 부합하는 형식으로 이유, 반사실적 설명, 그리고 신뢰도를 제공하도록 AI-DSS 를 설계해야 한다고 주장합니다.

이 논문은 RCC 접근법이 신뢰 보정을 개선하기 위한 실증적으로 지지된 방법이자 인간 - AI 상호작용을 위한 윤리적으로 건전한 전략이라고 결론지었습니다.