기술 요약: 설명 알고리즘을 위한 설명 카드 (Explanation Cards)

1. 문제 정의

본 논문은 설명 가능한 AI(XAI)의 핵심적인 공백을 다룹니다. 알고리즘 기반의 설명은 이해관계자들이 불투명한 결정 과정을 이해하도록 돕기 위해 설계되었으나, 실제로는 다음과 같은 두 가지 주요 문제로 인해 실패하는 경우가 많습니다:

1. 오해 (Misinterpretation): 알고리즘 설명의 의미가 직관적인 인간의 기대와 어긋나는 경우가 빈번합니다. 특히 비전문가인 이해관계자들은 기술적 출력을 올바르게 해석하는 데 필요한 전문 지식이 부족하기 때문에 잘못된 결론을 내리는 경우가 많습니다.
2. 정보성 결여 (Lack of Informativeness): 최근의 이론적 연구(예: Günther et al., 2025)는 대중적인 설명 알고리즘(SHAP 및 counterfactuals 등)이 복잡한 결정 함수의 동작에 대해 실질적인 정보를 제공하지 못하는 경우가 많음을 보여줍니다. 구체적으로, 이러한 설명들은 불안정하거나, 기저의 모델이 충족하지 못하는 가정(가산성 또는 단조성 등)에 의존할 수 있습니다.

결과적으로, 설명이 전달하는 것처럼 보이는 것과 실제로 제공하는 것 사이에는 괴리가 발생하며, 이는 고위험 설정(예: 대출 승인, 의료 진단)에서 설명이 오도하거나 무용지물이 되는 상황으로 이어집니다.

2. 방법론: 설명 카드 (Explanation Cards)

저자들은 기술적 설명 알고리즘과 실질적인 유용성 사이의 간극을 메우기 위한 실용적인 해결책으로 **설명 카드(Explanation Cards)**를 제안합니다. 설명 카드는 표준 설명 알고리즘의 출력에 다음을 추가하여 보강된 문서입니다:

• 보완적 정보: 특정 설명의 견고성(robustness) 및 타당성(validity)에 관한 기술적 보증 (예: 안정성 영역, 단조성 속성).
• 해석 지침: 설명으로부터 도출할 수 있는 결론과 도출할 수 없는 결론을 명시하는 명확한 자연어 지침.

핵심 철학: 해석의 책임이 사용자에서 제공자로 전환됩니다. 사용자가 설명의 한계를 스스로 인식하도록 기대하는 대신, 제공자가 해당 설명이 유효한 조건을 명시적으로 밝혀야 한다는 것입니다.

기술적 구현

본 논문은 두 가지 특정 알고리즘에 대해 이러한 카드를 구축하기 위한 수학적 보증을 도출합니다.

A. 반사실적 설명 (Counterfactual Explanations)

• 문제점: 사용자들은 직관적으로 반사실적 설명이 단조성(특정 특성을 더 증가시키면 결과가 개선됨), 반사실적의 안정성(다른 특성이 약간 변하더라도 조언이 유지됨), 그리고 입력 주변의 안정성(유사한 개인은 유사한 조언을 받음)을 함의한다고 가정합니다. 그러나 복잡한 모델(예: 랜덤 포레스트)의 경우, 결정 경계가 비단조적이거나 불안정할 수 있어 이러한 직관적 해석이 무효해질 수 있습니다.
• 카드 솔루션: 카드는 다음을 제공합니다:
  • 안정성 영역 (Stability Regions): 반사실적 설명이 유효하게 유지되는 "안정성 영역"(초직사각형 형태)을 명시적으로 정의합니다.
  • 단조성 체크 (Monotonicity Checks): 특정 특성에 대해 반사실적 설명이 단조적인지 여부를 명시합니다.
  • 국소적 타당성 (Local Validity): 해당 조언이 적용되는 구체적인 인구 통계적 또는 특성 범위(예: "연령 30-35세, 소득 4.5만~5.5만 달러인 신청자")를 식별합니다.
• 이론적 근거: 저자들은 이러한 안정성 영역이 결여된 반사실적 설명은 "정보가 없는(non-informative)" 것이며(정리 1), 안정성 영역을 가진 경우 "정보가 있는(informative)" 것(정리 2)임을 증명합니다.

B. SHAP (SHapley Additive exPlanations)

• 문제점: 사용자들은 종종 SHAP 의존성 플롯(dependence plots)이 예측에 대한 특성의 실제 한계 효과(marginal effect)를 반영한다고 해석합니다(가산성 함의). 그러나 SHAP 값은 모든 특성에 의존합니다. 모델에 강력한 상호작용이 존재하는 경우, SHAP 의존성 플롯은 특성이 변화할 때 발생하는 실제 예측 변화와 모순되는 추세를 보일 수 있습니다.
• 카드 솔루션: 카드는 다음을 포함합니다:
  • 국소 영역 정의: 분석에 사용된 이웃(예: 50개의 최근접 이웃)을 지정합니다.
  • 예측 범위 (Prediction Bounds): 단순히 SHAP 값의 추세를 보여주는 대신, 국소 영역 내에서 다른 특성들을 고정한 채 해당 특성을 변화시킬 때 발생하는 최대 및 최소 예측 변화(점선 엔벨로프)를 플롯으로 나타냅니다.
  • 타당성 평가: 만약 "엔벨로프"가 좁다면, SHAP 플롯이 예측 동작을 대략적으로 반영함을 의미합니다(근사적 가산성). 만약 엔벨로프가 넓다면, 해당 플롯은 오도될 수 있으며, 카드는 사용자에게 해당 추세를 인과적 또는 예측적 효과로 해석하지 말라고 명시적으로 경고합니다.
• 이론적 근거: 논문은 SHAP 값의 "국소 근사 불변성(local approximate invariance)"을 정의합니다. 저자들은 SHap 값이 특정 영역 내에서 다른 특성의 변화에 대해 근사적으로 불변하다면, 해당 모델이 그 영역에서 근사적으로 가산적(additive)임을 증명합니다(정리 6). 이 경우 의존성 플롯은 해석 가능해집니다.

3. 주요 기여

1. 개념적 프레임워크: 기술적 보증(안정성, 단조성, 가산성)을 사용자 대상 지침으로 변환함으로써 설명의 "정보성"을 실행 가능한 형태로 만드는 메커니즘으로서 '설명 카드'를 제안했습니다.
2. 수학적 도출: 반사실적 설명과 SHAP 값이 언제 정보가 있는지, 그리고 이러한 조건에 기반하여 어떻게 카드를 구성할지를 결정하는 구체적인 수학적 조건(정리 1, 2, 4, 6)을 도출했습니다.
3. 구체적 사례: 두 가지 상세한 설명 카드를 구축했습니다:
   • 대출 승인을 위한 반사실적 설명 카드: 안정성 영역과 단조성 제약을 전달하는 방법을 보여줍니다.
   • 의료 진단을 위한 SHAP 카드: 특성 중요도에 대한 직관적 해석을 검증(또는 무효화)하기 위해 예측 범위를 시각화하는 방법을 보여줍니다.
4. 법적 분석: 설명 카드가 고위험 AI 시스템 제공자가 시스템 출력물에 대한 해석 지침을 제공해야 한다는 EU AI Act 제13조를 준수하는 데 어떻게 도움이 될 수 있는지 분석했습니다.

4. 결과 및 시연

본 논문은 대규모 경험적 연구를 제시하기보다는 이론적이고 예시적인 시연을 제시합니다:

• 반사실적 설명: 의사결정 나무(decision tree)와 랜덤 포레스트를 사용하여 신용 데이터를 대상으로 실험한 결과, 의사결정 나무는 안정적이고 단조적인 반사실적 설명을 생성하지만, 랜덤 포레스트는 불안정하고 비단조적인 반사실적 설명을 생성함을 보여주었습니다. 설명 카드는 이러한 경우를 성공적으로 구분하여, 후자의 시나리오에서 사용자에게 경고를 보냅니다.
• SHAP: UCI 심장병 데이터셋을 사용하여, 상호작용이 있는 랜덤 포레스트 모델의 경우 "연령"에 대한 SHAP 의존성 플롯은 위험도가 증가하는 것으로 나타내지만, 실제 예측 변화(점선 엔벨로프로 측정됨)는 위험도가 감소하는 것으로 나타남을 보여주었습니다. 설명 카드는 넓은 엔벨로프를 통해 이러한 불일치를 드러냄으로써 잘못된 해석을 방지합니다. 반대로, 가산적 모델의 경우 엔벨로프가 좁게 나타나 직관적 해석이 타당함을 입증합니다.

5. 의의 및 주장

저자들은 설명 카드를 설명 알고리즘을 "실제 사용 사례에 적합하게" 만드는 중요한 단계로 규정합니다.

• 설명 가능성의 실행화: 설명 카드는 투명성과 설명 가능성에 대한 EU AI Act(특히 제13조)의 규정을 충족하는 실질적인 수단을 제공하며, 해석 가능성을 보장해야 하는 책임을 최종 사용자가 아닌 시스템 제공자에게로 전환합니다.
• 피해 방지: 설명으로부터 결론을 내릴 수 없는 사항을 명시적으로 밝힘으로써, 설명 카드는 이해관계자가 오도된 직관에 기반하여 위험한 결정을 내리는 것을 방지하고자 합니다.
• 제한적 범위: 저자들은 설명 카드가 만능 해결책은 아니라는 점을 인정합니다. 모든 설명을 의미 있게 만들겠다는 것이 아니라, 설명이 의미가 있는지 여부를 식별하고 그 한계를 명확히 전달하는 프레임워크를 제공하는 것입니다. 본 논문은 다른 알고리즘과 시나리오에 대해서도 유사한 보증을 도출하기 위한 추가 연구를 촉구하는 "첫 걸음"으로서의 역할을 합니다.