Explainable AI Through a Democratic Lens: DhondtXAI for D'Hondt-Projected Feature Attribution

기술 요약: 민주적 관점을 통한 설명 가능한 AI: 비례적 특성 중요도를 위한 DhondtXAI (D'Hondt 방식 적용)

문제 정의
본 논문은 신경망 및 앙상블 트리 기반 모델(예: CatBoost, XGBoost)과 같은 복잡한 "블랙박스" 시스템에서 발생하는 해석 가능성 문제를 다룹니다. SHAP(Shapley Additive Explanations) 및 LIME과 같은 기존의 설명 가능한 AI(XAI) 기술들이 사후 설명(post-hoc explanations)을 제공함에도 불구하고, 저자들은 보다 직관적이고 구조화되며 투명한 표현을 제공하는 대안적 프레임워크가 필요하다고 주장합니다. 구체적으로, 본 논문은 기술적인 모델 메커니즘과 인간의 이해 사이의 간극을 메우기 위해, 정치적 선거 시스템의 원리를 특성 기여도(feature attribution) 영역에 접목하고자 합니다. 핵심 문제는 특성 중요도를 비례적 대표성, 연합 형성(관련 특성 그룹화), 그리고 임계값 적용(저영향 변수 필터링)이 가능하도록 표현하여, 의료와 같은 고위험 분야에서의 사용자 신뢰와 명확성을 높이는 방법입니다.

방법론
본 연구는 정치 선거에서 사용되는 비례 대표제인 D'Hondt 방식을 적용하여, 계산된 중요도에 따라 특성 또는 특성 그룹에 "의석"(대표 단위)을 배분하는 DhondtXAI 라이브러리와 방법론을 소개합니다. 이 방법론은 다음과 같은 구조화된 단계를 거칩니다:

1. 특성 중요도 계산: 프로세스는 트리 기반 모델(Random Forests, Gradient Boosted Trees)로부터 표준적인 특성 중요도 추출로 시작됩니다. 이는 모든 노드와 트리에서 해당 특성이 분할 기준으로 사용될 때 발생하는 불순도 감소량(Information Gain)을 집계하여 계산됩니다.
2. 사용자 정의 파라미터: 프로토콜은 사용자가 다음 항목을 지정할 수 있도록 허용합니다:
   • 총 투표수 ($V$): 배분될 총 자원을 나타내는 스칼라 값.
   • 총 의석수 ($M$): 할당될 대표 단위의 수.
   • 제외 항목 (Exclusions): 분석에서 제거할 특성.
   • 연합 (Alliances): 단일 투표 엔티티로 취급되는 특성들의 사용자 정의 그룹.
   • 임계값 (Threshold): 의석 할당 자격을 갖추기 위해 필요한 최소 투표 백분율.
3. 투표 배분: 초기 투표는 전체 중요도 대비 해당 특성 또는 연합의 중요도에 비례하여 배분됩니다.
4. 임계값 적용 및 재배분: 사용자가 정의한 임계값이 설정된 경우, 임계치 미만의 투표를 얻은 특성 또는 연합은 제외됩니다. 이들의 투표는 남은 "임계치 초과" 엔티티들의 상대적 중요도에 따라 비례적으로 재배분됩니다.
5. 의석 배분 (D'Hondt 방식): 최종 의석은 반복적으로 배분됩니다. 각 특성/연합 $i$에 대해 의석 비율 $S_i$는 $S_i = \frac{\text{재배분된\_투표}_i}{k + 1}$로 계산되며, 여기서 $k$는 현재 보유한 의석 수입니다. 가장 높은 $S_i$를 가진 엔티티가 다음 의석을 가져가며, $k$가 1씩 증가하는 과정을 모든 $M$개의 의석이 할당될 때까지 반복합니다.

주요 기여

• 새로운 프레임워크: 본 논문은 특성 중요도를 "의회" 관점으로 변환하여, 특성들이 비례 대표성에 따라 의석을 두고 경쟁하게 하는 새로운 접근법인 DhondtXAI를 제시합니다.
• 연합 메커니즘: 사용자가 관련 변수들(예: 질병의 증상)을 하나의 그룹으로 묶어 그 집단적 영향을 평가할 수 있도록 하는 "특성 연합" 개념을 도입합니다(정당의 연합 구성과 유사).
• 임계값 처리: 선거 방식의 임계값을 통합하여 노이즈를 필터링함으로써, 최종 해석에서 유의미한 영향력을 가진 특성들만을 강조합니다.
• 표준 XAI와의 통합: 이 방법은 SHAP과 같은 기존 기술을 보완하도록 설계되었으며, 전통적인 수학적 기여도 외에 자원 배분의 관점을 함께 제공합니다.

결과
연구는 두 가지 데이터셋을 통해 DhondtXAI를 검증했습니다:

1. 위스콘신 유방암 데이터셋 (CatBoost 모델):

   • 모델은 96%의 정확도와 1.00의 AUC를 달랄했습니다.
   • DhondtXAI는 10개 특성에 600석을 배분했습니다. "Mean concave points"가 가장 많은 의석(124석)을 받았고, "mean texture"가 그 뒤를 이었습니다(121석).
   • DhondtXAI 의석 수와 전역 SHAP 값 사이의 스피어먼 상관계수 분석 결과 계수는 0.83 ($p=0.0029$)로 나타났으며, 이는 강하고 통계적으로 유의미한 양의 상관관계를 나타냅니다.
   • 의회형 시각화는 SHAP이 식별한 상위 특성들과 방향성 상관관계(예: 양성 결과와 음의 상관관계를 나타내는 빨간색)를 성공적으로 반영했습니다.

2. 초기 당뇨병 위험 예측 데이터셋 (XGBoost 모델):

   • 모델은 98%의 정확도와 1.00의 AUC를 달성했습니다.
   • 특성들을 연합(예: Diabetes_Symptoms, Metabolic_Body)으로 그룹화했습니다.
   • Diabetes_Symptoms 연합이 600석 중 361석을 차지하며 압도적인 배분을 받았습니다.
   • 연합 의석 수와 평균 SHAP 값 사이의 스피어먼 상관계수는 0.40 ($p=0.505$)로, 통계적으로 유의미하지 않았습니다. 저자들은 이러한 차이를 인정하면서도, 연합 기반 접근법이 그룹화된 특성에 대해 더 직관적인 관점을 제공한다고 주장합니다.
   • 임계값 적용: 10% 투표 임계값을 적용하자 Vision_Nervous와 Psychological 연합이 필터링되어 의석이 0으로 줄어든 반면, 상위 3개 연합(Metabolic_Body, Diabetes_Symptoms, Skin_Infection)의 의석 수는 증가했습니다. 이는 주요 동인을 정교하게 추출하는 방법론의 능력을 입증합니다.

의의 및 주장
본 논문은 DhondtXAI가 설명 가능한 AI를 위한 보완적이고 직관적인 도구라고 주장합니다. 그 의의는 다음과 같습니다:

• 해석의 민주화: 익숙한 정치적 은유(의회 의석)를 사용함으로써, 복잡한 모델의 결정을 비기술적 이해관계자들도 쉽게 이해할 수 있게 하여 다양한 특성들에 대한 공정한 대표성을 확보합니다.
• 향상된 유연성: 연합을 형성하고 임계값을 적용할 수 있는 능력은 기존의 점수 기반 중요도 지표가 명시적으로 지원하지 못하는 특성 간의 상호작용 분석 및 노이즈 감소를 가능하게 합니다.
• 윤리적 AI 부합: 비례 대표제 프레임워크는 특성의 영향력을 투명하게 배분함으로써, 소수이지만 집단적으로 중요한 요인(연합을 통해)이 간과되지 않도록 하여 윤리적 AI를 향한 단계로서 제시됩니다.
• 검증: 유방암 데이터셋에서의 SHAP과의 강한 상관관계는 DhondtXAI가 특성 중요도의 순위를 일관되게 제공함을 보여주며, 이는 보조적 해석 도구로서의 신뢰성을 검증합니다.

저자들은 DhondtXAI가 개별 예측 분석을 위한 세밀한 방법론인 SHAP을 대체하는 것이 아니라, 고위험 의사결정 환경에서 특성의 집단적 영향력을 이해하기 위한 가치 있고 구조화된 사회적 공감대를 가진 프레임워크를 제공한다고 결론짓습니다.