Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

당신이 왜 마법의 수정구슬이 특정한 예측을 내놓았는지 알아내려고 노력하고 있다고 상상해 보십시오. 예를 들어, 수정구슬이 당신이 수학 시험에서 A를 받을 것이라고 말했거나, 대출 신청이 거절될 것이라고 말했을 수도 있습니다. 컴퓨터 과학의 세계에서 이것은 "머신러닝"이라고 불리며, 수정구슬은 수천 개의 단서, 즉 "특성(features)"을 살펴봄으로써 의사결정을 내리는 법을 배운 복잡한 알고리즘입니다. 하지만 까다로운 점은, 이러한 알고리즘은 너무 복잡해서 그 제작자들조차 왜 특정한 선택을 했는지 쉽게 설명하지 못하는 경우가 많다는 것입니다. 이는 마치 '블랙박스'와 같습니다. 이를 해결하기 위해 과학자들은 내부를 들여다보고 각 단서에 "점수"를 부여하여, 그 특정 단서가 최종 결과에 얼마나 기여했는지를 알려주는 도구들을 개발했습니다. 가장 인기 있는 도구 중 하나는 SHAP이라고 불립니다. 이는 게임 이론의 오래된 개념인 "샤플리 값(Shapley value)"에 기반하고 있는데, 이는 팀의 승리에 각 사람이 얼마나 기여했는지에 따라 팀원들에게 상금을 공정하게 나누는 방식과 본질적으로 같습니다. 연구자들이 던져온 큰 질문은 이것입니다: 단서가 수백 개나 될 때 어떻게 이 점수들을 공정하게 계산할 것인가, 그리고 비교를 위한 "정상(normal)"의 기준을 어떻게 결정할 것인가?

Andrew Herren, P. Richard Hahn, 그리고 Rafael Alcantara가 작성한 이 논문은 SHAP의 수학적 원리를 깊이 파고들어 그것이 실제로 어떻게 작동하는지 살펴봅니다. 저자들은 이 문제를 거대한 퍼즐처럼 다루며, 머신러닝의 설명 가능성과 물리학 및 공학에서 입력값의 변화가 출력값에 어떤 영향을 미치는지 확인하는 데 사용되는 "민감도 분석(sensitivity analysis)"이라는 분야 사이의 점들을 연결합니다. 그들은 SH-AP이 복잡한 함수를 관리 가능한 작은 조각들로 분해하는 "함수적 ANOVA(Functional ANOVA)"라는 통계적 기법과 매우 유사한 작업을 수행하고 있다는 사실을 발견했습니다. 이는 마치 스무디를 개별 과일로 분리하여 각 과일이 설탕을 얼마나 더하는지 확인하는 것과 같습니다. 논문은 SHAP을 사용할 때 사람들이 겪는 가장 큰 골칫거리가 두 가지 주요 선택에서 비롯된다고 시사합니다: 비교를 위한 "기준점(baseline)" 또는 참조점을 결정하는 것(예: "무엇과 비교할 것인가?"라고 묻는 것)과, 수십억 개의 가능한 단서 조합 중 실제로 얼마나 많은 조합을 확인할 것인지 결정하는 것입니다.

저자들은 SHAP이 강력한 도구이긴 하지만, 모든 것을 자동으로 해결해 주는 마법 지팡이는 아니라고 주장합니다. 그들은 당신이 얻는 답변이 비교 대상으로 선택한 배경 데이터의 분포에 크게 의존한다는 것을 보여줍니다. 예를 들어, 특정 예측을 "단일 기준점"(예: 한 명의 평균적인 사람)과 비교할 때와 "상관관계가 있는 기준점"(특성이 보통 함께 움직이는 방식으로 유지되는 경우)과 비교할 때 매우 다른 결과가 나올 수 있습니다. 시뮬레이션에서 그들은 상관관계가 있는 기준점을 사용하는 것이 특성의 중요도를 극적으로 변화시켜, 때로는 특성의 중요도를 완전히 뒤바꿀 수 있다는 것을 발견했습니다. 또한 그들은 수천 개의 특성이 있을 때 모든 조합을 일일이 확인하는 것이 불가능하다는 점을 어떻게 다룰 것인지 탐구합니다. 그들은 모든 것을 맹목적으로 확인하는 대신, 충분히 괜찮은 답을 얻기 위해 기다리는 시간 없이 "저차원(low-order)" 상호작용을 먼저 찾는 것과 같은 더 스마트한 샘플링 방법을 사용할 수 있다고 제안합니다.

궁극적으로, 이 논문은 SHAP을 사용하는 완벽한 단 하나의 방법을 찾아냈다고 주장하는 것이 아닙니다. 대신, 사용자가 소프트웨어를 실행할 때 자신도 모르게 내리고 있는 기술적 결정들을 명확히 해줍니다. 저자들은 AI 모델을 설명하는 것과 민감도 분석 사이의 연결 고리가 미래에 더 나은 방법론으로 이어질 수 있는 매혹적인 주제라고 제안합니다. 그러나 그들은 모든 상황에 적용되는 단 하나의 "정답"인 샤플리 값은 존재하지 않는다고 경고합니다. "옳은" 답은 당신이 어떤 질문에 답하고자 하는지, 그리고 무엇과 비교하기 위해 어떤 배경 데이터를 선택했는지에 달려 있습니다. 따라서 SHAP이 블랙박스 내부를 들여다보도록 도와주기는 하지만, 이 논문은 우리가 보는 빛을 어떻게 해석해야 하는지에 대해 여전히 주의가 필요함을 상기시켜 줍니다.