🤖 machine learning

Measuring Explainer Stability via Attribution Separability

본 논문은 순위가 매겨진 기여도 점수의 분리 가능성을 측정하고 특성 순위의 신뢰성을 결정함으로써 어트리뷰션 방법의 안정성을 평가하기 위한 분포 기반 프레임워크를 제안하며, 이는 서로 다른 설명 모델들의 강건성을 비교하기 위한 보완적인 기준을 제공한다.

원저자: Eddie Conti, Álvaro Parafita, Axel Brando

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eddie Conti, Álvaro Parafita, Axel Brando

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 대출을 승인할지 아니면 질병을 진단할지 결정하는 로봇처럼, 결정을 내리는 신비로운 검은 상자를 이해하려고 노력하고 있다고 상상해 보십시오. 인공지능의 세계에서 이것을 "설명 가능한 AI(Explainable AI)"라고 부릅니다. 이 상자 내부를 들여다보기 위해 과학자들은 "기여도 산출 방법(Attribution Methods)"이라는 특별한 도구를 사용합니다. 이 도구들을 빛을 비추는 스포트라이트라고 생각하면 됩니다. 이 스포트라이트는 로봇이 결정을 내리는 데 사용한 구체적인 단서(또는 특징)를 강조해 보여줍니다. 만약 로봇이 대출에 대해 "거절"이라고 답한다면, 스포트라이트는 "낮은 소득"과 "높은 부채"를 그 이유로 강조할 수 있습니다.

하지만 문제가 하나 있습니다. 어떤 스포트라이트 도구들은 다소 불안정합니다. 이 도구들은 답을 찾아내기 위해 무작위적인 단계를 사용하기 때문에, 똑같은 질문을 두 번 던지더라도 매번 약간씩 다른 단서를 가리키거나 순위를 다르게 매길 수 있습니다. 이는 마치 친구들에게 가장 좋아하는 아이스크림 맛을 순위 매겨달라고 부탁하는 것과 같습니다. 만약 친구들이 우유부단하거나 바람이 불고 있다면, 어떤 날은 한 친구가 "초코가 1등이야"라고 말하고, 다음 날은 "딸기가 1등이야"라고 말할 수도 있는 것과 같습니다. 이러한 "불안정성(jitteriness)"은 문제입니다. 만약 우리가 들여다볼 때마다 설명이 바뀐다면, 그 설명을 정말로 신뢰할 수 있을까요? 이 논문은 바로 그 걱정을 다룹니다. 즉, 로봇이 우리에게 제시하는 이유 목록이 안정적인 것인지, 아니면 단순히 무작위성에 의한 일시적인 현상인지 어떻게 알 수 있을까요?

이 논문의 저자인 에디 콘티(Eddie Conti)와 그의 팀은 이 안정성을 측정하는 영리하고 새로운 방법을 제안합니다. 그들은 단순히 "답이 바뀌었는가?"라고 묻는 대신, "답들이 얼마나 명확하게 구분되는가?"라고 묻습니다. 그들은 각 단서의 중요도를 하나의 고정된 숫자가 아니라, 가능성의 구름으로 취급합니다. 만약 "낮은 소득"에 대한 구름이 "높은 부채"에 대한 구름으로부터 멀리 떨어져 있다면, 그 순위는 안정적이고 신뢰할 수 있습니다. 하지만 만약 구름들이 서로 겹쳐서 마치 두 개의 안개 덩어리가 하나로 합쳐진 것처럼 보인다면, 그 순위는 흔들리는 것입니다.

이를 시각화하기 위해, 단서들을 달리는 주자라고 가정해 봅시다. 만약 첫 번째 주자가 두 번째 주자보다 훨씬 앞서 달려가고, 두 번째 주자가 세 번째 주자보다 훨씬 앞서 있다면 순위가 명확합니다. 하지만 만 모두가 아주 촘촘한 무리를 지어 달리고 있다면, 누가 진정한 1등인지 판단하기 어렵습니다. 연구진은 이 주자들 사이의 거리를 측정하기 위한 수학적 "자(ruler)"를 개발했습니다. 그들은 이를 "기여도 분리도(attribution separability)"라고 부릅니다. 그들의 주요 발견은 그들이 **k-안정성(k-stability)**이라고 부르는 특정 수치를 계산할 수 있다는 것입니다. 이 수치는 당신이 믿을 수 있는 상위 단서의 개수가 정확히 몇 개인지를 알려주며, 그 이후부터는 순위가 모호해질 수 있음을 나타냅니다. 예를 들어, 당신의 k-안정성이 3이라면, 상위 3개의 이유는 올바른 순서라고 확신할 수 있지만, 그 이후의 목록은 엉망진창일 수 있습니다.

그들이 이 자를 사용하여 SHAP, LIME, DiCE와 같은 인기 있는 도구들을 테스트했을 때, 흥elli로운 패턴들을 발견했습니다. 그들은 SHAP이 일반적으로 가장 안정적인 주자였으며, 특히 단순한 데이터셋에서 상위 단서들을 겹치지 않는 명확한 선 형태로 유지한다는 것을 발견했습니다. LIME은 괜찮긴 했지만 때때로 약간 흔들리는 모습을 보였고, DiCE는 종종 너무 촘촘한 무리를 이루어 누가 앞서고 있는지 알기 어려웠습니다. 또한 그들은 도구를 더 여러 번 실행하는 것이 도움이 되는지도 확인했습니다. 그들은 대부분의 도구에 대해 50번 정도 실행하는 것이 명확한 그림을 얻기에 충분하며, 그보다 더 많이 실행하더라도 결과가 크게 변하지 않는다는 것을 발견했습니다. 이는 컴퓨터 자원을 절약하는 데 좋은 소식입니다.

이 논문은 특정 도구가 우주의 모든 작업에 대해 "최고"라고 주장하는 것이 아닙니다. 실제로 저자들은 모든 상황에서 이기는 단 하나의 도구는 없다고 신중하게 밝히고 있습니다. 즉, 어떤 도구가 승리할지는 특정 데이터와 사용되는 모델에 따라 달라집니다. 대신, 그들은 이 새로운 '자'를 과학자들이 도구들을 공정하게 비교할 수 있는 방법으로 제공합니다. 그들은 안정성이 신뢰의 전제 조건이라고 주장합니다. 만약 어떤 도구가 자신의 상위 이유들에 대해 일관되게 동의할 수 없다면, 중요한 결정에 그 도구를 의지하기 어렵기 때문입니다. 이들의 방법을 사용함으로써, 이제 연구자들은 "이 도구는 상위 5개의 이유에 대해서는 신뢰할 수 있지만, 그 나머지는 주의하십시오"라고 말할 수 있게 되었으며, 이는 우리가 이 AI 블랙 박스들이 실제로 어떻게 생각하는지에 대해 훨씬 더 명확하고 정직한 관점을 갖게 해줍니다.

기술 요약: 속성 분리도를 통한 설명자 안정성 측정

문제 정의
속성 방법론(Attribution Methods, AMs), 즉 설명자(explainers)는 입력 특성에 중요도 점수를 할당함으로써 블랙박스 모델을 해석하는 데 널리 사용됩니다. 그러나 SHAP, LIME, DiCE와 같은 많은 인기 있는 AM들은 몬테카를로 샘플링이나 무작위 섭동과 같은 확률적 구성 요소를 포함합니다. 이러한 확률성은 동일한 실행 회차 간에 속성 점수의 변동성을 초래하며, 이는 재현성과 결과적인 특성 순위의 신뢰성에 대한 우려를 낳습니다. 기존 연구들이 입력 수준의 섭동(입력을 미세하게 변경했을 때 설명이 어떻게 변하는지 테스트하는 것)을 통해 안정성을 다루어 온 반면, 본 논문은 동일한 인스턴스에 대해 동일한 설명자를 여러 번 실행했을 때 발생하는 순위 자체의 안정성을 정량화하는 별개의 과제를 다룹니다. 핵심 연구 질문은 다음과 같습니다: AM에 의해 생성된 특성 중요도의 정렬된 벡터가 주어졌을 때, 상위 순위의 특성들이 그 다음 순위의 특성들보다 실제로 더 중요하다는 것을 어느 정도까지 신뢰할 수 있는가?

방법론
저자들은 속성 점수 분포의 분리도를 분석함으로써 특성 순위의 안정성을 정량화하는 분포 기반 프레임워크를 제안합니다.

분포 모델링: 점수를 결정론적인 값으로 취급하는 대신, 이 방법은 특정 인스턴스 $x$ 에 대한 AM의 여러 실행으로부터 추정된 각 특성 $i$ 의 확률 분포 $p_i$ 를 모델링합니다.
속성 분리도 지표: 두 특성 간의 구별 가능성을 측정하기 위해, 저자들은 자카드 거리(Jaccard distance)의 연속적 일반화에 기반한 거리 메트릭 $d(p, q)$ 를 채택합니다. 이 메트릭은 두 분포 $p$ 와 $q$ 사이의 중첩을 계산합니다:
$d(p, q) = 1 - \frac{\int_{\text{supp}(p) \cap \text{supp}(q)} \min(p(x), q(x))dx}{\int_{\text{supp}(p) \cup \text{supp}(q)} \max(p(x), q(x))dx}$
$d(p, q)$ 값이 1에 가까우면 높은 분리도(낮은 중첩)를 나타내고, 0에 가까우면 상당한 중첩을 나타냅니다.
k-안정성 정의: 프레임워크는 정렬된 특성 리스트의 가장 긴 접두사 길이 $k$ 를 k-안정성으로 정의하며, 여기서 $k$ 는 상위- $k$ 내의 모든 연속된 특성 쌍의 분포 간 거리 $d(p_i, p_j)$ 가 사용자 정의 임계값 $l$ 을 초과하는 최대 길이를 의미합니다. 이는 분포의 중첩으로 인해 순위가 신뢰할 수 없게 되는 지점, 즉 순위의 경계점을 식별합니다.
비교 프레임워크: 이 방법은 한 방법이 다른 방법보다 더 높은 $k$ -안정성을 달야내는 데이터셋 내 인스턴스의 비율을 계산함으로써 서로 다른 AM을 비교할 수 있게 합니다.

주요 기여

새로운 안정성 지표: 본 논문은 입력 섭동이 아닌 분포 분석을 기반으로 AM 순위의 안정성을 정량화하는 수학적으로 근거 있는 접근 방식을 도입했습니다.
공식적 검증: 저자들은 AM이 완벽하게 충실(faithful)하고 확률성이 사라지는 이상적인 경우, 제안된 거리 메트릭이 최대 분리도인 1로 수렴함을 증명합니다. 또한, 이 메트릭이 특성 중요도 값 사이의 분리 정도에 민합하게 반응함을 경험적으로 입증했습니다.
비교 평가 도구: 이 프레임워크는 특정 방법의 보편적 우월성을 주장하지 않으면서, 다양한 모델과 데이터셋에 걸쳐 서로 다른 설명자(LIME, SHAP, DiCE)의 견고함을 비교할 수 있는 메커니즘을 제공합니다.

실험 결과
저자들은 네 가지 벤치마크 데이터셋(Diabetes, Heart Disease, Mobile, Churn)에 대해 Random Forest, SVM, Logistic Regression, Decision Tree 모델을 사용하여 프레임워크를 평가했습니다.

분리도 분석: 실험 결과, SHAP은 단순한 데이터셋에서 거의 결정론적인 속성(분리도 값 1)을 생성하는 반면, LIME과 DiCE는 더 많은 변동성을 보이는 것으로 나타났습니다. 복잡한 데이터셋에서는 순위의 "꼬리(tail)" 부분(덜 관련 있는 특성들)으로 갈수록 분리도가 감소하는 경향을 보였습니다.
k-안정성 비교: SHAP은 대부분의 데이터셋과 모델에서 LIME, DiCE 및 무작위 베이스라인(RAND)보다 일관되게 높은 $k$ -안정성 값을 나타냈습니다. DiCE는 여러 사례에서 무작위 베이스라인에 근접한 안정성 수준을 보였습니다.
실행 민감도: 연구 결과, 이 메트릭은 LIME, SHAP, DiCE에 대해 실행 횟수에 대한 민감도가 제한적인 것으로 나타나, 적절한 횟수의 실행(예: 15~30회)만으로도 신뢰할 수 있는 추정치를 얻을 수 있음을 시사했습니다. 반면 무작위 베이스라인은 안정화되는 데 더 많은 실행이 필요했습니다.

의의 및 주장
본 논문은 이 연구를 AM의 평가를 위한 보완적 기준으로 위치시키며, 특히 유도된 특성 순위의 신뢰성에 초점을 맞춥니다. 저자들은 설명 가능성에 대한 "No Free Lunch Theorem"을 인정하며, 자신의 목표가 하나의 AM이 보편적으로 우월하다고 선언하는 것이 아님을 명시적으로 밝힙니다. 대신, 안정성이 사용자 신뢰와 통찰의 일반화성을 위한 전제 조건이라고 주장합니다.

제안된 방법은 특성 순위에서 "수익 체감의 지점(point of diminishing returns)"을 결정하는 원칙적인 방법을 제공합니다. 즉, 확률적 노이즈로 인해 순위가 모호해지기 전까지 얼마나 많은 상위 특성을 신뢰할 수 있는지 식별합니다. 저자들은 밀도 추정 파라미터 및 임계값 선택의 필요성, 표 형식 데이터(tabular data)에 집중했다는 점 등 한계점을 언급했습니다. 또한, 낮은 $k$ -안정성이 반드시 모델의 결정 과정에 대한 불충실함을 의미하는 것이 아니라, 설명자의 확률적 특성으로 인해 특정 특성의 순위가 신뢰할 수 없음을 나타낸다는 점을 강조합니다. 따라서 이 메트릭은 충실성(faithfulness) 및 단순성(simplicity)과 같은 다른 평가 차원과 함께 사용되어야 합니다.

유사한 논문