기술적 요약: 귀속 불가능성

1. 문제 제기

이 논문은 설명 가능한 인공지능 (XAI) 의 근본적인 한계를 다룹니다: 입력 특징들이 공선성 (collinear) 을 가질 때, 특징 중요도 순위의 신뢰성 문제입니다. SHAP(SHapley Additive exPlanations) 과 같은 방법론이 모델 예측을 설명하는 데 널리 사용되지만, 저자들은 공선성을 가진 특징들의 경우 중요도 순위가 모델 - 데이터 관계의 안정적인 속성이 아니라 훈련 과정의 확률적 산물임을 입증합니다.

구체적으로, 이 논문은 특징 순위가 다음 세 가지 요구 사항을 동시에 만족할 수 있는지 조사합니다:

1. 신실성 (Faithful): 순위가 개별 모델 인스턴스가 학습한 특정 귀속을 반영해야 함.
2. 안정성 (Stable): 동일한 모델 아키텍처와 동일한 데이터에 대한 서로 다른 훈련 실행 (예: 다른 무작위 시드) 간에 순위가 재현 가능해야 함.
3. 완전성 (Complete): 모든 특징 쌍에 대해 엄격한 순서를 제공해야 함 (동점 없음).

핵심 주장은 특징 공선성 (상관관계 $\rho > 0$) 조건 하에서는 세 가지 조건을 동시에 만족하는 것이 수학적으로 불가능하다는 것입니다.

2. 방법론 및 이론적 프레임워크

라슈모논 속성과 불가능성 정리

핵심 이론적 기여는 **귀속 불가능성 정리 (Theorem 5)**입니다. 증명은 **라슈모논 속성 (Rashomon Property)**에 의존하는데, 이는 공선성 특징들의 경우 대칭적인 특징들을 반대 순서로 순위 매기는 여러 개의 근사 최적 모델 (라슈모논 집합) 이 존재함을 주장합니다.

• 증명 논리: 순위가 완전하다면, 특정 순서 (예: $j \succ k$) 를 선택해야 합니다. 만약 그것이 안정적이라면, 이 순서는 모든 모델에 대해 유지되어야 합니다. 그러나 라슈모논 속성은 $k \succ j$인 모델의 존재를 보장합니다. 따라서 순위는 그 특정 모델에 신실하면서도 집합 전체에 걸쳐 안정적일 수 없습니다.
• 정량적 경계: 논문은 다양한 모델 클래스에 대한 이 불안정성의 심각성에 대한 정량적 경계를 유도합니다:
  • 그래디언트 부스팅 (GBDT): 귀속 비율 ("선공자" 특징의 우세) 은 $1/(1-\rho^2)$ (또는 깊이 보정을 적용한 경우 $1/(1-\alpha\rho^2)$) 로 발산합니다.
  • Lasso: 하드 선택으로 인해 $\rho > 0$인 모든 경우에 비율이 무한대 ($\infty$) 입니다.
  • 신경망: 불안정성은 초기화 및 훈련 역학에 조건적이지만 유사한 대칭 깨짐 패턴을 따릅니다.
  • 랜덤 포레스트: 독립적인 트리 훈련으로 인해 유계된 위반 ($1 + O(1/\sqrt{T})$) 을 보이며, 이는 순차적 부스팅의 발산성 불안정성과 대조됩니다.

대칭적 베이지안 이분법

저자들은 **대칭적 베이지안 이분법 (Theorem 37)**을 사용하여 이 결과를 일반화합니다. 이는 불변 의사결정 이론의 두 가족 정리입니다. 저자들은 데이터 분포가 특징 치환에 대해 불변인 모든 대칭적 의사결정 문제에 대해, 달성 가능한 해의 집합이 정확히 두 가족으로 축소됨을 보여줍니다:

• 가족 A (단일 모델): 신실하고 완전하지만 불안정합니다 (대칭 쌍의 경우 신실하지 않음 $U = 1/2$).
• 가족 B (앙상블): 안정적이고 모집단 평균에 신실하지만 불완전합니다 (대칭 특징에 대해 동점을 보고함, $U=0$).
  세 번째 옵션은 존재하지 않습니다.

구성적 해결책: DASH

이 불가능성을 해결하기 위해 논문은 DASH(SHAP 의 다양화된 집계) 를 제안합니다. 이는 $M$개의 독립적으로 훈련된 모델에 걸쳐 SHAP 값을 평균내는 앙상블 방법입니다.

• 메커니즘: 평균화를 통해 DASH 는 개별 모델에 내재된 무작위 "선공자" 편향을 상쇄하여 모집단 기대값으로 수렴합니다.
• 최적성: DASH 는 편향되지 않은 집계 중에서 파레토 최적임이 증명되었습니다. 순위 안정성에 대해 크라메르 - 라오 분산 경계 ($\sigma^2/M$) 를 달성합니다.
• 트레이드오프: DASH 는 그룹 내 완전성(대칭 특징에 대해 동점을 보고함) 을 희생하여 안정성과 그룹 간 신실성을 얻습니다.

형식적 검증

방법론의 상당 부분은 Lean 4를 사용한 기계적 검증을 포함합니다.

• 저자들은 불가능성 정리, 정량적 경계, DASH 최적성 증명을 포함한 전체 이론적 프레임워크를 형식화했습니다.
• 이 형식화는 54 개의 파일에 걸쳐 305 개의 타입 체크된 정리로 구성되며, 0 개의 sorry(증명되지 않은 가정 없음)를 포함합니다.
• 이 과정에는 16 개의 공리 (14 개의 도메인 특화 공리, 2 개의 쿼리 복잡도 공리) 가 포함되었습니다. 특히, 핵심 불가능성 정리는 라슈모논 속성에만 의존하며 영개의 행동 공리가 필요합니다.
• 형식화 과정 자체는 원래 비형식적 공리 시스템에서 두 가지 논리적 불일치와 한 가지 타입 불일치를 식별했습니다.

3. 주요 결과 및 실증적 검증

실증적 발견

이 논문은 77 개의 공개 데이터셋과 여러 모델 구현 (XGBoost, LightGBM, CatBoost, 신경망) 을 통해 이론을 검증합니다.

• 보편성: 77 개 데이터셋에 대한 조사에서 **68%**가 상관관계 있는 특징 쌍에 대해 귀속 불안정성 (플립율 > 10%) 을 나타냈습니다. 고차원 데이터셋 ($P \ge 20$) 의 경우 이 비율은 **93%**로 상승합니다.
• 플립율: 유사한 중요도를 가진 높은 상관관계 쌍 ($\rho \approx 0.9$) 의 경우, 재훈련 시드 간 플립율은 이론적 최대치인 50% (동전 던지기) 에 근접합니다.
• DASH 효능: $M \ge 25$개의 모델을 사용한 앙상블 평균화는 플립율을 1% 미만으로 줄여 불안정성을 효과적으로 해결합니다.
• 진단: 논문은 불안정한 쌍을 탐지하기 위한 다중 모델 Z-검정과 단일 모델 스크린(분할 빈도 기반) 을 도입합니다. Z-검정은 관찰된 플립율과 강한 음의 상관관계 ($r \approx -0.89$) 를 보입니다.

특정 모델 클래스의 행동

• GBDT: 발산하는 불안정성을 보입니다. "선공자" 특징이 신호를 흡수하여 다른 특징들에게 잔여 신호만 남기며, 어떤 특징이 먼저 선택되느냐에 따라 큰 귀속 간격이 뒤집힙니다.
• Lasso: 상관관계 그룹에서 정확히 하나의 특징을 선택하므로 무한한 불안정성을 보입니다.
• 신경망: 더 큰 라슈모논 집합과 KernelSHAP 분산으로 인해 높은 불안정성을 보입니다 (유방암 데이터에서 쌍의 87% 가 불안정).
• 랜덤 포레스트: 순차적 잔여 공유의 부재로 인해 불안정성이 현저히 낮습니다.

확장

• 조건부 귀속: 특징의 인과 효과가 동일한 경우 ($\beta_j = \beta_k$), 조건부 SHAP 로 전환하더라도 불가능성을 피할 수 없음을 증명합니다.
• 공정성 감사: 저자들은 공선성 하에서 단일 모델 SHAP 기반의 대리 차별 감사는 증명적으로 신뢰할 수 없음을 보여줍니다. 결론 (어떤 특징이 대리인지) 은 동전 던지기이기 때문입니다.
• 인과성 식별: 이 불안정성은 공선성 하에서의 인과성 식별의 어려움과 유사하며, 표본 복잡도는 $1/(1-\rho)^2$로 발산합니다.

4. 중요성 및 주장

이 논문은 설명 가능한 인공지능 분야에서 첫 번째로 형식적으로 검증된 불가능성 결과를 제공한다고 주장합니다. 그 중요성은 세 가지 차원에서 제시됩니다:

1. 수학적 필연성: 불안정성은 엔지니어링 실패 (예: 부적절한 하이퍼파라미터 또는 버그) 가 아니라, 손실 지형의 기하학과 라슈모논 집합에서 비롯된 수학적 필연성입니다. 논문은 "SHAP 을 어떻게 고칠 것인가"에서 "제약 조건 하에 무엇을 달성할 수 있는가"로 문제를 재정의합니다.
2. 설계 공간 특성화: 귀속 설계 공간을 정의함으로써, 실무자는 안정성과 완전성 사이에서 선택해야 함을 확립합니다. 단일 모델이 안정적이고, 신실하며, 완전한 순위를 제공하는 "공짜 점심"은 존재하지 않습니다.
3. 규제 및 실무적 영향:
   • EU AI 법 준수: 논문은 귀속 불안정성이 EU AI 법 제 13 조 3 항 (b) (ii) 의 "알려지고 예측 가능한 상황"에 해당한다고 주장합니다. 제공자는 임의의 순위를 사실처럼 제시하는 대신 이러한 불안정성을 공개해야 합니다.
   • 공정성: 단일 모델 공정성 감사는 상관관계 있는 특징에 대해 신뢰할 수 없으며, 대리 차별 탐지에서 위양성 또는 위음성을 초래할 수 있습니다.
   • 실행 가능한 툴킷: 논문은 원하는 안정성 수준을 달성하기 위해 필요한 최소 앙상블 크기 ($M_{min}$) 에 대한 공식과 함께 구체적인 워크플로우 (스크린 $\to$ Z-검정 $\to$ DASH) 를 제공합니다.

저자들은 공선성이 존재하는 상황에서 설명을 위한 "단일 모델 패러다임"에서 벗어나야 하며, 정직하고 안정적이며 방어 가능한 설명을 제공하기 위해 DASH 와 같은 앙상블 기반 접근법을 채택해야 한다고 결론짓습니다.