Explaining a probabilistic prediction on the simplex with Shapley compositions

기술 요약: 심플렉스 상의 확률적 예측에 대한 샤플리 합성(Shapley Compositions) 설명

문제 정의
다중 클래스 분류를 수행하는 머신러닝 모델은 흔-히 스칼라 값이 아닌 이산 확률 분포를 출력한다. 이러한 출력값은 다차원 심플렉스(simplex) 상에 존재한다. 샤플리는 스칼라 예측을 설명하기 위해 특징의 기여도를 정량화하는 표준적인 도구이지만, 이를 다중 클래스 설정에 직접 적용하는 데에는 문제가 있다. 현재의 접근 방식은 각 클래스에 대해 별도로(one-vs-rest 또는 one-vs-one) 샤플리 값을 계산한다. 이러한 방식은 출력의 구성적 성격(compositional nature), 즉 절대적인 값보다 확률 간의 상대적인 값이 더 중요하다는 점을 간과하며, 확률 심플렉스의 기하학적 구조를 존중하지 못한다. 또한, 각 클래스에 대해 별도의 값을 계산하면 기저 예측(base prediction)에서 최종 예측으로 가는 누적 경로가 심플렉스 공간을 벗어나는 비일관적인 설명을 초래할 수 있다.

방법론
저자들은 조성 데이터 분석(compositional data analysis)의 **에이치슨 기하학(Aitchison geometry)**을 사용하여 이산 확률 분포로 샤플리 값을 확장하는 프레임워크인 **샤플리 합성(Shapley compositions)**을 제안한다.

1. 에이치슨 기하학: 논문은 확률 심플렉스($S_D$)를 표준 유클리드 공간이 아니라 특정 연산을 가진 공간으로 취급한다:

   • 섭동(Perturbation, $\oplus$): 조성들 사이의 덧셈 역할을 한다.
   • 거듭제곱(Powering, $\odot$): 스칼라 곱 역할을 한다.
   • 내적(Inner Product): 부분들의 로그 비율(log-ratios)을 통해 정의된다.
   • 등거리 로그 비율(Isometric Log-Ratio, ILR) 변환: 심플렉스를 $(D-1)$ 차원의 유클리드 공간($\mathbb{R}^{D-1}$)으로 매핑하여, 섭동과 거듭제곱을 나타낼 수 있도록 메트릭(metric)과 표준 벡터 연산(덧셈, 뺄셈)을 보존한다.

2. 샤플리 합성의 정의:

   • 특성 집합(subsets of features)을 심플렉스로 매핑하는 특성 함수는 에이치슨 뺄셈($\ominus$)을 사용하여 재정의된다. 이는 특징들이 관찰될 때 발생하는 기대 예측의 변화를 나타낸다.
   • 특정 특징에 대한 샤플리 합성은 모든 가능한 코리션(coalition)에 대한 이러한 섭동의 평균으로 정의되며, 표준적인 합산과 스케일링 대신 에이치슨 연산(섭동 및 거듭제곱)을 사용하여 계산된다.
   • 수학적으로 샤플리 합성 $\phi_i$는 에이치슨 심플렉스 상에서 선형성(Linearity), 대칭성(Symmetry), **효율성(Efficiency)**을 만족하는 유일한 양이다.
   • 이 문맥에서의 효율성은 모든 샤플리 합성의 합에 의한 기저 분포(기대 예측)의 섭동이 최종 예측 분포와 같음을 보장한다: $\bigoplus_{i=1}^d \phi_i = f(x) \ominus E_A[f(X)]$.

3. 시각화 및 분석:

   • ILR 공간: 샤플리 합성은 $(D-1)$ 차원 ILR 공간 내의 벡터로 시각화된다. 이를 통해 각도(직교성/중복성), 노름(기여의 강도), 그리고 클래스-조성으로의 투영(영향의 방향)을 분석할 수 있다.
   • 대안적 시각화: 고차원의 경우, 논문은 히스토그램(특징별 분포 변화를 보여줌)이나 병렬 좌표계(base에서 prediction으로 이어지는 연속적인 섭동 과정을 추적함)를 사용하여 구성을 시각화할 것을 제안한다.

주요 기여

• 공식적 정의: 본 논문은 다중 클래스 확률적 예측을 설명하기 위해 샤플리 값을 다차원 심플렉스로 확장하는 원칙적인 방법론을 정의한다.
• 공리적 증명: 저자들은 샤플리 합성이 에이치슨 심플렉스 상에서 선형성, 대칭성, 효율성을 만족하는 유일한 양임을 증명함으로써, 다중 클래스 설정으로 샤플리 값의 이론적 토대를 확장한다.
• 기하학적 프레임워크: 이 연구는 특징의 기여를 심플렉스 상의 가법적 섭동(additive perturbations)으로 다룸으로써, one-vs-rest 방식이 확률 공간을 벗어날 수 있는 문제를 해결하고 일관된 기하학적 해석을 확립한다.
• 시각화 도구: 다차원적 기여를 해석하기 위해 맞춤 설계된 시각화 기술(ILR 플롯, 히스토그램, 병렬 좌표계)을 도입한다.

결과 및 시연
논문은 대규모 벤치마크 대신 개념 증명(proof-of-concept) 시연을 제공한다:

• Iris 데이터셋 (3개 클래스): 2D ILR 공간에서 시각화하여, 꽃잎 길이와 너비 같은 특징들이 기저 분포를 "versicolor" 영역으로 어떻게 섭동시키는지 보여준다. 이 분석은 샤플리 합성이 개별 SHAP 값보다 어떻게 클래스 간의 트레이드오프(예: 한 클래스의 확률을 높이는 특징은 필연적으로 다른 클래스의 확률을 감소시킴)를 더 일관되게 포착하는지 강조한다.
• 숫자 인식 (4 및 10개 클래스):
  • 4개 클래스 작업(숫자 0–3)은 3D ILS 공간에서 시각화되어 심플렉스의 사면체 구조를 보여준다.
  • 10개 클래스 작업은 특정 클래스 그룹 간의 비교(예: 홀수 vs 짝수, 또는 특정 숫자 쌍)를 위한 밸런스(balances)(클래스 그룹들의 로그 비율) 사용을 보여준다. 이를 통해 사용자는 전체 고차원 공간을 시각화하지 않고도 특정 하위 공간에 집중할 수 있다.
• 추정: 저자들은 기존의 샘플링 알고리즘(SHAP 툴킷에서 가져옴)을 샤플리 합성을 추정하도록 조정하며, 근사치에서도 효율성 속성이 유지되도록 조정이 필요함을 언급한다.

의의 및 주장
본 논문은 다중 클래스 확률적 예측을 설명하기 위해 샤플리 값 프레임워크를 다차원 심플렉스로 공식적으로 확장한 첫 번째 연구라고 주장한다.

• 이론적 토대: 주요 기여는 이론적 및 방법론적이며, 다중 클래스 출력의 조성적 성격을 다루는 "근거 있는" 방법을 제공한다.
• 일관성: 설명 경로가 확률 심플렉스 내에 머물도록 하고 분포를 단일 개체로 취급함으로써 one-vs-rest 설명의 문제를 해결한다.
• 향후 과제: 저자들은 실험 결과가 예시적 수준에 그쳤음을 겸허히 밝힌다. 이들은 계산 복잡도(특징 수에 따른 스케일링)와 특징 독립성 가정을 현재의 한계점으로 지목하며, 의존적인 특징을 위한 추정 알고리즘 및 대규모 적용을 위한 연구를 향후 과제로 남겨두었다.