기술 요약: 우선순위 인지 샤플리 값 (Priority-Aware Shapley Value, PASV)

문제 정의

샤플리 값(Shapley values)은 기여자(플레이어)들이 서로 교환 가능하다는 공리, 즉 모든 가능한 플레이어의 순열에 대해 한계 기여도를 평균 내는 방식에 의존하는, 모델 불가지론적 데이터 가치 평가 및 특성 기여도 산출의 표준 도구입니다. 그러나 현대 머신러닝 응용 분야에서 이러한 교환 가능성은 다음 두 가지 주요 이유로 인해 유효하지 않은 경우가 많습니다:

1. 선행 제약 조건 (Precedence Constraints): 기여자는 엄격한 선행 관계를 나타낼 수 있습니다. 예를 들어, 학습 데이터가 상위 소스로부터 증강되거나 복제된 경우(이로 인해 하위 기여는 파생적인 것이 됨), 또는 도메인 지식이 특정 특성(예: 인과적 조상)을 다른 특성보다 먼저 고려해야 한다고 규정할 수 있습니다. 기존 방식인 선행 샤플리 값(Precedence Shapley Value, PSV)은 이러한 제약을 처리하지만, 모든 유효한 선형 연장을 균등하게 취급하며 개별적인 차이는 무시합니다.
2. 소프트 우선순위 가중치 (Soft Priority Weights): 실무자들은 신뢰도, 리스크, 또는 큐레이션 비용과 같은 맥락 특유의 고려 사항을 가질 수 있습니다. 예를 들어, 어떤 데이터 포인트는 신뢰도가 낮거나 법적 리스크가 높을 수 있습니다. 기존의 가중 샤플리 값(Weighted Shapley Value, WSV) 방식은 이러한 가중치를 포함하지만, 특정 구조적 가정(순서된 분할)에 국한되어 있으며 일반적인 유향 비순환 그래프(DAG)를 처리할 수 없습니다.

기존 접근 방식들은 일반적으로 엄격한 선행 제약과 소프트 가중치를 각각 독립적으로 다룹니다. 따라서 일반적인 선행 제약과 플레이어별 우선순위 가중치를 동시에 통합하면서도 계산 가능한 수준으로 유지하는 통일된 프레임워크가 부족한 실정입니다.

방법론: 우선순위 인지 샤플리 값 (PASV)

저자들은 엄격한 선행 제약과 소프트 우선순위 가중치를 단일 무작위 순서 프레임워크 내에 통합한 통합 샤플리 유형 기여도 산출 방식인 **우선순위 인지 샤플리 값 (PASV)**을 제안합니다.

1. 이론적 정식화

PASV는 포셋(poset) 또는 DAG $([n], \preceq)$의 선형 연장 집합 $\Pi_{\preceq}$에 대한 분포 $p$에 대한 기대 한계 기여도로 플레이어 $i$의 값을 정의합니다. 분포 $p$는 다음을 만족하도록 구성됩니다:

• 하드 우선순위 (Hard Priority): 서포트(support)가 $\Pi_{\preceq}$로 제한되어, 순열 생성 시 선행 제약을 위반하는 경우가 없도록 보장합니다.
• 소프트 우선순위 (Soft Priority): 순열 생성 과정의 각 단계에서 가용한 후보들 중, 선택 확률은 플레이어별 가중치 $\lambda = (\lambda_1, \dots, \lambda_n)$에 의해 편향됩니다.

순열 $\pi = (\pi_1, \dots, \pi_n)$의 확률은 다음과 같습니다:
$$p^{(\preceq, \lambda)}(\pi) \propto \prod_{t=1}^n \frac{\lambda_{\pi_t} |\max_{\preceq}(S_t)|}{\sum_{k \in \max_{\preceq}(S_t)} \lambda_k}$$
여기서 $S_t = \{\pi_1, \dots, \pi_t\}$는 현재까지 선택된 플레이어의 집합이며, $\max_{\preceq}(S_t)$는 $S_t$의 극대 원소 집합(다음 위치를 위한 가용 후보들)을 의미합니다.

2. 공리적 특성 규명

본 논문은 PASV를 고유하게 식별하는 엄격한 공리적 특성을 제공합니다. 유도는 다음 과정을 거칩니다:

• 선행 무작위 순서 값 (Precedence Random Order Value, PROV): 효율성(Efficiency), 선형성(Linearity), 널 플레이어(Null Player), 단조성(Monotonicity), 최대 서포트(Maximal Support, 크레딧은 오직 가용 집합 내의 극대 원소에게만 부여됨)를 만족하는 값의 계열입니다.
• 상태-선택 인수 분해 (State-Choice Factorization, SCF): 분포를 "상태" 인수(DAG로부터의 전역적 편향)와 "선택" 인수(가중치로부터의 지역적 편향)의 곱 형태인 인수 분해된 형태로 제한합니다.
• 경계 공리 (Boundary Axioms):
  • 가중치 비례성 (Weight Proportionality, WP): 가용한 후보들 사이의 선택 확률은 그들의 가중치 $\lambda$에 비례합니다.
  • 동일 가중치 균등성 (Equal-Weight Uniformity, EWU): 모든 가중치가 동일할 경우, 분포는 $\Pi_{\preceq}$ 상의 균등 분포로 환원됩니다 (PSV를 회복).
    PROV, SCF, WP, EWU의 결합은 PASв를 유일하게 도출합니다.

3. 극한 영역 (Limiting Regimes)

저자들은 가중치가 극단적으로 변할 때($\lambda_i \to \infty$ 또는 $\lambda_i \to 0$)의 PASV 동작을 분석합니다. 이들은 극단적인 가중치가 동시에 가용한 플레이어들 사이에서 거의 결정론적인 타이 브레이킹(tie-breaking) 메커니즘을 유도함을 입증합니다. 특정 사례(예: 순서된 분할 또는 전역적 극대 플레이어)에서 극단적인 가중치는 효과적으로 DAG의 새로운 엣지로 변환되어 선행 구조를 정교화합니다.

4. 확장 가능한 계산

선형 연장의 수는 지수적으로 증가하므로, $n$이 큰 경우 정확한 계산은 실행 불가능합니다. 저자들은 효율적인 인접 스왑 메트로폴리스-헤이스팅스 (Adjacent-Swap Metropolis-Hastings, M-H) 샘플러를 개발했습니다:

• 초기화: 위상 정렬(topological sorting)을 통해 유효한 선형 연장을 찾습니다.
• 전이 (Transition): 현재 순열 내의 인접한 비교 불가능한(incomparable) 요소들의 스왑을 제안합니다.
• 수락 (Acceptance): M-H 수락 비율을 로컬 정보(Lemma 4.1)를 사용하여 계산함으로써, 모든 순열을 열거하지 않고도 비균등 분포 $p^{(\preceq, \lambda)}$로 수렴할 수 있게 합니다.
• 추정: 샘플링된 순열들에 대한 한계 기여도의 몬테카를로 평균을 통해 PASV를 추정합니다.

5. 진단 도구: 우선순위 스위핑 (Priority Sweeping)

점 추정을 넘어, PASV는 "우선순위 스위핑" 분석을 가능하게 합니다. 다른 요소들은 고정한 채 단일 플레이어(또는 그룹)의 가중치 $\lambda_i$를 변화시킴으로써, 가치 평가가 어떻게 변하는지 추적할 수 있습니다. 이는 크레딧이 불안정하거나 신뢰/리스크 가정에 크게 의존하는 기여자를 식별하기 위한 민감도 분석 역할을 합니다.

주요 결과

논문은 두 가지 데이터셋에서 PASV를 평가합니다:

1. 데이터 가치 평가 (MNIST/CIFAR10):
   • 설정: 원본 데이터, 증강 데이터, 생성 모델 출력(Boosters), 복사본, 오염된 데이터를 포함한 8개의 프로바이더가 있는 데이터 시장 시나리오입니다. 복잡한 DAG가 데이터 계보(예: 복사본은 원본에 의존함)를 인코딩합니다.
   • 결과: 표준 샤플리 값(SV)은 재사용된 데이터를 과대 평가합니다. PSV는 복사본에 대해 올바르게 페널티를 부여하지만, 모든 합성 데이터를 동일하게 취급합니다. 가중치를 조정함으로써, PASV는 고품질 합성 데이터(Boosters)와 저품질/재사용 데이터(Copier/Poisoner)를 성공적으로 구별합니다. "우선순위 스위핑" 분석은 복사/오염된 데이터의 가치가 가중치 조정에 매우 민감한 반면, 원본 데이터는 안정적임을 보여줍니다.
2. 특성 기여도 (Census Income):
   • 설정: 12개의 특성을 사용하여 소득 >$50k를 예측합니다. 저자들은 거친 "순서된 분할" DAG(인구 통계 $\prec$ 사회 경제적 지위)와 도메인 지식에서 유도된 상세한 DAG(예: 교육 $\prec$ 직업)를 비교합니다.
   • 결과: DAG의 선택은 기여도 값을 크게 변화시킵니다. PASV의 우선순위 스위핑은 특정 특성(예: native-country, relationship)이 우선순위 가중치에 따라 불안정한 기여도를 갖는 반면, 다른 특성(예: marital-status)은 견고하다는 것을 식별합니다. 이는 선행 관계를 올바르게 모델링하는 것의 중요성을 강조하며, 기여도 민감도를 진단하는 도구를 제공합니다.

의의 및 주장

본 논문은 PAS와가 의존성과 다양한 신뢰 수준이 존재하는 환경에서 기여도를 다루기 위한 통합적이고 표현력이 풍부하며 실용적으로 실행 가능한 프레임워크를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

• 통합: 일반적인 선행 제약(DAG)과 소프트 우선순위 가중치를 동시에 처리하여 PSV와 WSV를 특수 사례로 회복하는 최초의 방법입니다.
• 이론적 근거: PASV가 선행 및 가중치를 고려한 가치 평가에 대한 자연스러운 속성을 만족하는 유일한 규칙임을 입증하는 견고한 공리적 토대를 제공합니다.
• 확장성: 제안된 MCMC 샘플러는 모든 순열을 열거할 수 없는 대규모 플레이어 집합에 적용할 수 있게 합니다.
• 실용적 유용성: "우선순위 스위핑" 진단은 민감도 분석을 위한 새로운 메커니즘을 제공하여, 실무자가 신뢰/리스크 가정이 가치 결과에 미치는 영향을 정량화할 수 있도록 합니다.

저자들은 PASV가 단순한 "블랙박스" 솔루션이 아니라, 구조적 가정(DAG)과 우선순위 가정(가중치)을 명시적이고 튜닝 가능하게 만들어, 더욱 견고하고 해석 가능한 의사결정을 지원하는 도구임을 강조합니다.