cc-Shapley: Measuring Multivariate Feature Importance Needs Causal Context

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"인공지능 (AI) 이 왜 그렇게 판단했는지 설명할 때, 우리가 흔히 쓰는 방법에는 치명적인 함정이 있다"**는 것을 지적하고, 그 해결책을 제시하는 내용입니다.

제목인 cc-Shapley는 다소 어렵게 들릴 수 있지만, 핵심 아이디어는 **"원인과 결과를 구분하는 안목"**을 AI 설명에 더하자는 것입니다.

이 내용을 일상적인 비유로 쉽게 풀어서 설명해 드릴게요.

1. 문제: "우연의 일치"를 "인과 관계"로 착각하다

AI 가 어떤 결과를 예측할 때, 어떤 특징 (Feature) 이 중요한지 알려주는 도구를 **Shapley 값 (샤플리 값)**이라고 합니다. 마치 "이 게임에서 누가 가장 공을 많이 차서 이겼나?"를 계산하는 것과 비슷하죠.

하지만 이 논문은 **"지금까지의 계산 방식은 너무 순진하다"**고 말합니다. 데이터만 보고 계산하면, 실제로는 아무런 관계가 없는 두 사건을 마치 서로 영향을 주고받는 것처럼 착각하게 만든다는 것입니다.

🍳 비유: "아침 식사와 당뇨병" 이야기

논문의 예시를 들어볼까요?

상황: 의사가 환자의 당뇨병 (Y) 을 진단하기 위해 혈당 (G) 을 재고 있습니다.
문제: 환자가 아침에 빵을 많이 먹어서 (C) 혈당이 높게 나왔습니다. 하지만 환자는 당뇨병이 아닙니다.
AI 의 오해 (기존 Shapley 값):
- AI 는 "혈당 (G) 이 높으면 당뇨병 (Y) 이다"라고 배웠습니다.
- 그런데 혈당 (G) 이 높을 때, 빵 (C) 을 많이 먹지 않은 환자는 혈당이 높을 이유가 없습니다. (당뇨병 때문일 테니까요.)
- 반대로, 빵 (C) 을 많이 먹은 환자는 당뇨병이 없어도 혈당이 높습니다.
- AI 는 데이터를 분석하다가 **"빵 (C) 을 많이 먹으면 당뇨병 확률이 낮아지는 것 같다"**는 엉뚱한 결론을 내립니다. (실제로는 빵이 당뇨병을 예방하는 게 아니라, 혈당 수치를 높인 '대체 원인'일 뿐인데 말입니다.)

이것을 통계학에서는 **'콜라이더 편향 (Collider Bias)'**이라고 합니다. 쉽게 말해, **"두 가지 다른 원인이 하나의 결과 (혈당) 를 만들어냈을 때, 그 결과 (혈당) 를 기준으로 두 원인을 비교하면 엉뚱한 인과 관계가 만들어지는 현상"**입니다.

핵심: AI 가 "빵을 많이 먹으면 당뇨병이 안 걸린다"라고 잘못 설명하면, 사람들은 건강에 해로운 음식을 먹어도 된다고 착각할 수 있습니다. 이것이 바로 **가짜 설명 (Spurious Association)**의 위험입니다.

2. 해결책: cc-Shapley (인과적 맥락 샤플리 값)

저자들은 이 문제를 해결하기 위해 cc-Shapley라는 새로운 방법을 제안했습니다.

🕵️‍♂️ 비유: "수사관 vs 데이터 분석가"

기존 방법 (데이터 분석가): "지난 1 년간 데이터를 보니, 빵을 많이 먹은 사람은 당뇨병이 적더라. 그래서 빵이 당뇨병을 막는구나!"라고 결론 내립니다. (관측만 함)
새로운 방법 (수사관, cc-Shapley): "잠깐, 빵을 먹어서 혈당이 오른 건지, 당뇨병 때문에 혈당이 오른 건지 구분해 봐야 해. 만약 빵을 먹지 않았을 때 (개입/Intervention) 혈당이 어떻게 변할까?"라고 상상하며 분석합니다.

cc-Shapley는 단순히 "데이터를 보는 것"을 넘어, **"만약 내가 이 변수를 인위적으로 조작했다면 결과는 어땠을까?"**를 시뮬레이션합니다.

결과: "아, 빵 (C) 은 당뇨병 (Y) 과 직접적인 관계가 없구나. 혈당 (G) 을 높이는 역할만 했을 뿐이야."라고 올바르게 판단합니다.
효과: AI 가 "빵은 당뇨병 예방약이다"라고 거짓말하는 것을 막아줍니다.

3. 왜 이것이 중요한가?

이 논문의 핵심 메시지는 **"AI 가 왜 그렇게 판단했는지 설명할 때, 단순히 숫자만 보면 안 된다"**는 것입니다.

과학적 발견: AI 가 새로운 약을 찾거나 질병 원인을 찾을 때, 엉뚱한 상관관계를 '원인'으로 착각하면 치명적인 실수를 할 수 있습니다.
모델 신뢰: AI 가 "이 환자는 당뇨병 위험이 낮다"라고 할 때, 그 이유가 진짜 원인인지, 아니면 우연한 데이터 패턴인지 확인해야 합니다.

🧩 비유: 퍼즐 맞추기

기존 AI 설명 방법은 퍼즐 조각을 그냥 붙여놓고 "이게 완성된 그림이다"라고 합니다. 하지만 cc-Shapley는 "이 조각이 진짜 그림의 일부인지, 아니면 다른 그림에서 실수로 들어온 조각인지"를 인과 관계라는 도면을 보고 확인합니다.

4. 요약: 한 줄로 정리하면?

"AI 가 왜 그런 결론을 내렸는지 설명할 때, 단순히 "데이터상에서 같이 나타났기 때문"이라고 말하면 안 됩니다. 반드시 "원인과 결과의 흐름 (인과 구조)"을 고려해야만, AI 가 엉뚱한 거짓말 (가짜 상관관계) 을 하지 않도록 막을 수 있습니다."

이 연구는 AI 의 설명 (XAI) 이 단순히 "숫자 놀음"이 아니라, 진짜 세계의 인과 법칙을 이해하는 도구가 되어야 함을 강조합니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Statement)

가상적 연관성 (Spurious Associations) 과 XAI 의 한계
설명 가능한 인공지능 (XAI) 은 모델의 예측에 기여하는 특징 (Feature) 의 중요도를 파악하여 모델의 신뢰성을 검증하거나 과학적 발견을 돕는 것을 목표로 합니다. 현재 가장 널리 사용되는 방법 중 하나인 Shapley 값은 특징의 중요도를 계산할 때 데이터의 관측적 맥락 (Observational Context) 에만 의존합니다.

이 논문은 관측적 Shapley 값이 **다변량 특징 중요도 (Multivariate Feature Importance)**를 측정할 때 근본적인 결함을 가지고 있음을 지적합니다. 특히 **콜라이더 편향 (Collider Bias)**과 **억제 효과 (Suppression)**로 인해 잘못된 특징 할당이 발생할 수 있습니다.

핵심 사례: 당뇨병 진단 예시에서, 혈당 ( $G$ ) 은 당뇨병 ( $Y$ ) 과 아침 식사 탄수화물 ( $C$ ) 모두의 영향을 받습니다. 여기서 $G$ 는 $Y$ 와 $C$ 를 연결하는 콜라이더 (Collider) 역할을 합니다.
문제점: 관측 데이터에서 $G$ 를 고정하고 $C$ 의 중요도를 계산하면 (조건부 기대값 $E[Y|C, G]$ ), $C$ 와 $Y$ 사이에 인과관계가 없음에도 불구하고 허위 연관성이 발생합니다. 이는 탄수화물 섭취가 당뇨병 위험을 낮춘다는 (억제 효과) 전혀 근거 없는 결론을 도출하게 만듭니다.
현재 방법의 한계: 기존 Shapley 값은 관측 데이터만 사용하여 특징을 추가할 때의 예측 변화량을 계산하므로, 이러한 인과적 구조를 반영하지 못해 오해를 불러일으킵니다.

2. 방법론 (Methodology)

저자들은 cc-Shapley (Causal Context Shapley) 값을 제안하여 이 문제를 해결합니다. 이는 기존 Shapley 값을 인과적 개입 (Intervention) 개념으로 수정한 것입니다.

2.1. 핵심 아이디어: 개입 (Intervention) vs 조건부 (Conditioning)

기존 Shapley 값은 특징 $X_j$ 를 관찰된 특징 집합 $S$ 의 맥락에서 평가할 때 조건부 확률 $E[Y | X_j, S]$ 를 사용합니다. 반면, cc-Shapley 는 맥락 변수 $S$ 에 대해 **개입 (do-연산자)**을 수행하여 $E[Y | X_j, do(S)]$ 를 사용합니다.

개입의 효과: $S$ 에 개입 ( $do(S)$ ) 하면 $S$ 로 들어오는 인과 화살표가 끊깁니다. 이는 콜라이더 노드에서 발생하는 허위 경로를 차단하여 콜라이더 편향을 제거합니다.
비대칭적 접근: cc-Shapley 는 평가 대상 특징 $X_j$ $X_{j}$ 와 맥락 특징 $S$ $S$ 를 비대칭적으로 다룹니다.
- $X_j$ : 관찰된 값 (비인과적 연관성 허용).
- $S$ : 개입된 값 (인과적 구조만 반영).
- 이는 $X_j$ 가 $Y$ 에 미치는 순수한 인과적 기여를 평가하면서도, $S$ 가 $X_j$ 와 $Y$ 사이의 허위 경로를 통해 영향을 미치지 않도록 보장합니다.

2.2. 정의 (Definition 3.1)

특징 $X_j$ 의 cc-Shapley 값은 다음과 같이 정의됩니다.

$\phi_{cc}(X_j) = \sum_{S \subseteq F \setminus \{X_j\}} \frac{|S|!(|F|-|S|-1)!}{|F|!} I_{do(S)}(X_j)$

여기서 $I_{do(S)}(X_j) = E[Y | X_j, do(S)] - E[Y | do(S)]$ 는 맥락 $S$ 에 개입했을 때 $X_j$ 가 예측에 기여하는 변화량입니다.

2.3. 추정 방법 (Estimation)

실제 데이터에서 $E[Y | X_j, do(S)]$ 를 계산하기 위해 **구조적 인과 모델 (SCM)**이 필요합니다.

SCM 구축: 관측 데이터로부터 인과 그래프와 각 변수의 함수 관계를 학습합니다 (예: LiNGAM 알고리즘 또는 부모 노드에 대한 회귀 분석).
확률적 개입 (Stochastic Intervention): 맥락 변수 $S$ 의 분포를 유지하면서 인과적 구조를 수정한 새로운 모델 $M_{do(S \sim q)}$ 를 생성합니다.
모델 학습: 수정된 모델에서 생성된 데이터를 사용하여 조건부 기대값을 추정합니다.

3. 주요 기여 (Key Contributions)

비인과적 XAI 의 근본적 문제 제기: Shapley 값을 포함한 기존 XAI 방법론이 콜라이더 편향과 억제 효과로 인해 특징 중요도를 왜곡할 수 있음을 이론적, 실험적으로 증명했습니다.
cc-Shapley 제안: 인과적 지식을 활용하여 콜라이더 편향을 제거하는 최초의 다변량 특징 중요도 측정 방법을 제시했습니다. 이는 단일 변수 중요도 (Univariate) 로만 해결할 수 없는 문제를 다변량 맥락에서 해결합니다.
이론적 증명: cc-Shapley 가 통계적 연관성 속성 (Statistical Association Property, SAP) 을 만족함을 증명했습니다. 즉, $X_j$ 가 $Y$ 와 인과적으로 무관하다면 cc-Shapley 값은 0 이 됩니다.
실험적 검증: 합성 데이터 (선형 및 비선형 SCM) 와 실제 데이터 (Sachs et al. 의 단백질 신호 전달 네트워크) 를 통해 기존 Shapley 값이 왜곡된 결과를 보이는 반면, cc-Shapley 는 직관적이고 정확한 중요도를 부여함을 보였습니다.

4. 실험 결과 (Experimental Results)

선형 SCM 실험: 3,000 개의 무작위 선형 SCM 을 생성하여 실험했습니다. 콜라이더 역할을 하는 변수가 관측 맥락에 포함될 때 기존 Shapley 값은 특징의 중요도 부호 (양/음) 를 반전시키거나 왜곡시켰으나, cc-Shapley 는 올바른 부호를 유지했습니다.
비선형 당뇨병 예시: BMI( $B$ $B$ ) 가 당뇨병( $Y$ $Y$ ) 에 미치는 영향을 분석했습니다.
- Shapley: 혈당( $G$ ) 과 평균 혈당( $H$ ) 을 맥락으로 포함할 때, BMI 가 당뇨병 위험을 낮춘다는 잘못된 음의 연관성을 보였습니다.
- cc-Shapley: 인과적 개입을 통해 이 편향을 제거하여, BMI 가 당뇨병 위험을 높인다는 직관과 일치하는 양의 연관성을 보였습니다.
실제 데이터 (단백질 네트워크): Sachs et al. (2005) 의 단백질 데이터를 분석했습니다. 특정 단백질 (PKC, P38) 의 경우 기존 Shapley 값은 콜라이더 편향으로 인해 중요도가 왜곡되었으나, cc-Shapley 는 단일 변수 분석 (Univariate) 과 일관된 올바른 중요도 분포를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 XAI 가 단순히 "모델이 무엇을 보았는가"를 넘어 **"데이터가 어떻게 생성되었는가 (인과 구조)"**를 이해해야 함을 강조합니다.

과학적 발견의 신뢰성: 허위 연관성 (Spurious Correlation) 을 제거함으로써, XAI 를 통한 과학적 발견 (예: 새로운 약물 표적 발견, 질병 원인 규명) 의 신뢰성을 높입니다.
인과적 계단 (Ladder of Causation): 기존 XAI 는 대부분 관측 (Observation) 단계에 머무르지만, cc-Shapley 는 개입 (Intervention) 단계로 나아가 인과적 인과관계를 명확히 합니다.
실용적 함의: 인과 그래프에 대한 지식이 필요하다는 제한점이 있으나, 이를 통해 모델 디버깅과 특징 선택의 정확성을 획기적으로 개선할 수 있음을 보여줍니다.

결론적으로, cc-Shapley는 다변량 특징 중요도 측정에 있어 인과적 맥락이 필수적임을 입증하고, 이를 구현하기 위한 구체적인 방법론을 제시함으로써 XAI 분야의 중요한 전환점을 마련했습니다.