P$^2$CE: Model-Agnostic Plausible Pareto-Optimal Counterfactual Explanations

이 논문은 데이터 분포 준수를 위한 고립 포레스트(isolation forest)와 계산 효율성을 위한 SHAP 값을 결합함으로써, 기존 방식보다 솔루션의 품질과 속도 측면에서 뛰어난 성능을 보이며 다양하고 그럴듯하며 파레토 최적인 반사실적 설명을 생성하는 모델 불가지론적 알고리즘인 P$^2$CE를 소개한다.

핵심

당신이 대출이나 직업, 혹은 주택 담보 대출을 신청했는데 컴퓨터가 "안 됩니다(No)"라고 답한다고 상상해 보십시오. 당신은 자연스럽게 다음과 같은 의문을 갖게 될 것입니다. "내가 '예(Yes)'라는 답을 얻으려면 삶의 어떤 부분을 바꿔야 할까?"

이 지점에서 **반사실적 설명(Counterfactual Explanations)**이 등장합니다. 이것은 당신에게 거절을 승낙으로 뒤집기 위해 필요한 가장 작고 현실적인 단계가 무엇인지 알려주는 "만약에(What-If)" 지도와 같습니다.

하지만 기존의 지도들은 두 가지 큰 문제를 가지고 있습니다:

1. 불가능한 변화를 제안함: 예를 들어 "소득을 1000% 늘리세요"라고 말하는 식입니다. 이는 전혀 도움이 되지 않습니다.
2. 이상하고 비현실적인 변화를 제안함: 예를 들어 20세 학생에게 갑자기 60세 억만장자의 투자 포트폴리오를 가지라고 말하는 것입니다. 수학적으로는 가능할지 몰라도, 현실 세계에는 맞지 않습니다.

이 논문의 저자들은 P2CE(Plausible Pareto-Optimal Counterfactual Explanations, 그럴듯한 파레토 최적 반사실적 설명)라는 새로운 도구를 소개합니다. P2CE는 당신이 환상의 세계에서 길을 잃지 않고 목표에 도달할 수 있도록 돕는 똑똑하고 현실적인 여행사라고 생각하면 됩니다.

P2CE가 어떻게 작동하는지 쉬운 비유를 통해 알아보겠습니다.

1. "현실성 검증" (개연성 필터)

당신이 집을 찾고 있다고 상상해 보십시오. 나쁜 여행사는 "그냥 달에 있는 성을 사세요!"라고 말할 수도 있습니다. 그것도 집이고 변화이긴 하지만, 불가능한 일입니다.

• 기존 방식은 현재 상황과 목표 사이의 수학적 거리만을 보기 때문에, 종종 이러한 "달에 있는 성"을 제안하곤 합니다.
• P2CE는 특수한 "현실 탐지기"(Isolation Forest라고 불림)를 사용합니다. 이 탐지기는 실제 데이터의 이웃 영역을 살펴봅니다. 만약 제안된 내용이 "이상치(outlier)"라면(예: 억만장자의 포트폴리오를 가진 20세 청년), 현실 탐지기가 이를 "현실적이지 않음"으로 표시하고 버립니다. P2CE는 오직 실제 세상에 자연스럽게 부합하는 제안만을 제공합니다.

2. "최선의 거래" 찾기 (파레토 최적 개념)

때때로 당신은 두 가지 좋은 옵션 사이에서 선택해야 할 때가 있습니다:

• 옵션 A: 직함을 바꾼다 (큰 변화이지만, 한 가지만 바꾸면 됨).
• 옵션 B: 돈을 조금 더 저축하고, 작은 빚을 갚고, 짧은 교육 과정을 이수한다 (세 가지 작은 변화).

어느 쪽이 더 나을까요? 그것은 당신에게 달려 있습니다.

• 기존 방식은 이러한 요소들을 하나의 점수로 합쳐버려 단 하나의 "최선"의 답을 강요하며, 이 과정에서 당신의 개인적 선호도를 놓칠 수 있습니다.
• P2CE는 최적의 선택지 메뉴 역할을 합니다. 이 방식은 "파레토 최적(Pareto-Optimal)"인 옵션 목록을 제공합니다. 즉, "여기에 가능한 최선의 절충안들이 있습니다. 한 영역(예: 시간 절약)에서 더 나은 결과를 얻으려면 반드시 다른 영역(예: 노력)을 희생해야 하는 상태의 목록입니다"라고 알려줍니다. 이를 통해 당신은 자신의 삶에 가장 적절한 절충안을 직접 선택할 수 있습니다.

3. "블랙박스" 네비게이터 (모델 불가지론/Model-Agnostic)

많은 AI 시스템은 "블랙박스"입니다. 우리는 내부에서 어떻게 사고하는지는 알 수 없고, 오직 출력값만을 알 수 있습니다.

• 기존 방식은 블랙박스가 너무 복적으로 설계된 경우(예: 심층 신경망) 제대로 작동하지 않을 수 있습니다. 계산 중에 막히거나 시간이 너무 오래 걸릴 수 있기 때문입니다.
• P2CE는 범용 네비게이터입니다. 이 방식은 블랙박스 내부가 어떻게 작동하는지 상관하지 않습니다. 대신 SHAP 값(알고리즘에 어떤 특징이 중요한지 알려주는 '성적표'와 같은 역할)이라는 영리한 지름길을 사용하여, 상자를 열어보지 않고도 최적의 경로를 추측합니다. 덕분에 속도가 빠르며 어떠한 유형의 AI 모델과도 작동합니다.

결과: 이것이 왜 중요한가

저자들은 실제 데이터(신용 점수 및 소득 데이터 등)를 사용하여 P2CE를 다른 인기 있는 도구들과 비교 테스트했습니다.

• 속도: 특히 복잡한 AI 모델을 사용할 때, 기존의 경직된 방식보다 훨씬 빠르게 좋은 답을 찾아냈습니다.
• 품질: 경쟁 모델들보다 "비현식적인" 제안(이상치)을 훨씬 적게 생성했습니다.
• 다양성: 단 하나의 강제된 답 대신, 사용자에게 다양하고 다채로운 선택지를 제공했습니다.

요약하자면: P2CE는 AI의 결정에 대해 설명하는 새로운 방식입니다. 이 방식은 당신이 받는 조언이 현실적이고(당신의 삶에 부합하며), 효율적이며(계산에 시간이 오래 걸리지 않고), 유연하다는 것(당신이 선택할 수 있는 최선의 절충안 메뉴를 제공함)을 보장합니다. P2CE는 혼란스러운 "안 됩니다"를 명확하고 실행 가능하며 믿을 수 있는 "이렇게 하면 됩니다"로 바꾸어 줍니다.

기술 요약

기술 요약: P2CE – 모델 불가지론적 타당한 파레토 최적 반사실적 설명

문제 정의

신용 점수 산정, 채용, 건강 진단 등 고위험 영역에서 머신러닝의 배포가 증가함에 따라 투명성과 공정성이 필수적으로 요구되고 있습니다. 반사실적 설명(Counterfactual Explanations, CEs)은 입력 특성($x \to x'$)의 최소한의 변화를 제안함으로써, 모델의 예측을 원치 않는 결과에서 원하는 결과로 변경하는 방법을 제시하여 이 문제를 해결합니다. 그러나 기존 방법론들은 세 가지 핵심적인 과제에 직면해 있습니다:

1. 타당성(Plausibility): 많은 알고리즘이 입력값과는 수학적으로 가깝지만, 자연스러운 데이터 분포를 벗어난 값(이상치)을 생성합니다. 이는 개인에게 실현 불가능한 비현실적인 해결책을 제시하게 됩니다.
2. 실행 가능성 트레이드오프(Feasibility Trade-offs): "실행 가능성"을 측정하는 단일 지표는 존재하지 않습니다. 사용자는 여러 특성에 걸친 작은 변화를 선호할 수도 있고, 소수의 특성에 대한 중간 정도의 변화를 선호할 수도 있습니다. 단일 목적 함수 최적화는 이러한 다양한 선호도를 포착하지 못합니다.
3. 모델 불가지론 및 효율성(Model Agnosticism and Efficiency): 일부 방법은 모델 불가지론적이지만, 계산 효율성이 떨어지거나 복잡한 비선형 모델(예: 신경망, SVM)에는 적용되지 않는 가정(예: 모델 단조성)에 의존하는 경우가 많습니다.

방법론

저자들은 P2CE를 제안합니다. 이 알고리즘은 타당한 파레토 최적 반사실적 설명을 생성하도록 설계되었습니다. 이 접근 방식은 분기 한정 탐색(branch-and-bound search) 전략과 함께, 어떤 블랙박스 모델에서도 타당성과 효율성을 보장하기 위한 두 가지 핵심 혁신 기술을 결합합니다.

1. 탐색 전략 및 다목적 최적화

P2CE는 가능한 특성 변화의 이산화된 그리드($A = A^{(1)} \times \dots \times A^{(d)}$)를 탐색하여 $f(x+a) \geq \tau$를 만족하는 행동 집합 $a$를 찾습니다. 이 알고리즘은 다음의 여러 목적을 동시에 최적화합니다:

• 평균 연속 거리 ($c_1$): 수치형 특성의 변화량에 대한 정규화된 평균 크기.
• 최대 연속 거리 ($c_2$): 단일 수치형 특성의 변화량 중 최대 크기.
• 변화 횟수 ($c_3$): 변경된 특성의 개수(희소성).

알고리즘은 **파레토 최적 집합(Pareto-optimal set)**을 반환하며, 이는 다른 어떤 솔루션도 모든 목적 측면에서 더 낫거나 같지 않음을 보장합니다.

2. 이상치 탐지를 통한 타당성 확보

생성된 솔루션이 데이터 분포를 벗어나는 이상치가 되는 것을 방지하기 위해, P2CE는 Isolation Forest 이상치 탐지기($u$)를 통합합니다.

• 탐색 과정 중 후보 솔루션 $x+a$가 발견될 때마다 $u(x+a)$를 평가합니다.
• 만약 $u(x+a)$가 이상치임을 나타내면 해당 솔루션은 폐기됩니다.
• 효율성 이득: P2CE는 결측치를 처리할 수 있는 Isolation Forest의 능력을 활용합니다. 부분적인 솔루션(일부 특성이 정의되지 않은 상태)이 이미 이상치로 분류되면, 알고리즘은 탐색 트리의 전체 브랜치를 가지치기(pruning)하여 불필요한 계산을 피합니다.

3. 모델 불가지론적 분기 한정(Branch-and-Bound) 가지치기

계산 효율성을 유지하면서도 (MAPOCAM과 같이 제한적인) 모델 단조성 가정을 따르지 않기 위해, P2CE는 부분적인 행동 $a$로부터 도달 가능한 최대 가능 예측값($f_a$)을 추정합니다.

• SHAP 기반 추정: 알고리즘은 SHAP 값의 가법적 성질인 $f(x) = E[f(x)] + \sum \phi_i$를 활용합니다.
• 아직 결정되지 않은 나머지 특성들(탐색 과정에서 아직 고정되지 않은 특성들)에 대해 "최선의 시나리오"를 가정하여 예측값의 상한선을 계산합니다.
• 상한선은 다음과 같이 공식화됩니다:
  $$\max f(x+\tilde{a}) \leq f(x) - \sum_{i \in O_k} \phi_i(x) + \sum_{i \in O_k} \bar{\phi}_i + R(x, O_k)$$
  여기서 $O_k$는 가장 높은 잠재적 기여도를 가진 $k$개의 특성을 나타내며, $\bar{\phi}_i$는 특성 $i$의 최대 가능한 기여도, $R$은 잔차 항입니다.
• 만약 이 상한선이 결정 임계값 $\tau$보다 낮으면 해당 브랜치는 가지치기됩니다. 이를 통해 P2CE는 신경망과 같은 비단조적 모델에서도 효율적으로 작동할 수 있습니다.

주요 기여

1. P2CE 알고리즘: 이상치 탐지를 통해 데이터 분포의 타당성을 엄격히 준수하면서 파레토 최적의 반사실적 설명을 생성하는 새로운 모델 불가지론적 알고리즘을 제안했습니다.
2. SHAP 속성 탐구: 분기 한정 문맥에서 최대 예측값을 추정하기 위해 SHAP 값을 사용하는 방법을 도입하여, 기존의 최첨단 방법들이 요구하던 단조성 제약을 제거했습니다.
3. 포괄적 평가: German Credit, Taiwan Credit, Adult 데이터셋과 Logistic Regression, LightGBM, MLP의 세 가지 분류기를 사용하여 P2CE를 MAPOCAM, DiCE, NICE와 비교하는 광범ity한 실증 연구를 수행했습니다.
4. 오픈 소스: 재현성을 촉진하기 위해 구현체를 공개했습니다.

실험 결과

평가는 솔루션 품질(파레토 프런티어의 하이퍼볼륨), 타당성(이상치 비율), 계산 효율성에 초점을 맞추었습니다.

• 타당성: P2CE는 경쟁 모델들에 비해 일관되게 현저히 적은 수의 이상치 솔루션을 생성했습니다. 예를 들어, MLP를 사용한 Adult 데이터셋에서 DiCE는 87%, MAPOCAM은 58%의 이상치를 생성한 반면, P2CE는 단 11%의 이상치만을 생성했습니다. 어떤 경우에는 DiCE가 불가능한 시나리오(예: 주당 97시간 근무)를 제안하기도 했습니다.
• 솔루션 품질: P2CE는 MAPOCAM(파레토 최적의 이론적 기준점)과 대등한 하이볼륨 점수를 달성했으며, DiCE 및 NICE보다는 유의미하게 우수한 성능을 보였습니다. MAPOCAM이 가끔 약간 더 높은 하이볼륨을 달성하기도 했으나, 이는 막대한 계산 비용을 수반했습니다.
• 효율성: P2 PCE는 특히 복잡한 비선형 모델에서 탁월한 계산 효율성을 입증했습니다.
  • MLP를 사용한 Taiwan 데이터셋에서 MAPOCAM은 평균 118.5초가 소요된 반면, P2CE는 0.81초가 소요되었습니다.
  • MLP를 사용한 Adult 데이터셋에서 MAPOCAM은 6.24초, P2CE는 2.34초가 소요되었습니다.
  • P2CE는 순수 시간 측면에서는 DiCE나 NICE보다 느렸지만, 그 빠른 방법들이 갖지 못한 파레토 최적성과 타당성 보장을 제공했습니다.

의의 및 주장

본 논문은 P-2CE를 반사실적 설명이 반드시 실행 가능(사용자에게 실현 가능해야 함)하고 타당(실제 데이터와 일치해야 함)해야 하는 실제 응용 분야를 위한 실용적인 솔루션으로 자리매김합니다.

저자들은 P2CE가 이론적 최적성과 실용적 유용성 사이의 간극을 성공적으로 메운다고 주장합니다. 솔루션이 "내측값(inliers)"임을 보장함으로써, 알고리즘은 오해의 소지가 있는 조언(예: 소득을 1000% 늘리거나 불가능한 근무 시간을 제안하는 것)을 방지합니다. 또한, SHAP 값을 활용한 가지치기를 통해, P2CE는 이전의 방법들이 제한되었던 단조적 또는 특정 모델 유형의 제약을 극 넘어 모든 블랙박스 모델에 대한 최적의 반사실적 생성을 가능하게 합니다.

결론적으로 P2CE는 모델별 맞춤 조정 없이도 다양하고 고품질이며 타당한 트레이드오프를 제공함으로써, 실제 응용 분야에서 더 빠르고 정보에 기반한 의사결정을 가능하게 합니다.

한계 및 향후 과제

저자들은 두 가지 주요 한계를 인정합니다:

1. SHAP 의존성: 가지치기 전략의 효율성은 SHAP 근사치에 의존합니다. 정확한 샤플리 값(Shapley values)을 계산하는 것은 계산 비용이 매우 높지만(특성 수에 따라 지수적으로 증가), 본 연구에서는 근사치를 사용했습니다. 이러한 근사치의 오류가 이론적으로 가지치기에 영향을 미칠 수 있으나, 실증 결과 속도 향상에 비하면 그 영향은 미미한 것으로 나타났습니다.
2. 이산화된 그리드: 탐색은 이산화된 그리드로 제한됩니다. 이는 대부분의 응용 분야(예, 소득 증가액 1,000달러와 998달러를 기능적으로 유사하게 취급)에서는 실용적이지만, 격도가 지나치게 세밀해지면 탐색 시간이 증가합니다. 저자들은 향arian SHAP 값에 의해 유도되어 특성 영향도에 따라 격도를 조절하는 **적응형 그리드(adaptive grids)**에 대한 후속 연구를 제안합니다.