PACE: A Neuro-Symbolic Framework for Plausible and Actionable Counterfactual Explanations

기술 요약: PACE – 그럴듯하고 실행 가능한 반사실적 설명을 위한 뉴로-심볼릭 프레임워크

문제 정의
반사실적 설명(Counterfactual Explanations, CEs)은 머신러칭 모델의 예측을 변경하기 위해 입력 인스턴스에 가해야 하는 최소한의 변화를 식별함으로써 실행 가능한 권고를 제공하도록 설계된 설명 가능한 AI(XAI)의 주요 접근 방식입니다. 기존 방법들은 예측을 변화시키는 대안을 생성하는 데는 효과적이지만, 종종 비현실적이거나 실행 불가능한 권고를 생성하곤 합니다. 이는 많은 접근 방식이 주로 예측 변화와 원래 인스턴스와의 근접성만을 최적화하며, 도메인 지식이나 개입 제약 조건을 통합하는 명시적인 메커니즘이 부족하기 때문에 발생합니다. 결과적으로, 생성된 설명은 도메인 특정 규칙을 위반하거나(예: 연령이나 성별과 같이 변경 불가능한 속성의 불가능한 변경을 제안함) 인간의 실제 행동을 나타내지 못할 수 있습니다. 따라서 설명이 유효할 뿐만 아니라(예측을 변경함), 적용 도메인의 제약 조건 내에서 그럴듯하고 실행 가능하도록 보장하는 방법론이 절실히 필요합니다.

방법론
본 논문은 데이터 기반 예측 모델과 심볼릭 추론을 통합하여 실행 가능성을 강제하는 모듈형 뉴로-심볼릭 프레임워크인 PACE(Plausible and Actionable Counterfactual Explanations)를 제안합니다. 방법론은 세 가지 핵심 구성 요소로 구조화됩니다:

1. 문제 정식화:
   반사실적 생성은 제약 조건이 있는 탐색 문제로 정식화됩니다. 블랙박스 모델 $f$와 예측 $y$를 가진 입력 $x$가 주어졌을 때, 목표는 $f(x_{cf}) \neq f(x)$를 만족하는 반사실적 $x_{cf}$를 찾는 것입니다. 탐색 과정은 수정된 특성의 수를 정의하는 거리 메트릭 $d$를 최소화하는 동시에, $x_{cf}$가 실행 가능한 개입 공간 $\Omega$ 내에 있어야 한다는 제약 조건을 준수합니다. 이 공간은 도메인 특정 규칙에 의해 엄격하게 정의되며, 이를 통해 불변 속성은 변경되지 않은 상태를 유지하고 편집 가능한 속성은 논리적 의존성을 따르도록 보장합니다.

2. 뉴로-심볼릭 아키텍처:

   • 신경망 구성 요소(Neural Component): 다층 퍼셉트론(MLP)과 같은 예측 모델이 오라클(Oracle) 역할을 하여 후보 인스턴스를 평가하고 예측 반전 조건이 충족되는지 검증합니다.
   • 심볼릭 구성 요소(Symbolic Component): **답집합 프로그래밍(Answer Set Programming, ASP)**을 사용하여 구현된 심볼릭 추론 레이어는 도메인 지식을 인코딩합니다. 이 레이어는 특성을 불변 집합($X_I$)과 편집 가능 집합($X_E$)으로 분리하여 실행 가능한 공간 $\Omega$를 정의합니다. 또한 방향성 불변성(예: 교육 수준은 인접한 수준으로만 변경 가능) 및 관계적 불변성(예: 특정 직업 전환)과 같은 논리적 규칙을 강제합니다.
   • 탐색 절차: 프레임워크는 반복적인 "생성 및 검증(generate-and-verify)" 루프를 채택합니다. 심볼릭 엔진은 특정 예산 $K$(동시 특성 변경 수를 제한) 내에서 후보 개입을 생성합니다. 후보들은 신경 모델에 의해 평가되기 전에 심볼릭 제약 조건에 따라 필터링됩니다. 탐색은 최소 예산에서 시작하여 유효한 반사실적 사례를 찾거나 최대 경계에 도달할 때까지 점진적으로 확장됩니다.

사례 연구 및 실험 설정
프레임워크는 표 형식 분류의 벤치마크인 Adult Income 데이터셋을 통해 평가되었습니다. 과업은 개인의 소득이 50,000달러를 초과하는지 예측하는 것이었습니다.

• 모델: 82%의 정확도를 가진 다층 퍼셉트론(MLP)이 예측 모델로 사용되었습니다.
• 특성: 다섯 가지 특성이 사용되었습니다: 연령 및 성별(불변), 그리고 교육, 직업, 주당 근무 시간(편집 가능).
• 제약 조건: 심볼릭 지식 베이스는 다음과 같은 규칙을 강제했습니다:
  • 연령과 성별은 수정될 수 없음.
  • 교육 변경은 인접한 수준으로 제한됨.
  • 직업 변경은 사전 정의된 전이 그래프를 따라야 함.
  • 근무 시간은 제한된 단계 내에서 변경되어야 함.
• 베이스라인: PACE는 Random Search, DiCE, Wachter 스타일, VCNet 스타일, C-CHVAE 스타일 방식과 비교되었습니다.

주요 결과
1,000개의 테스트 인스턴스를 대상으로 수행된 실험은 유효성(예측을 성공적으로 변경함)과 그럴듯함(도메인 제약을 만족함) 사이의 뚜렷한 트레이드오프를 강조했습니다:

• 그럴듯함(Plausibility): PACE는 100%의 그럴듯함을 달 Achieved, 즉 생성된 모든 설명이 심볼릭 제약을 엄격히 준수했습니다. 반면, Random Search(2.7% 그럴듯함) 및 DiCE(4.2% 그럴듯함)와 같은 무제약 방식은 자주 실행 불가능한 권고를 생성했습니다.
• 유효성(Validity): 무제약 방식들은 일반적으로 더 높은 유효성 점수(예: Random Search 0.778, DiCE 0.742)를 달성한 반면, PACE는 0.240을 기록했습니다. 이는 실행 가능한 개입으로 탐색 공간을 제한하면 반사실적 사례를 찾을 수 있는 인스턴스의 수가 감소함을 나타냅니다.
• 최소성(Minimality): PACE는 상대적으로 압축된 설명을 생성하였으며, 평균 1.242개의 특성 수정을 요구하여 대부분의 베이스라인(예: DiCE 1.953)보다 낮은 수치를 보였습니다.
• 탐색 효율성: PACE는 예측을 반전시키기 위해 평균 5.271회의 반복이 필요했으며, 인스턴스당 실행 시간은 0.076초로 나타나 Wachter 스타일 베이스라인을 크게 앞질렀습니다.
• 추가 분석: 모든 방법론이 동일한 실행 가능 공간 $\Omega$로 제한되었을 때, 그들의 그럴듯함 점수는 1.0으로 수렴하였으며, 이는 PACE의 그럴듯함 이득이 명시적인 제약 지정에서 기인함을 확인시켜 줍니다. 또한, PACE의 반사실적 사례는 무제약 탐색(최근접 이웃까지의 평균 거리: 0.944)에 비해 경험적 데이터 매니폴드에 더 가까운 것(평균 거리: 0.354)으로 나타났습니다.

의의 및 기여
본 논문은 PACE가 높은 유효성을 가진 반사실적 생성과 실행 가능성의 명시적 강제 사이의 간극을 해결한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 모듈형 프레임워크: 머신러닝과 심볼릭 추론을 통합하여 제약 조건이 있는 반사실적 생성을 가능하게 합니다.
2. 실행 가능성을 고려한 정식화: 심볼릭 제약이 허용 가능한 개입 공간을 명시적으로 구분하는 탐색으로서 반사실적 생성을 정의합니다.
3. 구현: 탐색 과정 중에 도메인 특정 제약을 강제하는 ASP 기반 구현을 제공합니다.
4. 실증적 증거: Adult Income 사례 연구를 통해, 심볼릭 제약을 포함하는 것이 모든 인스턴스에 대해 유효한 반사실적 사례를 찾는 비율에서는 트레이드오프가 발생할지라도, 도메인 특정의 실행 가능성 요구 사항을 더 잘 만족하는 설명을 생성한다는 것을 입증했습니다.

저자들은 유효성과 그럴듯함 사이에 트레이드오프가 존재하지만, PACE와 같은 뉴로-심볼릭 방법론이 투명하고 실행 가능성을 고려한 설명을 생성하는 데 있어 유망한 방향임을 결론지었습니다. 논문은 단일 데이터셋에 대한 의존성과 수동으로 지정된 제약 조건이라는 한계를 인정하며, 향-후 연구에서 자동화된 제약 획득 및 더 풍부한 형태의 도메인 지식을 탐구해야 한다고 제언합니다.