🤖 machine learning

Computing Actual Causes for Neural Network Predictions under Structured Causal Inputs

본 논문은 특성 간의 상관관계를 무시함으로써 발생하는 가짜 결과를 방지하기 위해, 바운드 전파(bound propagation) 및 분기 한정(branch-and-bound) 기법을 활용하여 구조적 의존성을 불리언 구조적 인과 모델(Boolean Structural Causal Models)로 모델링함으로써 신경망 예측에 대한 할퍼른-펄(Halpern-Pearl) 실제 원인을 계산하는 방법을 제안한다.

원저자: Jannick Strobel, Muqsit Azeem, Stefan Leue

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jannick Strobel, Muqsit Azeem, Stefan Leue

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇이 왜 특정한 선택을 했는지, 예를 들어 왜 대출 신청을 거절했는지 그 이유를 알아내려 한다고 상상해 보십시오. 인공지능의 세계에서 이것은 '설명 가능성(explainability)'이라고 불립니다. 보통 과학자들은 로봇의 입력값, 즉 소득, 연령, 부채와 같은 요소들을 보고 "이 숫자들 중 무엇이 가장 중요했는가?"라고 묻습니다. 그들은 종-종 이 숫자들을 샐러드의 독립적인 재료처럼 취급합니다. 즉, 상추를 바꾼다고 해서 토마토가 변하지는 않는다는 식입니다. 하지만 현실 세계에서 재료들은 서로 뒤섞여 있는 경우가 많습니다. 높은 소득은 높은 지출을 유발할 수 있고, 높은 지출은 마이너스 통장 잔고를 유발할 수 있습니다. 만약 이러한 연결 고리를 무시한다면, 당신은 대출 거절의 원인을 마이너스 통장 잔고 탓으로 돌릴 수도 있지만, 실제 근본 원인은 높은 지출이었다는 사실을 놓칠 수도 있습니다. 이 논문은 '실제 인과관계(actual causality)'라는 프레임워크를 사용하여, 가짜 가능성의 미로에 빠지지 않고 진정한 주범을 찾아냄으로써, 입력값들이 인과관계의 그물망 속에 얽혀 있을 때 AI의 결정을 설명하는 까다로운 문제를 다룹니다.

연구진인 콩스탄츠 대학교의 야닉 스트로벨(Jannick Strobel), 무크싯 아짐(Muqsit Azeem), 스테판 루에(Stefan Leue)는 이 수수께끼를 풀기 위해 CausExBaB라는 새로운 방법을 소개합니다. 신경망(AI의 뇌)을 복잡한 블랙박스 자판기라고 생각해 보십시오. 당신은 일련의 재료(입력 데이터)를 넣고, 기계는 결정(예: "고위험" 또는 "저위험")을 내놓습니다. 문제는 재료들이 그냥 놓여 있는 것이 아니라, 그들이 서로 어떻게 영향을 미치는지 규정하는 규칙들(구조적 인과 모델 또는 SCM)에 의해 연결되어 있다는 점입니다. 예를 들어, 대출 시나리오에서 "높은 지출"은 자동으로 "마이너스 현금 흐름"을 유발할 수 있습니다.

만약 당신이 기계가 왜 "고위험"이라고 판정했는지 알고 싶다면, 단순히 재료를 무작위로 교체해서는 안 됩니다. 당신은 규칙을 준수해야 합니다. 만약 "높은 지출"을 "낮은 지출"로 바꾼다면, 기계의 내부 로직에 따라 "마이너스 현금 흐름"이 자동으로 "플러스 현금 흐름"으로 바뀔 수도 있습니다. 저자들의 목표는 최소 실제 원인(minimal actual causes), 즉 특정 요소들을 일정하게 유지하면서 변화시켰을 때 기계의 결정을 뒤집을 수 있는 가장 작은 재료 그룹을 찾는 것이었습니다. 이는 마치 "다른 케이크를 만들기 위해 레시피에서 바꿀 수 있는 가장 작은 변화는 무엇인가?"라고 묻는 것과 같습니다.

문제는 모든 가능한 변화의 조합을 확인하는 것이 은하계 크기의 건초더미에서 바늘을 찾는 것만큼 어렵다는 점입니다. 가능성의 수가 너무 빠르게 증가하여 슈퍼컴퓨터조차 막히게 됩니다. 저자들의 해결책은 CausExBaB라는 영리한 탐색 전략입니다. 모든 바늘을 하나씩 확인하는 대신, 그들은 "손전등" 기술을 사용합니다. 그들은 거대한 재료 덩어리들을 하나로 묶고, 수학을 사용하여 특정 구역에 바늘이 절대로 존재할 수 없음을 증명합니다. 만약 수학적으로 어떤 변화의 집합이 여전히 "고위험" 결정을 초래할 것이라고 판명되면, 그 집합 전체를 살펴보지도 않고 버립니다. 만약 어떤 집합이 결정을 확실히 바꿀 것이라고 증명되면, 그것을 승자로 표시합니다. 오직 모호한 중간 단계의 그룹들만이 더 세부적으로 나누어져 검사됩니다. 이는 마치 금속 탐지기가 모래사장의 어느 구역에 바늘이 전혀 없다는 것을 알려주어, 정확한 위치를 찾을 때까지 땅을 파지 않게 해주는 것과 같습니다.

이 논문은 이 방법이 **건전(sound)**하며(결코 거짓을 말하지 않음), **완전(complete)**하다(모든 유효한 답을 찾아냄)는 것을 증명합니다. 테스트에서 연구진은 최대 28개의 변수를 가진 가상의 세계와 최대 2.3 × 10¹³(즉, 23조) 개의 가능한 조합을 가진 탐색 공간을 만들었습니다. 기존의 방법인 "브루트 포스(brute force, 모든 것을 확인하는 방식)"나 "ILP(복잡한 수학 솔버 사용)"는 180초 후에 포기하거나 시간이 초과되었지만, CausExBaB는 가장 큰 그래프에서도 종종 35초 미만의 짧은 시간 안에 모든 답을 찾아냈습니다.

가장 흥고한 발견 중 하나는 **미국 보충 영양 지원 프로그램(SNAP)**과 관련된 실제 사례 연구에서 나옵. 연구팀은 누가 식품 지원 자격이 있는지에 대한 실제 정부 규정에 기반하여 인과 모델을 구축했습니다. 그들은 만약 변수 간의 규칙을 무시한다면(독립적이라고 취급한다면), 가구가 검토 대상으로 분류된 이유에 대해 방대한 목록의 "원인"을 얻게 된다는 것을 발견했습니다. 실제로, 연결 고리를 무시하면 보고된 원인의 수가 두 배 이상 늘어났습니다. 더 심각한 것은, 그 추가된 원인 중 **14.9%**가 "가짜 원인(spurious)"이었다는 점입니다. 즉, 모델이 규칙을 몰랐기 때문에 그럴듯해 보일 뿐인 가짜 설명이었습니다. 예를 들어, 모델은 특정 소득 수치를 탓할 수 있지만, 실제로는 그 수치가 다른 규칙의 부산물일 수 있습니다. 인과적 그물망을 존중함으로써, CausExBaB는 노이즈를 뚫고 진정한 최소 원인을 찾아냈습니다.

저자들은 또한 합성 테스트에서 약 **68.7%**의 경우에 두 개 이상의 최소 원인이 존재한다는 것을 발견했습니다. 이는 종종 AI의 결정에 단 하나의 원인만 있는 것이 아니라, 완전히 독립적인 두세 가지의 서로 다른 경로가 존재할 수 있음을 의미합니다. 단 하나의 원인만을 찾는 것은 자동차 사고를 오직 비 때문이라고만 탓하는 것과 같습니다. 운전자가 과속을 하고 있었을 수도 있는데 말입니다. CausEx-BaB는 그 모든 것을 찾아냅니다.

요약하자면, 이 논문은 단순히 AI를 설명하는 더 빠른 방법을 제시하는 것이 아니라, 더 진실한 방법을 제시합니다. 입력값들이 서로 연결되어 있을 때, 이러한 연결을 무시하면 오도되고, 부풀려지며, 때로는 완전히 틀린 설명을 낳는다는 것을 보여줍니다. 이 새로운 알고리즘을 사용함으로써, 우리는 가장 복잡하고 얽힌 시나리오에서도 AI의 선택 뒤에 숨겨진 진짜 이유들에 대한 명확하고, 최소한이며, 수학적으로 보장된 목록을 얻을 수 있습니다. 저자들은 이 접근 방식이 금융이나 의료와 같이 이해관계가 걸린 고위험 분야에서 AI 시스템을 감사하는 데 있어 게임 체인저가 될 수 있다고 제안합니다.

기술 요약: 구조적 인과 입력 하에서의 신경망 예측에 대한 실제 원인 계산

문제 정의
신경망(NN) 예측을 설명하는 것은 신뢰할 수 있는 AI를 위한 핵심 과제이다. 특징 기여도(feature attribution)나 최소 충분 집합(minimal sufficient sets)과 같은 기존의 설명 방법들은 일반적으로 입력 특징들이 독립적이라고 가정한다. 이러한 가정은 입력이 구조적 인과 의존성(예: 의료적 소견이 진단에 제약을 가하거나, 지출이 현금 흐름에 영향을 미치는 경우)을 나타낼 때 실패한다. 이러한 의존성을 무시하면, 근본 원인이 가려지거나 도메인의 인과 구조하에서는 불가능한 변화를 제안하게 되어, 잘못되거나 가짜 반사실적 설명(spurious counterfactual explanations)으로 이어질 수 있다. 또한, 단일 예측에 대한 설명은 유일하지 않을 수 있다. 여러 개의 최소 집합이 동일한 결과를 독립적으로 유발할 수 있음에도 불구하고, 많은 방법론은 단 하나의 증거(witness)만을 반환한다.

본 논문은 입력 공간이 **구조적 인과 모델(SCM)**에 의해 제약되는 상황에서, 신경망 예측에 대한 **할퍼른-펄(Halpern–Pearl, HP) 실제 원인(actual causes)**을 계산하는 문제를 다룬다. 목표는 적절한 조건부 상황(contingency) 하에서 (다른 변수들을 고정시킨 채) 특정 값으로 변경했을 때 예측을 바꿀 수 있는 특징들의 모든 최소 집합을 식별하는 것이며, 이때 SCM에 정의된 인과적 의존성을 엄격히 준수해야 한다.

방법론: CausExBaB
저자들은 모든 최소 HP 실제 원인과 그에 해당하는 최소 카디널리티(minimum-cardinality) 증거 조건을 계산하는 건전하고 완전한 알고리즘인 CausExBaB를 제안한다. 이 접근 방식은 **구간 경계 전파(Interval Bound Propagation, IBP)**와 입력 공간에 대한 분기 한정법(Branch-and-Bound, BaB) 기술을 결합하여 전수 조사(exhaustive enumeration)의 비효용성을 피한다.

정식화: 문제는 변수 집합 $\vec{X}$ (원인)와 $\vec{W}$ (조건부 상황)가 수정된 HP 정의를 만족하는 것을 찾는 것으로 프레임화된다:
- AC1: 원인과 결과가 실제 맥락에서 성립한다.
- AC2: $\vec{X}$ 에 개입하여 결과를 변화시키는 조건부 상황 $\vec{W}$ 가 존재한다.
- AC3: 원인 집합 $\vec{X}$ 는 최소이다.
  SCM은 불리언 구조 방정식(Boolean structural equations)을 사용하여 특징 간의 의존성을 모델링하며, NN은 이러한 변수들을 예측값으로 매핑한다.
영역 기반 탐색: 개별 개입과 조건부 상황을 일일이 나열하는 대신, CausExBaB는 이를 SCM과 일치하는 입력들의 영역(region)으로 그룹화한다. 변수에는 다음과 같은 역할이 할당된다: 원인(반사실적 값으로 고정), 조건부 상황(실제 값으로 고정), 자연적(구조 방정식에 따름), 또는 미결정.
경계 전파: 알고리즘은 불리언 SCM과 NN을 통해 건전한 경계를 전파한다.
- SCM 전파: 불리언 구조 방정식은 다항 함수(예: $AND(a,b) = ab$, $OR(a,b) = a+b-ab$)로 완화되며, 이는 불리언 입력에 대해 정확하다. 이를 통해 부모 변수들의 역할에 기반하여 내생 변수의 타이트한 구간 경계를 계산할 수 있다.
- NN 전파: 이러한 특징 경계는 IBP를 통해 NN을 통과하여 건전한 출력 경계 $[\ell, h]$ 를 얻는다.
분기 한정법 가지치기(Branch-and-Bound Pruning):
- 출력 경계 $[\ell, h]$ 가 수용 집합 $S$ (모든 입력에서 결과가 성립함) 내에 완전히 포함되어 있다면, 해당 영역은 가지치기(pruned) 된다 (어떤 조건부 상황도 결과를 부정할 수 없음).
- $[\ell, h]$ 가 $S$ 와 완전히 불일치한다면 (모든 입력에서 결과가 부정됨), 해당 영역은 인과관계의 증거(witness)로 확정된다.
- 경계가 결정적이지 않은 경우, 미결정 변수를 두 개의 하위 영역(자연적 또는 조건부 상황으로 해결)으로 분할하여 영역을 **세분화(refined)**한다.
최소성 및 완전성: 알고리즘은 크기가 증가하는 순서대로 후보 원인 집합을 열거한다. 이미 발견된 원인의 상위 집합인 후보는 제거하여 최소성(AC3)을 보장한다. 또한, 첫 번째 증거 조건을 찾은 후에도 탐색을 계속하여 반환된 조건부 상황이 최소 카디널리티를 갖도록 보장한다.

주요 기여

정식화: 저자들은 구조적 입력 의존성이 있는 NN 설명을 SCM 제약 하의 HP 실제 원인 계산으로 정식화하였다.
알고리즘: 모든 최소 실제 원인과 최소 카디널리티 증거 조건을 반환하는 건전하고 완전한 알고리즘인 CausExBaB를 도입하였다. 이 알고리즘은 해당 경계 내에서 보장성을 유지하면서 최대 $k_{max}$ 크기의 원인으로 탐색을 제한할 수 있다.
확장성: 이 방법은 180초의 시간 제한 내에서 최대 28개의 노드를 가진 SCM과 $2.3 \times 10^{13}$ 개의 후보 (원인, 조건부 상황) 쌍을 처리할 수 있어, 무차별 대입(brute-force), ILP 기반, 그리고 휴리스틱 탐색 베이스라인을 크게 능가한다.
실증적 검증: 합성 벤치마크와 미국 보충적 영양 지원 프로그램(SNAP) 사례 연구를 통해, 입력 의서성을 무시하는 것이 보고된 원인의 수를 부풀리고 가짜 설명을 도입함을 입증하였다.

실험 결과

합성 벤치마크: CausExBaB는 무차별 대입(BF), 정수 선형 계획법(ILP), 그리고 휴리스틱 탐색(ACI)보다 실질적으로 우수한 성능을 보인다.
- 28개 노드를 가진 그래프에서, BF는 22개 노드에서 타임아웃이 발생하고 ILP는 10개 노드에서 실패하는 반면, CausExBa의 중앙 실행 시간은 34.5초였다.
- 사례의 68.7%에서 여러 개의 최소 원인이 존재하며, 이는 단 하나의 증거만을 반환하는 대신 전체 집합을 반환하는 알고리즘의 필요성을 강조한다.
사례 연구 (SNAP): 연방 규정에 따라 가구의 혜택 오류 검토 여부를 판별하는 모델에 적용하였다:
- CausExBaB는 사례당 중앙 23개의 최소 원인을 4.6초 만에 찾아냈다.
- 베이스라인(ILP, ACI)은 각각 11개 사례 중 3개와 10개 사례에서 타임아웃이 발생했다.
- 의존성의 영향: 입력을 독립적이라고 취급하여 (SCM을 무시하여) 보고된 원인의 중앙값은 23개에서 50개로 두 배 이상 증가했다. 결정적으로, 독립성 가정 하에서 발견된 원인의 **14.9%**는 실제 SCM에 대해 검증했을 때 **가짜(spurious)**인 것으로 나타났다. 이는 인과 구조를 무시하는 것이 잘못된 설명으로 이어진다는 것을 보여준다.

의의 및 주장
본 논문은 CausExBaB가 완전성(모든 최소 원인 발견), 최소성(원인 및 조건부 상황 모두에 대해), 그리고 건전성(보고된 모든 원인이 SCM 하에서 유효함)에 대한 형식적 보장을 제공한다고 주장한다. 저자들은 기존 방법들이 이러한 보장이 부족하거나 현실적인 문제 규모로 확장되지 못한다고 지적한다. 이 연구는 구조적 인과 의서성을 고려하는 것이 단순한 최적화가 아니라, 이를 무시할 경우 대다수의 설명이 비최소적이거나 완전히 가짜가 될 수 있다는 점에서 정확성을 위한 필수 요소임을 강조한다. 저자들은 이를 통계적 상관관계만이 아닌 도메인의 실제 인과 메커니즘에 근거한 신뢰할 수 있는 AI를 향한 단계로 위치시킨다.

유사한 논문