A Step Towards Inherently Interpretable Causal Machine Learning Models For Decision Support

기술 요약: 의사결정 지원을 위한 내재적 해석 가능 인과적 머신러닝 모델을 향한 단계

문제 정의
조직의 의사결정에 대한 머신러닝(ML) 의존도가 높아지면서 중요한 격차가 드러나고 있다. 즉, 모델이 예측에는 효과적이지만, 투명성과 인과적 이해가 부족하다는 점이다. 현재의 접근 방식은 두 가지 범주로 나뉜다. 하나는 복잡한 "블랙박스" 모델에 적용되는 사후 해석(post-hoc explainability) 방법이며, 다른 하나는 내재적 해석 가능 머신러닝(IIML) 모델이다. 그러나 두 패러다임 모두 예측 성능을 극대화하기 위해 모델이 상관관계를 어떻게 활용하는지를 보여줄 뿐, 이는 인과적 통찰과 동일하지 않다. 결과적으로, 표준 ML 모델은 "무엇이 변하면 어떻게 될 것인가(what-if)"라는 시나리오 평가(중재, interventions)를 수행하는 데 어려움을 겪는다. 왜냐นั้น 이들은 가짜 상관관계(spurious correlations)와 실제 인과 관계를 구분할 수 없기 때문이다. 이러한 한계는 시스템의 의도적인 변화에 따른 효과를 이해해야 하는 의사결정 지원 작업에서 모델의 유용성을 저해한다.

방법론
이러한 한계를 해결하기 위해, 저자들은 횡단 데이터(cross-sectional data)를 대상으로 **구조적 인과 모델(SCM)**과 내재적 해석 가능 머신러닝(IIML) 모델을 통합하는 프레임워크를 제안한다. 이 프레임워크는 네 가지 구성 요소로 조직된다:

1. 입력 데이터 및 인과 그래프: 프로세스는 데이터셋과 변수 간의 인과 관계를 나타내는 인과 그래프로 시작된다. 이 그래프는 도메인 전문 지식, 인과 발견 알고리즘, 또는 이 둘의 조합을 통해 도출될 수 있다. 그래프는 데이터 생성 과정을 설명하는 가정을 명시적으로 인코딩함으로써 인과적 추론의 중추 역할을 한다.
2. 모델링 접근 방식: 모든 가용 피처를 사용하여 타겟을 예측하는 일반적인 ML과 달리, 제안된 방식은 인과 그래프의 각 변수를 (외생적 노이즈 항과 함께) 직접적인 부모 노드의 함수로 모델링한다. 이는 IIML 기법, 구체적으로는 **일반 가법 모델(GAM)**과 **기호 회귀(Symbolic Regression, SR)**를 사용하여 구현되며, 비교를 위해 전통적인 블랙박스 모델(XGBoost, Random Forest, MLP)도 함께 사용된다.
3. 태스크 실행:
   • 예측(Prediction): 순수 예측 태스크의 경우, 모델은 오차 누적을 방지하기 위해 관측된 인과적 부모 값만을 기반으로 타겟을 예측하는 인과적 피처 선택을 수행한다.
   • What-if 분석: 중재 시나리오(예: $do(A=x)$)의 경우, 프레임워크는 인과 그래프를 통해 중재를 전파한다. 변수의 변화에 따른 효과는 해당 변수로 들어오는 경로를 차단하고 그 자식 노드들의 예측값을 업데이트함으로써 계산되며, 이를 통해 시스템의 인과 구조를 준수한다.
4. 해석(Interpretation): 프레임워크는 네 가지 수준의 해석 가능성을 구분한다: (1) 사후 연관성(예: 블랙박스 모델에 대한 SHAP), (2) 내재적 연관성(인과 구조 없이 IIML 자체를 직접 분석), (3) 사후 인과성, (4) 내재적 인과 해석. 가장 높은 수준은 시스템 구조, 인과 관계, 그리고 변수들을 연결하는 함수 형태에 대한 투명성을 제공한다.

주요 기여

• 통합 프레임워크: 예측과 인과 분석을 모두 지원하기 위해 SCM과 IIML(GAM 및 SR)을 결합한 새로운 프레임워크를 제안한다.
• 연구 질문: 인과 추론이 어떻게 IIML과 결합될 수 있는지(RQ1), 그리고 이 모델들이 예측과 what-if 분석에서 어떻게 성능을 보이는지(RQ2)를 다룬다.
• 실증적 평가: 제안된 접근 방식을 비인과적 블랙박스 모델과 비교하여 두 가지 실험을 통해 평가한다:
  1. 알려진 데이터 생성 과정을 가진 합성 생산 데이터셋을 사용하여 해석 가능성 수준과 가짜 상관관계의 영향을 입증한다.
  2. 다양한 인과 구조에 대한 성능을 평가하기 위해 Geffner 등(2022)의 네 가지 데이터셋을 사용한 벤치마크 평가를 수행한다.

결과

• 예측 성능: 두 실험 모두에서 인과적 IIML 모델은 표준 테스트 세트에서 경쟁력 있는 예측 성능을 보였으며, 종종 블랙박스 모델과 대등하거나 약간 상회하는 성능을 기록했다. 이는 표 형식 데이터(tabular data)의 경우, 높은 정확도를 달성하면서도 해석 가능성을 희생할 필요가 없음을 시사한다.
• What-if 분석: 인과 모델은 비인과적 ML 모델에 비해 중재 시나리오에서 현저히 우수한 성능을 보였다. 합성 실험에서 비인과적 모델은 가짜 상관관계(예: 타겟과 상관관계는 있지만 인과적으로 연결되지 않은 "인력(personnel)"에 중요도를 부여함)에 의존했기 때문에 중재를 올바르게 처리하는 데 실패했다. 반면, 인과 모델은 그래프를 통해 중재를 올ally 전파하여 견고한 결과를 도출했다.
• 해석 가능성: 인과적 IIML 접근 방식은 탁월한 투명성을 제공했다.
  • 기호 회귀(Symbolic Regression): 인과적 부모로 제한되었을 때 실제 데이터 생성 과정과 매우 유사한 수학적 표현식을 성공적으로 복구했다.
  • GAM: 가짜 상관관계를 맞추려 노력하는 비인과적 모델에서 나타나는 복잡하고 오해의 소지가 있는 형태를 피하고, 실제 함수 관계를 반영하는 더 단순하고 정확한 부분 의존도 플롯(partial dependence plots)을 생성했다.

의의 및 주장
본 논문은 인과 구조를 내재적 해석 가능 모델과 통합하는 것이 "정보에 기반하고, 투명하며, 인과적으로 근거 있는 결정"을 위한 경로를 제공한다고 주장한다. 저자들은 이 접근 방식이 다음과 같은 이점을 제공한다고 강조한다:

• What-if 분석 가능: 모델이 인과 관계의 첫 번째 단계(연관성)를 넘어 두 번째 단계(중재)로 이동할 수 있게 하며, 이는 비즈니스 의사결정에 필수적이다.
• 투명성 강화: 인과 관계와 함수 형태를 명시적으로 모델링함으로써, 복잡한 모델의 "블랙박스" 특성과 상관관계 데이터에 대한 사후 설명의 잠재적 오도 가능성을 방지한다.
• 분야 간 가교: IIML을 도입하여 함수 형태를 명확히 함으로써 인과적 머신러닝(CML)에 기여하고, 변수 선택 및 모델 구조에 인과적 지식을 통합함으로써 해석 가능성 연구에 기여한다.

한계 및 향 향후 연구 방향
저자들은 몇 가지 한계점을 솔직하게 언급하였다:

• 본 연구는 실제 정답(ground-truth) 인과 그래프에 의존하고 있으며, 그래프가 잘못 설정되거나 잘못 추론되었을 때의 프레임워크 견고성을 실증적으로 테스트하지 않았다.
• 평가는 인과 관계의 사다리 중 첫 두 단계(보는 것과 하는 것)에 집중되어 있으며, 반사실적 추론(세 번째 단계)은 다루지 않는다.
• 해석 가능성은 개념적으로 입증되었으며, 이해관계자들이 실제로 이러한 모델을 어떻게 인지하고 신뢰하는지 측정하기 위한 질적 사용자 연구는 수행되지 않았다.
• 프레임워크는 현재 횡단 데이터로 제한되어 있으며, 시계열 적용은 향후 연구 과제로 남겨두었다.
• 노드당 여러 모델을 훈련하는 것은 특히 기호 회귀(SR)의 경우 계산 비용이 많이 들 수 있다.