Can Causality Cure Confusion Caused By Correlation (in Software Analytics)?

1. 연구 배경 및 문제 정의 (Problem)

소프트웨어 공학 분야에서 결함 예측, 구성 튜닝, 품질 평가 등을 위해 상징적 모델 (Symbolic Models, 예: 의사결정나무) 이 널리 사용되고 있습니다. 이러한 모델은 예측력과 인간이 해석 가능한 설명 (Explainability) 을 동시에 제공한다는 장점이 있습니다. 그러나 현재 널리 사용되는 모델들은 대부분 상관관계 기반의 분할 기준 (Correlational Split Criteria, 예: 분산 감소, 정보 이득) 에 의존하고 있습니다.

• 핵심 문제: 상관관계는 인과관계를 의미하지 않습니다. 변수 X 와 Y 간의 통계적 연관성이 X 가 Y 를 유발하는지, Y 가 X 를 유발하는지, 아니면 제 3 의 변수 Z 가 둘 다에 영향을 미치는지 (교란 변수, Confounding) 구별하지 못합니다.
• 불안정성 (Instability): 최근 연구 (Shaky Structures 등) 는 상관관계 기반 모델과 기존 인과 발견 알고리즘 모두 데이터의 미세한 변화 (샘플링, 전처리 등) 에 매우 민감하여 모델 구조나 설명이 급격히 달라지는 불안정성을 보인다고 지적했습니다. 이는 소프트웨어 분석 결과에 대한 신뢰성과 재현성을 훼손하는 주요 원인입니다.
• 연구 질문: 의사결정나무의 분할 기준을 단순 상관관계가 아닌 인과성 인식 (Causality-aware) 기준으로 변경하면 모델의 안정성과 견고성이 향상될 수 있을까요? 또한, 이러한 안정성 향상이 예측 성능이나 최적화 성능을 저하시키는 트레이드오프가 발생할까요?

2. 연구 방법론 (Methodology)

이 연구는 MOOT (Multi-Objective Optimization Tasks) 리포지토리에 포함된 120 개 이상의 다목적 최적화 태스크를 활용하여 실험을 수행합니다.

2.1 비교 대상 모델

1. 기저선 모델 (Baseline): EZR (Correlation-based)

   • 기존의 EZR 프레임워크를 사용합니다.
   • 분할 기준으로 분산 감소 (Variance Reduction) 를 사용하며, 이는 순수한 상관관계에 기반합니다.
   • 다목적 최적화 문제에서 '천국 (Heaven)' 점까지의 유클리드 거리 (d2h) 를 기반으로 데이터의 품질을 평가하고 의사결정나무를 생성합니다.

2. 제안 모델 (Proposed): Causality-aware Trees

   • 조건부 엔트로피 (Conditional Entropy) 분할 기준: 변수 X 가 목표 Y 의 불확실성을 얼마나 줄이는지 측정하여 분할을 수행합니다.
   • 교란 변수 필터링 (Confounder Filtering): 백도어 (Backdoor) 패턴 ($Z \to [X, Y]$) 을 식별하기 위해 조건부 상호 정보 (Conditional Mutual Information) 를 사용합니다. X 와 Y 의 상관관계가 다른 변수 Z 를 조건으로 할 때 사라진다면, 이를 교란 변수로 간주하여 모델에서 제거합니다.
   • 목표: 인과적 관계 ($X \to Y$) 만을 유지하고 우연한 상관관계나 교란된 관계를 제거하여 더 안정적인 트리를 생성합니다.

2.2 연구 질문 (RQs) 및 실험 설계

• RQ1: 인간 vs 자동화 모델의 안정성

  • 도메인 전문가 (SME) 들에게 특정 기능과 목표 간의 인과 관계를 판단하게 하여, 인간 판단의 안정성 (일관성) 을 측정합니다.
  • 이를 상관관계 기반 EZR 모델의 부트스트랩 앙상블 (20 개 모델) 로부터 도출된 변동성과 비교합니다.
  • 측정 지표: Gini Impurity (서열 데이터의 일관성 측정).

• RQ2: 인과성 추론이 모델 성능 안정성에 미치는 영향

  • 동일한 데이터셋에서 상관관계 기반 트리와 인과성 인식 트리를 각각 20 개씩 생성합니다.
  • 부트스트랩 리샘플링 하에서 각 모델이 최적의 솔루션을 선택하는 성능 (d2h 값) 의 분산 (Variance) 을 비교하여 안정성을 평가합니다.

• RQ3: 안정성과 성능 간의 트레이드오프

  • 인과성 기반 모델이 더 안정적이라면, 그 대가로 예측 정확도나 최적화 성능 (d2h 값) 이 떨어지는지 확인합니다.
  • 측정 지표: Kolmogorov-Smirnov (KS) 검정 (분포 차이) 및 Cliff's Delta (효과 크기).

3. 주요 기여 및 기대 결과 (Key Contributions & Expected Results)

• 인과성 기반 분할 기준의 유효성 검증: 소프트웨어 분석 분야에서 상관관계의 함정을 피하고 인과적 구조를 반영한 분할 기준이 모델의 안정성 (Stability) 을 높일 수 있는지 실증적으로 검증합니다.
• 교란 변수 제거 메커니즘: 단순한 특징 선택을 넘어, 인과적 구조 (Backdoor pattern) 를 식별하여 교란 변수를 자동으로 필터링하는 방법을 의사결정나무에 통합합니다.
• 인간 판단과 모델의 비교: 도메인 전문가의 인과적 직관이 기존 상관관계 기반 모델보다 더 일관된지, 혹은 인과성 기반 모델이 인간 수준의 안정성을 달성할 수 있는지 분석합니다.
• 성능 - 안정성 트레이드오프 분석: 인과성을 도입함으로써 얻는 안정성 향상이 실제 최적화 성능을 희생시키지 않는지 확인하여, 실용적인 소프트웨어 분석 도구로서의 타당성을 입증합니다.

(참고: 제공된 텍스트는 연구 계획서 (Registered Report) 형태이므로, 최종 실험 결과 숫자는 포함되어 있지 않으나, 분석 계획과 방법론이 상세히 기술되어 있습니다.)

4. 의의 및 중요성 (Significance)

1. 신뢰할 수 있는 소프트웨어 분석 (Trustworthy SE Analytics): 현재 소프트웨어 공학 연구와 실무에서 데이터 기반 의사결정의 재현성과 신뢰성이 중요한 이슈입니다. 이 연구는 불안정한 상관관계 기반 설명을 넘어, 더 견고하고 신뢰할 수 있는 인과적 설명을 제공할 수 있는 새로운 패러다임을 제시합니다.
2. 실용적 최적화 지원: 구성 튜닝, 결함 예측 등 실제 소프트웨어 시스템 최적화 작업에서 모델이 작은 데이터 변화에 따라 극단적으로 다른 결론을 내리는 문제를 완화하여, 실무자가 더 일관된 인사이트를 얻을 수 있게 합니다.
3. 이론적 확장: Pearl 의 인과 사다리 (Ladder of Causation) 개념을 소프트웨어 공학의 상징적 모델 (Symbolic Models) 에 적용하여, 단순한 '관측 (Seeing)' 단계에서 '개입 (Doing)' 단계로 넘어가는 분석 방법론을 구체화합니다.

요약

이 논문은 소프트웨어 분석에서 널리 쓰이는 상관관계 기반 의사결정나무의 불안정성 문제를 제기하고, 이를 해결하기 위해 인과성 인식 분할 기준과 교란 변수 필터링을 도입한 새로운 모델을 제안합니다. 120 개 이상의 다양한 소프트웨어 최적화 데이터셋을 통해 인간 전문가의 판단과 비교, 그리고 성능과 안정성의 트레이드오프를 정량적으로 분석함으로써, 보다 신뢰할 수 있고 재현 가능한 소프트웨어 분석 도구 개발의 가능성을 탐구합니다.