기술 요약: 측정 및 기작 이상에 대한 근본 원인 분석

문제 정의

실제 세계 데이터셋에는 종종 규범에서 벗어난 프로세스로 생성된 이상치 샘플이 포함되어 있습니다. 기존 근본 원인 분석 (RCA) 방법은 어떤 특성이 이상을 유발하는지 식별하는 것을 목표로 하지만, 근본적으로 다른 두 가지 생성 프로세스를 구분하지 못합니다:

1. 측정 이상 (Measurement Anomalies): 근본적인 인과 프로세스는 정상적이지만 하나 이상의 값이 잘못 기록된 경우 (예: 센서 고장, 데이터 입력 오류).
2. 기작 이상 (Mechanistic Anomalies): 샘플을 생성하는 인과 메커니즘이 실제로 변경된 경우 (예: 물리적 프로세스 또는 시스템 역학의 변화).

이러한 구별은 실제 응용 분야에서 매우 중요합니다. 측정 오류는 데이터 수정이나 센서 보정이 필요할 수 있는 반면, 기작 변화는 시스템 자체에 대한 개입이 필요한 경우가 많습니다. 기존 방법들은 잠재적 인과 상태를 모델링하지 않고 모든 이상치를 관측된 데이터의 편차로 취급함으로써 이러한 구분을 모호하게 만듭니다. 또한 많은 접근 방식은 깨끗한 훈련 데이터를 가정하지만, 실제로는 이상치가 종종 오염된 데이터셋 내에서 직접 식별되어야 합니다 (비지도 인-샘플 설정).

방법론

인과적 형식화

저자들은 구조적 인과 모델 (SCM) 에 대한 개입으로 두 가지 이상 유형을 명시적으로 모델링하는 인과적 프레임워크를 제안합니다.

• 변수: 모델은 잠재 인과 상태 변수 ($X^*$) 와 그 관측된 판독값 ($X$) 을 구분합니다.
• 이상 없는 프로세스: 이상이 없는 경우, $X^*_j = f_j(Pa^*_j, U_j)$이고 $X_j = X^*_j$입니다. 여기서 $f_j$는 구조적 할당이고 $U_j$는 독립적인 노이즈입니다.
• 기작 이상: 잠재 변수 $X^*_j$에 대한 하드 개입으로 모델링됩니다. 구조적 할당은 외부 이상 변수 $O^{mech}_j$로 대체됩니다. 이 교란은 하류 변수로 전파됩니다.
• 측정 이상: 관측된 변수 $X_j$에만 대한 하드 개입으로 모델링됩니다. 잠재 상태 $X^*_j$는 변경되지 않으며, 교란은 하류로 전파되지 않습니다.
• 희소 기작 변화 (SMS): 이 프레임워크는 SMS 가설을 채택하여, 동시에 발생하는 기작 실패가 적은 설명이 더 가능성이 높다고 가정합니다. 이는 복잡한 공조된 기작 변화보다 단순한 설명 (예: 단일 측정 오류) 을 선호하는 귀납적 편향으로 작용합니다.

추론 및 식별 가능성

이 문제는 잠재 변수 최대 가능도 추정 작업으로 제시됩니다.

• 할당 조건부 밀도: 특정 이상 할당 (어떤 변수가 어떻게 개입되었는지) 이 주어졌을 때 샘플의 가능도가 유도됩니다. 측정 the 경우, 관찰되지 않은 잠재적 교체 전 값에 대해 마진화 (marginalizing) 가 필요합니다.
• 식별 가능성: 논문은 축소된 개입 확률이 식별 가능한 조건을 확립합니다.
  • 싱크 노드가 아닌 노드의 경우, 기작 및 측정 확률은 별도로 식별 가능합니다.
  • 싱크 노드 (잠재 그래프에서 자손이 없는 변수) 의 경우, 두 유형 모두 싱크에서 동일한 관측 가능 분포를 생성하므로 어떤 개입 (기작 또는 측정) 의 확률만 식별 가능합니다.
  • 일반적인 식별 가능성은 선형 가우시안 SCM 및 고정 차수 다항식 가우시안 SCM 에 대해 증명되었습니다.
• 최적화: 모든 가능한 이상 할당에 대한 정확한 마진화는 변수 수에 따라 지수적으로 증가하여 계산적으로 불가능하므로, 저자들은 하드 할당 근사를 도입합니다. 모든 할당을 합산하는 대신 가장 확률이 높은 단일 할당의 가능도를 최대화합니다. 이는 이상치가 충분히 강하여 잘 분리된 할당 조건부 밀도를 유도할 때 정당화됩니다.

CALI 알고리즘

저자들은 CALI(인과 이상 국소화 및 검사) 를 개발했습니다. 이는 다음과 같은 실용적인 알고리즘입니다:

1. 청정 모델 추정: 오염된 데이터에서 이상 없는 SCM 과 노이즈 분포를 학습하기 위해 로버스트 회귀 (일반화 가법 모델을 사용한 분위수 회귀) 와 트리밍 커널 밀도 추정을 사용합니다.
2. 탐욕적 할당: 각 샘플에 대한 이상 할당을 반복적으로 업데이트합니다. 청정 밀도 하에서 잔여 가능도가 낮은 후보를 우선시하며, 개입이 희소성 비용 (이상치 추가에 대한 패널티) 을 능가하는 경우에만 개입을 수용합니다.
3. 출력: 근본 원인과 그 유형 (측정 대 기작) 을 식별하는 이산 할당과 가능도 증가에 기반한 신뢰 점수를 반환합니다.

주요 기여

1. 공식적 인과 모델: 잠재 변수와 관측 변수에 대한 서로 다른 개입으로 간주하여 인과적 프레임워크 내에서 측정 및 기작 이상에 대한 최초의 공식적 정의.
2. 식별 가능성 특성화: 특히 싱크 노드에서 이상 유형의 구별 불가능성을 다루며, 데이터로부터 축소된 개입 확률을 복원할 수 있는 조건에 대한 이론적 특성화.
3. 실용적 알고리즘 (CALI): 비지도 인-샘플 설정에서 근본 원인 국소화 및 이상 유형 분류 모두에서 최첨단 성능을 달성하는 효율적인 추론 절차.

실험 결과

저자들은 합성 데이터와 실제 세계 벤치마크 (Sachs 단백질 신호 전달, Causal Chambers, NYC 택시 데이터) 에서 CALI 를 평가했습니다.

• 근본 원인 국소화: CALI 는 합성 데이터에서 최첨단 Top-k 재현율 (Recall) 을 달성하며, 오라클 포괄적 검색 (OPT*) 의 성능과 밀접하게 일치합니다. 실제 세계 데이터셋에서는 기존 RCA 방법 (SCM 기반 귀속, SMTR, SCOR, AE+SHAP 포함) 보다 우수하며, 특히 중간에서 강한 이상치 강도 하에서 더 나은 성능을 보입니다.
• 이상 유형 분류: CALI 는 측정 이상과 기작 이상을 구분하는 데 있어 베이스라인 (예: 주변 이상성을 사용하는 MARG) 보다 훨씬 우수한 성능을 보입니다. 다른 방법들이 어려움을 겪는 약한 이상치에서도 높은 정확도를 유지합니다.
• 강건성: 이 방법은 상관된 근본 원인, 소프트 개입, DAG 오명세, 교란, 이분산 노이즈 등 가정 위반에 대한 강건성을 보여줍니다.
• 사례 연구: NYC 택시 데이터셋에서 CALI 는 불가능한 이동 거리와 요금 간의 측정 오류 (예: 불가능한 이동 거리 대 요금) 및 특정 정액 요금 가격 책정 규칙과 같은 기작 변화를 성공적으로 식별하여 실행 가능한 통찰력을 제공했습니다.

중요성 및 주장

이 논문은 측정 오류와 기작 변화를 구분하는 것이 이상 분석에서 중요하지만 간과된 격차라고 주장합니다. 이를 인과적 개입으로 모델링함으로써 제안된 방법은 센서 수리 대 프로세스 수리와 같이 더 적절한 시정 조치를 가능하게 합니다.

저자들은 다음과 같은 한계에 대해 겸손한 입장을 강조합니다:

• 알려진 또는 학습된 DAG 가 필요하며, 인과 구조가 심각하게 오명세된 경우 성능이 저하됩니다.
• 이상치는 드물고 "청정" 프로세스가 데이터를 지배한다고 가정합니다.
• 극단적으로 큰 변화의 경우, 모델이 외삽이 잘되지 않는 밀도 추정에 의존하기 때문에 단순한 주변 방법이 경쟁력이 있을 수 있습니다.
• 이 방법은 현재 표 형식 데이터로 제한됩니다.

저자들은 CALI 를 자동 의사결정자가 아닌 의사결정 지원 도구로 위치시키며, 그 결론은 가정된 인과 그래프와 모델링 가정의 유효성에 달려 있다고 지적합니다. 향후 연구는 오염된 데이터에서 인과 발견을 개선하기 위해 이상 구조를 활용할 수 있음을 제안합니다.