기술 요약: 계산적 식별 가능성 (Computational Identifiability)

문제 정의

전통적인 인과적 식별 가능성(causal identifiability)은 "이론적 식별 가능성(theoretical identifiability)"이라 불리며, 주어진 가정(예: 인과 그래프, 확률 공리) 하에 고유한 인과 파라미터가 존재함을 증명하기 위한 수학적 유도에 의존한다. 이 접근 방식은 일반적으로 점근적 성질, 무한한 데이터 또는 기타 이상적인 조건을 가정한다. 특정 모델 클래스(예: 재귀적 세미 마르코프 SCM에 대한 do-calculus)에 대해 건전하고 완전한 알고리즘이 존재하지만, 다음과 같은 실제적인 시나리오에서는 종종 실패한다:

• 유한한 샘플 크기.
• 여러 조정 집합(adjustment sets)이 존재하지만 그 최적성이 알려지지 않은 구조적 파라미터에 따라 달라지는 모호한 그래프 기준.
• 관측 데이터와 중재(interventional) 데이터의 복잡한 혼합.
• 분석적으로 검증하기 어려운 파라미터 가정(예: 선형성, 비가우시안성)이 필요한 설정.

결과적으로, 이론적 보증은 특정 유한 데이터 설정에서 타겟 파라미터를 실제로 추정할 수 있는지에 대해 거의 어떠한 가이드도 제공하지 못한다.

방법론: 계산적 식별 가능성

저자들은 계산적 식별 가능성을 제안하며, 이는 식별 가능성을 고유한 분석적 해의 존재가 아니라, 유한한 계산 탐색 절차의 성공 여부로 재정의하는 프레임워크이다.

핵심 정의

1. 인과적 혼합 분포 (Causal Mixture Distribution): 이 프레임워크는 관측, 중재 또는 반사실적 데이터로부터 얻은 경험적 분포와 구조적 인과 모델(SCM)로부터 도출된 이론적 분포의 가중 합을 정의한다. 이를 통해 다양한 데이터 소스의 통합이 가능하다.
2. 계산적 식별 가능성 (정의 4): SCM에 대한 사전 분포 $\pi$와 가설 공간 $\mathcal{H}$가 주어졌을 때, 인과 쿼리 $\Theta[C, x]$가 $\epsilon$-$\delta$-식별 가능하다는 것은 추정기의 오차가 허용 오차 $\epsilon$ 이내일 확률이 최소 $1-\delta$인 함수 $\phi \in \mathcal{H}$가 존재함을 의미한다.
   • 이론적 식별 가능성과 달리, 이는 사전 분포(SCM에 대한 분포), 가설 공간(추정기 클래스), 샘플 크기, 그리고 오차 허용 범위에 조건부적이다.
3. 메타 학습 접근법: 이를 실행하기 위해 저자들은 식별 가능성을 메타 학습 문제로 취급한다. 이들은 인과적 혼합 샘플과 인과적 쿼리 값 사이의 결합 분포를 정의한다. 메타 학습기(구체적으로 Conditional Neural Processes 또는 Set Transformers)는 관측값과 쿼리 포인트를 인과적 쿼리 값으로 매핑하도록 훈련된다.
4. 식별 가능성의 추정: 식별 가능성의 확률은 SCM 분포에 대해 메타 모델을 훈련시키고, 테스트 세트에 대한 성능(예: RMSE 또는 분위 회귀 정확도)을 평가함으로써 경험적으로 추정된다. 저자들은 왜도(skewed)가 있거나 다봉형(multi-modal)인 처치 효과 분포를 처리하고 오차가 특정 허용 범위 내에 있을 확률을 추정하기 위해 분위 회귀(Q-CNP 및 Q-TNP 아키텍처)를 활용한다.

주요 구성 요소

• 사전 조건화 (Prior Conditioning): 타겟 파라미터는 가용한 정보가 주어졌을 때 충분히 고유한 값 주변에 집중되어 있어야 한다.
• 가설 조건화 (Hypothesis Conditioning): 선택된 가설 공간 내에 타겟 파라미터를 예측할 수 있는 추정기가 존재해야 한다.
• 근사 (Approximation): 목표는 완벽한 점 식별(point identification)이 아니라, 허용 가능한 오차 범위 내에서의 예측이다.

주요 기여

1. 계산적 식별 가능성의 도입: 기존의 이론적 정의를 보완하는, 계산량에 제한을 둔 실용적인 식별 가능성 개념을 제시한다. 이는 식별 가능성을 유한한 계산 예산 내에서 성공적인 추정기를 찾는 과정으로 프레임화한다.
2. 인과 추론을 위한 메타 학습의 형식화: 인과 효과 추정과 메타 학습 사이의 연결을 일반화하여, 인과적 식별 가능성을 계산하고 평가하기 위한 필수 구성 요소(가설 공간, 오차 허용 범위, 신뢰 구간, 혼합 분포)를 정의한다.
3. 경험적 입증: 이론적 보증이 불충분하거나 모호한 복잡한 소규모 유한 샘플 설정에 이 프레임워크를 적용한다.

실험 결과

저자들은 다음 세 가지 시나리오를 통해 프레임워크를 검증하였다:

1. 최적 조정 집합 선택

여러 유효한 조정 집합(예: $Z_0 = \emptyset$, $Z_1 = \{Z_1\}$, $Z_{12} = \{Z_1, Z_2\}$)이 존재하는 설정에서, 이론적 기준은 구조적 파라미터를 알지 못하면 어떤 것이 최적인지 결정할 수 없는 경우가 많다.

• 결과: 메타 모델은 구조 방정식에 대한 사전 분포를 바탕으로 "조건부 최적 집합"(O-set)을 성공적으로 식별했다. 균등 사전 분포를 가진 선형 모델의 경우 $Z_{12}$가 최적이었으나, 랜덤 MLP 기반 구조 방정식의 경우 $Z_0$가 최적이었다. 이는 경험적 성능을 통해 이론적으로 동등한 설정들을 구별할 수 있음을 보여준다.

2. 혼합 데이터를 통한 전이 가능성 (Transportability)

연구는 처치 분포가 서로 다른 관측 데이터와 중재 데이터를 혼합하여 은닉 교란(hidden confounding) 하에서의 인과 효과 식별을 조사했다.

• 결과: 계산적 식별 가능성은 데이터 구성과 성능 사이의 비단조적(non-monotonic) 관계를 드러냈다. 중재 데이터는 일반적으로 도움이 되었지만, 처치 분포가 일치하지 않는 중재 데이터로만 구성된 데이터셋은 중재 데이터가 전혀 없는 경우보다 성능이 더 낮았다. 프레임워크는 식별 가능성 확률을 극대화하기 위한 최적의 데이터 유형 조합을 정량화했다.

3. 반사실적 식별 (CATE vs. ITE)

저자들은 관찰되지 않은 조절 변수(unobserved moderators)와 노이즈가 존재하는 상황에서 조건부 평균 처치 효과(CATE)와 개별 처치 효과(ITE)의 식별 가능성을 비교했다.

• 결과:
  • CATE: 중재 데이터나 반사실적 데이터 없이도 모든 설정에서 식별 가능하다.
  • ITE: 식별을 위해 반사실적 데이터가 필요하다. 중재 데이터만으로는 식별에 도움이 되지 않으며, 노이즈가 없는 설정에서는 성능을 저하시킬 수도 있다.
  • 아키텍처 의존성: 식별 가능성은 가설 공간에 따라 조건부적임을 보여주었다. Q-TNP(Set Transformer) 아키텍처는 ITE 회복을 위해 개별 데이터 포인트를 매칭하는 법을 성공적으로 학습한 반면, Q-CNP(mean-pooled)는 실패했다. 이는 "식별 가능성"이 선택된 추정기 클래스에 상대적임을 강조한다.
  • 비단조성: 데이터 크기를 늘리는 것이 CATE 추정에는 개선을 가져왔으나, 때로는 ITE 추정을 저하시켰다. 이는 표준적인 이론적 기대와 상반되는 결과로, 제안된 프레임워크의 조건부적 성격을 부각시킨다.

의의 및 주장

본 논문은 계산적 식별 가능성이 이론적 식별 가능성을 대체하는 것이 아니라 보완하는, 실행 가능하고(actionable) 경험적인 대안이라고 주장한다. 주요 의의는 다음과 같다:

• 실용성: 소규모 샘플, 모호한 그래프, 혼합 데이터와 같이 분석적 해법이 까다로운 설정에서 식별 가능성에 대한 세밀한 질문에 답할 수 있다.
• 조건부 성격: 식별 가능성이 모델의 절대적 속성이 아니라 사전 분포, 가설 공간, 샘플 크기, 오차 허용 범위에 따라 결정되는 조건부 속성임을 명시적으로 인정한다.
• 체계적 탐색: 아직 이론적 결과가 존재하지 않는 새로운 설정에서 식별 알고리즘과 부분적 경계(partial bounds)를 체계적으로 탐색할 수 있는 경로를 제공한다.

저자들은 이 프레임워크가 이론적 식별 가능성을 대체하는 것이 아니라 보완하는 것임을 밝히며 신중한 태도를 유지한다. 또한 향후 연구를 통해 생존 분석, 결측 데이터, 고차원 설정으로 이 정의를 확장하고, 탐색 과정을 더욱 자동화할 수 있을 것이라고 제언한다.