기술 요약: 인과적 선호 추출 (Causal Preference Elicitation, CaPE)

문제 정의

관측 데이터로부터 인과 구조를 학습하는 것은 마르코프 동치 클래스(Markov equivalence classes), 다봉성 우도 곡면(multi-modal likelihood surfaces), 그리고 순수하게 데이터에만 의존하는 방법으로는 그래프 구조의 상당 부분을 해결할 수 없다는 점 때문에 본질적으로 어렵습니다. 도메인 전문가들은 타당한 메커즘, 금지된 에지(forbidden edges), 또는 예상되는 영향의 방향에 관한 질적 지식을 보유하고 있지만, 기존 방식은 이러한 지식을 통합할 때 정적(static)인 경향이 있습니다. 즉, 전문가의 불확실성, 체계적 편향, 그리고 전문가 시간의 희소성을 무시한 채 전문가의 입력을 경직된 제약 조건이나 고정된 사전 확률로 인코딩합니다. 반대로, 실험적 개입을 최적화하는 능동적 인과 발견(active causal discovery) 방법들은 주관적인 전문가 판단을 모델링하거나 이를 결정론적으로 취급하는 데 실패하곤 합니다.

본 논문은 **인과적 선호 추출(CaPE)**을 도입함으로써 이 간극을 메우는 확률적 프레임워크를 제시하며, 이는 '전문가 참여형(expert-in-the-loop)' 인과 발견을 위한 것입니다. 목표는 전문가에게 국소적 에지 관계(존재 여부 및 방향)에 대해 질의함으로써, 특히 엄격한 쿼리 예산(query budget) 하에서 무작위 또는 정적 접근 방식보다 더 효율적으로 유향 비순환 그래프(DAG)에 대한 사후 분포를 집중시키는 것입니다.

방법론

1. 프레임워크 개요

CaPE는 순차적 베이지안 능동 학습(sequential Bayesian active learning) 프로세스로 작동합니다. 이는 임의의 블랙박스 인과 발견 방법(예: MCMC, 부트스트랩 집계, 또는 변분 추론)으로부터 도출된 초기 관측 사후 분포 $q_0(W | X)$에 접근할 수 있다고 가정합니다. 학습자는 변수 쌍 $(i, j)$를 선택하여 전문가에게 질의하고, 노이즈가 포함된 범주형 응답 $Y_{ij} \in \{0, 1, 2\}$ ($j \to i$, $i \to j$, 또는 에지 없음)를 관찰하며, 가중치 기반 DAG에 대한 사후 분포를 업데이트합니다.

2. 전문가 우도 모델 (Expert Likelihood Model)

핵심 혁신은 후보 가중치 DAG $W$를 세 가지 방향의 범주형 응답으로 매핑하는 유연한 계층적 로지스틱 전문가 모델 $p_\theta(Y_{ij} | W)$입니다.

• 국소 방향 점수 (Local Direction Scores): 쌍 $(i, j)$에 대해, 모델은 에지 가중치 크기와 선택적 구조적 특징(예: v-구조 지원, 사이클 위험)을 기반으로 방향 점수 $s_{i \to j}(W)$를 계산합니다.
• 계층적 확률:
  • 에지 존재 여부: 에지가 존재할 확률은 두 방향 사이의 최대 절대 증거(maximum absolute evidence)의 로지스틱 함수를 통해 모델링됩니다.
  • 방향: 존재가 전제되었을 때, 특정 방향의 확률은 방향 점수의 차이에 대한 로지스틱 함수를 통해 모델링됩니다.
• 매개변수: 모델은 전문가의 신뢰성과 결단력을 제어하는 하이퍼파라미터($\beta_{edge}, \beta_{dir}$)를 포함하며, 이를 통해 이질적이고 불확실한 전문가 행동을 허용합니다.

3. 입자 근사를 통한 사후 추론 (Posterior Inference via Particle Approximation)

DAG 공간의 초지수적 성장으로 인해 정확한 사후 계산은 불가능합니다. CaPE는 순차적 몬테카를로(Sequential Monte Carlo, SMC) 접근 방식을 채택합니다.

• 표현 (Representation): 사후 분포는 가중치가 부여된 입자(후보 DAG들)의 집합으로 근사됩니다.
• 업데이트 (Update): 전문가 응답을 받으면, 전문가 우도를 사용하여 중요도 재가중치(importance reweighting)를 통해 입자 가중치를 업데이트합니다.
• 재표집 (Resampling): 가중치 퇴화(weight degeneracy)를 방방지하기 위해, 유효 표본 크기(ESS)가 임계값 아래로 떨어지면 입자를 재표집합니다.
• 재활성화 (Rejuvenation): 재표집 후 다양성을 유지하기 위해, 가벼운 메트로폴리스-헤이스팅스 커널(Metropolis-Hastings kernel)을 적용하여 비순환성을 엄격히 준수하면서 작은 그래프 편집(에지 뒤집기, 추가, 제거)을 제안합니다.

4. 쿼리 선택 전략

프레임워크는 잠재적인 DAG 구조에 대한 **기대 정보 이득(Expected Information Gain, EIG)**을 극대화하도록 쿼리를 선택합니다.

• 획득 함수 (Acquisition Function): EIG는 DAG $W$와 전문가의 응답 $Y_{ij}$ 사이의 상호 정보량으로 공식화됩니다. 이는 베이지안 능동 학습에 의한 불일치(BALD) 목적 함수와 동일합니다.
• 계산: 입자 근사 하에서, EIG는 주변 예측 분포(인식적 + 우연적 불확실성)의 엔트로피와 사후 평균 조건부 엔트로피(우연적 불확실성)를 비교함으로써 효율적으로 계산됩니다.
• 스크리닝 (Screening): 계산 비용을 줄이기 위해, 스크리닝 단계에서는 가장 높은 주변 에지 존재 불확실성을 가진 상위-$k$ 쌍을 먼저 선택한 후 최종 선택을 위한 전체 EIG를 계산합니다.

주요 기여

1. 일반적 프레임워크: 임의의 관측 사후 분포와 순차적 전문가 피드백을 결합하여 전문가 보강 발견 및 능동적 구조 학습에 관한 선행 연구를 확장한, 전문가 참여형 인과 발견을 위한 모듈형 프레임워크를 제공합니다.
2. 확률적 전문가 모델: 국소 방향 점수를 기반으로 세 가지 범-방향 레이블을 할당하는 계층적 로지스틱 모델을 통해, 전문가의 입력을 결정론적 제약으로 취급하는 대신 전문가의 노이즈, 불확실성 및 편향을 명시적으로 모델링합니다.
3. 입자 기반 업데이트: 중요도 재가중치, ESS 트리거 재표집, 메트로폴리스-헤이스팅스 재활성화를 통해 전문가 응답을 DAG 사후 분포에 통합하여, 비순환성을 보장하고 다양성을 유지하는 베이지안 업데이트 체계를 구축했습니다.
4. 다루기 쉬운 획득 (Tractable Acquisition): 저차원 범주형 분포에서 작동하는 BALD 스타일의 EIG 목적 함수를 유도하여, DAG 공간에서의 정보 효율적인 능동 학습을 계산적으로 가능하게 만들었습니다.
5. 실증적 검증: 합성 데이터, Sachs 단백질 신호 네트워크, CausalBench 인간 유전자 섭동 벤치마크를 통해, 정적 또는 무작위 방식보다 빠른 사후 집중 및 개선된 구조적 회복력을 입증했습니다.

실험 결과

본 논문은 다음 세 가지 설정에서 CaPE를 평가합니다:

• 합성 DAG: CaPE는 예측 엔트로피, 구조적 해밍 거리(SHD), 기대 참 클래스 확률(ETCP)을 감소시키는 데 있어 무작위 쿼리(RND), 불확실성 샘플링(UNC), 정적 EIG 베이스라인(STE)보다 유의미하게 우수한 성능을 보였습니다.
• 강건성 (Robustness): 잘못 지정된 전문가 모델(이질적 신뢰도, 방향성 편향, 기권, 높은 노이즈) 환경에서도 CaPE는 경쟁력을 유지하며, 이는 방법론이 가정된 전문가 모델의 현실적인 비적대적 편차에 대해 강건함을 나타냅니다.
• Sachs 단백질 신호 전달: 853개의 샘yle과 참조 네트워크(오라클)만을 사용했을 때, CaPE는 40회의 쿼리 후 초기 사후 분포 대비 SHD를 약 14개 에지만큼 감소시켰으며, 방향 F1 점수를 0.38 이상 향상시켰습니다.
• CausalBench (K562): 50개 유전자 섭동 데이터셋에서, CaPE는 정적 베이스라인이 빠르게 포화되는 것과 달리 쿼리 예산이 증가함에 따라 단조적인 이득을 보이며, 방향 AUPRC 및 Top-K 정밀도에서 우수한 성능을 달ند했습니다.
• DAG-GFlowNet 사전 확률: 강력한 관측 사전 확률(GFlowNet으로 학습됨)으로 CaPE를 초기화하면 성능이 더욱 향상되며, 이는 프레임워크의 모듈성을 강조합니다.

의의 및 주장

본 논문은 Ca품이 질적 전문가 직관을 신중하게 예산화된 일련의 표적 질문으로 변환하는 원칙적인 접근 방식을 제공한다고 주장합니다. 이는 실험적 개입 설계의 보완적 패러다임으로서, 개입이 비용이 많이 들거나 윤리적으로 제한되거나 이미 고정된 도메인에서 특히 가치가 있습니다.

저자들은 이 방법이 가정이 없는 상태에서 인과 발견을 해결한다는 것이 아니라, 가정된 인과 모델(예: 인과적 충분성, 마르코프, 충실성 조건) 하에서 실제 그래프에 대한 사후 질량을 집중시키는 것이라고 강조합니다. 이 연구는 신중하게 예산화된 전문가 상호작용이 합성 및 실제 벤치마크 전반에서 사후 집중을 실질적으로 가속화할 수 있음을 보여줍니다. 이 프레임워크는 확률적 인과 추론과 전문가의 인간 판단 사이의 루프를 닫는 단계로서, 생물학 및 의학 분야의 과학적 가설 생성의 효율성과 투명성을 개선하는 데 기여합니다.