Incorporating Expert Knowledge into Bayesian Causal Discovery of Mixtures of Directed Acyclic Graphs

"Directed Acyclic Graphs 의 혼합물에 대한 베이지안 인과 발견에 전문가 지식을 통합한다"는 제목의 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

인과 발견 (Causal discovery) 은 관찰 데이터를 통해 인과 관계 (방향성 비순환 그래프 또는 DAG) 를 추론하는 것을 목표로 합니다. 베이지안 방법은 불확실성을 처리하고 사전 지식을 통합하는 데 강력하지만, 기존 접근법은 두 가지 중요한 한계에 직면해 있습니다:

1. 단일 그래프 가정: 대부분의 방법은 모든 데이터를 설명하는 단일 인과 그래프가 존재한다고 가정합니다. 이는 서로 다른 인과 메커니즘을 가진 여러 하위 집단 (DAG 의 혼합물) 에서 데이터가 생성되는 이질적 영역(예: 생물학, 의학) 에서는 실패합니다.
2. 전문가 통합 부재: 도메인 전문가들은 귀중한 지식을 보유하고 있지만, 현재의 지식 elicitation 전략은 단일 그래프를 위해 설계되었으며 혼합물을 효과적으로 처리하지 못합니다. 또한, 기존 사전 분포는 종종 존재하거나 존재하지 않도록 강제로 설정하는 "경직된" 제약 조건에 의존하는 반면, 확률적 "연성" 제약 조건을 사용하지 않아 유연성이 제한됩니다.

본 논문은 원칙적인 질의 전략을 통해 전문가 지식을 효율적으로 통합하면서 인과 베이지안 네트워크 (CBN) 의 혼합물을 학습하는 과제를 다룹니다.

2. 방법론

저자들은 **변분 혼합 구조 학습 (VaMSL)**과 **전문가 지식 elicitation 을 위한 베이지안 실험 설계 (BED)**를 결합한 통합 프레임워크를 제안합니다.

A. 변분 혼합 구조 학습 (VaMSL)

핵심 추론 엔진은 혼합물을 처리할 수 있도록 미분 가능 베이지안 구조 학습 (DiBS) 방법을 확장한 것입니다.

• 잠재 그래프 임베딩: 이산적인 DAG 공간을 직접 탐색하는 대신, 그래프 구조를 나타내는 연속적인 잠재 공간 $Z = [U, V]$를 사용합니다. 소프트 그래프 (간선 확률의 행렬) 는 $Z$에서 로지스틱 함수를 사용하여 유도됩니다.
• 혼합 모델: 데이터는 $K$개의 구성 요소로 이루어진 혼합물로 모델링되며, 각 구성 요소 $k$는 고유한 그래프 $G_k$, 매개변수 $\Theta_k$, 혼합 가중치 $\pi_k$를 가집니다.
• 변분 추론: 잠재 임베딩과 매개변수에 대해서는 **스테인 변분 경사 하강 (SVGD)**을, 혼합 가중치와 클러스터 할당에 대해서는 **좌표 상승 변분 추론 (CAVI)**을 사용하여 사후 분포를 근사합니다. 이를 통해 그래프 공간에서 경사 기반 최적화가 가능해집니다.
• 미분 가능성: 이산적인 그래프 공간을 연속적인 공간으로 완화하고 순환성 정규화제 (순환을 패널티화) 를 사용함으로써, DAG 를 찾기 위한 효율적인 경사 하강을 가능하게 합니다.

B. 베이지안 실험 설계를 통한 전문가 지식 elicitation

모든 가능한 간선에 대해 질의하는 것 (실현 불가능함) 없이 전문가 지식을 통합하기 위해, 저자들은 능동 학습 전략을 제안합니다:

• 질의 선택: 시스템은 **기대 정보 이득 (EIG)**을 사용하여 가장 "정보적"인 간선들을 선택합니다. EIG 는 잠재적인 전문가 응답이 그래프의 사후 분포에서 불확실성을 얼마나 줄이는지 측정합니다.
• 전문가 시뮬레이터: 시뮬레이터는 현재 잠재 그래프 사후 분포 $p(Z|D)$를 기반으로 전문가의 응답을 모델링합니다. 전문가의 믿음은 베타 분포로 모델링되며, 그 최빈값은 질의된 간선 확률에 해당합니다.
• 정보적 그래프 사전 분포:
  • 경직된 제약 조건: 전문가가 명시적으로 금지하거나 요구하는 간선은 잠재 공간에서 마스크 (0/1) 처리됩니다.
  • 연성 제약 조건: 확률적 믿음의 경우, 저자들은 "가상 관찰 (Imaginary Observations)" 장치를 사용합니다. 전문가의 확률 응답을 그 믿음으로 이어지게 하는 가상의 일련의 시행 (성공/실패) 으로 매핑합니다. 이는 전문가의 믿음을 경직적으로 고정하지 않고 잠재 그래프 임베딩을 그 믿음 쪽으로 편향시키는 가능도 항을 생성합니다.

C. 반복 루프

이 방법은 다음과 같은 반복 루프로 작동합니다:

1. 현재 CBN 혼합물을 추론합니다.
2. BED 를 사용하여 EIG 를 최대화하는 상위 $M$개의 간선을 선택합니다.
3. 전문가에게 이러한 간선에 대한 믿음을 질의합니다.
4. 전문가의 응답에서 유도된 새로운 정보적 사전 분포를 사용하여 변분 사후 분포를 업데이트합니다.
5. 질의 예산이 소진될 때까지 반복합니다.

3. 주요 기여

1. 새로운 정보적 그래프 사전 분포: 혼합 모델의 잠재 그래프 공간에 경직적이고 연성적인 전문가 제약 조건을 모두 통합하는 방법으로, 확률적 믿음을 가능도 함수로 변환하기 위해 가상 관찰 개념을 사용합니다.
2. BED 기반 elicitation 전략: 정보 이득을 최대화하는 최적의 질의를 선택하는 원칙적인 접근 방식으로, 무작위 또는 포괄적인 질의에 비해 필요한 질의 수를 크게 줄입니다.
3. VaMSL 알고리즘: 전문가 지식을 통합하면서 선형 및 비선형 CBN 의 혼합물에 대한 공동 베이지안 추론을 수행하는 최초의 방법입니다. 이질적 데이터 구조를 처리하도록 DiBS 를 확장했습니다.
4. 이질성 처리: 단일 그래프를 가정하는 것보다 DAG 의 혼합물로 데이터를 모델링하는 것이 하위 집단의 분리를 전문가 지식이 안내할 때 특히 구조 학습 및 클러스터링에 더 나은 결과를 산출함을 입증했습니다.

4. 실험 결과

저자들은 합성 데이터와 실제 유방암 데이터셋에서 자신의 방법을 평가했습니다.

• 합성 데이터 (선형 및 비선형):

  • 구조 학습: 전문가 정보를 포함한 VaMSL 은 기대 구조 해밍 거리 (ESHD) 측면에서 기준선 (표준 DiBS, 가우시안 혼합 모델, 인과 k-means) 보다 현저히 우수한 성능을 보였습니다.
  • 클러스터링: 이 방법은 데이터 포인트를 올바른 인과 하위 집단에 할당하는 데 높은 분류 정확도를 달성했으며, 실제 라벨을 알고 있는 "오라클"의 성능과 일치했습니다.
  • 질의 효율성: BED 전략은 무작위 질의보다 우수한 성능을 보이며 더 적은 전문가 상호작용으로 더 나은 결과를 달성했습니다.
  • 강건성: 전문가가 불완전한 신뢰도 (예: 90% 정확도) 로 시뮬레이션되더라도 이 방법은 효과적이었습니다.

• 실제 적용 (유방암 데이터셋):

  • UCI 위스콘신 유방암 진단 데이터셋에 적용되었습니다.
  • 이 방법은 비지도 방식으로 악성 및 양성 등 서로 다른 종양 클래스와 관련된 고유한 인과 구조를 성공적으로 식별했습니다.
  • VaMSL + 전문가는 다른 방법들에 비해 가장 높은 분류 정확도와 가장 낮은 ESHD 를 달성하여, 복잡하고 이질적인 의료 데이터에 도메인 지식을 통합하는 실용적 유용성을 입증했습니다.

5. 중요성 및 영향

• 격차 해소: 이 작업은 저데이터/고전문가 지식 시나리오와 현대적 인과 발견 사이의 격차를 해소합니다. 데이터만으로는 불충분한 복잡하고 이질적인 설정에서 인간 직관을 활용하기 위한 공식적 메커니즘을 제공합니다.
• 이질성으로의 확장성: 단일 그래프 가정을 넘어선 이 방법은 실제 세계 인과 모델링의 주요 한계인 인구가 거의 동질적이지 않다는 점을 해결합니다.
• 효율성: 능동 학습 구성 요소는 전문가 상호작용의 비용을 최소화하여 고비용 도메인 전문가에게 이 접근 방식을 실현 가능하게 합니다.
• 유연성: 선형 및 비선형 관계뿐만 아니라 경직적이고 연성적인 제약 조건을 모두 처리할 수 있는 능력은 이 프레임워크를 다양한 과학 분야에 광범위하게 적용 가능하게 합니다.

요약하자면, 본 논문은 이질적 데이터에서 인과 구조를 발견하기 위한 견고하고 확장 가능하며 전문가가 루프에 포함된 프레임워크를 제시하여 베이지안 인과 발견의 최첨단 기술을 크게 발전시켰습니다.