기술 요약: 인과적 앙상블 에이전트 (Causal Ensemble Agent, CEA)

문제 정의

인과 발견(Causal discovery)은 관측 데이터로부터 인과 구조를 밝혀내는 것을 목표로 하며, 이는 의료 및 경제와 같은 도메인에서 의사결정에 매우 중요한 과업입니다. 그러나 기존 방식들은 다음과 같은 두 가지 주요 한계점으로 인해 정확한 인과 그래프를 식별하는 데 어려움을 겪고 있습니다:

1. 통계적 방법론의 발산: 서로 다른 통계적 인과 발견(Statistical Causal Discovery, SCD) 알고리즘들은 각기 다른 귀납적 편향(inductive biases)과 목적 함수를 가지고 있기 때문에, 동일한 데이터셋에 대해서도 상충하는 결과를 생성하곤 합니다. 앙상블 방법론이 존재하기는 하지만, 이들은 대개 수치적 기준이나 수동으로 설계된 가중치 체계에 의존하며, 변수 설명과 같은 풍부한 도메인 특화 정보를 활용하지 못합니다.
2. LLM 기반 발견의 한계: LLM을 사용하여 직접적인 질의를 통해 인과 관계를 추론하는 최근의 접근 방식들은 신뢰성 저하나 환각(hallucination) 문제에 취약합니다. 이러한 방식은 모호한 변수명이나 불완전한 설명에 의해 오도될 수 있으며, 실제 데이터와의 정렬(alignment)이 결여되어 잘못된 인과적 주장을 생성할 위험이 큽니다.

방법론: 인과적 앙상블 에이전트 (CEA)

저자들은 LLM을 직접적인 인과 전문가가 아닌, **메타 심판(meta-referee)**으로 취급하는 계층적 앙상블 프레임워크인 **인과적 앙상블 에이전트 (CEA)**를 제안합니다. CEA는 다양한 이질적 SCD 전문가들로부터 구조적 통찰력을 집계하며, 필요한 경우에만 동적으로 가중치를 재조정합니다.

핵심 프레임워크

본 프레임워크는 세 가지 계층 구조를 통해 거시적 단계에서 미시적 단계로(coarse-to-fine) 작동합니다:

1. 그래프 스켈레톤 (Graph Skeletons): 무방향 인접성(undirected adjacencies) 식별.
2. V-구조 (V-structures): 차폐되지 않은 콜라이더(unshielded colliders, $A \to B \leftarrow C$) 식별.
3. 에지 방향 (Edge Orientations): 에지의 방향 결정.

주요 메커니즘

• 선형 의견 풀링 (Linear Opinion Pooling): 각 후보 관계에 대해, CEA는 부트스트랩 리샘플링을 사용하여 각 전문가 $e_i$에 대한 경험적 지지 점수($\hat{p}_i(r)$)를 계산합니다. 이 점수들은 선형 의견 풀링($\hat{p}(r) = \sum \alpha_i \hat{p}_i(r)$, 초기에는 균등 가중치 $\alpha_i = 1/m$ 적용)을 통해 집계됩니다.
• 마진 인식 분쟁 탐지 (Margin-Aware Dispute Detection): 시스템은 집계된 신뢰도가 결정 경계에 근접한(즉, $|\hat{p}(r) - \tau_\kappa| \le \delta \tau_\kappa$) "분쟁 중인" 관계를 식별합니다. 경계에서 멀리 떨어진 관계는 LLM의 개입 없이 수용됩니다.
• 메타 심판으로서의 LLM: 분쟁이 발생한 관계에 대해 LLM이 호출되어 메타 분석을 수행합니다. LL 모델은 관계를 직접 예측하지 않습니다. 대신 다음 사항들을 평가합니다:
  • 메타 컨텍스트 (Meta Context): 변수의 의미론(semantics), 데이터셋 프로필(통계량, 샘플 대비 특징 수 비율), 그리고 구조적 관계의 유형(스켈레톤 vs 방향).
  • 전문가 의견: 방법론, 가정, 그리고 특정 입장(지지/반대).
  • 출력: LLM은 해당 특정 관계에 대해 각 전문가에게 원시 가중치 점수($w_i \in [0, 10]$)를 할당합니다. 이 점수들은 정규화되어 풀링 가중치($\alpha'_i$)를 업데이트하며, 이를 통해 지지 점수를 $\hat{p}'(r)$로 정교화합니다.
• 계층적 구축: 최종 유향 비순환 그래프(DAG)는 합의된 스켈레톤, 유효한 V-구조, 그리고 해결된 에지 방향을 통합하여 구축되며, Meek-rule 폐쇄 및 사이클 체크를 통해 비순환성을 보장합니다.

주요 기여

1. LLM 역할의 재정의: 본 논문은 경쟁하는 데이터 기반 가설들 사이에서 이를 조정하는 메타 심판으로서의 LLM이라는 새로운 역할을 소개합니다. 이를 통해 데이터 정렬을 해치거나 환각된 에지를 도입하지 않으면서도 도메인 지식을 통합할 수 있습니다.
2. 계층적 앙상블 프레임워크: CEA는 마진 인식, LLM 가이드 기반의 전문가 재가중치 부여를 통해 거시적-미시적 단계(스켈레톤, V-구조, 방향)로 전문가의 믿음을 집계합니다. 이는 LLM이 불확실한 경우에만 호출되도록 보장하여 계산 비용과 환각 위험을 줄입니다.
3. 경험적 우월성: 광범위한 실험을 통해 CEA가 다양한 합성 및 실제 세계 벤치마크에서 가장 강력한 종합 성능을 달연하며, 개별 SCD 방법론 및 기존의 앙상블 또는 LLM 기반 베이스라인들을 능가함을 입증했습니다.

실험 결과

저자들은 8개의 데이터셋(합성 데이터 5개: Alarm, Asia, Child, Insurance, Sachs; 실제 데이터 3개: Alzheimer, Arctic Sea, Sangiovese)에 대해 CEA를 평가하였으며, 두 가지 지표를 사용했습니다: RNB (정규화된 해밍 거리와 베이스라인 해밍 거리 간의 비율, 낮을수록 좋음) 및 AUC (정밀도-재현율 곡선 아래 면적, 높을수록 좋음).

• 성능: CEA는 모든 데이터셋에서 최상의 결과를 달성하였으며, 가장 강력한 비-CEA 베이스라인들과 비교했을 때 평균 상대적 RNB 감소율 28.3%, AUC 개선율 **6.2%**를 기록했습니다.
• 강건성: CEA는 다양한 샘플 크기와 도메인 전반에서 일관된 성능을 보여주었으며, 개별 방법론이 특정 도메인에서 실패하는 "솔버 선택(solver-selection)" 문제를 효과적으로 완화했습니다.
• 효율성: 분쟁이 있는 관계에 대해서만 LLM 질의를 제한함으로써, CEA는 전수 쌍별(pairwise) LLM 질의와 비교하여 LLM 쿼리 비용을 **84.0%에서 88.8%**까지 절감했습니다.
• 절제 연구 (Ablation Studies):
  • LLM 가이드 재가중치를 제거했을 때(균등 가중치 사용) 성능이 크게 하락(RNB 41.9% 증가)하여, 컨텍스트 인식 보정의 필요성을 확인했습니다.
  • LLM을 직접적인 인과 전문가로 사용했을 때 역시 성능이 저하되었으며, 이는 벤치마크 누수(그래프 구조의 암기)에 대한 우려를 불러일으켰습니다.
  • LLM의 가중치 할당 능력이 경험적 전문가 성능(예: 이산 데이터에 대한 LiNGAM의 가중치 하향 조정)과 일치함을 가중치-성능 정렬 분석을 통해 검증했습니다.

의의 및 주장

본 논문은 CEA가 직접적인 예측 대신 컨텍스트 인식 보정을 위해 LLM을 활용함으로써 이질적인 통계적 방법론들의 상충하는 출력을 효과적으로 화해시킨다고 주장합니다. 데이터를 기반으로 한 SCD 출력에 최종 그래프를 접지(grounding)하고, 도메인 지식과 데이터셋 특성을 바탕으로 불확실성을 해결하기 위해서만 LLM을 사용함으로써, CEA는 견고하고 확장 가능하며 신뢰할 수 있는 인과 발견 접근법을 제공합니다. 저자들은 이 방식이 직접적인 LLM 질의와 관련된 환각 및 벤치마크 누수의 위험을 완화하는 동시에 교차 도메인 강건성을 크게 향상시킨다는 점을 강조합니다.