기술 요약: 인과 발견을 위한 대규모 언어 모델(LLM)의 활용

문제 정의

인과 발견(Causal discovery)은 예측 및 개입 분석을 가능하게 하기 위해 관측 데이터로부터 인과 그래프를 재구성하는 것을 목표로 한다. 제약 기반(constraint-based) 및 점수 기반(score-based) 방식과 같은 통계적 방법들이 존재하지만, 이들은 가정(예: 충실성, 인과적 충분성)과 표본 크기에 크게 의존하며, 종종 유일한 방향성 비순환 그래프(DAG)가 아닌 동등 클래스(equivalence classes)만을 산출한다. 도메인 전문가의 지식을 통합하면 이러한 결과를 정교화할 수 있지만, 제약 조건을 수동으로 인코딩하는 것은 노동 집약적이며, 전문가의 입력을 "지식의 참(ground truth)"으로 취급하여 전문가의 직관과 통계적 증거 사이의 충돌을 해결하는 메커니즘이 제한적이라는 한계가 있다.

최근의 접근법들은 변수의 메타데이터로부터 인과적 제약 조건을 추출하기 위해 대규모 언어 모델(LLM)을 활용한다. 그러나 LLM은 환각(hallucination)과 벤치마크 암기 현상을 보이는 불완전한 전문가이다. 핵심적인 과제는, 표준 벤치마크(예: Asia, Sachs)가 LLM의 사전 학습 코퍼스에 포함되어 있을 가능성이 높기 때문에, 진정한 인과 추론과 단순한 암기된 그래프의 베르베이티즘(verbatim retrieval)을 구별해내는 것이다.

방법론

본 논문은 ABAPC-LLM이라는 하이브리드 프레임워크를 제안하며, 이는 **인과적 가정 기반 논증(Causal Assumption-Based Argumentation, Causal ABA)**을 통해 LLM 유래 의미론적 제약 조건과 통계적 증거를 통합한다.

1. 논증 프레임워크 (Causal ABA)

이 프레임워크는 제약 조건을 경직된 규칙으로 취급하는 대신, 인과 발견을 논증 문제로 모델링한다:

• 가정(Assumptions): 후보 인과 에지와 조건부 독립(CI) 진술은 철회 가능한(defeasible) 가정으로 취급된다.
• 규칙(Rules): 논리적 규칙은 비순환성(acyclicity)과 d-분리(d-separation) 원칙을 인코딩한다.
• 공격(Attacks): 서로 호환되지 않는 제약 조건(예: 독립을 시사하는 CI 진술과 직접적인 에지를 시사하는 제약 간의 충돌)은 서로를 공격한다.
• 해결(Resolution): 시스템은 "안정적 확장(stable extensions)"을 계산하여, 공동으로 방어 가능한 가장 큰 가정의 부분 집합만을 유지한다. 이를 통해 프레-임워크는 데이터를 기반으로 한 제약과 전문가(또는 LLM) 지식 사이의 충돌을 투명하게 노출하고 해결할 수 있으며, 한쪽 소스를 맹목적으로 강요하지 않는다.

2. LLM 통합 파이프라인

이 방법은 LLM을 불완전한 전문가로 취급하여 구조적 제약 조건을 이끌어낸다:

• 도출(Elicitation): LLM에 변수 이름과 설명을 프롬프트로 제공하여 필수 방향(반드시 존재해야 하는 에지)과 금지 방향(존재할 수 없는 에지) 목록을 생성한다.
• 합의 필터링(Consensus Filtering): 확률적 변동성과 환각을 완화하기 위해, LLM에 다섯 번 질의한다. 다섯 번의 실행 모두에서 나타나는 교집합(만장일치 합의)에 속하는 제약 조건만을 유지한다. 이 보수적인 접근 방식은 재현율(recall)보다 정밀도(precision)를 우선시한다.
• 통합(Integration): 이러한 합의된 제약 조건은 Causal ABA 프레임워크 내의 사실(facts)로 인코딩된다. 결정적으로, 이들은 통계적 테스트에 의해 식별된 기존 에지의 방향을 **설정(orient)**하는 데 사용된다. 만약 통계적 테스트가 에지를 제거한다면(골격 축소), LLM은 이를 다시 강제로 삽입할 수 없다.

3. 평가 프로토콜: CauseNet 합성 벤치마크

LLM의 암기 위험을 해결하기 위해, 저자들은 CauseNet이라는 대규모 인과 관계 지식 그래프를 사용하는 새로운 평가 프로토콜을 도입한다:

1. 구조적 스캐폴딩(Structural Scaffolding): Erdős-Rényi, Scale-Free 또는 Lower-Triangle 토폴로지를 사용하여 무작위 DAG를 생성한다.
2. 의미론적 접지(Semantic Grounding): 무작위 DAG 구조를 유도된 부분 그래프 동형성(induced sub-graph isomorphism)을 통해 CauseNet 내의 서브 그래프로 매핑한다.
3. 휴리스틱 선택(Heuristic Selection): 결과물인 그래프가 의미론적으로 일관되면서도 구조적으로는 새롭게 유지되도록, 후보 매핑들을 의미적 응집성, 노드 특이성, 구조적-의미적 상관관계에 따라 순위를 매긴다.
4. 데이터 생성: 접지된 DAG로부터 관측 데이터를 샘플링한다. 이를 통해 LLM이 암기된 벤치마크 그래프가 아닌, 새로운 의미론적 조합에 대해 테스트받도록 보장한다.

주요 기여

1. ABAPC-LLM 프레임워크: 데이터 기반 CI 증거와 LLM 유래 제약 조건을 논증을 통해 통합하는, 원칙적이고 보수적인 하이브리드 인과 발견 접근법을 제시한다. 이는 LLM 출력을 철회 가능한 것으로 취급하여, 통계적 증거가 의미론적 제약보다 우선할 수 있도록 한다.
2. 합의 기반 도출: 다중 실행 만장일치 필터링을 사용하여 LLM으로부터 고정밀 방향성 제약 조건을 추출하는 파이프라인을 구축함으로써, 가짜 인과 관계가 포함될 위험을 줄인다.
3. 암기 편향 완화: 무작위 DAG를 실제 개념에 접지하여, 공개 데이터셋에 대한 LLM의 일반화 능력을 평가할 수 있는 CauseNet 기반의 합성 벤치마크 프로토콜을 도입한다.
4. 실증적 검증: 표준 벤치마크에서 경쟁력 있는 성능을 보이고, 새로운 합성 벤치마크에서는 특히 구조적 회복 지표(SHD, F1-score)에서 우수한 성능을 보임을 입증한다.

실험 결과

• 합성 벤치마크 (CauseNet): ABAPC-LLM은 모든 노드 수(5, 10, 15)에서 가장 낮은 구조적 해밍 거리(SHD)와 가장 높은 재현율을 달est했다. 이는 표준 베이스라인(MPC, FGS, NOTEARS) 및 논증 전용 변형 모델(ABAPC)보다 일관되게 우수한 성능을 보였으며, 이는 논증 레이어를 통해 갈등이 해결될 때 의미론적 제약이 구조적 정확도를 향상시킨다는 것을 입в증한다.
• 표준 벤치마크 (bnlearn): 표준 데이터셋(예: sachs, child, asia)에서 경쟁력 있는 성능을 보였다. 일부 사례(예: earthquake)에서는 표준 방법론들이 우수했으나, AB아가 ABAPC-LLM은 특히 더 크고 복잡한 그래프에서 강력한 성능을 유지했다.
• 제약 품질 분석: 연구 결과 "시너지" 효과가 발견되었다. LLM 제약의 품질이 높을 때 최종 그래프 정확도가 크게 향 향상되었으나, 낮은 품질의 LLM 제약은 강력한 통계적 증거를 완화하도록 강제할 경우 성능을 저하시킬 수 있었으며, 이는 논증 레이어의 중요성을 강조한다.
• 실행 시간: 논증 프레임워크를 해결하는 데 오버헤드가 발생하지만, 약 20개의 변수를 가진 그래프까지는 실행 가능하며, 작은 데이터셋의 경우 몇 초 내에 완료된다.

의의 및 주장

본 논문은 ABAPC-LLM이 LLM을 인과 발견에 활용하는 보수적이고 감사 가능한(auditable) 방법을 제공한다고 주장한다. LLM의 지식을 절대적 진리가 아닌 철회 가능한 가정으로 취함으로써, 이 프레임워크는 환각과 암기의 함정을 피하면서도 LLM이 제공하는 의미론적 신호를 활용한다.

저자들은 LLM이 완벽한 인과 추론가라고 주장하는 것이 아님을 강조한다. 대신, LLM을 **구조화된 의미론적 사전 확률(semantic priors)**의 원천으로 위치시키며, 이를 공식적인 일관성 검사를 통해 엄격하게 검증할 수 있다고 본다. CauseNet 프로토콜의 사용은 데이터 오염(data contamination)을 반영할 수 있는 표준 벤치마크에서의 높은 성능을 넘어, 일반화 능력을 평가하기 위한 필수적인 단계로 제시된다. 이 연구는 LLM이 자율적인 결정자가 아니라, 형식적 일관성 체크를 통해 중재되는 "감사 가능한 인과 방향의 원천" 역할을 수행하는 미래를 옹호한다.