기술 요약: CauTion – 앙상블 인과 발견을 위한 LLM 신뢰 시점 파악하기

1. 문제 정의

관측 데이터로부터의 인과 발견은 통계적 방법에만 의존할 때 근본적인 한계에 직면한다. 제약 기반 접근법(예: PC, FCI)은 유한한 샘플 크기에 민감하며, 많은 에지 방향을 해결하지 못한 채 마르코프 동등 클래스(MEC)만을 복구할 수 있다. 점수 기반 및 연속 최적화 방법(예: GES, NOTEARS)은 종종 국소 최적해(local optima), 하이퍼파라미터 민감도, 그리고 실제 상황에서 성립하지 않을 수 있는 분포 가정 문제로 고통받는다.

이러한 격차를 해소하기 위해, 도메인 지식과 의미론적 사전 정보를 제공하는 대규모 언어 모델(LLM)이 도입되었다. 그러나 기존의 LLM 증강 방법들은 세 가지 결정적인 결함을 가지고 있다:

1. 높은 토큰 비용 및 오류 노출: 전역적(Global) 방법은 모든 $O(n^2)$ 변수 쌍에 대해 LLM을 호출하므로, 막대한 비용이 발생하고 전체 그래프가 LLM의 환각(hallucination) 현상에 노출된다.
2. 오류 증폭: 무방향 에지만을 다루는 방법(예: LLM-MEC)은 해결되지 않은 에지에 대해서만 쿼리를 제한하지만, 오류 축적 문제를 겪는다. 즉, 단 하나의 LLM 오류가 Meek rule을 통해 잘못된 방향 설정의 연쇄 반응을 일으킬 수 있다.
3. 알고리즘 편향 및 검증되지 않은 신뢰성: 대부분의 방법은 단일 데이터 중심 알고리즘에 의존하므로 특정 알고리즘의 편향에 취약하다. 또한, 이들은 LLM의 지식을 특정 데이터셋에 대한 신뢰성을 검증하지 않은 채, LLM을 무결한 오라클(oracle)로 취급하여 통합한다.

2. 방법론: CauTion 프레임워크

저자들은 **합의 필터링(consensus filtering)**과 **신뢰 보정 중재(trust-calibrated arbitration)**를 통해 LLM의 도메인 지식을 앙상블 인과 발견 알고리즘에 통합하는 프레임워크인 CauTion을 제안한다. 파이프라인은 세 가지 명확한 단계로 작동한다.

1단계: 알고리즘 앙상블 및 합의 필터링

이 프레임워크는 여러 인과 발견 알고리즘(실험에서는 구체적으로 PC, GES, CAMML 사용)의 출력을 집계한다. 각 변수 쌍에 대해 투표를 누적하여 에지를 두 가지 집합으로 분류한다:

• 합의 집합 ($\mathcal{C}$): 모든 알고리즘이 일치하는 쌍 (예: 모두 $A \to B$라고 투표하거나 모두 에지가 없다고 투표함). 이러한 에지들은 LLM의 개입 없이 직접 해결된다. Win95pts 데이터셋($n=76$)에서 이 단계는 약 96.6%의 정확도로 에지의 약 96.6%를 해결하며, 고신뢰도 의사 정답(pseudo-ground truth) 역할을 한다.
• 분쟁 집합 ($\mathcal{D}$): 알고리즘 간에 의견이 불일치하거나 불확실한 쌍. 이들은 중재 단계로 전달된다.

2단계: 신뢰 보정 중재

이 단계는 외부 주석(annotation) 없이 LLM과 알고리즘 앙상블의 상대적 신뢰도를 추정함으로써, 언제 LLM을 신뢰할 것인지 결정한다.

• 신뢰도 추정:
  • LLM 보정: 에지 존재 여부 및 방향 작업에 대한 LLM의 정확도를 추정하기 위해, 합의 집합(proxy labels 역할)에 대한 층화 표본 추출을 수행하여 LLM을 쿼리한다.
  • 알고리즘 보정: 각 알고리즘의 예측을 나머지 알고리즘들의 다수결과 비교하는 Leave-One-Out (LOO) 평가를 수행하여 해당 알고리즘의 정확도를 추정한다.
• 신뢰 가중치 계산: 보정된 정확도를 바탕으로 신뢰 가중치($\alpha_{exist}$ 및 $\alpha_{dir}$)를 계산한다. 이 가중치는 LLM과 알고리즘 앙상벨 사이의 상대적 신뢰도를 정량화한다. 두 소스 모두 우연 수준(chance level) 근처에서 성능을 보이면 시스템은 동일한 가중치를 기본값으로 설정한다.
• 보정된 투표: 분쟁 집합에 있는 에지에 대해:
  • 시스템은 먼저 알고리즘 앙상블의 투표 차이가 신뢰 가중치로부터 유도된 임계값을 초과하는지 확인한다. 알고리즘이 확신을 가진다면 LLM 호출을 건너뛴다(skip).
  • 알고리즘의 차이가 낮으면 LLM을 쿼리한다. 최종 결정은 알고리즘 투표와 LLM 응답의 신뢰 가중치 기반 집계이다.
  • 방향 쿼리는 위치 편향(position bias)을 완화하기 위해 이중 프레이밍(double-framing, $A \to B$와 $B \to A$를 모두 쿼리) 기법을 사용하여 일관된 답변만을 유지한다.

3단계: 사이클 복구 (Cycle Repair)

투표 과정은 사이클을 포함하는 유향 그래프를 생성할 수 있다. 사이클 복구 단계는 최종 출력이 유효한 방향성 비순환 그래프(DAG)임을 보장한다.

• 사이클을 탐지하고, 사이클 내의 에지들을 알고리즘적 불확실성 마진에 따라 평가한다.
• 불확실한 에지는 사이클 경로 및 변수 해석과 함께 LLM에 제시된다. LLM은 에지 방향을 뒤집거나(Flip) 혹은 **제거(Remove)**하도록 요청받는다.
• LLM이 사이클을 해결할 수 없거나 더 이상 조치할 수 있는 에지가 없으면, 그래프가 비순환이 될 때까지 가장 낮은 존재 확률을 가진 에지를 반복적으로 제거한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. 개념적 기여: LLM 증강 인과 발견을 신뢰 보정 중재 문제로 재정의한다. 이 관점은 LLM과 통계적 알고리즘을 상호 보완적이지만 불완전한 증거원으로 취급하며, LLM 지식은 반드시 알고리즘 앙상블에 대해 신뢰도가 보정된 후에만 통합되어야 함을 강조한다.
2. 방법론적 기여: 교차 알고리즘 합의, 신뢰도 인식 LLM 중재, 그리고 DAG를 보존하는 사이클 복구를 결합한 CauTion 프레임워크를 제안한다. 이 프레임키는 LLM 쿼리를 분쟁이 있는 에지로 제한하고, 추정된 도메인 정확도가 낮을 경우 LLM의 영향력을 경감시킨다는 점에서 독특하다.
3. 경험적 기여: 6개의 벤치마크에서 CauTion이 데이터 중심 및 LLM 증강 베이스라인 모델들을 일관되게 능가함을 입증했다. 성능 향상은 그래프 크기에 따라 증가하며, 방법론은 LLM 백엔드 선택의 변화에 대해 강력한 견고성을 보인다.

4. 실험 결과

실험은 변수 개수가 5개에서 76개에 이르는 bnlearn 저장소의 6개 데이터셋(Cancer, Insurance, Water, Alarm, Barley, Win95pts)을 대상으로 수행되었다.

• 성능: CauTion은 모든 데이터셋에서 가장 낮은 구조적 해밍 거리(SHD)와 가장 높은 F1 점수를 달성했다. 가장 큰 데이터셋인 Win95pts ($n=76$)에서, CauTion은 SHD 27을 기록하여 두 번째로 우수한 LLM 증강 베이스라인인 SCP(SHD 63)를 크게 앞질렀다.
• 확장성: CauTion과 베이스라인 간의 성능 격차는 그래프 규모가 커질수록 넓어졌으며, 이는 복잡한 구조를 처리하기 위한 프레임워크 설계의 타당성을 입증한다.
• 견고성: CauTion은 6가지 서로 다른 LLM 백엔드(약한 모델인 Llama-3.1-8B부터 강력한 모델인 Claude-Sonnet-4.6까지)에 대해 우수한 안정성을 보여주었다. 반면, 완전 LLM 주도 방식(예: LLM-BFS, CORR-LLM)은 약한 모델을 사용할 때 심각한 성능 저하와 높은 변동성을 보였다.
• 효율성: 합의를 통해 90% 이상의 에지를 필터링함으로써, CauTion은 전역적 LLM 방법들에 비해 토큰 사용량을 획기적으로 줄였다. Win95pts의 경우, CauT im은 약 26k 토큰을 사용한 반면, SCP와 같은 전역적 방법은 3백만 개 이상의 토큰을 사용했다.

5. 의의 및 주장

본 논문은 CauTion이 전역적 LLM 방법의 높은 오류 노출 위험과 단일 알고리즘 통계 방법의 편향 사이의 근본적인 트레이드오프를 해결한다고 주장한다. 신뢰 보정 메커니즘을 도입함으로써, 이 프레임워크는 통계적 증거가 불충분하고 LLM이 특정 작업에 대해 경험적으로 신뢰할 수 있다고 보정되었을 때만 LLM의 도메인 지식을 활용하도록 보장한다.

저자들은 이 연구가 인과 발견 방법론을 발전시키며, 의학, 역학, 경제학 등의 분야에서 더 신뢰할 수 있는 구조 복구를 향한 길을 제시한다고 밝힌다. 또한 현재의 앙상블이 고정된 3개의 알고리즘을 사용한다는 점과 실험이 이산 변수 벤치마크에서 수행되었다는 점을 언급하며, 향에 대한 일반화(연속형 또는 혼합형 데이터)에 대한 과제를 남겨두고 있음을 인정한다.