기술 요약: DKCD – 비정형 데이터로부터의 도메인 지식 강화 인과 발견 (Domain Knowledge-Enhanced Causal Discovery from Unstructured Data)

문제 정의

고도의 전문성이 요구되는 도메인(예: 의료, 금융, 교육)에서의 인과 발견은 임상 텍스트와 같은 비정형 데이터를 적용할 때 상당한 어려움에 직면합니다. COAT 프레임워크와 같이 대규모 언어 모델(LLM)을 활용하는 기존 방식들은 다음과 같은 두 가지 주요 과제로 인해 한계가 있습니다:

1. 잠재 요인 식별의 불충분성 (CH1): 비정형 데이터에는 명시적으로 언급되지는 않았지만 완전한 인과 그래프를 구성하는 데 필수적인 암묵적 인과 요인들이 포함되어 있습니다. 일반적인 LLM 지식은 이러한 잠재 변수를 추론하는 데 필요한 특정 도메인 전문 지식이 부족합니다 (예: 당뇨병 맥락에서 특정 검사 수치를 통해 "신장 질환"을 추론하는 것).
2. 요인 주석(Annotation)의 신뢰성 저하 (CH2): 정확한 인과 그래프 구축을 위해서는 구조화된 입력값(요인 값)이 필요합니다. 도메인에 근거한 추론 없이는 LLM이 일관되지 않거나 부정확한 주석을 생성할 수 있으며, 이는 누락된 엣지(edge)나 잘못된 방향성과 같은 오류를 발생시켜 최종 인과 구조로 전파됩니다.

현재의 인과 발견 알고리즘(예: PC, FCI)은 구조화된 표 형식의 데이터(tabular data)를 위해 설계되었으며, 가공되지 않은 비정형 텍스트에 내재된 노이즈와 불완전성을 처리하는 데 어려움을 겪습니다.

방법론: DKCD 프레임워크

저자들은 비정형 텍스트와 통계적 인과 발견 사이의 간극을 메우기 위해 도메인 지식 그래프(KG)와 LLM 추론을 통합하는 DKCD (Domain Knowledge-enhanced Causal Discovery) 프레임워크를 제안합니다. 이 프레임워크는 서로 연결된 세 가지 구성 요소로 작동합니다.

1. 지식 마이닝 (Knowledge Mining)

이 모듈은 추론을 위한 맥락을 준비하기 위해 관련 도메인 지식을 검색합니다.

• 관측 가능한 요인 제안 (Observable Factor Proposal): LLM은 비정형 텍스트에서 명시적으로 언급된 인과 요인($V_o$)을 추출합니다.
• 도메인 KG 검색 (Domain KG Retrieval): $V_o$를 기반으로 시스템은 도메인 특화 지식 그래프를 쿼리하여 관련 서브그래프($G_{rel}$)를 검색합니다.
• 의미론적 매칭 (Semantic Matching): 검색된 트리플(triples)은 자연어 문장으로 구어체화됩니다. 문장 트랜스포머(all-MiniLM-L6-v2 등)를 사용하는 의미론적 매칭 프로세스는 이러한 문장들을 관측 가능한 요인들과 정렬하여, 후속 추론을 뒷받침할 수 있는 가장 관련성 높은 맥락($S^{(k)}_{v_i}$)을 필터링합니다.

2. 지식 가이드 인과 추론 (Knowledge-Guided Causal Reasoning)

이 핵심 모듈은 검색된 지식 맥락을 활용하여 두 가지 주요 과제를 해결합니다.

• 잠재 요인 발견 (Latent Factor Discovery): LLM은 관측 가능한 요인과 검색된 지식 맥락을 사용하여 명시적으로 언급되지는 않았으나 인과적으로 관련이 있는 잠재 인과 요인($V_l$)을 추론합니다. 전체 요인 집합은 $V = V_o \cup V_l$로 정의됩니다. 이는 CH1을 직접적으로 해결합니다.
• 인과 단서 생성 (Causal Clue Generation): LLM은 요인들 사이의 개연성 있는 의존 관계에 대한 도메인 근거 기반의 설명인 인과 단서($H$)를 생성합니다. 이 단서들은 주석 단계에 대한 구조화된 가이드 역할을 하여 모호성을 줄이고 요인 점수 산정의 신뢰도를 높입니다. 이는 CH2를 해결합니다.

3. 인과 구조 발견 (Causal Structure Discovery)

더 완전한 요인 집합($V$)과 인과 단서로부터 도출된 정확한 주석을 포함하는 구조화된 스코어링 테이블($S$)이 준비되면, 통계적 인과 발견 알고리즘(구체적으로 FCI 알고리즘)이 적용되어 최종 인과 그래프($G$)를 추론합니다. FCI 알고리즘은 모든 요인이 완전히 관찰되지 않을 수 있는 전문 분야에서 매우 중요한 잠재적 혼란 변수(latent confounders)를 처리할 수 있는 능력이 있어 선택되었습니다.

주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. DKCD 프레임워크: 고도의 전문성이 요구되는 도메인의 비정형 데이터로부터 인과 발견을 강화하기 위해 도메인 지식 그래프와 LLM 기반 추론을 통합하는 새로운 프레임워크를 제안합니다.
2. 지식 가이드 추론 모듈: 검색된 도메인 지식을 활용하여 잠재 인과 요인을 발견하고 지식 근거 기반의 인과 단서를 생성함으로써 요인 식별의 정확도를 높이는 구체적인 설계를 제시합니다.
3. 도메인 특화 벤치마크: 평가를 위해 실제 지식 그래프를 활용한 최초의 도메인 특화 벤치마크(당뇨병 및 호흡기 질환 도메인)를 구축하였습니다.

실험 결과

저자들은 두 개의 합성 의료 데이터셋(당뇨병 및 호흡기 질환, 각각 400개의 환자 상태 기술 포함)을 사용하여 다양한 LLM 백본(GPT-4o, Gemini 2.5 Flash, Grok-3, LLaMA 3-70B)에 대해 DKCD를 평가했습니다.

• 성능 지표: 평가는 노드 정밀도/재현율/F1 점수(요인 식별용)와 인접성 정밀도/재현율/F1 점수(Adjacency Precision/Recall/F1), 그리고 확장된 구조 해밍 거리(ESHD, Extended Structural Hamming Distance, 그래프 구조용)를 포함합니다.
• 비교 결과: DKCD는 Zero-shot LLM, META, COAT를 포함한 베이스라인 모델들을 일관되게 능가했습니다.
  • 당뇨병 데이터셋에서 DKCD는 더 높은 노드 F1 점수(예: GPT-4o 기반 COAT의 0.41 대비 0.77)와 더 낮은 ESHD 값(COAT의 30.67 대비 25.33)을 달이트하며, 이는 실제 정답(ground-truth) 인과 그래프에 더 가깝게 정렬되었음을 나타냅니다.
  • 호흡기 데이터셋에서도 DKCD는 우수한 요인 식별 능력(예: GPT-4o 기반 COAT의 노드 F1 0.29 대비 0.74)과 구조적 정확도를 보여주었습니다.
• 절제 연구 (Ablation Studies): 인과 단서(w/o CC) 또는 잠재 요인 식별(w/o LF) 중 하나라도 제거하면 성능이 크게 저하되었습니다. 두 가지를 모두 제거했을 때는 성능이 심각하게 하락하였으며, 이는 두 구성 요소가 상호 보완적이며 프레임워크의 성공에 필수적임을 확인해 줍니다.

의의 및 주장

본 논문은 DKCD가 도메인 지식 그래프를 효과적으로 활용하여 LLM 추론을 유도함으로써, 고도의 전문 분야에서 인과 요인 식별과 인과 그래프 구축을 유의미하게 개선한다고 주장합니다. 저자들은 기존 방법들의 결정적 한계, 즉 명시적이지 않은 도메인 특화 잠재 요인을 식별하지 못하는 능력과 외부 지식 근거 없이는 주석의 신뢰성을 확보할 수 없다는 점을 해결했음을 강조합니다.

저자들은 다음과 같은 한계점에 대해 겸허한 입장을 유지합니다:

• LLM에 대한 의존성: 프레임워크는 여전히 LLM의 추론 능력에 의존하며, 이 과정에서 환각(hallucination)이나 편향된 요인이 생성될 수 있습니다.
• 벤치마크 가용성: 비정형 텍스트와 정렬된 정답 인과 그래프를 모두 포함하는 공개 벤치마크의 부재로 인해 합성 데이터셋을 사용한 점을 한계로 인정합니다.
• 확장성: 의료 분야에서 테스트되었으나, 금융이나 교육과 같은 다른 분야로의 일반화 가능성은 아직 충분히 탐구되지 않았습니다.

이 연구는 비정형 데이터로부터 인과 구조를 발견하기 위한 방법론적 진보로 자리매김하며, 민감한 분야에서 전문가의 판단을 대체하기보다는 연구자들이 잠재적인 인과 구조를 발견하는 것을 돕기 위한 목적으로 설계되었습니다.