Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts

이 논문은 13 개의 오픈소스 대규모 언어 모델 (LLM) 을 12 개의 다양한 데이터셋으로 평가하여, 현재 모델들이 명시적이고 단순한 인과 관계는 식별할 수 있으나 암시적이거나 복잡한 인과 관계 추출에서는 심각한 성능 저하를 보임을 밝히고, 이를 위한 통합 평가 프레임워크와 리소스를 공개했습니다.

핵심

이 논문은 **"거대 언어 모델 (LLM, 예: 챗봇이나 AI) 이 의학이나 다양한 분야에서 '원인과 결과'를 얼마나 잘 이해하고 찾아낼 수 있는지"**를 시험한 연구 결과입니다.

쉽게 비유하자면, AI 에게 "이 환자가 왜 아팠을까?"라고 물었을 때, AI 가 단순히 단어만 맞추는 게 아니라 진짜 논리적인 인과관계를 찾아낼 수 있는가를 확인한 실험 보고서라고 보시면 됩니다.

주요 내용을 일상적인 언어와 비유로 설명해 드릴게요.

---

1. 연구의 배경: 왜 이 실험을 했을까?

의사나 연구자들이 AI 를 의료 현장에 쓰려면, AI 가 **"A 가 B 를 일으켰다"**는 사실을 정확히 알아야 합니다.

• 나쁜 예: "환자가 약을 먹었고, 그다음 통증이 사라졌다" → AI 가 "약이 통증의 원인이다"라고 바로 결론 내리면 안 됩니다. (동시 발생일 수도 있으니까요.)
• 좋은 예: "약이 통증의 원인이 되어 사라졌다"라고 명확히 구분할 수 있어야 합니다.

하지만 현재 AI 들은 이 '인과관계 (Cause & Effect)'를 찾아내는 데서 큰 실수를 많이 합니다. 이 논문은 13 개의 다양한 오픈소스 AI 모델들을 모아놓고, **12 개의 다른 데이터셋 (의학, 금융, 뉴스 등)**으로 시험을 치른 것입니다.

2. 실험 방법: AI 에게 어떤 시험을 보냈나?

연구팀은 AI 에게 두 가지 능력을 시험했습니다.

1. 탐지 (Detection): "이 문장에 원인과 결과가 써있어?" (Yes/No)
2. 추출 (Extraction): "그렇다면, 원인은 뭐고 결과는 뭐야?" (구체적인 문장 추출)

이때 난이도를 4 단계로 나누어 시험했습니다.

• 쉬운 문제: "비 (Cause) 가 내리니까 땅이 젖었다 (Effect)." (명확한 단어 '때문에'가 있음, 한 문장)
• 어려운 문제: "비가 내렸다. 땅이 젖었다." (원인 단어가 없음, 두 문장)
• 매우 어려운 문제: "비와 바람이 불었고, 그 결과 지붕이 무너졌고, 집이 침수되었다." (원인/결과가 여러 개이고 문장 사이를 넘나듦)

3. 주요 결과: AI 는 얼마나 잘했을까?

결론부터 말하면, AI 는 아직 초보 수준입니다.

• 점수: 가장 잘한 모델도 평균 점수가 50% 미만이었습니다. (동전 던지기보다 조금 나을 뿐입니다.)
• 쉬운 문제는 잘함: "A 때문에 B 가 되었다"라고 '때문에'라는 단어가 딱딱 들어있는 문장은 잘 찾았습니다.
• 어려운 문제는 꽝:
  • 암시적인 관계: "비가 내렸다. 땅이 젖었다." 처럼 단어가 없으면 AI 는 "아, 비가 와서 땅이 젖었구나"라고 추론하지 못하고 헷갈려 합니다.
  • 문장 넘나들기: 원인은 첫 문장에, 결과는 두 번째 문장에 있으면 AI 는 두 문장을 연결하지 못합니다.
  • 복잡한 관계: 원인과 결과가 여러 개 섞여 있으면 AI 는 혼란에 빠집니다.

비유하자면:
AI 는 "표지판이 있는 길" (명확한 단어) 을 걷는 것은 잘하지만, "표지판이 없는 숲" (암시적, 복잡한 상황) 을 헤매는 데는 매우 서툴다는 것입니다. 특히 의학 논문처럼 문장이 길고 복잡한 글에서는 더더욱 엉뚱한 답을 내놓습니다.

4. 흥미로운 발견: 모델마다 성격이 다름

• DeepSeek-R1: "원인이 있니?" (탐지) 는 잘하지만, "원인이 뭐야?" (추출) 는 잘 못합니다. (감은 좋지만 말은 못 하는 스타일)
• Qwen2.5-Coder: "원인이 뭐야?" (추출) 는 잘하지만, "원인이 있니?" (탐지) 는 조금 못합니다. (구체적인 건 잘 찾지만 전체적인 판단은 약함)
• 작은 모델 vs 큰 모델: 무조건 모델이 크다고 좋은 건 아닙니다. instruction(지시) 을 잘 따르도록 훈련된 모델이 더 잘했습니다.

5. 왜 이 연구가 중요할까?

이 연구는 **"AI 가 의료 현장에 투입되기엔 아직 위험하다"**는 경고를 줍니다.

• 만약 AI 가 "약 A 를 먹고 B 가 생겼다"는 문장에서 "약 A 가 B 를 일으켰다"고 잘못 판단하면, 환자에게 잘못된 치료를 권할 수 있습니다.
• 현재 AI 는 **단순한 패턴 매칭 (단어 찾기)**은 잘하지만, 진짜 논리적 추론은 못 합니다.

6. 결론 및 제언

이 논문은 AI 개발자들에게 다음과 같은 메시지를 보냅니다:

"지금의 AI 는 '표지판'만 보고 걷는 수준입니다. 의료나 금융처럼 실수가 치명적인 분야에 쓰려면, 표지판이 없는 숲길 (암시적 관계) 을 헤쳐나갈 수 있도록 더 많이 훈련시켜야 합니다."

연구팀은 이 실험에 사용한 모든 데이터와 코드를 공개하여, 전 세계 연구자들이 함께 AI 의 '인과관계 추론 능력'을 키우도록 독려했습니다.

---

한 줄 요약:
"현재 AI 는 'A 때문에 B'라고 적힌 문장은 잘 찾지만, 'A 가 B 를 만들었다'는 뉘앙스만 있는 복잡한 문장은 여전히 잘 못 알아듣습니다. 의료용 AI 를 만들기 위해서는 이 '눈치'를 더 길러야 합니다."

기술 요약

이 논문은 대규모 언어 모델 (LLM) 이 고위험 분야 (특히 바이오메디컬) 에서 안전한 배포를 위해 필수적인 인과 관계 추론 능력을 갖췄는지 평가하기 위해 수행된 체계적인 벤치마크 연구입니다. 저자들은 텍스트 기반 쌍별 인과 발견 (Pairwise Causal Discovery, PCD) 과제를 통해 13 개의 오픈소스 LLM 의 성능을 심층 분석했습니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 정의

• 배경: LLM 이 의료 기록, 임상 노트, 의학 문헌 등 비정형 텍스트를 분석하여 인과 관계를 추론하는 능력은 임상 의사결정 지원 시스템에 필수적입니다. 그러나 현재 LLM 은 단순한 패턴 매칭에 그치거나 상관관계를 인과관계로 오인하는 경우가 많아 신뢰성이 부족합니다.
• 문제: 기존 연구는 주로 특정 도메인이나 단순한 인과 관계 추출에 집중했으나, 다양한 도메인 (의료, 금융, 사회과학) 과 다양한 언어적 복잡성 (명시적/암시적, 단일/다중 문장, 단일/다중 쌍) 을 포괄하는 포괄적인 벤치마크가 부재했습니다.
• 목표: 오픈소스 LLM 이 텍스트에서 인과 관계를 탐지 (Detection) 하고 추출 (Extraction) 하는 능력을 체계적으로 평가하여, 의료 등 고위험 분야에서의 적용 가능성을 규명하는 것입니다.

2. 방법론 (Methodology)

• 데이터셋 구성: 12 개의 다양한 데이터셋 (CausalNet, MedCaus, FinCausal, PubMed 등) 을 활용하여 총 8,925 개의 인스턴스를 구성했습니다.
• 실험 설계: 인과 관계의 특성에 따라 12 가지 실험 태스크로 세분화했습니다.
  • 탐지 (Detection, 1a-1d): 텍스트에 인과 관계가 존재하는지 여부 판단.
  • 추출 (Extraction, 2a-2h): 원인과 결과의 정확한 텍스트 스패인 (Span) 추출.
  • 난이도 변수:
    • 표지자 유무 (Marker): 명시적 ("because", "causes" 등) vs 암시적.
    • 범위 (Scope): 단일 문장 내 (Intra-sentential) vs 문장 간 (Inter-sentential).
    • 쌍의 수 (Cardinality): 단일 쌍 vs 다중 쌍.
• 주석 (Annotation) 프로토콜: 8 명의 annotator 를 통해 엄격한 가이드라인 (사실적 주장만 인정, 모호한 경우 비인과로 처리 등) 하에 주석을 달았으며, annotator 간 일치도 (Cohen's κ) 는 평균 0.758 이상으로 높은 신뢰도를 확보했습니다.
• 모델 평가: 3B 에서 70B 까지 다양한 크기와 아키텍처 (Dense, MoE) 를 가진 13 개의 오픈소스 LLM (DeepSeek-R1, Llama-3, Qwen, Mistral 등) 을 대상으로 평가했습니다.
• 프롬프트 전략: Zero-shot, Few-shot In-Context Learning (FICL), Chain-of-Thought (CoT), Hybrid CoT+FICL, Least-to-Most (LtM), ReAct 등 다양한 프롬프트 기법을 적용하여 성능을 비교했습니다.
• 평가 지표: 탐지 정확도, 추출 정확도 (SentenceLM 기반 유사도 매칭 및 이항 모델 보정), 그리고 전체 작업 성공률 (Detection × Extraction) 을 측정했습니다.

3. 주요 결과 (Key Results)

• 전반적인 성능 저조: 현재 모델들의 인과 발견 능력은 여전히 미흡합니다.
  • 최고 탐지 모델: DeepSeek-R1-Distill-Llama-70B (평균 점수 49.57%).
  • 최고 추출 모델: Qwen2.5-Coder-32B-Instruct (평균 점수 47.12%).
  • 이는 인간 주석자의 성능 (95% 이상) 에 비해 현저히 낮은 수치입니다.
• 난이도에 따른 성능 격차:
  • 성공적인 경우: 명시적 표지자가 포함된 단일 문장 내 인과 관계 (Explicit, Intra-sentential) 에서는 상대적으로 좋은 성능을 보였습니다.
  • 실패한 경우: 암시적 관계, 문장 간 (Inter-sentential) 연결, 다중 인과 쌍이 포함된 복잡한 텍스트에서는 성능이 급격히 하락했습니다. 특히 의료 텍스트와 같이 암시적이고 복잡한 문맥을 가진 데이터에서 모델은 인과 관계를 놓치는 경우가 많았습니다.
• 모델별 특성:
  • DeepSeek-R1 계열은 탐지 (Detection) 는 잘했으나, 추론 과정에서 토큰 제한 등으로 인해 추출 (Extraction) 단계에서 실패하거나 답변을 생략하는 경향이 있었습니다.
  • Qwen2.5-Coder-32B는 추출 능력에서 가장 뛰어난 성능을 보였으며, Mistral 및 Mixtral 계열은 다양한 태스크에서 균형 잡힌 성능을 보였습니다.
  • Instruction Tuning의 중요성: 지시형 (Instruct) 모델이 기본 모델 (Base) 에 비해 성능이 압도적으로 높게 나타났습니다.
• 도메인별 분석: 바이오메디컬 데이터셋은 문장 간 암시적 인과 관계가 많아 모델이 가장 어려움을 겪는 영역 중 하나였습니다.

4. 주요 기여 (Contributions)

1. 포괄적인 벤치마크: 단일 도메인이 아닌 의료, 금융, 일반 뉴스 등 12 개 데이터셋을 아우르는 최초의 대규모 LLM 인과 발견 벤치마크를 제시했습니다.
2. 세부적 태스크 정의: 인과 관계의 명시성, 문장 범위, 쌍의 수를 변수로 한 12 가지 세부 실험을 설계하여 모델의 강점과 약점을 정밀하게 분석했습니다.
3. 고품질 데이터셋: 높은 주석자 일치도 (κ ≥ 0.758) 를 가진 검증된 데이터셋과 평가 코드를 공개하여 향후 연구의 기준을 마련했습니다.
4. 실용적 통찰: LLM 이 의료 분야에서 실제 적용되기 위해서는 단순한 키워드 매칭을 넘어, 문맥을 이해하고 문장 간 관계를 추론할 수 있는 능력이 필수적임을 증명했습니다.

5. 의의 및 결론

이 연구는 LLM 이 고위험 의료 분야에 안전하게 배포되기 위해서는 아직 해결해야 할 인과 추론의 격차가 크다는 점을 명확히 보여줍니다. 특히 암시적 인과 관계와 문장 간 연결을 이해하는 능력은 현재 모델들의 주요 약점입니다.

• 향후 방향: 의료 특화 데이터 (EHR, 임상 논문) 로의 파인튜닝, 의료 지식 그래프의 통합, 그리고 인간 - LLM 협업 워크플로우 도입 등을 통해 이러한 격차를 해소해야 합니다.
• 기대 효과: 본 벤치마크는 의료 AI 개발자들이 모델의 한계를 이해하고, 더 신뢰할 수 있는 임상 의사결정 지원 도구를 개발하는 데 중요한 기준을 제공할 것입니다.

결론적으로, 이 논문은 LLM 의 인과 추론 능력을 객관적으로 평가하는 새로운 표준을 제시하며, 의료 AI 의 안전성과 신뢰성을 높이기 위한 필수적인 연구 방향을 제시했습니다.