Can Large Language Models Infer Causal Relationships from Real-World Text?

이 논문은 대규모 언어 모델 (LLM) 이 실제 세계 텍스트에서 인과 관계 (causal relationships) 를 추론할 수 있는지에 대한 능력을 평가하고, 기존 연구의 한계를 지적하며 새로운 벤치마크를 제안합니다. 주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

• 현황: 기존 LLM 의 인과 추론 능력 평가는 주로 인위적으로 생성되거나 단순화된 텍스트, 그리고 인과 관계가 명시적으로 서술된 짧은 문단에 의존해 왔습니다.
• 한계: 이러한 접근 방식은 실제 세계의 복잡한 상황 (긴 문서, 명시적이지 않은 암시적 인과 관계, 다양한 도메인 등) 을 반영하지 못합니다. 인간은 텍스트에 인과 관계가 명시되지 않더라도 문맥을 통해 이를 추론할 수 있지만, LLM 은 이러한 능력을 검증받지 못했습니다.
• 핵심 질문: LLM 은 실제 학술 논문과 같은 복잡하고 긴 텍스트에서 명시적이지 않은 인과 관계를 추출하고 인과 그래프를 구성할 수 있는가?

2. 방법론 (Methodology)

저자들은 ReCITE (Real-world CausalIty from Textual Evidence) 라는 새로운 벤치마크를 개발했습니다.

• 데이터 수집: 오픈 액세스 학술 논문 (MDPI, PLOS) 에서 '인과 루프 다이어그램 (Causal Loop Diagrams)'이 포함된 292 개의 논문을 수집했습니다. 이는 실제 세계의 복잡성 (긴 텍스트, 다양한 도메인, 명시성 수준 차이) 을 반영합니다.
• 데이터 구성:
  • 입력: 원본 논문 텍스트 (PDF 를 마크다운으로 변환 및 정제).
  • 정답 (Ground Truth): 논문에 포함된 인과 루프 다이어그램을 사람이 직접 텍스트 기반의 인과 그래프 (노드와 엣지) 로 변환하여 정답으로 설정.
  • 특징: 텍스트 길이 (68417 만 자), 그래프 복잡도 (노드 5140 개, 엣지 6~205 개), 명시성 (명시적/암시적/부재) 이 다양하게 분포.
• 평가 프레임워크 (LLM-as-a-Judge):
  • 생성된 인과 그래프와 정답 그래프를 직접 비교하는 것은 어렵기 때문에, 별도의 LLM (DeepSeek v3.2 등) 을 '심판 (Judge)'으로 활용하여 평가했습니다.
  • 평가 지표: 단순 매칭이 아닌, 텍스트 기반의 근거 (Text Grounding) 와 의미적 유사성 (Semantic Similarity), 추상화 수준 (Abstraction) 을 고려한 정밀도 (Precision), 재현율 (Recall), F1 점수, 구조적 해밍 거리 (SHD) 등을 계산합니다.
• 실험 설정: 10 가지 최첨단 (SOTA) LLM (Claude Opus 4.5, GPT-5.2, Gemini 3 Pro 등) 을 제로샷 (Zero-shot) 환경에서 테스트했습니다.

3. 주요 기여 (Key Contributions)

1. ReCITE 벤치마크 제안: 실제 세계 텍스트에서 LLM 의 인과 추론 능력을 평가하는 최초의 벤치마크를 구축했습니다.
2. LLM-as-a-Judge 평가 프레임워크 개발: 생성된 복잡한 인과 그래프를 자동화되고 신뢰할 수 있게 평가할 수 있는 새로운 평가 체계를 제시했습니다.
3. 인과 추론의 근본적 한계 규명: 노드 식별 (Entity Recognition) 과 인과 추론 (Causal Reasoning) 을 분리하여 분석함으로써, LLM 의 실패 원인이 단순한 개체 인식 실패가 아니라 인과 관계 추론 자체의 결함임을 증명했습니다.

4. 실험 결과 (Results)

• 전반적 성능 부진: 모든 모델이 낮은 성능을 보였습니다. 가장 성능이 좋은 모델 (Claude Opus 4.5) 의 평균 F1 점수는 0.535에 불과했습니다.
• 명시성의 영향: 텍스트에 인과 관계가 명시적으로 언급될수록 성능이 향상되었으나, 암시적 (Implicit) 인 관계가 많은 경우 모든 모델의 성능이 급격히 저하되었습니다.
• 노드 식별 vs 인과 추론: 정답 노드 목록을 모델에게 미리 제공하여 노드 식별 과제를 제거한 실험 (Ablation Study) 에서도 성능 향상이 미미했습니다. 이는 LLM 이 인과 관계를 논리적으로 연결하는 능력 (Reasoning) 에서 근본적인 결함이 있음을 시사합니다.
• 오류 패턴: 모델들은 텍스트에서 인과적으로 타당한 관계를 생성할 수는 있었으나 (8590% 텍스트 기반 지지), 정답 그래프의 특정 관계를 정확히 복원하지는 못했습니다 (1733% 만 정답과 일치). 방향 반전 (Direction Reversal) 은 드물게 발생했습니다.
• 모델 크기 및 유형: 추론 전용 (Reasoning) 모델과 파라미터가 큰 모델이 상대적으로 더 좋았으나, 여전히 인간 수준의 추론에는 미치지 못했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 평가의 필요성: 기존 벤치마크가 지나치게 단순화된 텍스트에 의존하고 있음을 지적하며, 실제 복잡하고 긴 텍스트에서의 인과 추론 능력을 평가해야 함을 강조했습니다.
• LLM 의 한계: 현재 SOTA LLM 들은 실제 세계의 복잡한 텍스트에서 명시적이지 않은 인과 관계를 추론하고 인과 그래프를 구성하는 데 심각한 어려움을 겪고 있습니다. 이는 인공지능 일반 (AGI) 로 가는 길에 중요한 장벽입니다.
• 향후 연구 방향: ReCITE 는 향후 LLM 의 인과 추론 능력을 향상시키기 위한 연구의 기준점 (Benchmark) 으로 활용될 수 있으며, 특히 암시적 인과 관계 추론 능력 향상이 시급한 과제로 제시되었습니다.

요약하자면, 이 논문은 **"LLM 은 여전히 실제 세계의 복잡한 텍스트에서 인과 관계를 추론하는 데 실패하고 있으며, 이는 단순한 지식 부족이 아니라 추론 능력의 근본적 한계 때문이다"**는 결론을 내리고 있습니다.