Using large language models for sensitivity analysis in causal inference: cases studies on Cornfield inequality and E-value

논문 요약: 관찰 연구에서 인과 추론을 위한 민감도 분석에 대규모 언어 모델 (LLM) 활용

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 관찰 연구 (Observational Studies) 에서 노출과 결과 간의 인과 효과를 추정할 때, 측정되지 않은 교란 변수 (Unmeasured Confounding) 는 편향된 효과 추정치와 오해의 소지가 있는 결론을 초래하는 주요한 도전 과제입니다.
• 기존 방법의 한계: 측정되지 않은 교란 변수의 영향을 평가하기 위해 Cornfield 부등식과 E-value와 같은 민감도 분석 (Sensitivity Analysis) 기법이 개발되었습니다. 그러나 이러한 방법론의 계산과 해석은 임상 의사 및 학제간 연구자들에게 복잡하고 어려울 수 있습니다.
• 연구 목적: 최근 발전한 대규모 언어 모델 (LLM) 이 민감도 분석을 보조할 수 있는 접근 가능한 도구가 될 수 있는지, 그리고 그 신뢰성을 평가하는 것이 본 연구의 목적입니다.

2. 연구 방법론 (Methodology)

• 데이터 소스: 4 가지 다른 분야 (흡연, 요통, 알츠하이머병, 환경 보건) 에서 발표된 4 편의 관찰 연구를 사례 연구 (Case Study) 로 선정했습니다. 각 연구에서 노출 (Exposure), 결과 (Outcome), 측정된 교란 변수, 효과 추정치 (Effect Estimates) 를 추출했습니다.
• 평가 대상 모델: ChatGPT (mini), Claude 4.5 Opus, DeepSeek V3, Gemini-2.5-pro 등 4 가지 널리 사용되는 LLM 을 평가했습니다.
• 프롬프트 전략 (Structured Prompts):
  • LLM 에게 역학 및 인과 추론 전문가 역할을 부여하고, Cornfield 부등식과 E-value 에 대한 전문 지식을 가진 컨텍스트를 제공했습니다.
  • 3 가지 주요 평가 과제:
    1. 정량적 평가: 제공된 효과 크기 (Risk Ratio 등) 를 기반으로 E-value 를 직접 계산하도록 요청 (공식은 제공하지 않음).
    2. 정성적 평가: 계산된 E-value 와 Cornfield 부등식 관점에서 측정되지 않은 교란 변수가 관찰된 연관성을 설명할 가능성에 대해 결론 도출 ("Unlikely", "Possibly", "Highly likely").
    3. 탐색적 평가: 해당 연구의 맥락에서 측정되지 않았을 가능성이 있는 잠재적 교란 변수 3 가지를 제안하도록 요청.
• 구현: API 를 통해 추론을 수행하며, 출력의 일관성과 환각 (Hallucination) 감소를 위해 Temperature 를 0 으로 설정했습니다.

3. 주요 결과 (Results)

• E-value 계산 정확도:
  • ChatGPT, Claude, Gemini: 11 개의 모든 사례에서 원본 연구의 E-value 와 정확히 일치하는 값을 계산했습니다 (편향 0).
  • DeepSeek: -0.01 에서 0.23 사이의 작은 편향을 보였으나, 전체적인 계산 능력은 존재했습니다.
  • 의미: 명시적인 공식을 제공하지 않아도 LLM 은 효과 크기 정보를 기반으로 E-value 를 정확하게 계산할 수 있음.
• 교란 변수에 대한 견고성 (Robustness) 결론:
  • ChatGPT, Claude, Gemini 는 효과 크기와 E-value 의 크기에 따라 결론을 세분화했습니다 (예: E-value 가 큰 경우 "Unlikely", 작은 경우 "Possibly" 또는 "Highly likely").
  • 반면, DeepSeek은 효과 크기와 상관없이 거의 모든 경우에 "Possibly(가능함)"라는 일관된 결론을 내려 미세한 차이를 구별하는 데 한계가 있었습니다.
  • Claude 는 E-value 가 작을 때 (약 1.4 미만) ChatGPT 보다 더 보수적으로 "Highly likely"라고 결론짓는 경향이 있었습니다.
• 잠재적 교란 변수 제안:
  • 모든 모델이 생물학적으로 또는 역학적으로 타당한 교란 변수를 제안했습니다 (예: 흡연 연구에서의 직업적 노출, 유전적 소인 등).
  • 차이점: Claude, DeepSeek, Gemini 는 구체적인 예시 (예: "생선 섭취 빈도", "나트륨/칼륨 섭취") 를 들어 제안하는 반면, ChatGPT 는 상대적으로 포괄적이고 일반적인 용어를 사용했습니다.

4. 주요 기여 (Key Contributions)

• 최초 연구: LLM 을 사용하여 민감도 분석 (Cornfield 부등식 및 E-value) 을 수행하는 능력을 평가한 최초의 연구입니다.
• 실용적 도구 개발: 연구자들이 관찰 연구의 결과에 대한 측정되지 않은 교란 변수의 영향을 평가하는 데 사용할 수 있는 구조화된 프롬프트 전략을 개발하고 검증했습니다.
• 모델 성능 비교: 다양한 LLM 이 복잡한 통계적 계산과 역학적 추론을 수행할 수 있는 능력을 비교 분석하여, 민감도 분석 보조 도구로서의 적합성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 접근성 향상: 복잡한 민감도 분석 기법을 LLM 을 통해 접근 가능하게 함으로써, 임상 의사 및 비전문가 연구자들이 관찰 연구 결과의 신뢰성을 평가하는 데 도움을 줄 수 있습니다.
• 연구 설계 지원: LLM 이 제안한 잠재적 교란 변수는 향후 연구 설계 시 중요한 변수를 식별하는 데 활용될 수 있습니다.
• 결론: 구조화된 프롬프트를 통해 ChatGPT, Claude, Gemini 와 같은 LLM 은 E-value 계산, 교란 변수에 대한 견고성 평가, 그리고 잠재적 교란 변수 제안에 있어 효과적으로 보조할 수 있습니다. 이는 관찰 연구의 의사결정 및 연구 설계를 지원하는 유망한 도구가 될 것입니다.

참고: 본 연구는 2026 년 3 월에 arXiv 에 제출된 논문 (arXiv:2603.14273v1) 으로, 관찰 연구 (Observational Studies) 저널의 특별 호 (Cornfield 부등식 및 민감도 분석) 에 맞춰 작성되었습니다.