Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference

이 논문은 Simpson 의 역설이나 선택 편향과 같은 통계적 함정을 식별하고 해결하는 능력을 평가하기 위해 'CausalPitfalls'라는 새로운 벤치마크를 제안하고, 이를 통해 현재 대규모 언어 모델 (LLM) 이 인과 추론에서 심각한 한계를 보임을 입증합니다.

핵심

아이스크림이 익사 사고를 유발할까요?

LLM(거대 언어 모델) 의 통계적 함정 테스트 보고서

이 논문은 **"인공지능이 진짜로 '원인과 결과'를 이해할 수 있을까?"**라는 아주 중요한 질문을 던집니다. 저자들은 최신 AI 모델들이 복잡한 통계적 함정에 얼마나 쉽게 넘어가는지 테스트하기 위해 **'CausalPitfalls(인과 함정)'**라는 새로운 시험지를 만들었습니다.

이 내용을 일반인도 쉽게 이해할 수 있도록 비유와 일상적인 예시로 설명해 드릴게요.

---

1. 핵심 문제: "아이스크림이 익사를 부른다?"

우리가 흔히 하는 실수가 있습니다. "여름에 아이스크림을 많이 팔면, 수영장에서 익사 사고도 많이 난다"는 데이터를 보면, AI 나 사람은 쉽게 **"아이스크림이 사람을 익사하게 만든다!"**라고 결론 내릴 수 있습니다.

하지만 진짜 이유는 더운 날씨입니다. 날씨가 더우면 아이스크림도 많이 사고, 수영도 많이 하니까 익사 사고도 늘어나는 거죠. AI 는 이 '숨겨진 진짜 이유 (공변인)'를 찾아내지 못하고, 표면적인 데이터만 보고 엉뚱한 결론을 내립니다.

이 논문은 **"AI 가 이런 함정에 빠지지 않고, 진짜 원인을 찾아낼 수 있는가?"**를 테스트합니다.

2. 새로운 시험지: 'CausalPitfalls'

기존의 AI 시험들은 "이 문장에서 A 가 B 를 원인인가?"처럼 단순한 의미 파악을 요구했습니다. 하지만 이 논문은 훨씬 더 까다로운 통계학자의 시험지를 만들었습니다.

• 시험 내용: 6 가지 주요 함정 (예: Simpson 의 역설, 선택 편향 등) 과 15 가지 구체적인 상황, 총 75 개의 문제.
• 난이도: 아주 쉬운 문제부터, 힌트 없이 스스로 모든 걸 찾아내야 하는 '매우 어려움'까지.
• 데이터: 실제 숫자 데이터 (표) 를 주고, AI 에게 "이 데이터를 보고 치료약이 효과가 있는지 분석해 봐"라고 요청합니다.

3. 두 가지 시험 방식: "머리만 쓰는 것" vs "계산기를 쓰는 것"

연구팀은 AI 를 두 가지 방식으로 시험했습니다.

1. 직접 질문 (Direct Prompting): AI 에게 데이터를 보여주고 "너의 머리로만 분석해 봐"라고 합니다. (AI 의 직관력 테스트)
2. 코드 보조 질문 (Code-Assisted Prompting): AI 에게 "파이썬 코드를 짜서 직접 숫자를 계산해 봐. 그다음 결과를 보고 답해"라고 합니다. (AI 의 계산 능력과 논리 테스트)

4. 충격적인 결과: AI 는 여전히 "통계학자"가 아닙니다

시험 결과는 다소 실망스러웠습니다.

• 표면적인 지능: AI 는 말은 잘하지만, 숫자 데이터가 주는 '진짜 신호'를 놓치는 경우가 많았습니다.
  • 예시: 같은 데이터인데, 음료수 이름만 '건강 (HealthPlus)'으로 바꾸면 "좋다"고 하고, '초당 (UltraSugar)'으로 바꾸면 "나쁘다"고 결론 내렸습니다. 데이터는 똑같은데, AI 는 이름 (브랜드) 에 속은 것입니다.
  • 예시: 우연히 발생한 무작위 데이터 패턴을 보고 "성별 차별이 있다!"라고 확신에 차서 결론 내리기도 했습니다.
• 코드 사용의 효과: AI 가 직접 코드를 짜서 계산하게 하면 성능이 조금 나아졌습니다. 하지만 여전히 어려운 문제 (예: 복잡한 인과 관계, 다른 지역으로의 적용) 에서는 실패율이 높았습니다.
  • 비유: AI 가 계산기 (코드) 를 쓰면 실수는 줄지만, 계산기 사용법 자체를 몰라 틀리는 경우도 많았습니다.

5. 결론 및 시사점

이 연구는 **"현재의 AI 는 의료, 정책, 경제 같은 중요한 결정을 내릴 때, 통계적 함정에 빠질 위험이 매우 크다"**는 것을 보여줍니다.

• AI 는 '의사'가 될 수 있지만, '통계학자'는 아직 아닙니다.
• AI 가 신뢰할 수 있는 결론을 내리려면, 단순히 말로만 분석하게 하는 게 아니라 정확한 계산 도구 (코드) 를 사용하게 하고, 그 결과를 꼼꼼히 검증해야 합니다.
• 앞으로는 AI 가 이런 함정을 피하도록 훈련시키는 것이 중요해졌습니다.

요약

이 논문은 **"AI 가 숫자를 볼 때, 아이스크림과 익사 사고의 관계를 혼동하지 않도록 도와주는 시험지"**를 만들었습니다. 결과는 **"AI 는 아직 통계학 수업을 더 들어야 한다"**는 것입니다. AI 가 우리 삶에 깊게 관여하려면, 이런 함정을 피하는 '진짜 지능'을 갖춰야 합니다.

기술 요약

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 과학적 문제 해결 및 임상적 추론에서 유망한 성과를 보이고 있지만, 엄격한 통계적 인과 추론 (Statistical Causal Inference) 을 수행하는 능력은 여전히 불명확합니다.

• 현재의 한계: 기존 벤치마크들은 단순한 의미적 인과 관계 식별이나 원시 데이터로부터 직접 결론을 도출하는 단순한 작업에 집중해 왔습니다.
• 핵심 문제: 이러한 단순화된 평가는 LLM 이 심슨의 역설 (Simpson's paradox), 선택 편향 (Selection bias), 교란 변수 (Confounding) 와 같은 중요한 통계적 함정 (Pitfalls) 을 간과하게 만듭니다.
• 위험성: LLM 은 데이터의 실제 증거를 무시하고 표면적인 의미적 단서 (예: 브랜드 이름) 에 의존하거나, 무작위 변동을 인과 구조로 오인하여 신뢰할 수 없는 결론을 내릴 수 있습니다. 이는 의료, 경제, 공공 정책 등 고위험 분야에서 치명적인 오류를 초래할 수 있습니다.

2. 방법론 (Methodology)

저자들은 LLM 의 인과 추론 신뢰성을 평가하기 위해 CausalPitfalls라는 새로운 종합 벤치마크를 제안했습니다.

A. 벤치마크 구성 (CausalPitfalls Benchmark)

• 범주 및 도전 과제: 6 가지 주요 인과 추론 함정 카테고리와 15 가지 구체적인 도전 과제로 구성되었습니다.
  1. 교란 편향 및 허위 상관관계: 심슨의 역설, 선택 편향 (Berkson's paradox) 등.
  2. 개입 및 실험적 추론: 관찰 데이터 vs 실험 데이터 구분, 인과 효과 추정.
  3. 반사실적 추론 (Counterfactuals): 가설적 상황下的 결과 예측, 인과적 필요성/충분성 평가.
  4. 매개 및 간접 인과 효과: 매개 변수 - 결과 교란, 순차적 매개, 치료 - 매개 상호작용.
  5. 인과 발견 및 구조 학습: 인과 방향 추론, 구조적 불확실성 처리.
  6. 인과 일반화 및 외부 타당성: 인구 이동, 시간적 안정성, 맥락적 상호작용, 도메인 이동.
• 데이터셋: 각 도전 과제당 5 개의 데이터셋 (총 75 개) 을 생성했습니다. 각 데이터셋은 500 개 이상의 샘플을 포함하며, Pearl 의 do-calculus 또는 Neyman-Rubin 잠재 결과 프레임워크에 기반한 구조적 인과 모델 (SCM) 을 사용하여 생성되었습니다.
• 난이도: 각 과제는 "매우 쉬움"부터 "매우 어려움"까지 5 단계 난이도로 구성되었으며, 난이도가 높아질수록 힌트 (예: 교란 변수 명시) 가 제거됩니다.

B. 평가 프로토콜 (Evaluation Protocols)

LLM 의 능력을 두 가지 방식으로 평가했습니다.

1. 직접 프롬프팅 (Direct Prompting): 모델이 원시 데이터를 바탕으로 계산 도구 없이 직접 인과 추론을 수행하도록 요청합니다. (내재적 추론 능력 평가)
2. 코드 보조 프롬프팅 (Code-Assisted Prompting): 모델이 통계 분석을 수행할 수 있는 실행 가능한 Python 코드를 생성하고, 그 결과를 해석하여 답변하도록 요청합니다. (계산 기반 추론 능력 평가)

C. 평가 지표

• 인과 신뢰도 (Causal Reliability): 각 과제의 정규화된 점수 (Normalized Score) 평균으로 정의됩니다.
• 자동 평가 및 검증: GPT-4o 를 독립적인 채점자로 사용하여 자동 채점을 수행했으며, 3 명의 통계학 박사 과정 학생이 150 개의 샘플을 수동 채점하여 자동 평가의 정확성을 검증했습니다 (평균 격차 0.11).

3. 주요 기여 (Key Contributions)

1. CausalPitfalls 벤치마크 도입: 단순한 정확도가 아닌, LLM 이 통계적 함정에 얼마나 취약한지를 평가하는 최초의 종합적인 벤치마크를 제시했습니다.
2. 이중 프로토콜 평가: LLM 의 내재적 추론 능력과 코드 보조를 통한 계산적 추론 능력을 비교 분석하여, 어떤 상황에서 계산 도구가 도움이 되는지 규명했습니다.
3. 정량적 신뢰도 지표: "인과 신뢰도"라는 새로운 지표를 도입하여 LLM 의 인과 추론 신뢰성을 표준화된 방식으로 비교할 수 있는 틀을 마련했습니다.

4. 결과 및 분석 (Results & Analysis)

10 개의 LLM (GPT-o4-mini, Deepseek-chat, Claude-3.5, Llama 시리즈 등) 을 대상으로 실험한 결과는 다음과 같습니다.

• 전반적인 성능 부족: 모든 모델에서 인과 추론 신뢰도가 낮았습니다. 가장 성능이 좋은 모델 (GPT-o4-mini) 의 평균 신뢰도조차 코드 보조 시 약 43% 에 불과했습니다. 특히 "매우 어려움" 난이도에서는 대부분의 모델이 30% 미만의 점수를 기록했습니다.
• 코드 보조의 효과:
  • 강력한 모델 (GPT-o4-mini, Deepseek-chat 등) 은 코드 보조를 통해 성능이 크게 향상되었습니다 (예: GPT-o4-mini 는 40.72% → 43.03%).
  • 반면, 약한 오픈소스 모델 (Mistral-7b, Llama-8b 등) 은 코드 생성 오류로 인해 오히려 성능이 하락하거나 변화가 없었습니다. 이는 모델이 코드를 올바르게 생성하고 해석할 수 있어야만 계산 도구의 이점을 누릴 수 있음을 시사합니다.
• 난이도 영향: 질문이 어려워질수록 (힌트가 줄어들수록) 모든 모델의 성능이 급격히 떨어졌습니다.
• 실패 사례 분석:
  • 브랜드 편향 (Branding Bias): 동일한 데이터라도 음료수 라벨을 "HealthPlus"로 바꾸면 유익하다고, "UltraSugar"로 바꾸면 해롭다고 결론 내리는 등 표면적 의미에 과도하게 의존했습니다.
  • 허위 인과 추론: 네덜란드의 연구 자금 지원 데이터에서 성별 편향이 있다는 잘못된 결론을 내렸으나, 실제 통계 분석 (Irizarry, 2019) 에 따르면 이는 무작위 변동에 불과함이 밝혀졌습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰성 격차 확인: 현재 LLM 은 고위험 인과 추론 작업에 직접 적용하기에는 신뢰성이 부족하며, 교란 편향, 의미적 편향, 일반화 실패 등 체계적인 취약점을 가지고 있습니다.
• 실행 가능한 분석의 중요성: LLM 이 복잡한 통계적 도전을 처리하고 신뢰할 수 있는 인과 결론을 도출하려면 실행 가능한 코드 생성 및 분석이 필수적임이 입증되었습니다.
• 미래 방향: 이 벤치마크는 LLM 의 인과 추론 능력을 향상시키기 위한 파인튜닝 전략 개발, 신뢰할 수 있는 AI 시스템 구축, 그리고 더 정교한 인과 추론 (예: 도구 변수 분석, 잠재 교란 변수 처리) 연구에 대한 중요한 가이드라인을 제공합니다.

이 논문은 LLM 이 단순히 "지식"을 가지고 있다고 해서 통계적으로 엄밀한 인과 추론을 할 수 있는 것은 아니며, 체계적인 벤치마크와 계산적 보조 도구의 결합이 필요함을 강력하게 주장합니다.