기술적 요약: 빠르게 사고하고, 잘못 사고하다

문제 제기

대규모 언어 모델 (LLM) 은 합성 인과 추론 작업과 상식적 시나리오에서 높은 정확도를 보여왔으나, 실제 정책 평가에서의 신뢰성은 아직 충분히 탐구되지 않았다. 정책 평가는 종종 데이터가 일반적인 사전 기대와 모순되는 "혼란스럽고", 논쟁적이며, 자주 반직관적인 경험적 발견을 수반한다. 기존 벤치마크는 합성 인과 그래프나 추상적 논리 문제에 의존하여, 경제학 및 사회과학의 확립된 경험적 증거를 분석할 때 직관적 사전 지식을 극복하는 과제를 포착하지 못한다.

방법론

벤치마크 구성

저자들은 동료 검토를 거친 경제학 및 사회과학 문헌에서 발췌한 40 개의 경험적 정책 평가 사례로 벤치마크를 구축했다. 각 사례는 세 가지 기준을 충족한다:

1. 신뢰할 수 있는 식별 전략 (예: 차이의 차분법, 무작위 대조 시험) 을 통한 확립된 인과 효과.
2. 명확한 방향성 발견 (증가, 감소, 또는 유의미한 변화 없음).
3. LLM 학습 데이터에 존재할 가능성이 있을 만큼 충분한 주목도.

사례는 직관성에 따라 분류된다:

• 명백함: 일반적인 사전 기대와 부합함 (예: 의료보장 확대는 이용 증가를 초래함).
• 모호함: 여러 합리적인 방향이 존재함.
• 반직관적: 순진한 기대와 모순됨 (예: 늦은 유치원 픽업에 대한 벌금은 지각을 증가시킴).

벤치마크는 11 개 국가와 10 개 정책 분야를 포괄하는 14 개의 일측 검정 (YES/NO) 과 26 개의 양측 검정 (방향성 예측) 을 포함한다.

실험 설계

• 모델: GPT-5.2, Claude Sonnet 4.5, Claude Opus 4.6, GPT-4.1 등 네 가지 최첨단 LLM 을 평가했다.
• 프롬프트 전략: 조건당 10 회 반복으로 다섯 가지 전략을 테스트하여 8,000 개의 실험 시도를 도출했다:
  1. 순진함: 직접적인 질문 (시스템 1 기준선).
  2. 전문가 페르소나: 모델을 "경험 있는 계량경제학자"로 설정.
  3. 생각의 사슬 (CoT): 메커니즘과 교란 변수를 나열하기 위해 "단계별로 생각하라"고 지시.
  4. 구조화된 추론: 인과 채널을 명시적으로 열거하도록 요구하는 상세한 템플릿.
  5. 대결적 프레이밍: "효과 없음"을 시사하는 가상의 합의를 도입하여 앵커링 편향을 테스트.
• 통계 분석: 중첩된 데이터 구조를 고려하기 위해 혼합 효과 로지스틱 회귀를 사용하여 결과를 분석했다. 모델에는 모델 식별, 프롬프트 전략, 직관성 및 이들의 상호작용에 대한 고정 효과와 사례 수준 이질성을 위한 무작위 절편이 포함되었다.

주요 결과

1. CoT 역설

생각의 사슬 (CoT) 프롬프팅은 명백한 사례에서 성능을 유의미하게 향상시켰으나 (주효과 오즈비 = 17.3), 이 이점은 반직관적인 사례에서 현저히 약화되었다 (상호작용 오즈비 = 0.278, $p < 0.001$).

• 명백한 사례에서 CoT 는 정확도를 26.7% 포인트 향상시켰다.
• 반직관적인 사례에서 이득은 13.8% 포인트로 감소했다.
• 이는 CoT 가 "느린 사고"를 활성화하지만, 추론 사슬을 고정시키는 초기 직관적 사전 지식을 완전히 억제하지는 못함을 시사한다.

2. 지배적 요인으로서의 직관성

사례 수준의 분산이 모델 선택이나 프롬프트 전략의 분산을 초과했다. 사례 수준 무작위 절편의 클래스 내 상관 계수 (ICC) 는 0.671이었으며, 이는 특정 모델이나 사용된 프롬프트가 아닌 정책 사례의 구체적 성격 (그 직관성과 복잡성) 이 난이도의 주된 결정 요인임을 나타냈다.

3. 지식과 추론의 분리

인용 기반 친숙성 (학습 데이터 노출의 대리 변수) 은 정확도와 유의미한 관계가 없었다 ($p = 0.84$).

• 유치원 벌금 실험 (Gneezy & Rustichini, 2000) 과 같이 인용이 많이 된 연구조차 낮은 정확도 (39%) 를 보였다.
• 이는 모델이 단순히 암기한 사실을 암송한다는 "인과적 앵무새" 가설을 반박한다. 대신 모델은 해당 지식을 보유하고 있지만, 발견 결과가 직관과 모순될 때 이를 올바르게 추론하지 못한다.

4. 모델 성능 격차

• GPT-5.2는 다른 모델들을 크게 능가하여, 양측 반직관적 사례에서 94.5% 의 정확도를 유지했다.
• Claude Sonnet 4.5는 더 큰 Claude Opus 4.6보다 반직관적 사례에서 더 우수한 성능을 보였다 (73.5% 대 64.8%). 이는 모델 규모만으로는 직관적 사전 지식에 대한 취약성을 결정하지 않음을 시사한다.
• GPT-4.1은 반직관적 양측 사례에서 크게 어려움을 겪어 43.2% 로 떨어졌으며 (우연보다 10 포인트 높음).

5. 오류 패턴

오류는 무작위적이기보다 체계적이었다. 실제 정답이 "증가"일 때, 오류의 72% 가 "감소"를 예측했다 (방향성 반전). 이는 모델이 반대 방향을 예측하는 직관적 인과 모델을 적용하고 있음을 일관되게 보여준다. 자기 일관성 (다수결 투표) 은 반직관적 사례에서 거의 개선을 제공하지 않아, 안정적이지만 잘못된 인과 신념을 확인시켰다.

중요성과 주장

이 논문은 현재 LLM 이 "느리게 말하지만, 느리게 생각하지는 않는" 현상을 보인다고 주장한다. 이중 과정 이론 (시스템 1 대 시스템 2) 의 렌즈를 통해 저자들은 LLM 의 숙고 과정 (시스템 2) 이 직관적 사전 지식을 부분적으로만 억제한다고 주장한다. 정답이 상식과 모순될 때, 그들은 숙고적 추론의 형식은 생산하지만 그 실체는 완전히 제공하지 못한다.

주요 시사점:

• 정책 평가 위험: 약 80% 의 집계 정확도는 반직관적 사례와 같이 반사실적 추론이 가장 가치 있는 곳에서 치명적인 실패를 가린다. LLM 에 의존하는 정책 입안자들은 복잡하고 명백하지 않은 정책 효과에 대해 확신은 있지만 잘못된 지침을 받을 수 있다.
• 현재 추론의 한계: 이 발견은 단순히 "단계별" 추론을 요청하는 것만으로는 강력한 직관적 사전 지식을 극복해야 하는 작업에는 불충분함을 시사한다.
• 향후 방향: 반사실적 추론을 개선하기 위해서는 더 강력한 억제 통제, 즉 첫 번째 본능이 틀렸을 때 인식하고 초기 앵커를 넘어 추론을 지속할 수 있는 능력을 가능하게 하는 혁신이 필요할 수 있다.

이 연구는 LLM 이 인과 지식을 검색할 수는 있지만, 현재 그들의 숙고 메커니즘은 실제 정책 맥락에서 강력한 직관적 사전 지식을 완전히 극복하기에 불충분하다고 결론지었다.