Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 복잡한 추론 과제를 해결하는 능력이 향상되고 있지만, 그들이 논리적 오류를 범할 때 그 오류가 인간의 인지적 편향 (fallacy) 패턴과 일치하는지 여부는 명확하지 않았습니다. 기존 연구들은 LLM 이 인간과 유사한 오류를 범할 수 있음을 시사했으나, 이를 체계적이고 이론적으로 검증하는 도구가 부족했습니다.

이 논문은 "LLM 이 논리적 오류를 범할 때, 그 오류가 인간 추론의 체계적인 실수 패턴 (특히 질문적 추론 이론, ETR 에 의해 예측된 패턴) 과 일치하는가?" 라는 핵심 질문을 던집니다. 또한, 모델의 능력 (Capability) 이 향상됨에 따라 이러한 인간 유사 오류의 비율이 어떻게 변하는지, 그리고 전체적인 논리적 정확도는 어떤 상관관계를 보이는지 규명하고자 합니다.

2. 방법론 (Methodology)

2.1 이론적 기반: 질문적 추론 이론 (Erotetic Theory of Reasoning, ETR)

• ETR 개요: 인간의 추론이 새로운 정보를 받아들이면서 배제적 대안 (disjunctive alternatives) 을 유지하고 필터링하는 과정으로 설명되는 이론입니다. 이 필터링 과정에서 관련 대안이 너무 일찍 제거되면 체계적인 논리적 오류 (fallacy) 가 발생합니다.
• PyETR: ETR 의 오픈소스 구현체로, 논리적으로 정의된 추론 문제를 생성하고 ETR 이 특정 오류를 예측하는지 시뮬레이션할 수 있습니다.

2.2 데이터 생성 및 처리

• 문제 생성: PyETR 을 사용하여 383 개의 공식적으로 지정된 추론 문제를 생성했습니다.
  • 기존 ETR 텍스트 (Koralus, 2022) 의 템플릿 (Modus Ponens, Disjunction Fallacy 등) 을 기반으로 합니다.
  • Mutation Functions: 기존 문제에 단언 (predicate), 상수 (constant), 변수 등을 추가하거나 수정하는 mutation 함수를 적용하여 무한히 재생성 가능한 합성 데이터셋을 구축했습니다.
  • 중요 조건: 생성된 문제는 ETR 이 논리적 오류를 예측하고, 그 오류가 논리적으로 틀린 결론이어야 합니다.
• 자연어 매핑: 데이터 오염 (contamination) 을 방지하고 일반화 능력을 테스트하기 위해, 12 가지 다른 주제 (카드 게임, 원소, 행성, 마법 생물 등) 를 사용하여 논리식을 자연어 프롬프트로 변환했습니다.

2.3 실험 설정

• 모델 평가: Mistral 7B 에서 GPT-4.5, Claude 3.7 에 이르기까지 총 38 개의 다양한 LLM 을 평가했습니다.
• 성능 지표: 모델의 능력을 나타내는 대리 지표로 Chatbot Arena Elo 점수를 사용했습니다.
• 평가 프로세스:
  1. 모델이 생성한 답변을 논리적으로 올바른지 (Logical Correctness) 판단.
  2. 틀린 답변 중 ETR 이 예측한 인간 유사 오류 (ETR-predicted fallacy) 에 해당하는지 분류.
  3. Fallacy Rate: 전체 논리적 오류 중 ETR 예측 오류가 차지하는 비율을 계산.

3. 주요 기여 (Key Contributions)

1. 통계적 상관관계 발견: 모델의 능력 (Chatbot Arena Elo) 이 증가할수록, 논리적으로 틀린 답변 중 ETR 이 예측한 인간 유사 오류의 비율이 유의미하게 증가한다는 것을 처음 통계적으로 입증했습니다.
2. PyETR 의 대규모 적용: PyETR 을 LLM 평가에 적용하여, 데이터 오염에 강인하고 무한히 재생성 가능한 합성 추론 테스트 파이프라인을 구축했습니다.
3. 새로운 평가 관점 제시: 단순한 '정답률 (Accuracy)'이 아닌, '오류의 구성 (Error Composition)'을 분석함으로써 모델의 추론 메커니즘에 대한 새로운 통찰을 제공했습니다.

4. 실험 결과 (Results)

4.1 능력과 오류 유형의 상관관계

• 주요 발견: 모델의 Elo 점수가 높을수록 (능력이 좋을수록), 논리적으로 틀린 답변 중 인간 유사 오류 (ETR fallacy) 가 차지하는 비율이 증가했습니다.
  • 피어슨 상관계수: $\rho = 0.360$, $p = 0.0265$ (통계적 유의성 있음).
  • 이는 모델이 더 똑똑해질수록, 단순히 무작위 실수를 하는 것이 아니라 인간과 유사한 체계적인 추론 오류를 범할 가능성이 높아짐을 의미합니다.
• 전체 정확도와의 관계: 흥미롭게도 모델의 Elo 점수와 전체적인 논리적 정확도 (Overall Correctness) 사이에는 유의미한 상관관계가 없었습니다 ($r \approx 0.004$). 즉, 모델이 더 강력해져도 이 특정 추론 태스크에서의 정답률은 크게 개선되지 않았습니다.

4.2 다른 능력 지표와의 검증

• 훈련 컴퓨팅 자원 (Epoch AI 추정치) 과 HELM 벤치마크 점수 등 다른 능력 지표에서도 유사한 상관관계 (Spearman $\rho = 0.489$, $p = 0.0334$) 가 확인되어 결과의 견고성을 입증했습니다.

4.3 전제 순서 효과 (Premise Order Effect)

• 인간은 전제 제시 순서에 따라 추론 결과가 달라지는 비논리적 경향 (Order Effect) 을 보입니다.
• 실험 결과, 많은 LLM 모델에서 전제 순서를 반전시켰을 때 ETR 예측 오류 발생률이 유의미하게 감소했습니다. 이는 LLM 이 인간과 유사하게 전제 순서에 민감하게 반응하며, 순서 변경이 오류를 차단 (fallacy blocking) 할 수 있음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 스케일링의 역설: 모델의 규모와 능력이 커진다고 해서 항상 더 규범적 (normative) 으로 올바른 추론을 하는 것은 아닙니다. 오히려 더 강력한 모델일수록 인간의 인지적 편향을 더 잘 모방하는 오류 패턴을 보입니다.
• 평가 패러다임의 전환: LLM 의 추론 능력을 평가할 때 정답률만 보는 것이 아니라, 어떤 종류의 오류를 범하는지 (Error Composition) 를 분석하는 것이 중요합니다.
• 실용적 함의: 의료, 법률, 의사결정 지원 등 고위험 분야에서 LLM 을 배포할 때, 모델이 인간과 유사한 추론 오류를 범할 가능성을 고려해야 합니다.
• 향후 연구: 발견된 오류 패턴을 기반으로 모델을 훈련시켜 인간 유사 오류를 방지하거나, 프롬프트 엔지니어링 및 아키텍처 수정을 통해 이러한 오류를 완화하는 연구가 필요함을 제안합니다.

이 논문은 LLM 이 단순히 "더 똑똑해"지는 것이 아니라, "인간과 더 비슷하게 (실수까지 포함해)" 사고하는 경향이 있음을 이론적으로 입증한 중요한 연구입니다.