Abductive Reasoning with Syllogistic Forms in Large Language Models

이 논문은 연역적 추론을 넘어 가설적 추론 (Abduction) 의 관점에서 대형 언어 모델의 정확성과 편향을 평가하기 위해 삼단논형 데이터를 변환하여 분석함으로써 인간과 기계의 추론 간 차이를 이해하고 개선 방안을 모색합니다.

핵심

🕵️‍♂️ 1. 연구의 핵심: "추리"와 "증명"의 차이

우리가 세상을 이해하는 두 가지 방식이 있습니다.

• 증명 (Deduction): "모든 개는 짖는다. 이 동물은 개다. 따라서 이 동물은 짖는다."
  • 비유: 수학 문제 풀이처럼 정해진 규칙대로 답을 찾는 것입니다. 틀릴 여지가 없습니다.
• 추리 (Abduction): "이 동물은 짖는다. (왜?) 아마 이 동물은 개일 거야."
  • 비유: 형사가 단서 (짖는 소리) 를 보고 범인 (개) 을 추측하는 것입니다. 100% 확실하지는 않지만, "가장 그럴듯한 이유"를 찾아내는 과정입니다.

이 논문은 인공지능이 **수학 문제 (증명)**를 푸는 것과 **형사 추리 (추리)**를 하는 것 중 어느 쪽을 더 잘하는지, 그리고 우리가 흔히 하는 **오해 (편견)**를 인공지능도 하는지 확인했습니다.

---

🧠 2. 실험 내용: 인공지능은 어떤 사고를 할까?

연구진은 인공지능에게 두 가지 유형의 문제를 냈습니다.

1. 증명 문제: "모든 A 는 B 이다. 이 C 는 A 이다. 결론은?" (정답이 명확함)
2. 추리 문제: "모든 A 는 B 이다. 이 C 는 B 이다. (왜?) 아마 C 는 A 일 것이다." (가장 그럴듯한 이유를 고르거나, "아무것도 아니다"라고 답해야 함)

또한, 문제의 내용이 상식과 맞는지 (일치), 상식과 어긋나는지 (불일치), 중립적인지에 따라 인공지능의 반응을 살폈습니다.

• 예시 (불일치): "모든 설탕집에서 만든 케이크는 매운맛이다. 이 케이크는 설탕집에서 만들었다. 따라서 이 케이크는 매운맛이다." (상식적으로 틀린 말이지만 논리적으로는 맞음)

---

📉 3. 놀라운 결과: 인공지능은 '추리'를 못 한다?

일반적으로 인공지능은 인간의 일상 대화 (추리) 를 많이 배웠을 테니, 추리 능력이 증명 능력보다 나을 거라고 생각했습니다. 하지만 결과는 정반대였습니다.

• 증명 (수학 문제) 은 잘함: 인공지능은 규칙이 명확한 증명 문제를 꽤 잘 풀었습니다.
• 추리 (형사 추리) 는 못함: "가장 그럴듯한 이유"를 찾거나, "아무것도 아니다 (Neither)"라고 답해야 하는 문제에서는 매우 엉뚱한 답을 내놓았습니다.

🎯 핵심 발견:
인공지능은 **"아무것도 아니다 (Neither)"**라는 답을 고르는 것을 극도로 싫어했습니다.

• 비유: 인공지능은 마치 **"무조건 무언가를 추측해서 답을 내야 한다"**는 강박에 시달리는 형사 같습니다. "범인이 없다"는 사실을 인정하기보다, "아마 범인이 저기 있을 거야"라고 억지로 추측해버리는 것입니다.

---

🤖 4. 인공지능의 '인간 같은' 버릇: 편견 (Bias)

인공지능은 논리적으로 틀린 문제라도 상식과 일치하면 "맞다"고 하고, 상식과 어긋나면 "틀리다"고 했습니다.

• 상황: 논리적으로 맞는 말이지만, "모든 새는 날 수 없다"는 식의 상식에 반하는 내용이 나오면 인공지능은 논리를 무시하고 "틀렸어!"라고 답했습니다.
• 의미: 인공지능도 인간처럼 **논리보다는 '내 느낌 (편견)'**을 더 믿는다는 뜻입니다. 이는 인공지능이 인간의 사고방식을 너무 잘 닮았다는 반증이기도 합니다.

---

💡 5. 결론 및 시사점: 인공지능은 아직 '형사'가 아니다

이 연구는 다음과 같은 중요한 점을 알려줍니다.

1. 인공지능은 '증명'은 잘하지만 '추리'는 서툴다: 논리적 규칙을 따르는 것은 잘하지만, 불완전한 정보에서 새로운 가설을 만들어내는 창의적인 추리는 아직 인간보다 훨씬 부족합니다.
2. 인간과 똑같은 실수를 한다: 인공지능도 우리가 흔히 하는 '상식 편향'을 그대로 답습합니다.
3. 향후 과제: 인공지능이 진짜로 인간처럼 생각하려면, 단순히 정답을 맞추는 것을 넘어 **"왜?"라는 질문에 대한 설명 (가설 생성)**을 잘할 수 있어야 합니다.

한 줄 요약:

"인공지능은 수학 시험 (증명) 은 잘 보지만, 형사 추리 (추리) 는 아직 초보 수준이며, 우리 인간처럼 '상식'에 너무 의존해서 논리를 망각하는 버릇도 가지고 있다."

이 연구는 인공지능이 단순히 지식을 암기하는 것을 넘어, 인간처럼 유연하게 추론하고 설명할 수 있는 단계로 가기 위해 무엇을 개선해야 하는지 보여주는 중요한 이정표입니다.

기술 요약

제시된 논문 "Abductive Reasoning with Syllogistic Forms in Large Language Models"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• LLM 의 추론 편향: 대규모 언어 모델 (LLM) 은 인간과 유사한 추론 편향 (예: 상식과 모순되는 논리적으로 유효한 추론을 거부하는 '신념 편향') 을 보인다는 기존 연구들이 존재합니다.
• 연역적 추론의 한계: 기존 연구는 주로 **연역적 추론 (Deduction)**에 초점을 맞추고 있습니다. 그러나 인간의 일상적 추론은 연역뿐만 아니라 제한된 정보로부터 가설을 도출하는 **귀납적 추론 (Abduction)**도 포함합니다.
• 연구의 필요성: LLM 이 일상 언어로 학습되었기 때문에 연역적 추론에서의 편향을 비판하는 것은 불공정할 수 있습니다. 따라서 LLM 이 귀납적 추론 (Abduction) 능력을 어떻게 수행하는지, 그리고 인간과 유사한 편향이 귀납적 추론에서도 나타나는지 규명하는 것이 중요합니다. 이는 설명 가능한 AI(XAI) 와 지식 획득 능력 평가에 필수적입니다.

2. 방법론 (Methodology)

2.1. 귀납적 추론의 정의 및 데이터셋 구축

• 피어스 (Peirce) 의 삼단논법 프레임워크: 논리는 피어스의 정의를 따르며, 연역적 삼단논법 (Major Premise, Minor Premise, Conclusion) 의 구조를 반대로 뒤집어 귀납적 추론을 정의했습니다.
  • 규칙 (Rule): Major Premise (예: 모든 A 는 B 이다)
  • 관찰 (Observation): Conclusion (예: 이 C 는 B 이다)
  • 가설 (Hypothesis): Minor Premise (예: 이 C 는 A 이다)
  • 주의: 이는 논리적으로 '결론을 긍정하는 오류 (Affirming the Consequent)'에 해당하지만, 귀납적 추론의 핵심 형태입니다.
• 데이터셋 구성:
  • 항 (Terms) 생성: 관찰 가능 속성 (예: '흰색') 과 관찰 불가능 속성 (예: '가방 안에 있었다') 을 구분하여 27 개의 용어 조합을 수동으로 생성했습니다.
  • 문제 유형: 8 가지 추론 패턴 (올바른 귀납 4 가지, 잘못된 귀납 4 가지) 을 적용하여 총 216 개의 문제를 생성했습니다.
  • 신념 편향 레이블: 규칙 (Rule) 이 상식과 일치하는지 여부에 따라 **일관 (Consistent), 불일치 (Inconsistent), 중립 (Neutral)**으로 분류했습니다.
  • 비교 대상: 동일한 데이터를 기반으로 연역적 추론 (Premise → Conclusion) 과 귀납적 추론 (Rule + Observation → Hypothesis) 과제를 모두 구성하여 비교했습니다.

2.2. 실험 설정

• 평가 모델: GPT-3.5, GPT-4, Llama-3-8B, Llama-3-70B 등 4 가지 최신 LLM 을 평가했습니다.
• 학습 방식: 모델 파라미터 수정 없이 In-context Learning (Zero-shot 및 Few-shot) 방식을 사용했습니다.
• 작업 태스크:
  • 귀납 과제: 규칙과 관찰을 바탕으로 가장 타당한 가설을 선택 (가설 H, H 의 부정, 둘 다 아님 중 선택).
  • 연역 과제: 두 명제를 바탕으로 결론을 선택.

3. 주요 결과 (Results)

3.1. 성능 비교 (연역 vs 귀납)

• 전반적 성능: 모든 모델에서 연역적 추론 과제가 귀납적 추론 과제보다 성능이 훨씬 높았습니다.
  • 예: Few-shot 설정에서 GPT-4 는 연역 과제에서 95.83% 정확도를 보인 반면, 귀납 과제에서는 28.70% 에 그쳤습니다.
  • Llama-3-70B 만이 Few-shot 설정에서 귀납 과제에서 약 75% 의 높은 정확도를 보였으나, 여전히 연역 (84.72%) 보다는 낮았습니다.
• Zero-shot 성능: Zero-shot 환경에서는 모든 모델의 귀납 추론 성능이 매우 낮았으며 (GPT-4 기준 약 42%), 특히 정답이 '둘 다 아님 (Neither)'인 경우를 해결하는 데 극도로 어려움을 겪었습니다.

3.2. 편향 분석

• 신념 편향 (Belief Bias): 귀납적 추론에서도 인간과 유사한 신념 편향이 관찰되었습니다. 규칙이 상식과 일치하는 (Consistent) 문제의 정확도가 불일치 (Inconsistent) 문제보다 높았습니다.
• 부정 (Negative) 선택 경향: 귀납 과제에서 정답이 '둘 다 아님'인 경우, 모델들은 논리적 타당성 없이 부정형 (Negative) 가설을 선택하는 경향이 강했습니다. 특히 규칙이나 관찰문에 '아니다 (No/Not)'가 포함되면, 이를 부정형 가설로 연결하는 '대기 효과 (Atmosphere Effect)'가 연역 과제보다 귀납 과제에서 더 두드러지게 나타났습니다.
• 연역적 사고의 간섭: LLM 이 귀납 문제를 풀 때, 마치 연역 문제처럼 접근하려는 경향이 있었습니다. (예: "전건 긍정" 형태를 연역적으로 해석하여 잘못된 가설을 선택). 하지만 완전한 연역 문제와 일치하지는 않아, 귀납과 연역의 혼재된 오류를 보였습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 데이터셋: 삼단논법 형식을 기반으로 한 귀납적 추론 전용 데이터셋을 최초로 구축하고 공개했습니다. 이는 기존 연역적 추론 중심의 평가를 넘어선 것입니다.
2. 귀납 추론의 LLM 성능 평가: LLM 이 일상적 추론에 더 가까운 귀납적 추론에서 연역적 추론보다 훨씬 낮은 성능을 보인다는 놀라운 사실을 발견했습니다. 이는 LLM 이 '가설 생성' 능력보다는 '논리적 필연성'에 더 의존하고 있음을 시사합니다.
3. 편향의 보편성 확인: 귀납적 추론에서도 인간과 유사한 신념 편향과 논리적 오류 (부정 선택 경향 등) 가 발생함을 증명하여, LLM 의 추론 편향이 추론 유형에 국한되지 않음을 밝혔습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인간 - AI 인지 격차 이해: 인간은 귀납적 추론이 더 자연스럽다고 예상되지만, LLM 은 오히려 연역적 추론에 더 강점을 보입니다. 이는 LLM 이 자연어 데이터에서 '가설 생성'보다는 '규칙 기반의 결론 도출' 패턴을 더 많이 학습했음을 시사합니다.
• XAI 및 지식 획득: 귀납적 추론 능력은 LLM 이 새로운 지식을 발견하고 '왜 (Why)'라는 질문에 답하는 설명 가능한 AI 를 구현하는 데 필수적입니다. 본 연구는 LLM 이 이러한 능력을 아직 충분히 갖추지 못했음을 지적하며 향후 개선 방향을 제시합니다.
• 향후 연구 방향: 단순한 삼단논법 형식을 넘어 확률적 (Bayesian) 접근, 더 복잡한 조건부 추론, 그리고 인간과 LLM 의 귀납 추론 능력을 직접 비교하는 연구가 필요함을 강조합니다.

이 논문은 LLM 의 추론 능력을 평가할 때 연역적 논리뿐만 아니라 귀납적 추론과 인간의 인지 편향을 함께 고려해야 함을 강력하게 주장합니다.