Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models

이 논문은 대규모 언어 모델 (LLM) 이 인간과 유사한 확인 편향을 보이며 가설 탐색 능력을 저해한다는 사실을 규명하고, 인간 심리학에서 개발된 개입 전략을 적용하여 이를 완화하고 추론 성능을 향상시킬 수 있음을 입증합니다.

핵심

🕵️‍♂️ 1. 문제: "맞는 증거만 찾는 탐정" (확증 편향)

상상해 보세요. 여러분이 어떤 비밀스러운 규칙을 찾아야 하는 게임에 참여했다고 칩시다.

• 시작: "2, 4, 6"이라는 숫자 세 개가 규칙에 맞다고 알려줍니다.
• 추측: 여러분은 "아마도 짝수일 거야!"라고 추측합니다.
• 실수 (확증 편향): 이때 여러분은 "8, 10, 12"를 시험해 봅니다. 결과는 "맞습니다 (YES)"입니다. 여러분은 기뻐하며 "봐! 내 말이 맞았잖아!"라고 생각합니다.
• 진짜 규칙: 사실 이 게임의 진짜 규칙은 "오르막 (증가하는) 숫자"였습니다. "2, 4, 6"도 맞고, "8, 10, 12"도 맞지만, "1, 2, 3"도 맞습니다.
• 결과: 여러분은 '짝수'라는 틀린 규칙을 고집하며, '1, 2, 3'처럼 내 추측을 반박할 수 있는 숫자를 시도해 보지 않았습니다. 그래서 진짜 규칙을 찾지 못하고 게임에 졌습니다.

이게 바로 **확증 편향 (Confirmation Bias)**입니다. 자신의 믿음을 확인해 주는 '예 (YES)'만 찾고, 믿음을 깨뜨릴 수 있는 '아니오 (NO)'를 피하는 성향입니다.

이 연구는 **인공지능 (LLM) 도 똑같은 실수를 하는가?**를 확인했습니다.

🤖 2. 실험 결과: AI 도 인간처럼 실수했다

연구진은 다양한 크기의 AI 모델 11 개를 이 게임에 시켰습니다. 결과는 충격적이었습니다.

• AI 의 행동: AI 도 인간처럼, 자신이 추측한 규칙을 '확인'해 주는 숫자만 계속 던졌습니다.
• 결과: AI 가 진짜 규칙을 찾아낸 확률은 매우 낮았습니다 (평균 42% 미만). 특히 "생각하는 과정 (추론) 을 거치는" 최신 AI 일수록 이 편향이 덜했지만, 여전히 인간처럼 '틀림을 확인하는 시도'를 기피했습니다.
• 교훈: AI 가 똑똑해졌다고 해서, '틀릴까 봐 두려워해서' 새로운 시도를 안 하는 습관은 사라지지 않았습니다.

💡 3. 해결책: "거꾸로 생각하기" 훈련

그럼 어떻게 고칠까요? 연구진은 인간 심리학에서 쓰던 두 가지 '약'을 AI 에게 먹여보았습니다.

1. 상상력 훈련 (Think-in-Opposites): "네가 지금 '짝수'라고 생각했잖아? 그럼 반대인 '홀수'를 한번 넣어봐. 만약 홀수도 규칙에 맞다면, 너의 '짝수' 가설은 틀린 거야!"라고 AI 에게 지시했습니다.
2. 두 가지 목표 (Dual-Goal): "정답 (DAX) 을 찾는 것뿐만 아니라, **정답이 아닌 것 (MED)**을 찾아내는 것도 동시에 해봐!"라고 시켰습니다.

결과: 이 지시 (프롬프트) 를 주니 AI 의 실수가 크게 줄었습니다!

• 규칙을 찾아낸 확률이 42% 에서 56% 로 크게 올랐습니다.
• AI 가 "아, 내 생각이 틀렸을 수도 있구나"라고 생각하며 반대되는 숫자를 던지는 횟수가 늘어났습니다.

🧬 4. 영구적인 해결: AI 의 뇌에 '약'을 주입하다 (지식 증류)

하지만 매번 "거꾸로 생각해!"라고 지시하는 건 귀찮습니다. 연구진은 더 멋진 방법을 썼습니다.

• 비유: AI 가 '거꾸로 생각하기'를 잘하는 모습을 보고, 그 행동 패턴을 AI 의 뇌 (모델) 자체에 새겨 넣는 것입니다. 마치 유전자를 편집하듯, AI 가 스스로 반박적인 실험을 하도록 '학습'시킨 거죠.
• 효과: 이제 AI 는 지시 없이도 스스로 "내 가설이 틀릴 수 있으니, 반대되는 것을 시험해 봐야겠다"라고 생각하게 되었습니다.
• 확장성: 숫자 게임에서 배운 이 '바른 사고방식'이 완전히 새로운 게임 (물체와 기계의 관계를 찾는 '블리켓 테스트') 에도 적용되었습니다. AI 는 새로운 상황에서도 편향을 줄이고 더 잘 풀었습니다.

🌟 5. 결론: 왜 이 연구가 중요한가?

이 연구는 우리에게 중요한 메시지를 줍니다.

1. AI 는 인간과 비슷하다: AI 도 우리가 가진 심리적 약점 (확증 편향) 을 그대로 가지고 있습니다.
2. 고칠 수 있다: 인간의 심리학 지식을 AI 에게 적용하면, AI 가 더 똑똑하고 논리적으로 생각할 수 있습니다.
3. 미래의 AI: 우리는 AI 에게 단순히 "정답을 알려줘"라고 시키는 것을 넘어, **"틀릴 수 있음을 인정하고 검증하는 방법"**을 가르쳐야 더 신뢰할 수 있는 AI 를 만들 수 있습니다.

한 줄 요약:

"AI 가 '내 말이 맞다'는 증거만 찾다가 미친 듯이 헤매는 것을 막기 위해, '틀릴 수도 있다'는 생각을 AI 의 뇌에 심어주니, AI 가 훨씬 똑똑해졌다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 확증 편향 (Confirmation Bias): 인간은 자신의 신념을 지지하는 증거를 찾고, 반박하는 증거를 회피하는 경향이 있습니다. 이는 비효율적인 학습과 의사결정을 초래합니다.
• LLM 의 문제: LLM 이 에이전트 (Agent) 로서 가설을 생성, 테스트, 수정하는 반복적인 추론 작업을 수행할 때, 현재 가설을 지지하는 테스트 (Confirmatory tests) 만 수행하고 반증 가능한 테스트 (Falsifying tests) 를 회피하는지 여부가 명확히 규명되지 않았습니다.
• 연구 질문:
  1. LLM 은 인간과 마찬가지로 규칙 발견 과제에서 확증 편향을 보이는가?
  2. 인간에게 적용된 심리학적 개입 전략 (Dual-Goal, Think-in-Opposites) 이 LLM 의 편향을 줄이고 성능을 향상시킬 수 있는가?
  3. 이러한 편향 완화 행동을 모델 내부에 주입 (Distillation) 하면 새로운 작업으로 일반화될 수 있는가?

2. 방법론 (Methodology)

2.1 실험 프레임워크: 규칙 발견 과제 (Rule Discovery Task)

• 과제 설정: 인간 심리학의 Wason 2-4-6 과제를 LLM 에 맞게 변형했습니다.
  • 초기 입력: 3 개의 정수 (예: [2, 4, 6]) 와 숨겨진 규칙.
  • 상호작용: 모델은 45 턴 동안 **가설 제시 (Guess)**와 **테스트 제안 (Test)**을 반복합니다.
  • 피드백: 제안한 3 수의 조합이 숨겨진 규칙에 부합하는지 이진 (YES/NO) 피드백을 받습니다.
• 데이터 생성: 다양한 규칙 (순서, 산술 구조, 홀짝, 부호 등) 과 초기 3 수 조합을 생성하여 11 개의 서로 다른 LLM 모델 (Qwen, LLaMA, GPT, Gemini 등) 에 대해 대규모 평가를 수행했습니다.

2.2 평가 지표

• 작업 성공률 (Task Success): 숨겨진 규칙을 정확히 추론한 비율.
• 성공까지 턴 수 (# Turns until Success): 규칙을 맞출 때까지 걸린 평균 턴 수.
• 확증 편향 지표 (I:C Ratio): **부정적 테스트 (Incompatible)**와 **긍정적 테스트 (Compatible)**의 비율.
  • 높은 I:C 비율 = 가설을 반증하려는 시도가 많음 = 낮은 확증 편향.
  • 낮은 I:C 비율 = 가설을 지지하는 테스트만 함 = 높은 확증 편향.

2.3 개입 전략 (Interventions)

인간 연구에서 개발된 두 가지 전략을 프롬프트로 적용했습니다.

1. Think-in-Opposites (TiO): 이전 테스트의 특징 중 하나를 식별하고, 그 특징과 **정반대 (Opposite)**인 3 수를 테스트하도록 지시합니다.
2. Dual-Goal (DG): 숨겨진 규칙 (DAX) 과 그 반대 규칙 (MED) 두 가지를 동시에 추론하도록 지시하여, 양쪽을 모두 테스트하게 만듭니다.

2.4 편향 완화 및 일반화 (Mitigation & Generalization)

• 상징적 지식 증류 (Symbolic Knowledge Distillation): 개입 전략 (TiO) 을 사용하여 생성된 고품질 (낮은 편향, 높은 성공) 데이터로 LLM 을 지도 학습 (Supervised Fine-tuning) 시켜, 추론 시점 (Inference-time) 에 프롬프트 없이도 편향을 줄이는 행동을 내재화했습니다.
• 일반화 평가 (Blicket Test): 숫자 기반 규칙 발견에서 학습된 편향 완화 능력이 새로운 도메인 (물체와 기계의 인과 관계 추론인 Blicket Test) 으로 전이되는지 평가했습니다.

3. 주요 결과 (Key Results)

3.1 LLM 의 확증 편향 존재 확인

• 편향 존재: 11 개 모델 모두에서 확증 편향이 관찰되었습니다. 모델은 가설을 반증하기보다 지지하는 테스트를 더 많이 제안했습니다.
• 성능 상관관계: I:C 비율 (부정적 테스트 비율) 이 높을수록 작업 성공률이 높음이 통계적으로 유의미하게 확인되었습니다 (Spearman 상관관계 0.54~0.75). 즉, 편향이 적을수록 규칙 발견 능력이 뛰어났습니다.
• 모델 크기 및 추론 모드: 'Thinking Mode' (추론 과정 생성) 를 가진 모델이 일반 모델보다 성능이 좋았으며, 편향도 상대적으로 낮았습니다.

3.2 개입 전략의 효과

• 성능 향상: 프롬프트 기반의 **Think-in-Opposites (TiO)**와 Dual-Goal 전략은 대부분의 모델에서 작업 성공률을 크게 향상시켰습니다.
  • 평균 성공률: 42% → 56% 로 증가.
  • TiO 는 모든 모델에서 성공률을 높였으며, I:C 비율도 증가시켰습니다.
• 통계적 유의성: Thinking Mode 모델에서 개입의 효과가 특히 뚜렷하게 통계적으로 유의미했습니다.

3.3 지식 증류 (Distillation) 를 통한 편향 내재화

• 효과: TiO 전략으로 증류된 모델은 추론 시 별도의 지시 없이도 편향을 줄이고 성공률을 높이는 행동을 보였습니다.
  • 예: Qwen3-8B 모델의 경우, 증류 후 성공률이 약 3 배 증가하고 I:C 비율이 2 배 이상 향상되었습니다.
• 일반화 (Generalization): 숫자 기반 과제 (Wason) 에서 학습된 편향 완화 모델이 **Blicket Test (새로운 도메인)**에서도 더 낮은 확증 편향을 보이며 성능이 향상되었습니다. 이는 편향 완화 행동이 특정 작업에 국한되지 않고 추론 능력 전반에 전이됨을 의미합니다.

4. 주요 기여 (Key Contributions)

1. LLM 의 확증 편향 체계적 평가: 인간 심리학의 고전 과제를 LLM 에이전트 평가 프레임워크로 확장하여, LLM 이 가설 탐색 과정에서 확증 편향을 보인다는 것을 정량적으로 입증했습니다.
2. 심리학적 개입의 유효성 입증: 인간을 위해 설계된 '역방향 사고 (Think-in-Opposites)' 및 '이중 목표 (Dual-Goal)' 전략이 LLM 의 편향을 줄이고 추론 성능을 개선하는 데 효과적임을 보였습니다.
3. 편향 완화의 내재화 및 일반화: 지식 증류를 통해 편향 완화 행동을 모델 파라미터에 주입할 수 있음을 보였으며, 이는 새로운 도메인 (Blicket Test) 으로도 일반화되어 LLM 의 자율적 탐구 능력을 향상시킬 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 단순히 정보를 처리하는 것을 넘어, 자율적으로 가설을 탐색하고 검증하는 에이전트로서 중요한 한계 (확증 편향) 를 가지고 있음을 지적합니다. 또한, 인간의 인지 편향을 해결하기 위해 개발된 심리학적 기법이 LLM 에 적용될 수 있으며, 이를 통해 모델의 추론 능력을 근본적으로 개선할 수 있음을 보여줍니다.

특히, 추론 시점의 복잡한 프롬프트 없이도 **증류 (Distillation)**를 통해 편향을 줄인 행동을 모델 내부에 학습시킬 수 있다는 점은, 실제 AI 에이전트 시스템 (예: 과학적 발견, 자동화된 실험 설계 등) 에서 LLM 의 신뢰성과 효율성을 높이는 중요한 방향성을 제시합니다.

핵심 결론: LLM 은 확증 편향으로 인해 가설 탐색이 비효율적이나, 심리학적 개입 전략을 프롬프트나 증류를 통해 적용하면 이를 완화하고 추론 성능을 획기적으로 개선할 수 있다.