1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 복잡한 추론 작업과 자동화된 평가자 (LLM-as-a-Judge) 로서 점점 더 중요해지고 있지만, 인지 편향 (Cognitive Biases) 에 취약하다는 치명적인 약점이 있습니다.

• 핵심 문제: 모델은 작업의 정확성과 무관한 프롬프트 수준의 신호 (예: "대다수의 의견", "전문가의 주장", "주변 정보") 에 의해 추론 경로를 왜곡하고 최종 결정을 바꿉니다.
• 기존 방법의 한계:
  • 프롬프트 엔지니어링: 모델이 외부 신호를 무시하도록 지시하지만, 모델 내부의 최적화 목표가 편향 신호를 '유용한 단서'로 인식하도록 훈련되었기 때문에 근본적인 해결이 안 됩니다.
  • 지도 미세 조정 (SFT): 편향 데이터를 학습시켜 표면적인 행동은 수정할 수 있으나, 모델은 편향을 무시하는 '진짜 추론'이 아니라 편향을 무시하는 '표면적인 언어 패턴'만 학습하여 (Performative Independence) 일반화가 실패합니다.
• 본질적 원인: 사전 학습 및 정렬 과정에서 편향 신호 (예: 합의, 권위) 가 긍정적인 피드백과 상관관계를 가지게 되어, 모델이 이를 최적의 정책 (Optimal Policy) 을 위한 합리적인 단서로 착각하게 됩니다.

2. 제안 방법: 인식적 독립성 훈련 (Epistemic Independence Training, EIT)

저자들은 강화 학습 (Reinforcement Learning, RL) 을 기반으로 한 새로운 프레임워크인 EIT를 제안합니다. 핵심 원리는 "편향 신호가 보상의 예측 변수가 되지 않도록 만드는 것" 입니다.

2.1. 핵심 원리

모델이 편향 신호에 의존하지 않고 본질적인 추론에 기반해야만 보상을 받을 수 있도록 환경을 설계합니다. 즉, 편향 신호가 정답과 오답을 예측하는 데 아무런 도움이 되지 않게 만듭니다.

2.2. 주요 구성 요소

1. 균형 잡힌 충돌 전략 (Balanced Conflict Strategy):
   • 편향 신호 (예: "90% 의 사람들이 A 를 선택함") 를 주입할 때, 50% 는 정답을 지지하고 50% 는 오답을 지지하도록 데이터를 구성합니다.
   • 이로 인해 편향 신호와 정답 사이의 상관관계가 무효화되어, 모델이 편향을 따르는 것이 이득이 되지 않게 됩니다.
2. 계층적 보상 설계 (Hierarchical Reward Design):
   • 구조적 제약 ($R_{struct}$): CoT(Chain-of-Thought) 형식을 따르도록 유도.
   • 사실적 정확성 ($R_{acc}$): 정답을 맞출 경우 보상.
   • 독립성 인센티브 ($R_{ind}$):
     • 적대적 상황 (편향이 오답을 지지할 때): 편향을 따르면 큰 패널티, 정답을 추론하면 보너스.
     • 지지적 상황 (편향이 정답을 지지할 때): 정답을 맞출 경우 추가 보상은 주지 않음 (편향과 일치하는 정답에 대한 보상을 주면 모델이 편향을 따르는 습관을 들일 수 있음). 오답일 경우만 패널티.
     • 결과: 편향을 따르는 것은 비용이 크고, 편향이 정답과 일치할 때만 의존하는 것은 이득이 없으므로, 모델은 편향을 완전히 무시하고 본질적인 추론을 해야만 최대 보상을 얻게 됩니다.

2.3. 최적화 알고리즘

• GRPO (Group Relative Policy Optimization): 그룹 내 평균 보상을 기준으로 정책 (Policy) 을 업데이트하여 분산을 줄이고 안정적인 학습을 유도합니다.

3. 주요 실험 결과 (Key Results)

실험은 Qwen3-1.7B, Qwen3-4B, Qwen3-8B, Llama-3.2-3B 등 다양한 모델과 MMLU-Pro, MedQA, HellaSwag 등 다양한 벤치마크에서 수행되었습니다.

• 정확도 및 강건성 동시 향상:
  • EIT 를 적용한 Qwen3-4B 는 편향이 오답을 지지하는 상황 (Wrong-bias) 에서 정확도가 70.1% → 83.3% 로 크게 향상되었으며, 강건성 (Robustness Rate) 도 63.6% → 80.0% 로 개선되었습니다.
  • 특히 훈련 시 보지 않았던 산만함 편향 (Distraction Bias) 에 대한 강건성이 40.6% → 79.7% 로 비약적으로 상승하여, 편향 특화 휴리스틱이 아닌 전용 가능한 인식적 독립성을 학습했음을 증명했습니다.
• 모델 크기 확장 (Scaling) 의 한계 극복:
  • EIT 로 훈련된 Qwen3-4B 는 편향 저항성 측면에서 훈련되지 않은 더 큰 모델 (Qwen3-8B, Qwen3-14B) 보다 더 우수한 성능을 보였습니다. 이는 편향 저항성이 단순히 모델 크기 확대로 해결되는 문제가 아님을 시사합니다.
• 기존 방법 대비 우월성:
  • SFT: 편향 데이터를 학습시켰음에도 불구하고, 편향이 정답과 일치하는 상황에서는 성능이 급격히 떨어지고 (Overfitting), 편향에 대한 표면적인 언어만 학습하는 경향이 있었습니다.
  • 프롬프트 Mitigation: 편향을 무시하라는 지시는 모델의 일반적 정확도 (Clean Accuracy) 를 오히려 떨어뜨리는 부작용을 낳았습니다.
  • 분포 이동 방법 (GroupDRO, IRM): EIT 는 환경 레이블 (Environment Labels) 없이도 더 나은 강건성을 달성했습니다.
• 범용성:
  • 훈련된 편향 유형 (Bandwagon) 에서 학습된 강건성이 권위 (Authority), 산만함 (Distraction), 위치 (Position) 등 다른 유형의 편향으로 잘 전이되었습니다.

4. 질적 분석 및 통찰 (Qualitative Analysis)

저자들은 모델의 추론 과정을 분석하여 세 가지 패턴을 발견했습니다.

1. Baseline (기존 모델): 올바른 추론을 수행하다가 편향 신호 (권위, 합의) 를 마주치면 자기 의심을 하고 편향에 굴복하여 정답을 버립니다.
2. SFT (지도 미세 조정): "나는 대중의 의견에 영향을 받지 않는다"와 같은 표면적인 독립성 언어를 사용하지만, 실제 추론 과정 (계산, 사실 확인) 은 생략하고 잘못된 답을 선택합니다. 이를 '연기적 독립성 (Performative Independence)' 이라고 명명했습니다.
3. EIT (제안 방법): 도메인 지식을 활성화하고, 명시적인 검증 (계산/논리) 을 수행하며, 편향 신호가 추론과 충돌할 때 이유를 들어 편향을 거부합니다. 이는 진정한 인식적 독립성 (Genuine Epistemic Independence) 입니다.

5. 의의 및 기여 (Significance & Contributions)

1. 원칙 기반 편향 완화 프레임워크: 편향 신호를 '보상의 예측 불가능한 요소'로 만드는 RL 기반의 체계적인 접근법을 제시했습니다.
2. 표면적 모방의 극복: SFT 가 학습하는 '표면적 패턴'이 아닌, 강화 학습을 통해 모델이 실제 추론 능력을 바탕으로 편향을 극복하도록 유도합니다.
3. 실용적 가치: LLM 을 자동 평가자 (Judge) 로 사용하는 시스템의 신뢰성을 높여, 콘텐츠 조정, 교육 평가, 의사결정 지원 등 다양한 분야에서 편향된 평가로 인한 불공정을 방지할 수 있습니다.
4. 효율성: 거대 모델로 확장 (Scaling) 하는 것보다 타겟팅된 훈련이 편향 저항성을 높이는 데 더 효과적임을 입증했습니다.

결론

이 논문은 LLM 의 인지 편향 문제를 해결하기 위해, 편향 신호가 모델에게 이득이 되지 않도록 보상 구조를 재설계한 EIT를 제안했습니다. 실험 결과, EIT 는 모델이 편향에 굴복하지 않고 사실과 논리에 기반한 추론을 하도록 유도하여, 정확도와 강건성을 동시에 향상시키고 다양한 편향 유형과 모델 아키텍처에 걸쳐 일반화되는 것을 입증했습니다. 이는 LLM 의 신뢰성 있는 추론 능력을 확보하기 위한 중요한 이정표가 될 것입니다.