Common Sense vs. Morality: The Curious Case of Narrative Focus Bias in LLMs

이 논문은 대규모 언어 모델이 도덕적 추론을 상식적 이해보다 우선시하며, 특히 화자보다 부수적 인물의 상식 모순을 더 잘 감지하는 서사적 편향을 보인다는 점을 CoMoral 벤치마크를 통해 규명하고, 이에 대한 개선의 필요성을 강조합니다.

핵심

이 논문은 **"인공지능 (LLM) 이 너무 '착한 척' 하다가, 상식까지 잃어버리는 우를 범한다"**는 흥미로운 사실을 발견한 연구입니다.

쉽게 비유하자면, 인공지능이 "선생님 (도덕)"의 말만 듣고 "학생 (상식)"의 말을 무시하는 상황이라고 생각하시면 됩니다.

이 논문의 핵심 내용을 일상적인 언어와 비유로 설명해 드릴게요.

---

1. 문제의 핵심: "착한 척"하는 인공지능

요즘 인공지능은 우리와 대화할 때 매우 도덕적이고 윤리적으로 행동하도록 훈련받습니다. 하지만 연구진은 **"도덕적인가? 아니면 상식적인가?"**를 동시에 판단할 때 인공지능이 망설인다는 것을 발견했습니다.

• 비유: 인공지능은 마치 "무조건 착한 척 하려는 학생" 같습니다.
  • 친구가 "나 오늘 비행기 타고 바다 위를 날아갔어!"라고 말하면, 도덕적으로 나쁜 말은 아니지만 물리적으로 불가능한 말입니다.
  • 하지만 인공지능은 "착한 학생"이 되어 친구의 말을 무조건 믿어주고, "정말 멋진 여행이네요!"라고 답합니다. 상식 (비행기는 바다 위를 날지 않는다) 을 무시하고 도덕적/사회적 화합을 우선시한 것입니다.

2. 실험 도구: '코모랄 (CoMoral)'이라는 퀴즈

연구진은 인공지능의 능력을 테스트하기 위해 **'코모랄 (CoMoral)'**이라는 새로운 퀴지지를 만들었습니다.

• 퀴즈의 구성:
  • "도덕적으로 고민되는 상황" 속에 **"상식적으로 말이 안 되는 부분"**을 숨겨 넣었습니다.
  • 예시: "어느 날 밤, 초승달 (새달) 에는 달빛이 없는데, 우리 정원이 달빛으로 환하게 빛나고 있어요. 어떡하지?"
  • 여기서 핵심은 초승달에는 달빛이 없다는 상식적 사실입니다.

3. 놀라운 발견 1: "명시적으로 말해줘야 깨닫는다"

인공지능에게 그냥 "이 이야기 어때?"라고 물으면, 상식적 오류를 거의 찾아내지 못했습니다. (정답률 10~20% 수준)
하지만 **"이 이야기에서 이상한 점이 있어. 찾아봐!"**라고 구체적으로 지시하면, 성능이 60% 이상으로 급상승했습니다.

• 비유: 인공지능은 잠자는 고양이와 같습니다.
  • 그냥 가만히 있으면 (명시적 지시 없이) 이상한 점을 못 봅니다.
  • 하지만 "저기 이상한 게 있어!"라고 손가락으로 가리켜 주면 (명시적 지시), 금방 알아챕니다.
  • 결론: 인공지능은 상식적인 사고를 스스로 꺼내지 못하고, 우리가 버튼을 눌러줘야 작동한다는 뜻입니다.

4. 놀라운 발견 2: "주인공 vs 조연"의 차이 (내러티브 편향)

이 연구에서 가장 재미있는 부분은 누가 그 이상한 말을 했느냐에 따라 인공지능의 반응이 달라진다는 점입니다.

• 상황 A (주인공/화자): "나 (화자) 가 초승달 밤에 정원을 산책했는데, 달빛이 너무 아름다웠어."
• 상황 B (조연): "내 이모가 초승달 밤에 정원을 산책했는데, 이모는 달빛이 너무 아름다웠다고 했어."

결과:

• **주인공 (나)**이 이상한 말을 하면, 인공지능은 **"아, 저 사람은 착한 사람이니까 말이 맞겠지"**라고 믿고 오류를 지적하지 않습니다.

• **조연 (이모)**이 이상한 말을 하면, 인공지능은 **"아, 이모는 틀렸네. 초승달엔 달빛이 없잖아!"**라고 바로 지적합니다.

• 비유: 인공지능은 드라마를 볼 때 주인공의 말은 '진실'로, 조연의 말은 '소문'으로 받아들이는 것 같습니다.

  • 주인공이 "나는 물속에서 숨을 쉬어"라고 하면, 인공지능은 "아, 주인공이니까 가능하겠지"라고 생각합니다.
  • 하지만 조연이 같은 말을 하면, "아니야, 물속에서 숨 쉬는 건 불가능해"라고 바로 지적합니다.
  • 이를 **'내러티브 집중 편향 (Narrative Focus Bias)'**이라고 부릅니다. 인공지능은 이야기의 중심인 '나'에게는 너무 맹신하는 경향이 있습니다.

5. 결론: 인공지능에게 필요한 것

이 논문의 결론은 간단합니다.

1. 인공지능은 '도덕'과 '상식'을 동시에 챙겨야 한다.
   • 지금처럼 도덕만 강조하면, 상식적인 오류를 놓치게 됩니다.
2. 인공지능은 '주인공'에게만 맹신하지 말아야 한다.
   • 누가 말하든 상식적인 사실은 변하지 않아야 합니다.
3. 우리가 더 잘 가르쳐야 한다.
   • 인공지능에게 "착하게 말하라"는 것만 강조하지 말고, **"상식적으로 옳은가?"**를 함께 생각하도록 훈련시켜야 합니다.

한 줄 요약

"인공지능은 너무 '착한 척' 하다가 상식을 잊어버리고, 주인공의 말은 무조건 믿는 '순진한 학생'이 되어버렸다. 이제 우리는 그 학생에게 '상식'과 '비판적 사고'를 다시 가르쳐야 한다."

이 연구는 앞으로 더 똑똑하고, 현실을 제대로 파악하는 인공지능을 만들기 위한 중요한 첫걸음이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 이 다양한 실세계 응용 분야에 배포됨에 따라, 모델이 윤리적 기반 (morality) 과 지식 (knowledge) 을 모두 갖추는 것이 필수적입니다. 그러나 기존 연구들은 윤리적 정렬 (value alignment) 이 모델의 핵심 추론 능력, 특히 **상식 (common sense)**에 미치는 부정적인 영향을 충분히 조명하지 못했습니다.

이 논문은 현재 LLM 들이 윤리적 고려 사항을 상식적 추론보다 우선시하는 경향을 발견하고, 이로 인해 발생하는 심각한 한계를 지적합니다.

• 핵심 문제: LLM 이 도덕적 딜레마 상황 속에 숨겨진 '상식적 모순 (commonsense contradiction)'을 식별하지 못하거나, 윤리적 정렬 과정에서 상식적 논리가 희생되는 현상.
• 발견된 편향: 모델이 모순을 식별할 때, 그 모순이 **화자 (내레이터/주인공)**에게서 발생하는지 **2 차 인물 (secondary character)**에게서 발생하는지에 따라 성능에 극명한 차이가 나타나는 **'서사적 초점 편향 (Narrative Focus Bias)'**이 존재함.

2. 방법론 (Methodology)

2.1. 데이터셋 구축: CoMoral

연구진은 상식적 모순이 도덕적 딜레마에 내재된 새로운 벤치마크 데이터셋인 CoMoral을 제안했습니다.

• 구성: 총 802 개의 시나리오로 구성되며, 각 시나리오는 상식적 모순 (예: 새 보름달에 달빛, 금식 중 음주 등) 이 도덕적 질문과 결합되어 있습니다.
• 생성 과정: LLaMa 70B 를 사용하여 88 가지 상식 모순 카테고리를 기반으로 2-shot 프롬프트를 통해 시나리오를 생성했습니다.
  • 주인공 (Primary): 화자 (나) 가 모순을 겪는 경우.
  • 2 차 인물 (Secondary): 화자가 아닌 다른 인물이 모순을 겪는 경우.
• 검증: 두 명의 어노테이터가 상식 존재 여부, 일관성, 전반적 품질을 평가하여 1~5 점 척도로 점수화하고, 불일치가 큰 데이터는 제거하여 최종 802 건을 확정했습니다.

2.2. 실험 설정

• 모델: LLaMa (1B, 3B, 8B), Qwen2 (0.5B7B), Gemma (1B7B) 등 10 개의 다양한 크기와 계열의 지시 튜닝 (instruction-tuned) LLM 을 평가했습니다.
• 프롬프트 조건:
  1. 암시적 (Implicit): 모델에게 모순을 찾으라고 명시하지 않고 질문에 답하게 함.
  2. 명시적 (Explicit): 모델에게 시나리오 내 모순을 식별하고 설명하라고 지시함.
• 평가 지표: LLM-as-a-Judge(GPT OSS 120B) 를 사용하여 모델의 응답이 실제 정답 (ground-truth) 모순을 언급했는지 정확도 (Accuracy) 로 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 작업 정의: 도덕적 딜레마 상황에 내재된 상식적 모순을 식별하는 과제를 제안하며, 모순이 주인공에게서 발생하는지 2 차 인물에게서 발생하는지 두 가지 경우를 모두 고려합니다.
2. CoMoral 벤치마크: 802 개의 반자동 생성된 데이터셋을 공개하여, LLM 의 상식적 모순 탐지 능력을 평가할 수 있는 표준을 마련했습니다.
3. 서사적 초점 편향 (Narrative Focus Bias) 발견: LLM 이 주인공 (화자) 의 모순은 간과하는 반면, 2 차 인물의 모순은 더 잘 탐지한다는 새로운 편향 현상을 최초로 규명했습니다.

4. 실험 결과 (Results)

4.1. 상식 모순 탐지 능력의 부재

• 암시적 프롬프트: 모든 모델이 모순을 탐지하는 데 극도로 부진했습니다 (평균 정확도 0.01~0.26). 이는 윤리적 정렬 (guardrails) 이 기본적인 상식 추론 능력을 억제할 수 있음을 시사합니다.
• 명시적 프롬프트: 모순을 찾으라고 명시했을 때 성능이 크게 향상되었습니다 (최대 60% 포인트 증가, LLaMa 8B 기준 0.845). 이는 모델이 상식 추론 능력이 없기 때문이 아니라, 명시적 유도 (elicitation) 가 필요하다는 것을 의미합니다.

4.2. 서사적 초점 편향 (Narrative Focus Bias)

• 주요 발견: 모든 모델에서 2 차 인물의 모순을 탐지하는 성능이 주인공의 모순을 탐지하는 성능보다 일관되게 높았습니다.
• 원인: LLM 은 훈련 데이터의 특성상 화자 (주인공) 의 진술을 사실이나 권위 있는 정보로 간주하는 경향이 있어, 주인공의 모순을 '사실'로 받아들이고 모순을 간과합니다. 반면, 2 차 인물의 모순은 객관적으로 분석하기 쉽습니다.
• 예외: '비현실적 (Unreal)' 카테고리에서는 이 경향이 반전되기도 했으나, 사실적 (Physical, Environmental 등) 인 상황에서는 편향이 뚜렷하게 나타났습니다.

4.3. 모델 크기와 유형에 따른 영향

• 모델 크기: 일반적으로 모델 크기가 클수록 성능이 좋았으나 (LLaMa 8B 가 최상), Qwen2 0.5B 와 같이 데이터 양 (12T 토큰) 이 많더라도 모델 크기가 작으면 성능이 제한되었습니다. 이는 사전 학습 데이터의 품질과 양이 중요함을 보여줍니다.
• 추론 유형: '개념적 (Conceptual)'과 '생물학적 (Biological)' 추론에서는 상대적으로 성능이 좋았으나, '시간적 (Temporal)'과 '비현실적 (Unreal)' 추론에서는 여전히 어려움이 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 윤리적 정렬의 부작용 경고: LLM 의 윤리적 정렬 (Safety, Fairness 등) 이 지나치게 강조될 경우, 모델이 상식적 추론 능력을 상실하거나 왜곡될 수 있음을 경고합니다.
• 신뢰성 확보의 필요성: 대화형 에이전트로서의 LLM 신뢰도를 높이기 위해서는 윤리적 민감성과 동등하게 상식적 추론 능력을 강화해야 합니다.
• 향후 연구 방향:
  • 윤리적 정렬이 상식 추론에 미치는 영향을 완화하는 훈련 전략 개발.
  • '서사적 초점 편향'을 해결하기 위한 모델 아키텍처 또는 프롬프트 엔지니어링 개선.
  • 더 큰 규모의 데이터셋과 고사양 모델을 활용한 확장 연구.

이 논문은 LLM 이 단순히 "착한" 답변을 하는 것을 넘어, 논리적이고 상식적인 일관성을 유지하는 것이 얼마나 중요한지, 그리고 현재 모델들이 어떤 구조적 편향에 시달리고 있는지를 체계적으로 증명했습니다.