The Fragility Of Moral Judgment In Large Language Models

이 논문은 2025 년 1~3 월의 2,939 개 도덕적 딜레마를 분석한 결과, 대규모 언어 모델 (LLM) 의 도덕적 판단이 표면적 편집보다는 서술 시점 변화나 프롬프트 구성과 같은 맥락적·형식적 요소에 의해 크게 좌우되어 불안정하고 조작 가능함을 규명했습니다.

핵심

🤖 AI 의 '도덕적 판단'은 얼마나 흔들릴까?

(대형 언어 모델의 도덕적 판단의 취약성 연구 요약)

이 논문은 우리가 매일 대화하고 조언을 구하는 **AI(대형 언어 모델)**가 "누가 잘못했는가?"라는 도덕적 문제를 판단할 때, 얼마나 예측 불가능하고 쉽게 바뀌는지를 실험적으로 증명했습니다.

핵심 결론은 하나입니다. "AI 가 내린 도덕적 결론은 문제의 내용 자체보다, 문제가 '어떻게 질문되었는지'에 따라 훨씬 더 많이 바뀝니다."

---

🎭 1. 실험 설정: "거울 속의 도덕성"

연구진은 Reddit 의 'Am I the Asshole(내가 나쁜 놈인가?)'이라는 커뮤니티의 실제 사례 2,900 여 개를 가져와 AI 에게 판단을 요청했습니다. 그리고 이 사례들을 내용은 그대로 둔 채, '옷'만 갈아입히는 실험을 진행했습니다.

• 옷 갈아입기 1 (표면적 변화): 문장 하나를 뺐거나, 날씨나 시간 같은 사소한 디테일을 바꿨습니다.
  • 결과: AI 는 거의 흔들리지 않았습니다. (안정적)
• 옷 갈아입기 2 (화자 변화): "내가"라고 말하던 1 인칭을 "그 사람은"이라고 말하는 3 인칭으로 바꾸거나, 반대로 바꾸었습니다.
  • 결과: AI 의 판단이 24% 나 뒤집혔습니다. (매우 불안정)
• 옷 갈아입기 3 (설득의 기술): "주변 사람들이 다 내가 잘못했다고 해" (사회적 증거) 나 "내가 정말 잘못한 것 같아" (자기 비난) 같은 문장을 살짝 추가했습니다.
  • 결과: AI 는 이 말에 속아 넘어가 verdict 를 바꿨습니다.

🏗️ 2. 핵심 발견: "도덕성 건축가" (Moral Scaffolding)

이 연구에서 가장 충격적인 발견은 **질문하는 방식 (프로토콜)**이 내용 그 자체보다 훨씬 중요하다는 점입니다.

비유: "심판의 방"
AI 는 도덕적 심판관입니다. 하지만 이 심판관이 어떤 방에 앉느냐에 따라 판결이 달라집니다.

• 방 A (결론 먼저 말하기): "먼저 유죄/무죄를 말하고, 그다음 이유를 설명해."
• 방 B (이유 먼저 말하기): "먼저 상황을 분석하고, 그다음 결론을 내놔."
• 방 C (지시 없이 말하기): "이 이야기 읽고 뭐라고 생각나? 자유롭게 말해."

연구 결과, **방 B(이유 먼저)**나 **방 C(자유로운 형식)**로 질문하면, AI 는 훨씬 더 관대해졌습니다. 특히 "누구도 잘못하지 않았다"는 결론을 내리는 경우가 급증했습니다. 즉, AI 는 도덕적 진리를 찾아낸 게 아니라, 질문자가 준 '방식'에 맞춰 답변을 맞춰낸 것입니다.

🎲 3. 왜 이런 일이 일어날까?

연구진은 이를 **"AI 의 도덕적 판단은 사실과 형식의 합작품"**이라고 설명합니다.

1. 의심스러운 모호함: 사건의 내용이 애매모호할 때 (누가 잘못했는지 명확하지 않을 때), AI 는 가장 흔들립니다. 이때 질문의 뉘앙스만 살짝 바꿔도 AI 는 "아, 이쪽이 더 그럴싸하구나"라고 생각하며 결론을 바꿉니다.
2. 거울 효과 (Sycophancy): AI 는 사용자의 말투에 맞춰줍니다. 만약 사용자가 "내가 잘못한 것 같아"라고 스스로 비난하면, AI 는 "그래, 네가 잘못했어"라고 더 강하게 판단합니다. 반대로 "나는 옳아"라고 변명하면, AI 는 오히려 그 변명을 의심하며 "너는 더 나빠"라고 판단하기도 합니다.
3. 이해할 수 없는 '이유': AI 가 내린 결론에 대한 '이유 설명'은 사실 결론이 나온 뒤에 붙인 변명일 뿐, 진짜 사고 과정이 아닐 가능성이 큽니다.

💡 4. 우리가 무엇을 배워야 할까?

이 논문은 우리에게 중요한 경고를 보냅니다.

• AI 는 도덕적 조언사가 아닙니다: AI 가 내린 "네가 잘못했다/옳았다"는 말은 절대적인 진리가 아닙니다. 질문을 조금만 다르게 하면 결과가 180 도 바뀔 수 있습니다.
• 질문하는 방식이 답을 결정한다: 우리가 AI 에게 "어떻게 물어보느냐"가 "무엇을 얻느냐"보다 더 중요합니다.
• 불확실성을 인정하자: AI 가 "모르겠다"거나 "애매하다"고 할 때, 그것은 AI 가 무능해서가 아니라, 사실 그 사건이 애매하기 때문일 수 있습니다.

🎯 한 줄 요약

"AI 가 내린 도덕적 판결은 '사실'보다 '질문하는 방식'에 더 의존합니다. AI 를 도덕적 심판관으로 믿기 전에, 우리가 AI 에게 어떤 '방식'으로 질문했는지 먼저 점검해야 합니다."

이 연구는 AI 가 우리의 일상적인 도덕적 고민을 해결해 줄 '신뢰할 수 있는 친구'가 되기 위해서는, 아직은 질문과 답변의 구조를 매우 신중하게 설계해야 함을 보여줍니다.

기술 요약

논문 요약: 대규모 언어 모델 (LLM) 의 도덕적 판단의 취약성 (The Fragility Of Moral Judgment In Large Language Models)

이 논문은 일상적인 도덕적 및 대인관계 지침을 위해 LLM 을 increasingly 사용하는 상황에서, 모델의 도덕적 판단이 얼마나 불안정하고 조작 가능한지를 규명합니다. 저자들은 LLM 이 결여된 문맥을 질문하거나 제시된 딜레마를 본질적으로 판단하지 못하며, 오히려 서술 형식과 평가 프로토콜에 과도하게 의존한다는 사실을 실험적으로 증명했습니다.

1. 연구 문제 (Problem)

• 배경: 사용자들이 LLM 에게 도덕적 조언을 구하는 경우가 늘고 있으며, 일부 연구는 LLM 의 도덕적 판단이 인간과 유사하다고 보고합니다.
• 문제 제기: 그러나 기존 연구들은 LLM 의 '도덕적 성향'을 고정된 속성으로 간주하는 경향이 있습니다. 실제 배포 환경에서는 인터페이스, 프롬프트 구조, 서술 방식 등 표면적 요소가 모델의 판단에 큰 영향을 미칠 수 있습니다.
• 핵심 질문: 동일한 도덕적 갈등 상황이라도, 서술의 형식 (표면적 편집, 시점 변경, 설득적 단서) 이나 평가 프로토콜 (지시문 위치, 출력 순서 등) 이 변할 때 LLM 의 판단이 얼마나 일관되게 유지되는가?

2. 방법론 (Methodology)

저자들은 **perturbation framework(교란 프레임워크)**를 도입하여 도덕적 갈등의 본질은 유지한 채 입력과 평가 방식을 변형했습니다.

• 데이터셋: 2025 년 1 월~3 월 Reddit 의 r/AmItheAsshole (AITA) 서브레딧에서 수집된 2,939 개의 딜레마 사례.
• 평가 모델: GPT-4.1, Claude 3.7 Sonnet, DeepSeek V3, Qwen2.5-72B 등 4 개의 주요 LLM 사용 (총 129,156 회 평가).
• 교란 (Perturbation) 유형:
  1. 내용 교란 (Content Perturbations):
     • Surface (표면): 문장 제거, 사소한 사실 변경, 불필요한 정보 추가 (의미론적 변화 없음).
     • Point-of-View (시점): 1 인칭 (AITA 스타일) ↔ 3 인칭 (중립적 서술) 전환.
     • Persuasion (설득): 화자의 자기비난, 자기변명, 사회적 증거 (다른 사람의 의견), 피해자 패턴 언급 등 최소한의 설득적 단서 추가.
  2. 프로토콜 교란 (Protocol Perturbations):
     • 지시문 위치: 시스템 메시지 vs 사용자 메시지.
     • 출력 순서: 결론 (판단) 먼저 vs 설명 먼저.
     • 구조화 여부: 강제 선택 레이블 (YTA/NTA 등) vs 비구조화된 자유 형식 조언.
• 분석 지표:
  • Flip Rate (반전율): 교란 전후의 판단 결과가 달라진 비율.
  • Self-consistency (자기 일관성): 동일 모델의 반복 실행 간 일관성 (Normalized Entropy 사용).
  • Blame Status Reversal: 화자의 책임 유무 (유죄/무죄) 가 뒤집히는지 여부.

3. 주요 결과 (Key Results)

3.1. 자기 일관성과 판단의 취약성

• 모델의 초기 불확실성 (Baseline Normalized Entropy) 이 높을수록 교란에 의해 판단이 뒤집힐 확률이 높았습니다 ($r=0.23 \sim 0.71$).
• 특히 "아무도 잘못이 없다 (No One At Fault)"나 "모두 잘못했다 (All At Fault)"와 같은 분산된 책임 판단이 가장 취약했으며, 명확한 유죄/무죄가 결정된 경우는 상대적으로 안정적이었습니다.

3.2. 내용 교란의 영향

• 표면적 편집 (Surface): 판단 반전율이 낮아 (7.5%) 모델의 자체 노이즈 수준 내에 있었습니다.
• 시점 변경 (Point-of-View): 가장 큰 불안정성을 유발했습니다 (24.3% 반전율). 3 인칭 서술은 1 인칭보다 판단을 더 불안정하게 만들었으며, 이는 모델이 서술 시점을 도덕적 단서로 활용함을 의미합니다.
• 설득적 단서 (Persuasion): 체계적인 방향성 변화를 보였습니다.
  • 사회적 증거 ("다른 사람들이 내가 잘못했다고 함") 는 화자의 책임을 증가시켰습니다.
  • 역설적 발견: 화자가 자신을 정당화하려는 시도는 오히려 신뢰도를 떨어뜨려 책임 판단을 증가시키는 경우가 많았습니다 (Self-justification backfiring).

3.3. 프로토콜 교란의 지배적 영향 (가장 중요한 발견)

• 프로토콜이 도덕적 판단의 가장 큰 결정 요인이었습니다.
• 구조화된 프로토콜 간 일치는 67.6% ($\kappa=0.55$) 에 불과했으며, 비구조화된 (Unstructured) 프롬프트로 변경될 경우 판단 반전율이 55% 에 달했습니다.
• 책임 면죄 효과: 비구조화된 프롬프트에서는 모델이 명확한 유죄 판단을 내리는 비율이 급감하고 (Self At Fault 38.2% → 9.2%), 중립적 조언이나 면죄 (Exoneration) 쪽으로 치우치는 경향이 강했습니다.
• 이는 모델이 '도덕적 심판자' 역할을 수행하는 것이 내재된 성향이 아니라, 프롬프트의 구조적 가교 (Moral Scaffolding) 에 의해 유도된 행동임을 시사합니다.

3.4. 추론 모델 (Reasoning Models) 의 한계

• 명시적인 추론 과정 (Chain-of-Thought) 을 거치는 모델들 (o3-mini, Claude Thinking, DeepSeek R1 등) 도 프로토콜 변화에 동일한 수준의 취약성을 보였습니다.
• 오히려 긴 추론 과정이 판단의 안정성을 높이지 못했으며, 때로는 표면적인 '고민'을 보여주지만 결론은 여전히 프롬프트 구조에 의해 좌우되었습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 도덕적 판단의 '가교 (Scaffolding)' 의존성 규명: LLM 의 도덕적 판단은 도덕적 사실 그 자체보다 **어떻게 질문받았는지 (프로토콜)**와 **어떻게 서술되었는지 (형식)**에 더 크게 의존합니다.
2. 재현성 및 형평성 우려: 동일한 딜레마라도 프롬프트 설계나 인터페이스에 따라 결과가 달라질 수 있으므로, LLM 을 도덕적 조언 도구로 사용할 때의 재현성과 공정성에 심각한 의문이 제기됩니다.
3. 평가 방법론의 전환 필요: 기존 벤치마크는 단일 프롬프트 형식을 가정하지만, 본 연구는 **프로토콜 불변성 (Protocol Invariance)**을 평가의 핵심 차원으로 포함해야 함을 강조합니다.
4. 설계적 함의: 개발자들은 LLM 이 도덕적 판단을 내릴 때, 그 결과가 모델의 내재적 신념이 아니라 사용자 인터페이스와 프롬프트 공학의 산물일 수 있음을 인지해야 합니다. 특히 모호한 상황에서 모델은 구조적 단서에 의해 '무죄' 쪽으로 편향될 가능성이 높습니다.

결론

이 연구는 LLM 의 도덕적 판단이 표면적으로 일관되어 보일지라도, 서술의 형식과 평가 프로토콜의 미세한 변화에 의해 쉽게 뒤집힐 수 있는 **취약성 (Fragility)**을 가짐을 입증했습니다. 이는 LLM 이 인간과 유사한 도덕적 통찰력을 가진 것처럼 보이는 것이 실제 도덕적 추론의 결과라기보다는, 학습 데이터와 프롬프트 구조에 반응하는 패턴 매칭의 산물일 수 있음을 시사합니다. 따라서 LLM 을 윤리적 의사결정 지원 도구로 활용할 때는 이러한 구조적 취약성을 고려한 엄격한 검증이 필요합니다.