How Does Thinking Mode Change LLM Moral Judgments? A Controlled Instant-vs-Thinking Comparison Across Five Frontier Models

기술적 요약: 사고 모드가 LLM 의 도덕적 판단에 미치는 영향은 무엇인가?

문제 제기
추론 훈련을 거친 대규모 언어 모델 (LLM) 이 중환자 분류, 정책 요약, 콘텐츠 조정과 같은 고위험 도덕적 영역에서 점점 더 널리 배포됨에 따라, 제공업체들은 추론을 위해 추론 시간 계산 자원을 추가로 할당하는 '사고 모드 (thinking modes)'를 도입했습니다. 이전 연구는 서로 다른 모델이 상이한 윤리적 선호도를 인코딩한다는 것을 확립했지만, 중요한 격차가 남아 있습니다: 명시적 추론을 활성화하는 것이 단일 모델 체크포인트 내부에서 도덕적 선호도를 변화시키는가? 또한, 각 제공업체의 고유한 API 구현과 계산 예산을 고려할 때, '사고 모드'가 서로 다른 제공업체 간에 비교 가능한 구성 요소인가?

방법론
저자들은 Claude Sonnet 4.6, GPT-5.5, Gemini 3 Flash, DeepSeek-V3.1, Qwen3.5-397B 등 다섯 가지 최첨단 모델 계열에 걸쳐 통제된 단일 체크포인트 비교를 수행했습니다.

• 실험 설계: 각 모델 계열에서 모델 가중치는 일정하게 유지되었습니다. 유일한 변수는 제공업체의 표준 추론 모드 매개변수였습니다 (예: reasoning.enabled를 False 에서 True 로 전환하거나 reasoning.effort 를 조정). 이는 모델 아키텍처나 학습 데이터의 변화로부터 추론 메커니즘의 효과를 분리합니다.
• 벤치마크: 다섯 가지 카테고리를 포괄하는 100 개 시나리오 도덕 추론 벤치마크가 구축되었습니다:
  1. 트롤리 문제 (15 개 시나리오).
  2. 도덕적 기초 이론 (다섯 가지 기초에 걸친 25 개 시나리오).
  3. 개사 일관성 (표면 형태 견고성을 테스트하는 20 개 시나리오).
  4. 인구통계학적 민감도 (인종, 성별, 국적 등 인구통계학적 요인을 변형한 30 개 시나리오).
  5. 현대적 딜레마 (AI 안전, 생체윤리 등에 관한 10 개 시나리오).
• 유도: 모델들은 이진 판정, 신뢰도 평가, 고정된 여섯 가지 중 하나에서 선택한 자기 표명 윤리 체계, 그리고 추론 흔적을 제공하도록 프롬프트되었습니다. 각 시나리오당 각 구성에 대해 세 가지 응답이 샘플링되었습니다 ($N=3$).
• 지표: 이 연구는 모델 간 합의 (Krippendorff's $\alpha$), 개사 일관성, 인구통계학적 판단 불일치, 그리고 즉각 모드와 사고 모드 간 판정 반전 및 체계 전환 비율을 측정했습니다.

주요 기여

1. 통제된 즉각 모드 vs 사고 모드 비교: 이 연구는 다양한 모델 계열에 걸쳐 단일 체크포인트 내에서 추론 효과를 체계적으로 평가한 첫 번째 사례로, 서로 다른 모델 버전을 비교할 때 발생하는 능력 혼란 요인을 제거합니다.
2. 벤치마크 및 파이프라인: 저자들은 향후 분석을 위해 재현 가능한 오픈소스 파이프라인, 100 개 시나리오 벤치마크, 그리고 제공업체가 노출한 추론 산물을 포함한 2,963 개의 원시 응답을 공개했습니다.
3. 추론 효과에 대한 실증적 발견: 이 논문은 판정 안정성, 체계 자기 표명, 그리고 인구통계학적 일관성과 관련하여 추론이 도덕적 판단에 어떻게 영향을 미치는지 정량화합니다.

결과

• 집계 합의: 사고 모드를 활성화하는 것이 이진 도덕 판정에 대한 집계된 모델 간 합의를 유의미하게 변화시키지는 않았습니다. Krippendorff's $\alpha$는 즉각 모드 ($0.781$) 와 사고 모드 ($0.789$) 간에 통계적으로 구별할 수 없었습니다.
• 어려운 경우 vs 쉬운 경우 (층화):
  • 쉬운 경우: 모델들이 초기에 동의했던 79 개 시나리오 (즉각 모드) 에서는 합의가 높게 유지되었으나, 추론이 네 가지 사례에서 사소한 이견을 도입하여 $\alpha$를 $1.00$에서$0.95$로 낮췄습니다.
  • 어려운 경우: 21 개의 '모델 간 이견' 시나리오 (즉각 모드 합의가 우연 수준에 가까웠던 경우, $\alpha \approx 0.08$) 에서 추론은 모델 간 불일치를 방향적으로 축소시켰습니다. 평균 쌍별 합의는 $5.4/10$에서 $6.7/10$으로 상승했습니다. 그러나 저자들은 이 개선이 시사적일 뿐이라고 지적합니다: $\alpha$ 변화에 대한 쌍별 부트스트랩 95% 신뢰 구간 ($[-0.05, 0.36]$) 은 0 을 포함하며, 이 결과는 다중 비교 보정을 통과하지 못합니다.
• 판정 vs 체계: 추론은 이진 판정보다 자기 표명 윤리 체계를 더 자주 변경했습니다. 모든 모델을 통틀어 체계 전환율 (919%) 이 판정 반전율 (19%) 을 초과했습니다. 예를 들어, DeepSeek-V3.1 은 8% 의 판정 반전율을 보였으나 체계 전환율은 19% 였습니다.
• 인구통계학적 일관성: 추론은 다섯 가지 모델 중 세 가지 (DeepSeek, GPT-5.5, Qwen) 에서 인구통계학적 판단 불일치 (인구통계학적 단서에 기반한 판정의 분산) 를 감소시켰습니다. 어떤 모델에서도 불일치를 증가시키지는 않았습니다.
• 개사 견고성: 모든 모델은 개사에 대해 높은 견고성을 보였습니다 (일관성 비율 0.90~1.00). 이는 표면 형태 변이가 추론 훈련 모델에서 중대한 판정 반전을 초래할 것이라는 가설과 모순됩니다.
• 구성 타당성 주의사항: 이 연구는 중요한 한계를 강조합니다: '경량 사고 (lightweight thinking)'는 제공업체 간에 계산적으로 비교 가능하지 않습니다. 호출당 평균 추론 토큰 사용량은 **33 토큰 (Claude)**에서 **2,639 토큰 (Qwen3.5)**까지 80 배의 폭을 보였습니다. 결과적으로, 계열 간 비교는 '추론 활성화'와 '소비된 추론 양'을 혼동합니다.

의의 및 주장
이 논문은 추론 모드를 활성화하는 것이 집계된 도덕적 판정을 실질적으로 변경하지는 않지만, 즉각 모드 모델이 이견을 보이는 어렵고 논쟁적인 시나리오에 대한 합의를 방향적으로 개선한다고 겸손하게 주장합니다. 또한 추론이 편향을 증가시키지 않으면서 여러 모델에서 인구통계학적 불일치에 대한 교정제로 작용함을 확립합니다.

저자들은 추론이 종종 모델들로 하여금 윤리적 근거를 재표명하게 하여 (체계를 전환하게 하여) 최종 이진 결정을 드물게 뒤집는다고 강조합니다. 이 연구는 '사고 모드'가 다양한 계산 깊이를 가진 제공업체 고유의 구성 요소이며, 어려운 경우와 인구통계학적 민감도에서의 일관성을 위한 이점을 제공하지만 도덕적 정렬을 위한 단일한 해결책은 아니라고 결론 내립니다. 결과는 공정성에 민감한 응용 분야에서는 추론을 활성화하는 것이 방어 가능한 기본값임을 시사하지만, 추론 흔적에 대한 독립적 검증 없이는 자기 표명 체계가 모델의 근본적인 윤리적 논리에 대한 신뢰할 수 있는 신호로 간주되어서는 안 된다고 제안합니다.