The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment

기술 요약: 대규모 언어 모델의 예-아니오 편향(Yes–No Bias)

문제 정의
대규모 언어 모델(LLM)은 이진 도덕적 판단(예: 안전 게이트, 설문 강제 선택)을 내리는 데 점점 더 많이 배치되고 있다. 논리적으로 무관한 문구 변경, 옵션 순서, 응답 형식의 변화에 따라 이러한 판단이 크게 변화한다는 연구 결과가 늘어나고 있다. 구체적으로, 모델들은 도덕적 딜레마 상황에서 "아니오(no)" 쪽으로 판결이 쏠리는 현상인 '예-아니오 편향'을 보이며, 이는 인간과의 비교에서 나타나지 않는 특징이다. 그러나 표준적인 평가 방법은 이러한 변화의 근원을 진단하는 데 실패한다. 이진 "예/아니오" 질문에서, 단어 "아니오", 부정의 논리적 판결, 그리고 마지막에 출력된 옵션은 단 하나의 토큰으로 일치한다. 결과적으로, 단일 프레이밍의 반복은 모델이 부정적인 논리적 판결에 편향된 것인지, 단어 "아니오"라는 어휘적 토큰에 편향된 것인지, 아니면 출력된 옵션의 최신성(recency)에 의한 것인지 구분할 수 없다. 이러한 혼재는 단일 프레이밍 평가를 모호하게 만든다. 즉, 변화된 판결이 도덕적 판단의 변화를 반영하는 것인지, 특정 단어에 대한 선호인지, 혹은 표면적인 위치 편향인지를 알 수 없게 한다.

방법론
이러한 혼란 요인을 해결하기 위해, 저자들은 **교차 대칭화(crossed symmetrization)**에 기반한 심리 측정 배터리를 도입한다. 이 도구는 모든 논리적으로 무관한 섭동(perturbation)을 균형 잡힌 플립-페어(flip-pairs)로 적용하고 이를 교차하여 각 기여도를 분리한다. 이 배터리는 20개의 도덕적 딜레마(19개는 Cheung 등의 연구에서 그대로 가져왔고, 1개는 변형함)를 세 가지 별도의 도구를 통해 제시한다:

1. 등급 척도(Graded Rating, I-1): 48개의 교차 조건(척도 유형, 앵커 방향, 문구, 평가 대상 동작의 극성 변화 포함) 하에서 연속 척도(0–10 및 0–100)를 통해 도덕적 수용성을 도출한다.
2. 이택일 자유 선택(Two-Alternative Free Choice, I-2): 어떠한 평점 척도나 이진 레이블 없이 결단력 있는 결정을 도출한다.
3. 강제 이진 선택(Forced Binary, I-1): 질문의 동사(승인/반대)를 출력된 옵션의 순서 및 응답 레이블 자체(표준 "예/아니오", 임의의 레이블 "A/B", 기호, 비영어 단어 등)와 교차시켜 예/아니오 방식의 판결을 도출한다.

핵심 분석 전략은 플립-페어의 대칭 부분을 모델의 내부 입장($\theta$)의 추정치로, 반대칭 부분을 인위적 산물(artifact)로 취급하는 것이다. 저자들은 요인들을 교차함으로써 산물을 특정 원인(순서, 어휘, 논리)에 귀속시킨다. 본 연구는 7개의 프런티어 구성(Claude Sonnet, Claude Haiku, GPT-5.5, Gemini-3-Flash, Gemini-3.1-Flash-Lite, Claude Opus)과 2개의 소규모 오픈 웨이트 모델(Qwen3.6-35B-A3B, Nemotron-3-Nano-30B-A3B)을 평가한다.

주요 기여

1. 일관된 내부 도덕 척도의 존재: 본 연구는 프런티어 모델들이 잠재적이고 형식 불변적인 도덕적 입장을 보유하고 있음을 입증한다. 논리적으로 동등한 재구성 하에서, 등급 평가는 낮은 교차 형식 불일치($\sigma_{repro} = 0.12–0.21$ on a $\pm1$ axis)와 함께 수렴한다. 이는 모델의 내부 일관성을 검증하며, 단일 프레이밍 설계로는 증명할 수 없는 속성이다.
2. 예-아니오 편향의 분해: 겉으로 드러나는 "예-아니오 편향"은 논리적 편향이 아니라 분해 가능한 산물임이 밝혀졌다. 이는 정확히 다음으로 나뉜다:
   • 순서 편향(Order Bias): 인간 설문에서 흔히 보이는 초두 효과(primacy effect)와 반대되는, 마지막에 출력된 옵션으로 끌리는 현상(최신성).
   • 어휘 편향(Lexical Bias): 특정 단어 "아니오"로 끌리는 현상.
   • 논리적 편향(Logical Bias): "아니오"라는 단어를 임의의 레이블로 대체했을 때, 프런티어 모델에서는 판결 자체에 부착된 편향이 $\approx 0$으로 나타났다.
3. 산물의 파라미터 모델: 저자들은 산물을 요약하기 위한 최소 모델 $P = \sigma((\theta \pm m)/s)$를 제안한다.
   • $m$ (프레이밍 민감도): 편향의 크기를 측정한다.
   • $s$ (도덕적 결정성): 이진 판결이 기저의 등급 입장(graded stance)을 얼마나 날카롭게 추종하는지 측정한다(샘플링 온도와는 구별됨).
4. 어휘적 vs 논리적 구분: "예/아니오"를 임의의 레이블(예: "A/B")로 교체함으로써, 본 연구는 편향이 논리적 판결이 아닌 출력된 표면(단어 또는 레이블)을 따른다는 것을 증명한다. 프런티어 모델은 임의의 레이블을 사용할 때 판결 부착 편향이 미미한 반면, 소규모 오픈 웨이트 모델은 판결 부착 편향을 유지한다.

결과

• 모델 변동성: 프런티어 모델(Claude, GPT, Gemini)은 낮은 불일치를 가진 일관된 내부 척도를 보인다. 반면, 소규모 오픈 웨이트 모델은 서로 다른 방식으로 실패한다: Qwen은 직접 모드(direct mode)에서 높은 불일치를 보이지만(숙고를 통해 해결됨), Nemotron은 항목을 거의 구별하지 못하는 퇴행적 척도(무관심)를 보인다.
• 편향 크기: "예-아니오 편향"은 Claude 모델(Sonnet: $-0.32$, Haiku: $-0.86$)에서 상당하게 나타나며, 이는 순서 및 어휘 성분으로 분해된다. GPT-5.5와 Gemini 모델은 무시할 수 있는 수준의 편향($\approx 0$)을 보인다.
• 숙고(Deliberation)의 효과: 확장된 추론("think" 모드)은 기능하는 척도를 가진 모델의 교차 형식 불일치($\sigma_{repro}$)와 프레이밍 민감도($|m|$)를 모두 감소시킨다. Claude Haiku의 경우, 숙고는 전체 편향을 $-0.86$에서$-0.27$로 줄인다.
• 레이블 의존성: 어휘적 인력(lexical pull)은 단계적이다. 레이블이 여러 언어에 걸쳐 "예/아니오"의 의미를 획득함에 따라 증가한다. 그러나 "예/아니오" 단어가 제거되면 판결 부착 편향이 사라지며, 이는 편향이 논리적이 아니라 어휘적임을 확인시켜 준다.
• 인간 비교: 인간은 가벼운 프레이밍 민감성을 보이지만, LLM에서 관찰되는 특유의 "아니오" 편향이나 극단적인 표면 민감성은 결여되어 있다.

의의
본 논문은 AI가 무엇을 가치 있게 여기는지 측정하려면 질문의 프레임을 교차하여 검증해야 한다고 주장한다. 표준적인 "예-아니오" 출력은 기저의 도덕적 신호를 압도할 수 있는 거대한 형식적 산물을 덧씌운다. 본 연구는 다음을 확립한다:

1. 프런티어 LLM은 논리적으로 동등한 재구성에도 견고한, 안정적이고 일관된 내부 도덕 척도를 보유하고 있다.
2. 관찰된 "예-아니오 편향"은 도덕적 명제를 거부하려는 성향이 아니라, 이진 출력 형식(특히 출력 순서와 "아니오"라는 단어의 상호작용)에 의한 산물이다.
3. 평가는 모델의 가치와 질문이 제시되는 방식의 산물을 분리해야 한다. 제안된 배터리는 프레이밍 민감도($m$)와 도덕적 결정성($s$)을 별개의 해석 가능한 파라미터로 측정하는 방법을 제공하여, AI 안전 및 정렬(alignment) 평가를 위한 더욱 엄격한 토대를 제공한다.