The One-Word Census: Answer-Choice Conformity Across 44 Language Models

기술 요약: 원-워드 센서스 (The One-Word Census)

문제 정의
본 논문은 대화형 AI에서 나타나는 "일반성(genericity)" 현상, 즉 언어 모델(LM)이 동등하게 유효한 수많은 선택지가 주어졌을 때 동일한 답변으로 수렴하는 경향을 다룬다. 기존 문헌들은 모델들이 균질한 출력을 생성하며, 이러한 수렴이 사후 학습(RLHF) 및 합성 데이터에 대한 재귀적 학습에 의해 악화된다는 점을 기록해 왔으나, 이를 정량화할 수 있는 저렴하고 기계적인 모델별 측정 도구는 부족했다. 기존의 다양성 지표들은 형태와 내용을 혼동하거나 값비싼 LLM 판정자 또는 임베딩에 의존하는 경우가 많다. 본 논문은 독립적인 모델들이 어떻게 동일한 "최빈(modal)" 답변으로 붕괴되는지를 측정하고, 다양한 모델 패널 전반에 걸친 이 수렴의 구조를 규명하고자 한다.

방법론: 원-워드 센서스 (The One-Word Census)
저자들은 31개의 단일 턴 프롬프트로 구성된 최소한의 측정 도구를 도입한다. 30개의 프롬프트는 모델에게 특정 카테고리를 명명하도록 요청하며(예: "나무 이름을 하나 대라", "양념 중 하나를 대라"), 이때 "한 단어로만 답하라"라는 제약을 부여한다. 31번째 프롬프트는 카테고리 제약을 제거한다("단어를 하나 골라라").

• 패널: 2026년 7월, OpenRouter를 통해 5년간의 출시 기간과 10개 이상의 연구소를 아우르는 44개의 모델(미국 프런티어 랩, 중국 랩, 엔터프라이즈 모델, 페르소나 튜닝된 오픈 모델 포함)을 쿼리하였다.
• 샘플링: 각 모델에 대해 요청된 온도(temperature) 1.0에서 프롬프트당 4회씩 쿼리하였다.
• 데이터 처리: 응답은 단일 토큰으로 정규화된다(소문자 변환, 구두점/이모지 제거, 마지막 알파벳 단어로 축소). 유효성은 채팅 아티팩트, 긴 응답, 단순 확인 등을 걸러내는 "정크 가드(junk guard)"를 통해 강제된다.
• 지표: 주요 지표는 **답변 선택 놀라움(Answer-Choice Surprisal)**이다. 특정 모델 $m$과 카테고리 $c$에 대하여, 답변 $a$의 놀라움은 모든 다른 모델들의 풀링된 분포(leave-one-out) 하에서 해당 답변의 음의 로그 확률로 계산된다(add-one smoothing 적용).
  • $s(a) = -\log_2 \frac{\text{count}_{F_{-m,c}}(a) + 1}{|F_{-m,c}| + V_c}$
  • 모델의 헤드라인 점수는 모든 유효한 답변에 대한 평균 놀라움 값이다. 낮은 점수는 높은 순응도(분야 내 예측 가능성)를 나타내며, 높은 점수는 발산을 나타낸다.
• 동반 통계: 연구는 또한 "최빈 회피(modal avoidance)"(필드의 최빈값과 다른 답변의 비율), "새로운 비율(novel rate)"(모델 고유의 답변 비율), 그리고 "자기-구별성(self-distinctness)"(내부 답변 확산도)을 추적한다.

주요 결과

1. 극단적 수렴: 이 분야는 단일 답변이 지배하는 "마찰 없는 모드(frictionless mode)"를 보인다. 31개 카테고리 중 7개에서 최빈 답변이 전체 응답의 80% 이상을 차지했다(예: 나무에 대한 "oak"가 94%, 도구에 대한 "hammer"가 94%). 제약이 없는 "단어를 하나 골라라" 프롬프트에서도 "serendipity"가 전체의 41%를 차지했다.
2. 순응도의 구조적 변이: 순응도는 모델 간에 유의미하게 차이가 난다(1.05 ~ 3.21 비트).
   • 가장 발산적인 모델: 가볍게 사후 학습되었거나, 페르소나 튜닝되었거나, 커뮤니티에 의해 유지 관리되는 모델들(예: Hermes 4, WizardLM-2)이 가장 높은 발산도를 보였다.
   • 가장 순응적인 모델: 최신 메인라인 플래그십 모델들(예: Claude Sonnet 5, GPT-5)은 가장 순응적이며, 종종 다른 어떤 모델도 내놓지 않은 답변을 전혀 생성하지 못했다.
3. 세대적 궤적: 주요 계보(Claude, GPT, Qwen, Grok) 내에서, 최신 릴리스는 일반적으로 더 높은 순응도로 향하는 경향이 있다. 그러나 최신 플래그십에서는 반전이 관찰되었다: GPT-5.6과 Claude Fable 5는 직전 모델들에 비해 높은 발산도를 보였으며, 이는 최상위 계층에서의 재포지셔닝을 시사한다.
4. 차점자 합의(The Runner-Up Consensus): 발산은 무작위가 아니다. 모델들이 최빈 답변을 피할 때, 그들은 압도적으로 동일한 "차점자" 답변으로 수렴한다(예: "ketchup"이 아닌 답변 중 "mustard"가 95%를 차지함). 모델 간의 친밀도는 "최빈 회피" 및 "깊이"(모델이 분포의 얼마나 아래까지 내려가는지)에 대한 공유된 성향 외에는 유의미한 쌍방향 상관관계가 없다.
5. 인간과의 비교: 인간의 카테고리 생성 규범(Battig-Montague/Van Overschelde)과 비교했을 때, 모델 필드는 20개 공유 카테고리 중 18개에서 더 집중되어 있다. 모델의 최빈 답변은 인간의 첫 번째 응답(36%)에 비해 필드의 평균 66%를 포착한다.

의의 및 주장
본 논문은 자신의 주요 기여가 측정 도구 그 자체라고 주장한다. 즉, 임베딩이나 LLM 판정자에 의존하지 않고 모델의 순응도를 측정할 수 있는 저비용의, 정확히 일치하며, 재현 가능한 방법론을 제공한다는 것이다.

• 메커니즘 통찰: 결과는 사후 학습(특히 선호 최적화 및 RLHF)이 출력 분포를 붕괴시킨다는 가설을 뒷받침한다. 발산이 릴리스별 속성(동일한 랩과 세대 내에서도 차이가 남)이라는 사실은 이것이 모델의 "계보 DNA"보다는 훈련 선택에 의해 구동됨을 시사한다.
• 헤일룸 모델(Heirloom Models): 본 연구는 안정적인 비-합의적 기본값을 유지하는 "헤일룸 모델"(예: 오래된 커뮤니티 튜닝 모델) 클래스를 식별한다. 이 모델들은 새로운 플래그십들의 교체 가능한 합의와 기능적으로 구별되며, 커뮤니티에 의한 이들의 보존은 인구의 "유전자 풀"을 위한 무보수 보존의 한 형태로 프레임화된다.
• 합성 데이터 루프: 논문은 DeepSeek 계보 내의 자연 실험을 강조한다. 형제 모델(v3-0324)로부터 생성된 합성 데이터로 학습된 모델은 극단적인 꼬리 붕괴(새로운 답변 0%)를 보인 반면, 다른 사후 학습을 거친 후속 릴리스(v3.2)는 높은 발산도를 보였다. 이는 합성 데이터에 대한 재귀적 학습이 분포 붕괴를 가속화한다는 이론을 뒷받침한다.
• 모니터링: 저자들은 산업계가 잠재적으로 다양성 인식 사후 학습으로 이동함에 따라, 순응도의 변화를 감지하기 위해 모든 릴리스마다 고정된 공공 측정 도구를 실행해야 한다고 주장한다. 현재의 이러한 추적 결여는 "지식 붕괴" 현상을 표준 능력 벤치마크에서는 보이지 않게 만든다.

본 논문은 모델들이 개별적으로는 능력이 있을지라도, 집단 전체로 볼 때는 분포가 아닌 점 추정치(point estimate)로 돌아가며, 인간 집단에서 발견되는 불일치의 진단적 신호 없이 상관된 오류만을 제공한다고 결론짓는다.