기술 요약: 샘플링에서의 소실

문제 제기

현대 대규모 언어 모델 (LLM) 은 종종 인간 담화의 어휘적 풍부함이 결여된 동질적이고 반복적인 텍스트를 생성합니다. 이전 연구들은 이러한 '모드 붕괴 (mode collapse)'를 모델 정렬 기법 (RLHF 또는 DPO 등) 이나 학습 데이터의 한계로 귀인해 왔으나, 본 논문은 디코딩 메커니즘이 언어적 다양성을 억제하는 역할을 규명합니다. 저자들은 표준 샘플링 필터 (예: Top-p, Top-k, Min-p) 가 모델의 잠재 확률 공간 내에 존재하는 단어라 하더라도, 생성 경로에서 저빈도·고정보 단어들을 수학적으로 제거하는 공격적인 가지치기 메커니즘으로 작용한다고 주장합니다. 그 결과 모델의 운영 어휘가 인위적으로 제한되는 '구조적 붕괴'가 발생하여, 독특한 인간 표현이 동질화된 담론으로 평탄화됩니다.

방법론: 단어 커버리지 점수 (WCS)

샘플링 필터가 문맥상 적절한 어휘를 얼마나 가지치기하는지 정량화하기 위해, 저자들은 **단어 커버리지 점수 (Word Coverage Score, WCS)**를 도입했습니다. 이 지표는 샘플링 매개변수의 함수로서 인간 단어의 '어휘 생존율'을 측정합니다. 평가는 다음 4 단계 **강제 경로 감사 (Forced-Path Audit)**를 따릅니다:

1. 어휘 선택: 구글 웹 트릴리온 단어 코퍼스 (Google Web Trillion Word Corpus) 에서 '중간 - 장꼬리 (Middle-Long Tail)' 단어 집합을 선정합니다. 이러한 단어들은 빈도 순위가 10,000 에서 40,000 사이가 되도록 하여 흔한 기능어와 극히 드문 노이즈를 배제합니다.
2. 문맥 매핑: 대상 단어들을 PG-19 데이터셋(1919 년 이전에 출판된 책) 에서 추출된 자연스러운 문맥에 매핑하여, 현대 웹 크롤링에 의한 동질화에서 자유로운 언어적으로 풍부한 인간 작성 환경 내에서 평가를 수행합니다.
3. 강제 경로 감사: 각 단어 $w$(서브워드 토큰 $t_1, \dots, t_n$으로 구성됨) 와 문맥 $C$에 대해, 모델에 정답 접두사를 제공합니다. 샘플링 대신 시스템은 정답 토큰의 순위와 확률을 기록합니다. 이 감사는 해당 토큰들이 특정 샘플링 알고리즘의 가지치기 논리를 통과할 수 있는지 판단합니다:
   • Top-k 생존: 토큰이 가장 확률이 높은 상위 $k$개 내에 있어야 합니다.
   • Top-p (핵) 생존: 토큰이 누적 확률이 임계값 $p$에 도달하는 가장 작은 토큰 집합에 속해야 합니다.
   • Min-p 생존: 토큰의 확률이 최대 토큰 확률의 스케일링된 분수 $m$을 초과해야 합니다.
4. 지표 계산: WCS 는 대상 단어 집합 $W$와 해당 문맥들에 대한 집계 평균 도달 가능성 ($R$) 으로 계산됩니다. 한 단어가 모든 구성 토큰이 각 단계에서 필터를 통과할 때만 '커버됨'($R=1$) 으로 간주됩니다.

실험 구성

이 연구는 200 억 개 미만의 파라미터를 가진 오픈 가중치 모델을 평가하여 Base(원본) 변형과 Instruct/It(정렬된) 변형을 비교했습니다. 모델 패밀리에는 Llama, Mistral, Qwen, Gemma, DeepSeek 가 포함되었습니다. 실험은 샘플링 매개변수를 체계적으로 스윕했습니다:

• Top-p: 0.7 에서 0.99
• Top-k: 1 에서 20
• Min-p: 0.01 에서 0.1
• Temperature: 0.7, 1.0, 1.5

평가의 초점은 각 단어당 10 개의 문맥에서 도달 불가능해지는 단어의 비율 ($WCS(\theta, w) = 0$) 에 맞춰져, 효과적으로 '단어 소거'를 측정했습니다.

주요 결과

• 체계적 단어 소거: 표준 산업 기본 설정 (예: Top-p $\approx$ 0.8–0.95, $T \approx$ 0.7) 하에서 대상 단어의 상당 부분 (22% 에서 57%) 이 모든 문맥에서 완전히 도달 불가능합니다. 예를 들어, Gemma-4-E4B-it 모델은 기본 구성에서 대상 단어의 57% 를 소거했습니다.
• 정렬의 영향: 지시 튜닝된 (정렬된) 모델은 일반적으로 기본 모델보다 낮은 어휘 도달 가능성을 보입니다. 매칭된 쌍에서 평균 단어 수준 도달 가능성은 0.740(Base) 에서 0.728(Instruct) 로 감소했으며, 집계 WCS 는 0.290 에서 0.277 로 감소했습니다. 이는 선호도 최적화 과정이 직접적으로 사용 가능한 어휘 공간을 제한함을 시사합니다.
• 증류 결손: DeepSeek-R1-Distill-Qwen-14B 모델은 기본 Qwen2.5-14B 에 비해 상당한 어휘 손실을 보였으며, 이는 구조화된 추론 능력을 증류하는 것이 어휘 접근성에 추가적인 제약을 도입함을 나타냅니다.
• 고온 설정의 비효율성: 공격적인 고온 설정 ($T=1.5$) 하에서도 상당 부분의 문맥이 대상 단어를 선택하지 못하여, 단순히 온도를 높이는 것만으로는 어휘적 다양성을 완전히 회복하지 못하며 종종 일관성을 해친다는 것을 보여줍니다.
• 모델별 변동: 대부분의 패밀리가 정렬 후 다양성이 감소한 반면, Gemma 패밀리에서는 비균일한 패턴을 보였습니다. Gemma-3-12B-it 은 기본 모델보다 개선된 반면, Gemma-4-E4B-it 은 심각한 침식을 겪었으며, 이는 정렬의 영향이 아키텍처와 학습 반복에 따라 달라짐을 강조합니다.

중요성과 주장

본 논문은 표준 샘플링 기본값이 의도치 않은 검열 메커니즘으로 작용하여, 토큰이 선택되기 전에 모델의 잠재 확률 공간 (갈림길의 정원이라는 은유) 을 수학적으로 가지치기한다고 주장합니다. WCS 는 이러한 현상을 정량화하는 엄격한 진단 도구를 제공하며, LLM 출력의 동질화는 학습 데이터나 정렬의 결과만이 아니라 디코딩 필터에 의해 구조적으로 강제됨을 드러냅니다.

저자들은 이러한 어휘 침식이 언어 진화에 장기적인 위험을 초래한다고 주장합니다. 모델이 생성한 텍스트가 공개 저장소를 채우고 미래 모델의 학습 데이터가 됨에 따라, 이러한 평탄화된 담론의 순환적 섭취는 활발한 인간 어휘를 영구적으로 제한하여 다양한 표현의 '장꼬리 (Long Tail)'를 지워버릴 수 있습니다. 논문은 어휘 다양성을 보존하기 위해서는 어휘의 폭을 사실적 정확성과 동등한 핵심 아키텍처 목표로 간주하고, 노이즈와 문맥상 풍부하며 저빈도인 어휘를 구별할 수 있는 의미 유도 디코더를 개발하는 패러다임 전환이 필요하다고 결론지었습니다.

한계

저자들은 다음과 같은 제약 사항을 인정합니다:

• 범위: 연구는 200 억 개 미만의 파라미터를 가진 오픈 가중치 모델과 영어에만 국한됩니다.
• 데이터 편향: 문맥은 1919 년 이전 문학 (PG-19) 에서 추출되어 역사적 편향을 도입하지만, 이는 현대 웹의 동질화를 피합니다.
• 이진 지표: WCS 는 절대적 배제 ($R=0$ 또는 $1$) 를 측정하며, 단어가 도달 가능하지만 확률이 크게 감소하는 '연성 침식 (soft erosion)'은 포착하지 못합니다.
• 토크나이저 변동: 모델 패밀리 간 서브워드 토크나이징의 차이로 인해 단일 단어에 대한 필터링 단계 수가 달라 직접적인 비교에 영향을 줍니다.
• 정적 문맥: 감사는 고정된 256 토큰 접두사를 사용하며, 장기 의존성을 평가하지는 않습니다.