기술적 요약: 더 많이 샘플링할수록 더 적게 얻는다: LLM 에서 다양성 병목 현상은 보정 (Calibration) 에 있다

문제 제기

창의적 생성부터 과학적 발견에 이르기까지 다양한 응용 분야에서 다양성이 핵심적인 역할을 함에도 불구하고, 현대의 대규모 언어 모델 (LLM) 은 종종 '모드 붕괴 (mode collapse)'를 보여 주며, 출력물이 타당한 응답들의 좁은 하위 집합으로 수렴하는 경향을 보입니다. 이전 연구들은 이러한 다양성 부족을 측정하기 위한 벤치마크를 확립했지만, 추론 시간 확률 분포 내부의 근본적인 원인은 여전히 잘 이해되지 않고 있습니다. 표준 샘플링 휴리스틱 (예: 온도 스케일링, top-k, top-p, min-p) 은 종종 의미 있는 다양성을 회복하지 못합니다. 이러한 방법들은 확률 질량을 무효하거나 nonsensical 한 연속체로 이동시키거나, 유효한 대안들을 잘라버립니다. 본 논문은 병목 현상이 단순히 디코딩 전략의 한계가 아니라, 유효 토큰과 무효 토큰 간에 확률 질량이 어떻게 할당되는지와 관련하여 LLM 의 조건부 분포 자체의 근본적인 속성이라고 주장합니다.

방법론

저자들은 유효한 출력물을 생성하는 것과 다양한 유효한 대안들을 탐색하는 것 사이의 트레이드오프를 분석하기 위해 유효성–다양성 프레임워크를 도입했습니다. 그들은 다양성 붕괴를 **순서 보정 (Order Calibration)**과 **형태 보정 (Shape Calibration)**이라는 두 가지 상호 보완적인 형태의 보정 불량으로 분해했습니다.

1. 이론적 프레임워크

• 유효성 (Validity): 유효 응답 집합 ($V$) 에 할당된 총 확률 질량으로 정의됩니다.
• 다양성 (Diversity): 유효 집합으로 제한된 모델 분포의 정규화된 유효 지지 크기 (엔트로피의 지수) 로 정의됩니다.
• 순서 보정 (Order Calibration): 유효 토큰이 무효 토큰보다 신뢰할 수 있게 상위 순위로 매겨진다는 가정입니다. 논문은 유효 토큰이 순위 매겨진 분포 전체에 걸쳐 교차되어 배치되는 경우가 빈번하며, 이 가정이 자주 위반된다고 주장합니다.
• 형태 보정 (Shape Calibration): 확률 질량이 유효 토큰 전체에 균일하게 분포된다는 가정입니다. 논문은 분포가 종종 소수의 유효 토큰에 과도하게 집중되어 있습니다 (sharp head) 고 주장하며, 그 뒤에는 유효/무효 토큰이 섞인 무거운 꼬리 (heavy tail) 가 존재한다고 합니다.

2. 경험적 진단

이러한 병목 현상을 탐구하기 위해 저자들은 통제된 진단 도구를 개발했습니다:

• 토큰 유효성 라벨링: 특정 후보 토큰으로 시작되는 탐욕적 (greedy) 완성의 유효성을 평가하기 위해 LLM-as-a-judge(Qwen3.5-35B) 를 사용합니다. 이를 통해 컷오프 전략에 대한 정밀도 - 재현율 곡선을 구축할 수 있습니다.
• 통제된 테스트베드: 무작위 숫자 생성, 미국 주 이름 나열과 같이 정확히 알려진 유효 집합을 가진 작업을 활용하여, 노이즈가 많은 의미적 판단에 의존하지 않고 정확한 유효성 및 다양성 지표를 계산합니다.
• 오라클 기준선 (Oracle Baselines): 각 단계에서 유효 토큰의 정확한 개수는 알지만 그 정체는 모르는 "오라클" 컷오프 전략을 구현하여, 순위 기반 필터링의 영향을 분포 형태의 근본적인 영향과 분리합니다.
• 다단계 분석: 단일 단계 진단을 깊이 $d > 1$로 확장하여 국소적 오류가 시퀀스 생성 과정에서 어떻게 증폭되는지 관찰합니다.

주요 기여

1. 유효성–다양성 프레임워크: 토큰 수준과 시퀀스 수준 모두에서 트레이드오프를 공식적으로 분석하여, 다양성 붕괴를 단순한 디코딩 휴리스틱이 아닌 분포적 속성으로 귀인합니다.
2. 보정 병목 현상의 식별:
   • 순서 보정 불량 (Order Miscalibration): 유효 토큰이 일관되게 무효 토큰보다 상위 순위로 매겨지지 않습니다. 이는 순위 기반 필터링 규칙에 내재된 트레이드오프를 만듭니다: 유효 토큰을 회복하기 위해 컷오프를 확장하면 필연적으로 무효 토큰도 허용하게 되고, 이를 강화하면 유효한 대안들이 배제됩니다.
   • 형태 보정 불량 (Shape Miscalibration): 확률 질량이 소수의 유효한 연속체에 비균일하게 집중되는 반면, 꼬리 부분에는 유효와 무효 토큰이 섞인 무거운 혼합물이 존재합니다. 온도 스케일링은 헤드를 평평하게 만들지만, 무효 꼬리의 질량을 불균형적으로 증가시킵니다.
3. 증폭 손실에 대한 이론적 증명:
   • 순서: 정리 4.2 는 국소적 정밀도 - 재현율 트레이드오프가 곱셈적으로 증폭됨을 보여줍니다. 유효/무효 토큰을 분리하는 데 있어 작고 일정한 국소적 실패조차 시퀀스 길이가 증가함에 따라 도달 가능한 유효 집합이 기하급수적으로 감소하게 만듭니다.
   • 형태: 정리 5.2 는 기하급수적 감소 가정 하에서 높은 유효성을 유지하려면 날카로운 분포가 필요하며, 이는 본질적으로 유효 토큰에 대한 엔트로피 (다양성) 를 감소시킴을 보여줍니다. 이러한 다양성 손실은 분기 단계 수 ($m$) 에 따라 기하급수적으로 증폭됩니다.
4. 경험적 진단: 다양한 계열과 규모의 14 개 언어 모델에 걸쳐 다양성 실패의 원인을 체계적으로 추적하기 위한 통제된 환경 (무작위 숫자 생성, 주 이름 나열) 과 오라클 기준선을 개발했습니다.

결과

• 순서 보정 실패: 14 개 모델 (Qwen, Llama, Olmo 계열) 을 대상으로 한 실험은 유효 토큰이 순위 매겨진 분포에서 무효 토큰과 자주 섞여 있음을 보여줍니다. 정밀도 - 재현율 트레이드오프는 디코딩 깊이가 증가함에 따라 현저히 악화됩니다. 최적의 컷오프 전략조차 유효 토큰과 무효 토큰을 완벽하게 분리할 수 없습니다.
• 형태 보정 실패: 통제된 작업 (예: 무작위 숫자 생성) 에서 온도를 높이는 것은 유효성 비용을 치르고 다양성을 개선할 뿐입니다. 무효 꼬리가 희귀한 유효 대안들의 회복보다 더 빠르게 성장합니다.
• 확장 (Scaling) 은 문제를 해결하지 못함: 더 큰 모델들은 순서 보정에서 약간의 개선 (정밀도 - 재현율 프론티어의 더 높은 AUC) 을 보이지만, 트레이드오프를 제거하지는 못합니다. 높은 정밀도에서의 재현율은 모델 크기에 따라 낮고 비단조적으로 유지됩니다.
• 디코딩 휴리스틱은 불충분함: 표준 top-토큰 필터링 방법 (top-k, top-p, min-p) 은 다양성을 효과적으로 회복하지 못합니다. 오라클 컷오프 (유효 토큰의 정확한 개수를 아는 경우) 조차 형태 보정 불량이 있는 작업에서는 이상적인 다양성을 달성하지 못합니다. 이는 순위뿐만 아니라 분포의 형태가 제한 요인임을 시사합니다.
• 오라클 개입: 진단에 의해 유효로 라벨링된 토큰만 샘플링하는 오라클 필터를 적용하면 임베딩 다양성과 어휘적 다양성 (낮은 Self-BLEU) 모두 크게 개선됩니다. 이는 유효한 대안들이 분포에 존재하지만 표준 순위 기반 규칙에 의해 놓치고 있음을 증명합니다.

중요성과 주장

본 논문은 다양성 붕괴가 특정 샘플링 알고리즘의 실패가 아니라, LLM 분포 내의 순서 및 형태 보정 불량의 결과라고 주장합니다.

• 난이도 결과 (Hardness Result): 저자들은 상위 토큰 필터링에만 의존하는 모든 디코딩 전략에 대한 이론적 난이도 결과를 확립합니다: 유효 토큰과 무효 토큰이 교차되어 있다면, 높은 시퀀스 수준의 유효성을 유지하려면 각 단계에서 유효한 연속체의 일정한 비율을 희생해야 하며, 이는 다양성의 기하급수적 붕괴로 이어집니다.
• 진단적 가치: 제안된 프레임워크는 기존 방법들이 왜 실패하는지 진단할 수 있는 렌즈를 제공하며, 블랙박스 벤치마킹을 넘어 다양성 손실의 기계적 원인을 이해하는 데 기여합니다.
• 미래 작업에 대한 함의: 이러한 발견은 미래의 해결책이 디코딩 하이퍼파라미터 튜닝을 넘어설 필요가 있음을 시사합니다. 효과적인 완화는 다음을 필요로 할 수 있습니다:
  • 확률 순위 이상의 보조 유효성 신호를 통합하는 보정 인식 (calibration-aware) 디코더 개발.
  • 품질을 희생하지 않으면서 더 넓은 유효 지지를 유지하기 위해 분포의 날카로움과 순위 매기기에 영향을 미치는 학습 목표 (사전 학습, 정렬, 안전성) 조사.

저자들은 겸손한 입장을 유지하며, 그들의 작업이 병목 현상을 해결하기보다는 진단한다는 점과, 통제된 실험이 복잡하고 개방형 생성에서의 모든 다양성 실패에 대한 완전한 설명이 아니라 특정 분포적 메커니즘에 대한 진단 도구로 기능함을 명시합니다.