💬 NLP

XTC: Head-Aware Sampling by Excluding Top Choices

이 논문은 다양한 대규모 언어 모델에서 유창성과 지시 이행 정확도를 유지하면서도 생성의 다양성과 창의성을 크게 향상시키기 위해 지배적인 고확률 토큰들을 선택적으로 제거하는 경량 디코딩 전략인 XTC(Exclude Top Choices)를 소개한다.

원저자: Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 프로그램이 글쓰기를 배울 때, 인간처럼 문장 단위로 생각하는 것이 아닙니다. 대신, 이들은 앞에 나온 단어들을 바탕으로 다음에 올 단어를 예측하며, 긴 가능성의 목록 중에서 하나를 선택합니다. 오랫동안 이러한 프로그램들이 다양하고 흥미로운 텍스트를 쓰게 만드는 표준적인 방법은, 드문 단어들을 사용하도록 유도하거나 아주 가능성이 낮은 단어들을 잘라내는 것이었습니다. 이 방식은 엉뚱한 소리를 피하는 데는 효과적이었지만, 종종 다른 문제를 야기했습니다. 바로 텍스트가 안전하고, 반복적이며, 이상할 정도로 균일해진다는 점이었습니다. 컴퓨터가 이야기의 다음 내용을 이어갈 여러 가지 좋은 방법들을 알고 있을 때조차, 마치 옆에 경치 좋은 길이 있음에도 항상 큰 길만을 선택하는 여행자처럼, 거의 항상 가장 명백하고 일반적인 선택지를 골랐습니다. 다른 강력한 선택지들이 존재함에도 불구하고 가장 안전한 선택에 집착하는 이러한 성향은, 기계가 생성한 글에서 창의성을 조용히 앗아가고 있었습니다.

한 연구팀이 이제 이러한 특정한 습관을 고치기 위해 XTC(Exclude Top Choices, 상위 선택지 제외)라고 불리는 새로운 방법을 도입했습니다. 이 기술은 목록의 하단에 있는 가능성 낮은 단어들을 살펴보거나 전체 선택지 목록을 평탄하게 만들려고 노력하는 대신, 목록의 상단에 집중합니다. 이 방법은 컴퓨터가 두 개 이상의 매우 좋은 선택지 사이에서 진정으로 결정을 내리지 못할 때까지 기다립니다. 그런 상황이 발생하면, 이 방법은 가장 인기 있는 선택지를 후보에서 의도적으로 제거하여, 컴퓨터가 남은 강력한 대안들 중에서 선택하도록 강제합니다. 이는 컴퓨터가 정말로 갈림길에 섰을 때만 작동하는 단순한 스위치와 같으며, 결과물이 터무니없어지지 않으면서도 다양성을 유지하도록 보장합니다.

연구진은 이 아이디어를 120억 개의 파라미터를 가진 작은 모델부터 700억 개의 파라미터를 가진 거대 모델에 이르기까지 여러 종류의 대규모 언어 모델에 테스트했습니다. 그들은 모델들에게 창의적인 이야기를 쓰게 하고, 아이디어를 구상하게 하며, 대화를 나누게 하여, 새로운 방법과 기존의 텍etto 생성 방식들을 비교했습니다. 결과는 명확하고 일관적이었습니다. XTC를 사용할 때, 생성된 텍스트는 단어와 구절의 다양성이 측정 가능한 수준으로 증가하며 현저히 더 다양해졌습니다. 동시에, 텍스트의 반복성도 훨씬 줄어들어, 모델이 동일한 세 단어 구절을 반복하는 횟수가 훨씬 적어졌습니다. 한 테스트 세트에서는 글의 다양성이 11%에서 15% 사이로 개선되었고, 흔한 구절의 반복은 거의 절반 가까이 감소했습니다.

결정적으로, 연구진은 이러한 다양성의 증가가 품질이나 명료함을 희생시키며 나타난 것이 아님을 발견했습니다. 인간 자원봉사자들과 다른 고급 컴퓨터 프로그램들이 글을 평가했을 때, 그들은 XTC로 생성된 텍스트가 창의성과 흥미 면에서 표준 버전보다 높게 평가되며 이를 선호했습니다. 글은 유창하고 읽기 쉬운 상태를 유지했으며, 전반적인 품질의 눈에 띄는 저하도 없었습니다. 또한 이 방법은 매우 정밀하게 적용되었습니다. 설정을 너무 과하게 설정하지 않는 한, 특정 지시 사항을 따르거나 코드를 작성하는 것과 같이 엄격한 정확성이 요구되는 작업에는 간섭하지 않았습니다. 실제로 연구진이 XTC를 단순히 컴퓨터를 더 무작위하게 만드는 전통적인 방법과 비교했을 때, XTC는 지시 사항을 따르는 능력을 훨씬 더 잘 보존하면서도 동일한 수준의 다양성을 달로 달성했습니다.

이 연구는 또한 이 새로운 접근 방식이 기존의 도구들과 함께 잘 작동한다는 것을 보여주었습니다. XTC는 무작위성이나 반복을 제어하는 다른 방법들과 결합될 수 있으며, 그 이점들은 서로 상쇄되기보다 합쳐지는 효과를 냅니다. 표준적인 온도(temperature) 설정과 결합했을 때, 그 조합은 어떤 경우에는 반복을 70% 이상 줄이는 동시에 다양성을 거의 40%까지 끌어올리며 더 큰 개선을 만들어냈습니다. 연구진은 이러한 효과가 다양한 유형의 모델과 다양한 수준의 컴퓨터 메모리 압축 환경에서도 유효함을 확인했으며, 이는 이 방법이 견고하고 널리 적용 가능하다는 것을 시사합니다.

이 발견이 중요한 이유는 이것이 수년간 이러한 시스템을 조정해 온 방식의 사각지대를 다루고 있기 때문입니다. 이전의 방법들은 반복적인 글쓰기의 문제가 목록의 하단에 있는 아주 낮거나 이상한 단어들로부터 온다고 가정했습니다. 이 새로운 연구는 진짜 문제가 상단에 있다는 것을 보여줍니다. 즉, 컴퓨터가 자신의 가장 안전한 선택지에 너무 확신을 가진 나머지 다른 완벽하게 좋은 대안들을 무시한다는 것입니다. 컴퓨터가 진정으로 불확실할 때만 시스템을 부드럽게 밀어냄으로써, 이 방법은 더 자연스럽고 인간다운 표현의 범위를 열어줍니다. 이 기술은 이미 개발자들이 사용하는 여러 인기 있는 오픈 소스 도구들에 채택되었으며, 이는 인공지능의 글쓰기가 기계처럼 느껴지기보다 창의적인 파트너처럼 느껴지게 만드는 실질적인 방법을 제공하고 있음을 나타냅니다.

기술 요약: XTC (Exclude Top Choices)

1. 문제 정의

자기회귀 언어 모델은 학습된 분포에 대한 충실도와 다운스트림 작업의 목표 사이에서 균형을 맞추는 디코딩 전략을 필요로 한다. 온도 스케일링(temperature scaling), top- $k$ , top- $p$ (nucleus), typical sampling과 같은 기존의 다양성 증진 방법들은 주로 토큰 분포의 낮은 확률 꼬리(tail)를 절단하거나 전역 엔트로피를 재조정하는 방식으로 작동한다. 이러한 방식은 꼬리 부분의 노이즈를 줄이는 데는 효과적이지만, 특정 "헤드-모호성(head-ambiguity)" 영역에서는 효과를 발휘하지 못한다.

이 영역에서 모델은 여러 개의 개별적으로 그럴듯한 연속(continuation)에 상당한 확률을 할당하지만, 단 하나의 가장 일반적이거나 관습적인 선택지에 확률 질량을 불균형하게 집중시킨다. 관련 대안들이 분포의 꼬리가 아닌 "헤드(head)"에 존재하기 때문에, 꼬리 절단 방식은 효과가 거의 없다. 반대로, 전역적인 평활화(예: 높은 온도 설정)는 모델이 실제로 강력한 옵션들 사이에서 진정한 불확실성을 느끼는지 여부와 상관없이 모든 단계에 개입하므로 너무 거칠다. 이는 개별 출력은 다양해 보일지라도, 집단 수준의 다양성은 낮게 유지되며 모델이 가장 안전하고 반복적인 연속을 기본값으로 선택하게 만드는 균질화 현상을 초래한다.

2. 방법론: XTC (Exclude Top Choices)

XTC는 모델이 여러 가지 그럴듯한 옵션을 마주하고 있으나 그중 지배적인 옵션에 과도하게 가중치를 두는 상황에 특이적으로 개입하도록 설계된 경량 헤드 인식(head-aware) 디코딩 연산자이다. 이는 상위 변환(예: 온도, 페널티) 이후의 다음 토큰 분포 $p_t$ 에 적용되는 후처리 단계로 작동한다.

알고리즘

다음 토큰 분포 $p_t$ , 타당성 하한선(plausibility floor) $\tau$ , 그리고 개입 확률 $\rho$ 가 주어졌을 때:

적격 세트 식별: $p_t(v) \ge \tau$ 를 만족하는 모든 토큰 $v$ 를 모아 세트 $E_t$ 를 구성한다.
모호성 확인: 만약 $|E_t| < 2$ 라면, 헤드가 모호하지 않은 상태이므로 $p_t$ 를 변경 없이 반환한다.
확률적 트리거: 편향된 동전 던지기(biased coin flip)를 수행하며, 확률 $\rho$ 에 따라 결정된다. 결과가 실패(tails)이면 $p_t$ 를 변경 없이 반환한다(시공간적 희소성 속성).
언더독(Underdog) 선택: 만약 성공(heads)하고 $|E_t| \ge 2$ 라면, $E_t$ 내에서 가장 낮은 확률을 가진 토큰 $u$ (가장 "약한" 그럴듯한 대안)를 식별한다.
지배적 요소 제외: 제거 세트 $R_t = E_t \setminus \{u\}$ 를 정의한다. 만약 $R_t$ 에 보호된 토큰(예: EOS, 줄바꿈)이 포함되어 있다면, 중단하고 $p_t$ 를 반환한다.
재정규화: 모든 $v \in R_t$ 에 대해 $p_t(v) = 0$ 으로 설정하고, 남은 확률들의 합이 1이 되도록 재정규화한다.

이론적 특성

시공간적 희소성(Sparse in Time): 헤드가 모호하지 않거나 확률적 트리거가 실패할 경우 비활성화된다.
헤드 인식(Head-Aware): 꼬리 절단 방식과 구별되는, 고확률 대안들을 타겟팅한다.
구성 가능성(Compositional): 기존의 어떤 샘플러 스택에도 삽입될 수 있다.
KL-투영(KL-Projection): 재정규화 단계는 생존한 토큰들에 의해 지지되는 모든 분포 중 쿨백-라이블러 발산 $KL(q \parallel p_t)$ 를 최소화하는 유일한 해이며, 이는 남은 옵션들 간의 상대적 승률을 보존한다.

3. 주요 기여

XTC의 공식화: 완전한 구현 가능한 알고리즘과 함께 토큰 분포에 대한 특정 연산자로 XTC를 정의하였다.
구조적 분석: XTC를 엔트로피 기반 및 꼬리 절단 방식과 구별하는 특성을 도출하였으며, 여기에는 KL-투영 해석이 포함된다.
포괄적 평가: 세 가지 주요 모델 패밀리(Gemma 3 27B q4, Gemma 3 12B q6, DeepSeek R1 14B q6)에 걸친 60개의 실험과 Llama 3.3 70B q4에 대한 스케일링 검증을 수행하였다.
다양성-반복성 파레토 프런티어: XTC가 창의적 작업에서 다양성과 반복성 사이의 트레이드오프를 개선함을 입증하였으며, 이 이득은 파라미터 수가 12B에서 70B로 증가함에 따라 단조롭게 증가한다.
인간 및 LLM 검증: 150명의 평가자가 참여한 블라인드 Amazon Mechanical Turk 연구와 교차 벤더 LLM 심사 패널(Claude Opus 4.7 및 GPT-4o)을 통해 결과를 검증하였다.
지시 이행 보존(Instruction-Following Preservation): IFEval을 통해 지시 이행 작업에서의 다양성 비용을 정량화하였으며, XTC가 동일한 다양성 이득을 얻기 위해 온도 스케일링을 사용할 때보다 정확도를 훨씬 더 잘 보존함을 보여주었다.

4. 실험 결과

다양성과 반복성

창의적 생성: 12개 장르의 24개 창의적 프롬프트에 대해, XTC( $\rho=1.0, \tau=0.1$ $ρ = 1.0, τ = 0.1$ )는 모든 지표에서 최상의 점수를 기록했다.
- Distinct-2: 네 가지 모델 전체에서 11~15%의 이득을 보였으며, 파라미터 수가 많을수록(12B에서 70B로) 이득이 증가했다.
- 반복성: 반복되는 트리그램(trigram)을 27~47% 감소시켰다.
- 구성: 온도 스케일링과 결합했을 때, 베이스라인 대비 총 개선도는 Distinct-2에서 38%, 반복 트리그램 감소에서 71%에 달했다.
일반화: 효과는 다양한 양자화 수준(q4 vs. q6)과 모델 아키텍처(Gemma, Qwen 기반 DeepSeek, Llama) 전반에서 일관되게 나타났다.

품질 및 인간 선호도

LLM 심사위원: Claude Opus 4.7과 GPT-4o 모두 XTC가 반복성을 유의미하게 개선하며, 전체적인 품질을 저하시키지 않으면서 창의성과 어휘 다양성을 방향성 있게 개선한다는 점에 동의했다.
인간 평가: 150명의 숙련된 평가자가 참여한 블라인드 연구에서, XTC는 창의성 측면에서 베이스라인보다 62.3% 더 높은 선호도를 보였다( $p < 10^{-4}$ ). 또한 품질 측면에서는 84.4%의 비교에서 베이스라인과 대등하거나 더 나은 결과를 보였다.

지시 이행 (IFEval)

Llama 3.3 70B q4 모델에서, XTC Light와 Medium은 프롬프트 수준의 엄격한 정확도를 각각 $-0.4 $및$ -1.7$ 퍼센트 포인트만 변화시켰다.
반면, 유사한 Distinct-2 이득을 얻도록 튜닝된 온도 설정( $T=1.15$ )은 IFEval 정확도에서 8.8 퍼센트 포인트의 하락을 초래했다.
XTC는 온도 스케일링에 비해 지시 이행 능력의 손실당 약 5배 더 많은 다양성 이득을 제공한다.

5. 의의 및 주장

본 논문은 XTC가 자기회귀 생성에서 이전에 간과되었던 특정 실패 모드, 즉 여러 강력한 옵션이 존재함에도 불구하고 가장 안전한 것을 선택하게 되는 "헤드-모호성" 영역을 해결한다고 주장한다. 꼬리가 아닌 헤드를 타겟팅함으로써, XTC는 전역적인 엔트로피 조작과 흔히 연관되는 일관성이나 지시 이행 능력의 큰 희생 없이 스타일적 다양성을 높이고 반복성을 줄이는 메커니즘을 제공한다.

저자들은 XTC를 이미 주요 오픈 소스 추론 프레임워크(llama.cpp, ExLlamaV2, text-generation-webui)에 채택된 실용적이고 즉시 적용 가능한 솔루션으로 포지셔ning한다. 이 연구는 향후 디코딩 전략이 꼬리 절단 및 전역 온도와는 별개인, 분포의 "헤드"를 별도의 제어 표면(control surface)으로 고려해야 함을 시사한다.

인정된 한계점:

XTC가 항상 유익한 것은 아니다. $\rho$ 값이 너무 높을 경우 정확성이 요구되는 작업(예: 코드 생성, 구조화된 추출)에서 성능을 저하시킬 수 있다.
최적의 파라미터( $\tau, \rho$ )는 작업에 따라 달라질 수 있으며 모델 규모와 토크나이저에 따라 차이가 있을 수 있다.
이는 디코딩 시점의 개입이며, 모델의 근본적인 결함이나 학습 데이터의 균질화 문제를 해결할 수는 없다.