📊 statistics

Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation

본 논문은 창의성과 일관성을 효과적으로 균형 있게 조절하는 엔트로피 제약 질량 최대화 프레임워크에 기반한 새로운 샘플링 알고리즘인 Top-H 디코딩을 소개하며, 이는 사실적 작업에서 견고성을 유지하면서 창의적 글쓰기 벤치마크에서 min-p 샘플링과 같은 최신 기법들을 능가합니다.

원저자: Erfan Baghaei Potraghloo, Seyedarmin Azizi, Souvik Kundu, Massoud Pedram

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Erfan Baghaei Potraghloo, Seyedarmin Azizi, Souvik Kundu, Massoud Pedram

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑하고 독서를 많이 한 로봇에게 이야기를 들려달라고 요청한다고 말입니다. 당신은 그 이야기가 창의적(놀랍고 엉뚱한 아이디어로 가득 찬) 이면서도 일관성(논리적으로 타당하고, 말도 안 되는 소리가 아닌) 있게 되기를 원합니다.

문제는 로봇에게 "창의적이 되어라"라고 말하면, 종종 너무 흥분한다는 점입니다. 로봇은 이야기가 무너질 정도로 매우 드문 단어들만 골라내기 시작합니다. 이것이 바로 "창의성 대 일관성"의 갈등입니다.

구식 방법: "Top-K"와 "Top-P" 필터

과거 연구자들은 이를 해결하기 위해 간단한 필터를 사용했습니다.

Top-K: "가장 확률이 높은 상위 50 개 단어 중에서만 고르라." 이는 작은 안전한 어휘만 사용하도록 허용하는 엄격한 교사 같은 것입니다. 일관성은 있지만 지루합니다.
Top-P(Nucleus: "확률의 합이 90% 가 되는 가장 작은 단어 그룹에서 고르라." 이는 조금 더 유연하지만, 로봇이 불확실할 때 할당량을 채우기 위해 매우 이상한 단어를 실수로 포함시켜 이야기를 망칠 수도 있습니다.
Min-P: "로봇이 최고의 단어에 대해 매우 확신한다면, 이상한 단어들을 과감히 잘라내라. 불확실하다면 더 관대하게 하라"라고 말하는 더 새로운 방법입니다. 이는 잘 작동하지만, 맹점이 있습니다. 로봇이 얼마나 확신하는지 판단하기 위해 단 하나의 최상위 단어만 본다는 점입니다. 나머지 군중은 무시합니다.

새로운 방법: Top-H 디코딩

이 논문의 저자들은 Top-H라는 새로운 방법을 제안합니다. 이를 단어에 대한 스마트 교통 통제관으로 생각하세요.

단순히 "가장 빠른 차"(최상위 단어) 만 보고 얼마나 많은 교통량을 허용할지 결정하는 대신, Top-H는 전체 교통 체증(전체 확률 분포) 을 살펴봅니다.

간단한 비유를 들어 작동 방식을 설명해 보겠습니다.

"엔트로피" 미터 (혼란의 척도)

로봇의 뇌를 다양한 단어를 외치는 사람들로 가득 찬 방이라고 상상해 보세요.

낮은 엔트로피(침착함): 모두가 같은 것을 외치거나, 소수의 사람만 크게 외칩니다. 로봇은 매우 확신합니다.
높은 엔트로피(혼란): 수백 명의 사람이 동시에 서로 다른 것을 외칩니다. 로봇은 당황하고 불확실합니다.

구식 방법 (Min-P 등) 은 방이 얼마나 혼란스러운지 추측하기 위해 가장 큰 소리를 내는 사람의 소리 크기만 확인합니다. 가장 큰 소리를 내는 사람이 크게 외치고 있다면, Min-P는 방이 조용하다고 가정하고 다른 사람들을 차단합니다. 하지만 다른 50 명의 사람들이 조금만 더 조용하게 외치고 있다면 어떨까요? 방은 실제로 혼란스러운 것입니다!

Top-H는 전체 방의 총 소음 수준(엔트로피) 을 측정합니다.

방이 침착한(낮은 엔트로피) 경우, Top-H는 "좋습니다. 우리가 무엇을 하고 있는지 압니다. 상위 몇몇 사람만 말하게 합시다"라고 말합니다. (높은 일관성)
방이 혼란스러운(높은 엔트로피) 경우, Top-H는 "오, 여기는 불확실성이 많습니다. 이야기를 흥미롭게 유지하려면 더 많은 사람들이 말하게 해야 하지만, 소란스러운 싸움이 되지 않도록 제한을 두어야 합니다"라고 말합니다. (높은 창의성, 하지만 통제됨)

"Greedy" 알고리즘

이 논문의 저자들은 이러한 균형을 맞추기 위한 완벽한 단어 그룹을 찾는 것은 수학적으로 불가능한 퍼즐 (NP-hard 라고 함) 이라고 증명했습니다. 백만 가지 옵션이 있지만 모두 테스트할 수 없는 케이크를 만들기 위한 완벽한 재료 조합을 찾는 것과 같습니다.

그래서 Top-H는 Greedy 알고리즘을 사용합니다. 블록으로 탑을 쌓는다고 상상해 보세요.

가장 크고 안정적인 블록 (가장 확률이 높은 단어) 으로 시작합니다.
다음으로 가장 큰 블록을 계속 추가합니다.
블록을 추가할 때마다 확인합니다: "탑이 너무 흔들리고 있나?" (엔트로피가 너무 높은가?)
탑이 여전히 안정적이라면 ("엔트로피 예산" 범위 내), 계속 추가합니다.
블록을 하나 더 추가하면 너무 많이 흔들릴 순간, 멈춥니다.

이로써 이야기가 무의미한 말로 무너지지 않으면서 가장 흥미로운 단어를 얻을 수 있습니다.

논문에서 발견한 점

저자들은 이 "스마트 교통 통제관"을 다양한 작업에서 구식 방법과 비교하여 테스트했습니다.

창의적 글쓰기: Top-H는 특히 로봇에게 "엉뚱하게 행동하라"(높은 온도 설정) 고 지시했을 때, 다른 방법들보다 훨씬 더 창의적이고 일관성 있는 이야기를 작성했습니다.
추론 작업: 수학 및 논리 퍼즐에서도 더 잘 수행되어, 단순히 무언가를 지어내는 것이 아니라 현실에 기반을 두고 있음을 증명했습니다.
속도: 다른 방법들과 거의 동일한 속도로 작동하여 로봇의 속도를 늦추지 않습니다.

결론

Top-H는 AI 가 단어를 선택하는 새로운 방법입니다. 단순히 "최고"인 옵션을 기반으로 추측하는 대신, AI 의 전체적인 "확신"을 측정합니다. AI 가 확신한다면 안전한 단어에 머무릅니다. AI 가 탐험 중이라면 더 많은 다양성을 허용하지만, 이야기가 무너지지 않도록 엄격하게 통제합니다. 배우들이 언제 즉흥 연기를 하고 언제 대본에 충실해야 하는지 정확히 아는 창의적인 감독을 둔 것과 같습니다.

기술 요약: Top-H 디코딩

문제 제기
대형 언어 모델 (LLM) 은 개방형 텍스트 생성에서 다양성과 창의성을 촉진하면서도 논리적 일관성을 유지하는 상충되는 목표 간의 균형을 맞추는 근본적인 과제에 직면해 있습니다. 온도 스케일링, top-k, top-p(네이커스), min-p 샘플링과 같은 기존 절단 샘플링 기법들은 이러한 트레이드오프를 관리하려 시도하지만 상당한 한계를 보입니다. 구체적으로 min-p 와 같은 방법은 모델의 신뢰도에 대한 휴리스틱으로 단일 최상위 토큰에 의존합니다. 이 접근법은 확률 분포의 전체적인 형태를 고려하지 못하여, 희소 (저엔트로피) 분포에서는 과도한 절단을, 조밀 (고엔트로피) 분포에서는 불충분한 절단을 초래합니다. 결과적으로 이러한 방법들은 창의성이 필수적인 더 높은 온도에서 일관성을 유지하는 데 종종 어려움을 겪습니다.

방법론
본 논문은 모델의 신뢰도를 동적으로 반영하기 위해 단순히 최상단 값이 아닌 전체 확률 분포를 고려하도록 설계된 샘플링 전략인 top-H 디코딩을 소개합니다. 이 방법론은 창의성과 일관성 간의 트레이드오프를 최적화 문제로 형식화하는 이론적 프레임워크에 기반합니다.

이론적 기반 (ECMD 및 ECMM):
저자들은 문제를 **엔트로피 제약 최소 발산 (Entropy-Constrained Minimum Divergence, ECMD)**으로 공식화했습니다. 이는 엔트로피 제약 $H(q) \leq \alpha H(p)$ 를 만족하면서 원래 분포 $p$ 로부터 제이슨-샤논 발산 (JSD) 을 최소화하는 토큰 부분집합 $S$ 를 찾는 것을 목표로 합니다. 여기서 $q$ 는 $S$ 에 대한 분포이며, $\alpha \in (0,1)$ 은 조정 가능한 하이퍼파라미터입니다.
논문은 이 엔트로피 하한 하에서 JSD 를 최소화하는 것이 수학적으로 **엔트로피 제약 질량 최대화 (Entropy-Constrained Mass Maximization, ECMM)**와 동등함을 증명했습니다. 이는 동일한 엔트로피 제약 하에서 선택된 토큰들의 확률 합 ( $\Gamma_S = \sum_{i \in S} p_i$ ) 을 최대화하는 문제입니다.
복잡도 분석:
저자들은 다항 시간 환원을 통해 ECMM 문제가 NP-hard임을 증명했습니다. 이는 카디널리티 제약 부분집합 합 (Cardinality-Constrained Subset Sum, CCSS) 문제로부터의 환원을 통해 이루어졌습니다. 이는 일반적인 경우에서 정확한 최적 부분집합을 찾는 것이 계산적으로 비실용적임을 입증합니다.
알고리즘 (Top-H):
NP-hard 문제를 해결하기 위해 논문은 계산적으로 효율적인 탐욕 알고리즘인 top-H를 제안합니다.
- 절차: 알고리즘은 토큰을 확률 내림차순으로 정렬한 후, 선택 집합 $S$ 에 토큰을 반복적으로 추가합니다. 각 추가 후, $S$ 에 대한 재규격화된 분포 $q$ 의 엔트로피를 계산합니다.
- 종료 조건: 다음 토큰을 추가할 때 엔트로피 $H(q)$ 가 동적 임계값 $\alpha H(p)$ 를 초과하게 되면 프로세스가 중단됩니다.
- 동적 적응: 정적 임계값 방법과 달리 top-H 는 각 생성 단계에서 모델의 변화하는 신뢰도에 적응합니다. 원래 분포의 엔트로피 $H(p)$ 가 변함에 따라 선택된 부분집합에 허용되는 엔트로피 예산도 이에 비례하여 조정됩니다.

주요 기여

이론적 공식화: 논문은 ECMD 문제를 정의하고 이를 NP-hard 인 ECMM 문제와 동등함을 증명함으로써 엔트로피 기반 절단에 대한 이론적 기반을 확립합니다.
새로운 알고리즘: ECMM 문제를 효율적으로 해결하는 탐욕 근사 알고리즘인 top-H 를 제시합니다 (정렬에 의해 지배되는 $O(n \log n)$ 복잡도). 이는 선택된 분포의 엔트로피를 엄격하게 제한합니다.
분포 인식: 최상위 1 개 토큰 확률에만 의존하는 min-p 와 달리, top-H 는 샘플링 풀 크기를 결정하기 위해 전체 분포 형태를 활용하여 희소 및 조밀 분포 모두에서 휴리스틱 기반 절단의 한계를 효과적으로 해결합니다.

실험 결과
세 가지 지시 튜닝 모델 (LLaMA3.1-8B, Qwen2.5-3B, Phi-3-Mini) 과 여러 벤치마크를 통해 광범위한 경험적 평가가 수행되었습니다.

창의적 작성 (Alpaca-Eval 및 MT-Bench): top-H 는 승률 및 심사자 점수에서 최첨단 min-p 샘플링보다 최대 **25.63%**까지 우위를 보였습니다. 특히 top-H 는 온도 스케일링에 대한 뛰어난 견고성을 입증했습니다. top-p 와 min-p 가 고온 (예: $T=2$ ) 에서 일관성 저하를 겪는 반면, top-H 는 안정적인 성능을 유지했습니다.
추론 작업 (GSM8K 및 GPQA): top-H 는 다양한 온도에서 min-p 와 top-p 보다 일관되게 높은 정확도를 달성했습니다. $T=2$ 에서 top-p 는 정확도가 거의 완전히 붕괴되었습니다 (예: GSM8K 에서 Phi-3-Mini 의 경우 73.62% 감소). 반면 top-H 는 견고성을 유지하며 min-p 대비 최대 25.63% 의 개선을 보였습니다.
LLM-as-a-Judge: GPT-4o 를 사용한 평가 결과, top-H 는 특히 고온에서 기준선 대비 더 높은 창의성, 독창성 및 일관성을 가진 출력을 생성함이 확인되었습니다.
효율성: top-H 의 계산 오버헤드는 미미합니다 (min-p/top-p 대비 약 0.8% 의 지연 시간 증가). 이는 복잡도가 모든 누적 디코딩 방법에 공통적인 정렬 단계에 의해 지배되기 때문입니다.

의의 및 주장
본 논문은 top-H 가 창의성과 일관성을 균형 있게 맞추기 위한 원칙적이고 이론적으로 근거 있는 방법을 제공함으로써 개방형 텍스트 생성 분야의 최첨단 기술을 발전시킨다고 주장합니다. 모델의 불확실성에 대한 샘플링 분포의 엔트로피를 명시적으로 제어함으로써, top-H 는 기존 방법들이 실패하는 고온 영역에서도 LLM 이 논리적 일관성을 희생하지 않으면서 다양하고 창의적인 콘텐츠를 생성할 수 있게 합니다. 저자들은 top-H 를 기존 샘플링 전략을 대체할 수 있는 즉시 적용 가능한 솔루션으로 위치시키며, 창의적 작성 애플리케이션 및 기타 생성 작업에 쉽게 통합될 수 있다고 강조합니다. 채택을 촉진하기 위해 코드는 공개적으로 제공됩니다.