Top-b: Entropic Regulation of Relative Probability Bands in Autoregressive Language Processes

논문 요약: Top-b (적응형 상대 확률 대역 샘플링)

1. 문제 정의 (Problem)

현재 대규모 언어 모델 (LLM) 의 텍스트 생성은 이산 확률 과정으로 모델링되지만, 표준적인 디코딩 전략인 Top-k와 **Top-p (Nucleus)**는 정적 (Static) 인 차단 규칙을 사용합니다.

• 한계점: 자연어의 정보 밀도는 시간에 따라 동적으로 변합니다 (비정상성).
  • 저엔트로피 상태 (논리적 추론, 수학 문제 등): 확률 분포가 뾰족하게 집중되어 있을 때, 정적 임계값 (예: Top-p=0.9) 은 너무 관대하여 꼬리 부분의 낮은 확률 토큰 (논리적 오류나 할루시네이션 유발) 을 허용합니다.
  • 고엔트로피 상태 (창의적 글쓰기 등): 확률 분포가 평평할 때, 정적 임계값은 너무 엄격하여 유효한 창의적 옵션을 인위적으로 잘라냅니다.
• 핵심 문제: 고정된 하이퍼파라미터는 모델의 순간적인 불확실성 (Uncertainty) 을 반영하지 못해, 생성의 정확성과 다양성 사이의 최적 균형을 이루지 못합니다.

2. 방법론 (Methodology)

저자들은 autoregressive 생성 과정을 **상대 확률 매니폴드 (Relative Probability Manifold)**를 통한 궤적으로 정의하고, 이를 해결하기 위해 **Top-b (Adaptive Relative Band Sampling)**를 제안합니다.

• 핵심 개념: 엔트로피 조절 확률 대역 (Entropy-Regulated Probability Band)

  • 생성의 허용 범위를 고정된 값이 아닌, 모델의 **순간 샤논 엔트로피 (Instantaneous Shannon Entropy)**에 비례하여 동적으로 조절합니다.
  • 동적 지원 집합 (Dynamic Support Set): 가장 확률이 높은 토큰 (Mode, $p_{max}$) 을 기준으로, 다른 토큰 $y$가 샘플링되려면 다음 조건을 만족해야 합니다.
    $$p_t(y) \ge (1 - \text{bandwidth}_t) \cdot p_{max}$$
  • 여기서 **대역폭 (bandwidth)**은 엔트로피에 따라 조절됩니다.
    • 저엔트로피 (모델이 확신함): 대역폭이 축소되어 임계값이 $p_{max}$에 가까워집니다. 이는 꼬리 부분의 토큰을 강력하게 제거하여 결정론적 추론을 강제합니다.
    • 고엔트로피 (모델이 불확실함): 대역폭이 확대되어 더 많은 토큰이 허용됩니다. 이는 창의적 다양성을 유지합니다.

• 수식적 정의:

  • 적응형 대역폭: $\text{bandwidth}_t = \text{base\_bandwidth} \times (1 + \frac{H(p)}{H_{max}})$
  • $H(p)$는 현재 분포의 엔트로피, $H_{max}$는 최대 엔트로피입니다. 엔트로피가 높을수록 대역폭이 커져 샘플링 범위가 넓어집니다.

• 이론적 해석:

  • Top-b 는 꼬리 분포 (tail distribution) 에 작용하는 분산 최소화 연산자로 작용합니다. 모델의 신뢰도가 낮을 때는 탐색을 허용하고, 신뢰도가 높을 때는 오류 가능성을 가진 분기 (branching) 를 제거하여 생성 궤적의 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 엔트로피 조절 디코딩 전략 도입: 고정된 임계값 대신, 분포의 모드 (Mode) 에 기반한 상대 확률 대역을 엔트로피로 동적으로 스케일링하는 Top-b 를 제안했습니다.
2. 분산 최소화 이론적 근거: 엔트로피 기반의 상대 임계값이 꼬리 분포의 분산을 최소화하여, 특히 저엔트로피 추론 구간에서 생성의 안정성을 높인다는 것을 이론적으로 증명했습니다.
3. 실증적 검증: GPQA(고급 추론) 와 GSM8K(수학 추론) 벤치마크를 통해 Top-b 가 기존 방법들보다 낮은 생성 엔트로피와 분산을 유지하면서도 경쟁력 있는 정확도를 달성함을 보였습니다.

4. 실험 결과 (Results)

모델: google/gemma-3-4b-it 사용.
비교 대상: Top-k, Top-p, Min-p, Eta Sampling, Epsilon Sampling 등.

• GPQA (고급 추론) 결과:

  • 정확도: Top-b 는 0.2285 의 정확도를 기록하여 Top-k(0.2333) 와 유사하거나 Eta(0.2099) 보다 높은 성능을 보였습니다.
  • 엔트로피: Top-b 는 **가장 낮은 평균 엔트로피 (0.1579)**를 기록했습니다. 이는 생성 과정에서의 불확실성과 혼란이 가장 적음을 의미합니다.
  • 분산: 무작위 시드 (random seeds) 에 따른 성능 변동 (분산) 이 Top-p 및 기타 확률적 방법보다 현저히 낮아, 재현 가능한 추론 체인을 보장합니다.
  • 엔트로피 동역학: 생성 단계가 진행됨에 따라 Top-b 는 엔트로피를 단조 감소시켜 0 에 수렴시키는 반면, Top-p 는 후반부에도 높은 엔트로피를 유지하여 불필요한 분기를 허용했습니다.

• GSM8K (수학 추론) 결과:

  • 정확도: Top-b 가 0.2680 으로 가장 높은 정확도를 기록했습니다.
  • 분산: Top-p 대비 분산이 약 10 배 낮았습니다 ($1.136 \times 10^{-4}$ vs $1.1207 \times 10^{-3}$). 이는 Top-b 가 논리적 흐름을 방해하는 수학적 '방해자 (distractor)' 토큰을 효과적으로 필터링함을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 자율 제어 시스템: Top-b 는 모델의 내부 불확실성에 기반하여 생성의 자유도를 조절하는 자가 조절형 (self-regulating) 제어 시스템으로 작동합니다.
• 정확성과 안정성의 균형: 정적 임계값의 한계를 극복하여, 논리적 추론에서는 오류를 줄이고 (정확도 유지), 창의적 생성에서는 다양성을 확보합니다.
• 실용성: 엔트로피 계산은 어휘 크기 ($V$) 에 대한 벡터 연산이므로 어텐션 메커니즘의 복잡도 ($O(N^2)$) 에 비해 지연 시간이 무시할 수준으로 낮아, 실제 적용에 부담이 적습니다.

이 논문은 Top-b 를 단순한 휴리스틱이 아닌, 정보 이론에 기반한 이론적으로 타당한 LLM 생성 신뢰성 향상 방법으로 자리매김시켰습니다.