Entropy Centroids as Intrinsic Rewards for Test-Time Scaling

"Entropy Centroids as Intrinsic Rewards for Test-Time Scaling" 논문의 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

대형 언어 모델 (LLM) 은 여러 후보 응답 ($N$개의 궤적) 을 샘플링하여 가장 좋은 하나를 선택하는 방식 (예: "Best-of-N" 선택) 으로 테스트 시간에 점점 더 확장되고 있습니다. 현재 선택 방법들은 두 가지 주요 과제를 안고 있습니다.

• 외부 보상 모델: 외부 보상 모델에 의존하려면 별도의 고품질 모델을 학습시켜야 하며, 이는 상당한 계산 오버헤드를 초래합니다.
• 노이즈가 많은 내재적 신호: 기존 내재적 신호 (예: 토큰 수준의 신뢰도, 엔트로피, KL 발산) 는 종종 신뢰할 수 없을 정도로 노이즈가 많습니다. 토큰 수준 지표는 추론의 시간적 구조를 포착하지 못합니다. 예를 들어, 모델은 전체 추론 단계에 대해 근본적으로 불확실한 상태임에도 불구하고 계산 토큰에 대해 높은 신뢰도를 보일 수 있습니다. 또한, 단순한 집계 (예: 평균화) 는 탐색과 활용의 시간적 역동성을 무시합니다.

본 논문은 외부 감독 없이 다양한 작업 (수학, 코드, 논리, 에이전트) 에서 고품질 궤적을 효과적으로 선택할 수 있는 모델의 자체 생성 과정에서만 유도된 견고한 내재적 보상 신호를 모색합니다.

2. 방법론

저자들은 추론 중 고엔트로피 토큰 (불확실성을 나타냄) 이 무작위로 나타나는 것이 아니라 연속된 그룹으로 군집화되는 경향이 있다는 관찰에 기반한 새로운 프레임워크를 제안합니다.

A. 고엔트로피 단계 (HEP)

노이즈가 많은 토큰 수준 신호를 넘어설 수 있도록, 저자들은 **고엔트로피 단계 (HEP)**를 불확실성의 기본 단위로 정의합니다.

• 정의: HEP 는 가변 길이의 궤적 세그먼트입니다.
• 트리거: 토큰의 엔트로피가 높은 임계값 ($\theta_{high}$) 을 초과할 때 시작됩니다.
• 종료: $k$개의 연속된 토큰이 낮은 임계값 ($\theta_{low}$) 미만으로 떨어질 때만 종료됩니다.
• 의의: 이는 연속된 불확실한 토큰들을 일관된 "단계"로 그룹화하여 고립된 노이즈를 필터링하고, 모델의 탐색 또는 혼란 상태를 하나의 전체 단위로 포착합니다.

B. 엔트로피 중심점

물리학의 질량 중심 개념에서 영감을 받아, 저자들은 이러한 불확실성 단계의 시간적 위치를 인코딩하기 위해 엔트로피 중심점을 정의합니다.

• 질량 ($m_n$): $n$번째 HEP 에 포함된 토큰 수입니다.
• 위치 ($p_n$): 전체 궤적 내 $n$번째 HEP 의 중점입니다.
• 계산: 중심점 $C$는 전체 시퀀스 길이 $L$로 정규화된 궤적을 따라 있는 모든 HEP 의 가중 평균 위치입니다:
  $$C = \frac{\sum_{n=1}^{N} m_n \cdot p_n}{L \cdot \sum_{n=1}^{N} m_n}$$
• 해석:
  • 낮은 중심점: 불확실성 (탐색) 이 추론 과정 초기에 발생하고 그 후 신뢰할 수 있는 (저엔트로피) 생성이 뒤따랐음을 나타냅니다. 이는 고품질 추론 (초기 탐색, 후기 수렴) 과 상관관계가 있습니다.
  • 높은 중심점: 불확실성이 지속되거나 궤적 말미에 나타났음을 나타내며, 모델이 문제 해결에 어려움을 겪었거나 끝부분에서 혼란을 겪었음을 시사합니다.

C. 최저 중심점 선택 전략

제안된 선택 방법인 최저 중심점은 단순히 $N$개의 샘플링된 후보 중 엔트로피 중심점 값이 가장 낮은 궤적을 선택합니다.

• 전처리: 선택 전에 비정상 종료나 의미 없는 텍스트 (gibberish) 를 가진 궤적을 제거하는 이상치 필터링 단계를 거칩니다.
• 장점: 학습이 필요 없으며, 외부 레이블이 필요 없고, 다수결 투표가 실패하는 개방형 코딩 및 에이전트 작업을 포함한 모든 작업 유형에 적용 가능합니다.

3. 주요 기여

1. 시간적 불확실성 모델링: 본 논문은 개별 토큰에서의 불확실성 크기보다 불확실성의 시간적 패턴이 더 유익하다는 점을 규명했습니다. 이를 고엔트로피 단계 (HEP) 를 통해 공식화했습니다.
2. 엔트로피 중심점 지표: 모델 불확실성의 "타이밍"을 나타내는 단일 스칼라 보상 신호로 HEP 를 집계하는 물리학에서 영감을 받은 지표 (중심점) 를 도입했습니다.
3. 범용 내재적 보상: 이 내재적 신호가 모델 규모 (14B~480B) 와 도메인 (수학, 코드, 논리, 에이전트) 전반에 걸쳐 효과적이며 외부 보상 모델 없이 기존 베이스라인을 능가함을 입증했습니다.
4. 견고성: 이 방법은 하이퍼파라미터 선택 (HEP 감지를 위한 임계값) 에 강건하며 모델 크기가 증가함에 따라 안정적임이 입증되었습니다.

4. 실험 결과

저자들은 네 가지 벤치마크에서 이 방법을 평가했습니다: AIME 2025/Minerva (수학), Synlogic (논리), BigCodeBench/LiveCodeBench (코드), 그리고 $\tau^2$-Bench (에이전트).

• 성능 향상: 최저 중심점 방법은 모든 30 개의 모델 - 데이터셋 조합에서 베이스라인 (Pass@1, Greedy Decoding, Self-Certainty, Tail Confidence, Bottom Window) 보다 일관되게 우수한 성과를 보였습니다.
  • 평균 향상: Pass@1 대비 +5.3%.
  • 에이전트 작업: 평균 +6.8% 향상 (예: GPT-OSS-120B 는 +10.1% 향상).
  • 수학/논리: 유의미한 향상, 예: GPT-OSS-120B 의 AIME 2025 에서 +11.0%.
• 베이스라인과의 비교:
  • 때로는 결과를 저하시키기도 했던 불안정한 성능을 보인 "Self-Certainty"나 "Tail Confidence"와 달리, 최저 중심점은 모든 설정에서 신뢰할 수 있는 향상을 제공했습니다.
  • 단답형 작업에서 다수결 투표보다 우수한 성과를 보였으며, 결정적으로 다수결 투표가 적용 불가능한 장문 작업 (코딩, 에이전트) 에도 적용 가능합니다.
• 확장성 행동: 이 방법은 조기 포화 없이 지속적인 확장을 보입니다. 샘플링된 궤적 수 ($N$) 가 증가함에 따라 정확도는 꾸준히 상승하는 반면, 다른 방법들은 종종 정체되거나 변동합니다.
• 모델 규모: 이 방법은 14B 에서 480B 파라미터까지 효과적으로 작동하여 그 일반성을 입증했습니다.

5. 의의 및 결론

이 연구는 테스트 시간 확장을 위한 가볍고, 주석이 필요 없으며, 일반화 가능한 접근법을 제공합니다. 토큰 수준의 노이즈에서 불확실성의 시간적 구조 (HEP 와 중심점을 통해) 로 초점을 이동시킴으로써, 저자들은 고품질 추론 경로를 선택하기 위한 실용적인 해결책을 제시합니다.

• 실용적 영향: 값비싼 외부 보상 모델의 필요성을 제거하여 테스트 시간 확장을 더 접근하기 쉽고 효율적으로 만듭니다.
• 이론적 통찰: 고품질 추론은 초기 탐색 (고엔트로피) 후 신뢰할 수 있는 수렴 (저엔트로피) 을 따르는 특정 시간적 패턴을 따른다는 가설을 검증합니다.
• 미래 잠재력: 엔트로피 중심점은 선택 지표로만 사용되는 것이 아니라, 학습 (예: 강화 학습) 을 위한 내재적 보상 신호나 장문 생성에서의 모델 행동 진단을 위한 신호로도 활용될 수 있습니다.

요약하자면, 본 논문은 모델 불확실성의 타이밍을 분석하는 것이 테스트 시간에 LLM 성능을 향상시키는 강력하고 내재적인 신호임을 성공적으로 입증했습니다.