기술 요약: EAGER – 적응형 추론 시간 스케일링을 위한 엔트로피 인식 생성

1. 문제 제기

추론 언어 모델 (LLM) 의 부상과 추론 시간 스케일링 방법의 발전은 단일 프롬프트에서 여러 후보 시퀀스를 생성하여 다양한 추론 경로를 탐색함으로써 성능을 향상시키는 패러다임을 확립했습니다. 그러나 FULL PARALLEL sampling과 같은 표준 접근법은 모든 프롬프트에 대해 고정된 계산 예산 (고정된 수의 시퀀스, $M$) 을 할당하며, 이는 난이도와 무관하게 적용됩니다.

이러한 균일한 할당은 본질적인 비효율성을 초래합니다:

• 중복 계산: 간단한 프롬프트의 경우, 추론 시퀀스는 종종 동일하거나 거의 동일한 해답으로 수렴합니다. 여러 병렬 경로에서 동일한 접두사를 재생성하는 것은 계산 자원을 낭비합니다.
• 불충분한 탐색: 복잡한 프롬프트의 경우, 고정된 예산이 올바른 해답을 발견하기에 부족할 수 있으며, 이는 모델이 대체 추론 경로를 더 광범위하게 탐색해야 함을 의미합니다.
• 긴 CoT 의 비효율성: 추론 시퀀스는 길며, 생성된 토큰의 상당 부분은 진정한 결정 지점이 아닌 예측 가능한 연속입니다.

핵심 문제는 생성 과정에서 각 프롬프트의 특정 불확실성과 난이도에 기반하여 계산 자원을 할당할 수 있는 적응형 메커니즘이 부재하다는 점입니다.

2. 방법론: EAGER

저자들은 모델의 불확실성 (토큰별 엔트로피로 측정) 을 활용하여 자원을 동적으로 할당하는 훈련이 불필요한 생성 방법인 EAGER(Entropy-Aware GEneRation) 를 제안합니다. 이 방법은 두 단계로 운영됩니다:

2.1. 토큰 엔트로피를 통한 불확실성 정량화

EAGER 는 모델 불확실성의 대리 지표로 top-$K$ 토큰 엔트로피를 활용합니다. 각 생성 단계 $t$에서, 가장 확률이 높은 $K$개 토큰 ($K=20$) 에 대해 엔트로피 $H^{(K)}_t$가 계산됩니다.

• 높은 엔트로피: 높은 불확실성과 여러 추론 경로가 타당한 잠재적 결정 지점을 나타냅니다.
• 낮은 엔트로피: 높은 확신과 예측 가능한 연속을 나타냅니다.
• 상관관계: 생성 중 피크 토큰 엔트로피와 최종 통과율 (Pass Rate) 사이에는 유의미한 음의 상관관계 ($\rho \approx -0.55$) 가 있음이 실증 분석 (그림 2) 을 통해 밝혀졌습니다. 높은 엔트로피 피크는 낮은 성능과 상관관계가 있어, 이러한 시점이 추가적인 탐색이 필요한 중요한 순간임을 시사합니다.

2.2. 1 단계: EAGER-init (계산 절약)

EAGER-init 은 중복 계산을 피하기 위해 생성 과정을 수정합니다:

• 동적 분기: 처음부터 $M$개의 독립적인 시퀀스를 생성하는 대신, EAGER-init 은 단일 시퀀스로 시작합니다.
• 임계값 논리: 각 토큰 단계에서 엔트로피 $H^{(K)}_t$가 미리 정의된 임계값 $\theta$를 초과하면, 현재 시퀀스가 두 개의 새로운 후보로 분기합니다. 모델은 토큰 분포를 재사용하지만 분산을 보장하기 위해 가장 확률이 높은 두 토큰을 선택합니다.
• 접두사 재사용: 엔트로피가 $\theta$ 미만이면 생성은 선형적으로 계속됩니다. 중요한 점은 분기점 이전에 생성된 토큰이 모든 후속 분기에서 공유되어 동일한 접두사를 재생성할 필요가 없다는 것입니다.
• 종료: 분기는 활성 시퀀스의 총수가 한도 $M$에 도달할 때까지 계속됩니다. 간단한 프롬프트의 경우, 이 과정은 $M$개보다 훨씬 적은 수의 시퀀스로 종료되어 상당한 계산 자원을 절약합니다.

2.3. 2 단계: EAGER-adapt 및 전체 EAGER (예산 재할당)

EAGER-init 으로 절약된 계산 예산 (이론적 최대치 $M \times |D|$와 실제로 생성된 시퀀스 수의 차이) 은 어려운 프롬프트의 성능 향상을 위해 재할당됩니다. 라벨 유무에 따라 두 가지 전략이 정의됩니다:

• EAGER-adapt(테스트 시간, 라벨 없음): 정답 (ground truth) 이 없는 경우, 이 방법은 EAGER-init 동안 $M$ 시퀀스 상한에 도달한 "포화 프롬프트 (saturating prompts)"를 식별합니다. 이들은 도전적인 것으로 가정됩니다. 절약된 예산은 추가 탐색을 허용하기 위해 이러한 프롬프트에 재할당됩니다.
• 전체 EAGER(훈련/RLVR, 라벨 있음): 목표 라벨이 사용 가능한 경우 (예: 검증 가능한 보상과 함께 강화 학습 (RLVR) 파이프라인), EAGER-init 이 올바른 해답을 생성하지 못한 (Pass@k = 0) 프롬프트를 식별합니다. 절약된 예산은 이러한 특정 실패 프롬프트에 재할당됩니다.
  • 미활용 프롬프트의 경우, 더 일찍 분기를 유도하기 위해 엔트로피 임계값 $\theta$를 낮춥니다.
  • 포화 프롬프트의 경우, 생성 한도를 $M + b_i$ (여기서 $b_i$는 할당된 예산) 로 확장합니다.

3. 주요 기여

1. 대리 지표로서의 엔트로피 실증적 검증: 이 논문은 토큰별 엔트로피 피크가 프롬프트 난이도와 탐색 필요성에 대한 효과적인 온라인 지표로 작용하며, 모델 통과율과 강한 음의 상관관계를 보임을 입증했습니다.
2. 훈련 불필요한 적응형 디코딩: EAGER 는 추론 시간 스케일링의 이점을 유지하거나 향상시키면서 계산 비용을 동적으로 줄이는 (최대 65% 적은 토큰) 새로운 디코딩 방법을 도입합니다.
3. 적응형 예산 할당: 이 연구는 쉬운 프롬프트에서 절약된 계산 자원을 어려운 프롬프트로 재할당함으로써 추론 시간 스케일링의 효용을 극대화하고, 글로벌 계산 예산을 증가시키지 않으면서 성능 향상을 달성함을 보여줍니다.

4. 실험 결과

저자들은 3B 에서 20B 파라미터에 이르는 여러 오픈 소스 모델과 다양한 벤치마크 (수학: AIME 2024/2025, HMMT 2025; 과학: GPQA-Diamond; 코드: HumanEval Plus) 를 통해 EAGER 를 평가했습니다.

• 효율성: EAGER-init 은 FULL PARALLEL sampling 대비 토큰 사용을 **40% 에서 80%**까지 일관되게 줄였습니다. 많은 경우 총 토큰 수는 기준선 (baseline) 의 절반 미만이었습니다.
• 성능 (라벨 있음): 목표 라벨에 접근 가능한 설정 (RLVR 파이프라인 시뮬레이션) 에서 전체 EAGER는 59% 적은 토큰을 사용하면서 AIME 2025 에서 Pass@k 를 최대 +37% 향상시켰습니다.
• 성능 (테스트 시간): 라벨이 없는 테스트 시간 설정에서 EAGER-adapt는 기준선 대비 Pass@k 를 +12% 향상시키고 64% 적은 토큰을 사용했습니다.
• 강건성: 이 방법은 다양한 모델 크기와 도메인에서 일관된 개선을 보여주었습니다. 엔트로피 임계값 $\theta$는 분포 외 (out-of-distribution) 작업에 일반화하기 위해 소수의 보정 세트 (10 개 예시) 만 필요하여 강건한 것으로 확인되었습니다.
• 파레토 프론티어: 최대 시퀀스 한도 $M$을 스케일링한 결과, EAGER 는 고정 예산 샘플링에 비해 더 낮은 토큰 비용으로 더 높은 정확도를 달성함으로써 성능 - 효율성 파레토 프론티어를 이동시키는 것을 보여주었습니다.

5. 중요성과 주장

이 논문은 EAGER 가 현재 추론 시간 스케일링 패러다임의 근본적인 비효율성인 "일률적 (one-size-fits-all)" 계산 할당을 해결한다고 주장합니다. 생성 전략을 모델 불확실성에 기반하게 함으로써 EAGER 는 다음과 같은 효과를 가집니다:

• 중복성 감소: 긴 Chain-of-Thought 시퀀스의 상당 부분을 차지하는 예측 가능하고 엔트로피가 낮은 접두사의 재생성을 방지합니다.
• 탐색 강화: 모델이 실패할 가능성이 높거나 다양한 추론 경로가 필요한 높은 불확실성 영역으로 계산 자원을 집중합니다.
• 장벽 완화: 고품질 추론 흔적을 생성하는 데 드는 계산 비용을 크게 줄임으로써, 제한된 계산 예산을 가진 연구자와 실무자에게 고급 추론 능력을 더 접근 가능하게 만듭니다.
• 에너지 효율성: 토큰 생성 감소는 추론 시간 스케일링 작업 부하와 관련된 에너지 및 인프라 비용을 직접적으로 절감합니다.

저자들은 EAGER 를 모델 아키텍처 변경이 아닌, 기존 추론 모델에 적용하여 효율성과 효과성을 향상시킬 수 있는 범용적이고 훈련이 불필요한 생성 레이어로 위치시킵니다.