기술 요약: 신뢰도 역학을 활용한 추론 시간 최적화

문제 제기

Best-of-N 샘플링 및 반복 샘플링과 같은 추론 시간 최적화 기법은 대규모 언어 모델 (LLM) 의 추론 능력을 크게 향상시켰으나, 기존 전략들은 종종 모델 불확실성 역학의 중요한 역할을 간과합니다. 다수결 투표 (Majority Voting) 나 신뢰도 가중 투표 (예: DeepConf) 와 같은 현재 최첨단 접근 방식은 전체 추론 궤적 (예: 평균 퍼플렉시티 또는 시퀀스 수준 확률) 에 걸쳐 정보를 집계하는 정적 신뢰도 측정에 의존합니다. 이러한 방법들은 모든 궤적을 동일하게 취급하거나 단일 집계 점수를 기반으로 가중치를 부여함으로써, 추론 과정 중 에 모델의 확신이 어떻게 진화하는지에 관한 귀중한 신호를 흐리게 할 수 있습니다. 본 논문은 추론 체인의 시작부터 끝까지 이어지는 신뢰도 궤적이 현재 정답 선택에 충분히 활용되지 않고 있는 차별화 정보를 포함한다고 주장합니다.

방법론: 신뢰도 역학 이득 (Confidence Dynamic Gain, CDG)

본 논문은 추론 궤적을 따라 신뢰도가 어떻게 진화하는지를 명시적으로 반영하는 새로운 투표 메커니즘인 신뢰도 역학 이득 (CDG) 을 제시합니다.

1. 실증적 관찰

저자들은 AIME, HMMT, BRUMO 와 같은 수학 벤치마크를 대상으로 DeepSeek-R1, gpt-oss, Gemma-3, Qwen-QwQ 등 네 가지 다양한 오픈소스 아키텍처에 대한 광범위한 실험을 통해 다음과 같은 독특한 패턴을 확인했습니다:

• 정답 궤적: 초기 토큰에서 최종 결론으로 추론 체인이 진행됨에 따라 모델의 신뢰도가 증가하는 체계적인 양성 신뢰도 이득을 보입니다.
• 오답 궤적: 추론이 진행됨에 따라 신뢰도가 감소하거나 정체되는 약화되거나 음성인 신뢰도 이득을 보입니다.

2. 신뢰도 지표 및 궤적 구간화 (Binning)

이를 정량화하기 위해 저자들은 상위 K 개 토큰 확률에 기반한 절단된 Kullback-Leibler (KL) 발산 근사치를 사용하여 토큰 수준의 신뢰도 ($C_t$) 를 정의합니다. 길이가 다른 궤적들을 비교하기 위해 위치 정규화 구간화 (position-normalized binning) 방식을 사용합니다:

• 각 궤적은 $N$개의 동일한 크기의 구간 (기본값 $N=10$) 으로 분할됩니다.
• "Head" 구간은 처음 $P\%$의 토큰을 나타내고, "Tail" 구간은 마지막 $P\%$의 토큰을 나타냅니다.
• 신뢰도 역학 이득 ($\Delta C_\ell$) 은 Tail 구간의 평균 신뢰도와 Head 구간의 평균 신뢰도 차이로 계산됩니다:
  $$\Delta C_\ell = \bar{C}_{tail} - \bar{C}_{head}$$
  양의 $\Delta C_\ell$은 신뢰도 증가를, 음의 값은 신뢰도 감소를 나타냅니다.

3. CDG 투표 알고리즘

궤적 $\ell$에 대한 최종 정답 선택 점수 ($s_\ell$) 는 평균 궤적 신뢰도 ($\bar{C}_\ell$) 와 역학 이득을 결합합니다:
$$s_\ell = \bar{C}_\ell + \beta \cdot \Delta C_\ell$$
여기서 $\beta$는 역학 신호의 영향을 조절하는 하이퍼파라미터입니다.

후보 정답 $a$에 대한 최종 점수는 다수결 투표가 신뢰도 신호를 압도하지 않도록 궤적 수 감쇠 인자를 포함하여 이러한 궤적 점수들을 집계합니다:
$$R(a) = |T_a|^\alpha \cdot \mu_a(s_\ell)$$
여기서 $|T_a|$는 정답 $a$에 대한 궤적 수이며, $\alpha \in [0, 1]$은 궤적 수의 지배력을 감쇠시키고, $\mu_a$는 정답 $a$를 생성한 궤적들의 평균 점수입니다.

4. 이론적 근거

본 논문은 이 현상을 추론 모델의 일반적인 훈련 알고리즘인 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 와 연결하는 이론적 분석을 제공합니다.

• 가정: 정답 궤적은 단일 정답 (Tail 에서 높은 빈도) 으로 수렴하는 반면, 오답 궤적은 다양한 실패 모드로 발산합니다 (Tail 에서 낮은 빈도).
• 메커니즘: GRPO 는 정답 궤적에는 양의 이득 (advantages) 을, 오답 궤적에는 음의 이득을 할당합니다. 이로 인해 정답 궤적은 "Tail-to-Head" 집중 비율이 높아져 시퀀스 끝부분으로 갈수록 신뢰도 (logits) 가 급격히 상승합니다. 수렴하지 않는 오답 궤적은 동일한 신뢰도 급증을 보이지 않습니다.

주요 기여

1. 실증적 발견: 다양한 LLM 아키텍처를 통해 정답 추론 궤적이 오답 궤적보다 더 높은 신뢰도 이득 (Head-to-Tail) 을 보이는 체계적인 패턴을 확인했습니다.
2. 새로운 방법 (CDG): 신뢰도 역학을 차별화 신호로 활용하여 다수결 투표와 정적 신뢰도 기반 방법을 모두 일반화하는 훈련이 불필요한 (training-free) 투표 방법을 제안했습니다.
3. 이론적 통찰: 관찰된 신뢰도 기울기를 GRPO 의 훈련 역학 및 검증 가능한 보상과 연결하는 이론적 분석을 통해, 왜 정답 궤적이 자연스럽게 Tail 에서 "신뢰도 급증 (confidence spike)"을 보이는지 설명했습니다.
4. 실증적 검증: 경쟁력 있는 수학 추론 벤치마크에서 최첨단 베이스라인 대비 일관된 성능 향상을 입증했습니다.

실험 결과

저자들은 AIME 2024/2025, HMMT 2025, BRUMO 2025 를 대상으로 DeepSeek-R1-8B, gpt-oss-20B, Gemma-3-27B, Qwen-QwQ-32B 등 네 가지 모델에 대해 CDG 를 평가했습니다.

• 성능: CDG 는 모든 모델과 데이터셋에서 평균 정확도가 가장 높았습니다.
  • 다수결 투표 대비 평균 5.4% 향상.
  • DeepConf-Mean 대비 4.8% 향상.
  • Tail 신뢰도만 사용하는 DeepConf-Tail 대비 1.7% 우세. 이는 Tail 신뢰도 자체뿐만 아니라 역동적인 측면 (Head-to-Tail 차이) 이 중요함을 보여줍니다.
• Ablation 연구:
  • 궤적 수 감쇠 ($\alpha$): 궤적 수 감쇠를 제거 ($\alpha=1$) 하면 성능이 크게 저하되어, 궤적 수와 신뢰도 신호 간의 균형이 필요함을 확인했습니다.
  • 역동적 가중치 ($\beta$): 모델의 신뢰도 분리 정도에 비례하는 특정 범위로 $\beta$를 조정했을 때 성능이 정점에 달하여, 역동적 신호가 정적 신뢰도에 보완적인 정보를 제공함을 확인했습니다.
  • 궤적 길이: CDG 는 궤적 길이에 관계없이 우위를 유지하여, 신호가 시퀀스 길이 변화에 강건함을 나타냈습니다.
  • 포맷팅 아티팩트: 종종 끝부분에 있는 고신뢰도 포맷팅 토큰인 \boxed{} 토큰을 제외해도 결과가 변하지 않아, 신호가 포맷팅 아티팩트가 아닌 추론 역학에서 비롯됨을 증명했습니다.

중요성과 주장

본 논문은 CDG 가 LLM 추론에서 정답 선택을 개선하기 위한 강건하고 훈련이 불필요한 차별화 신호를 제공한다고 주장합니다. 추론 중 모델 신뢰도의 자연스러운 역학을 활용함으로써, CDG 는 모델 재훈련이나 추가 보상 모델 없이 환각된 답변보다 정답을 선택할 수 있는 원칙적인 방법을 제시합니다.

저자들은 이 방법이 수학 추론에서 Best-of-N 확장 시 매우 효과적이지만, 여러 궤적을 생성하는 계산 비용은 그대로 계승된다고 지적합니다. 또한, $\beta$ 파라미터에 대한 모델별 튜닝 필요성과 모든 폐쇄형 API 에서 사용 가능한 것은 아닐 수 있는 토큰 수준의 로그 확률 접근 필요성과 같은 한계를 인정합니다. 이 작업은 검증 가능한 보상을 가진 다른 이득 가중 정책 경사 (advantage-weighted policy gradient) 방법들에도 신뢰도 역학에 대한 이러한 통찰이 일반화될 수 있음을 시사합니다.