Early Stopping for Large Reasoning Models via Confidence Dynamics

1. 문제 정의 (Problem)

대규모 추론 모델 (Large Reasoning Models) 은 복잡한 문제를 해결하기 위해 긴 Chain-of-Thought (CoT, 사고의 사슬) 생성에 의존합니다. 그러나 이는 다음과 같은 심각한 문제를 야기합니다:

• 높은 계산 비용: 수천 개의 토큰에 달하는 긴 생성 과정은 막대한 연산 자원을 소모합니다.
• 과도한 사고 (Overthinking): 모델이 이미 정답에 도달했음에도 불구하고 불필요하게 추론을 계속하거나, 잘못된 추론 경로 (incorrect rollouts) 에 갇혀 무의미한 토큰을 생성하는 경우가 많습니다. 이는 오히려 성능을 저하시키거나 비용을 증가시킵니다.
• 종료 시점 결정의 어려움: 모델이 언제 추론을 멈추고 최종 답변을 제시해야 하는지 판단하는 것은 핵심적인 난제입니다. 기존 방법들은 중간 답변 예측에 의존하지만, 비생산적인 추론 (루프, 불안정한 진행) 이 발생할 때 이를 효과적으로 감지하지 못해 불필요하게 긴 생성이 이어지는 경우가 많습니다.

2. 방법론: CoDE-Stop (Methodology)

저자들은 모델의 중간 답변 신뢰도 (confidence) 의 동역학 (temporal dynamics) 을 분석하여 새로운 조기 종료 방법인 CoDE-Stop (Confidence Dynamics Early Stopping) 을 제안합니다. 이 방법은 추가 학습 (training-free) 이 필요 없으며 기존 모델에 쉽게 통합됩니다.

핵심 관찰

• 정답 경로 (Correct Trajectories): 초기 단계에서 신뢰도가 빠르게 상승하여 높은 값에 도달하며, 이후에는 불필요한 생성이 이어집니다.
• 오답 경로 (Incorrect Trajectories): 신뢰도가 불안정하게 요동치거나 (fluctuating), 시간이 지남에 따라 신뢰도가 낮음에도 불구하고 계속 생성을 이어가는 비생산적인 패턴을 보입니다. 특히 오답 경로일지라도 후반부로 갈수록 신뢰도가 인위적으로 상승하는 경향이 있어, 후반부 신뢰도만으로는 실패를 감지하기 어렵습니다.

CoDE-Stop 알고리즘의 구성

CoDE-Stop 은 두 가지 상보적인 신호를 결합하여 추론 단계 $k$에서 종료 여부를 결정합니다.

1. 신뢰도 기반 기준 (Confidence-based Criterion):

   • 모델이 신뢰할 수 있는 답변에 도달했는지 판단하기 위해 점진적으로 상승하는 신뢰도 임계값 (ramping threshold, $r_k$) 을 사용합니다.
   • 추론 단계가 진행될수록 더 높은 신뢰도가 요구되도록 설계되었습니다.
   • 조건: $c_k \ge r_k$ (현재 신뢰도 $\ge$ 임계값)

2. 퇴화 점수 (Degeneration Score, $D_k$):

   • 비생산적인 추론 (불안정하거나 개선되지 않는 신뢰도) 을 감지하기 위해 고안된 누적 신호입니다.
   • 불안정 지표 ($v_i$): 현재 신뢰도 ($c_i$) 가 이전 단계 ($c_{i-1}$) 대비 유의미하게 개선되지 않거나 낮을 때 (예: $2c_i - c_{i-1} < \delta$) 1 을 반환합니다.
   • 가중치 함수 ($w_i$): 초기 단계의 신호가 더 중요하다는 관찰에 기반하여, 초기 단계에 더 높은 가중치를 부여합니다 (로그 가중치 사용).
   • 계산식: $D_k = \sum_{i=1}^{k} w_i v_i$
   • 조건: $D_k \ge \tau$ (누적 퇴화 점수 $\ge$ 임계값)

종료 조건: 두 조건 중 하나라도 충족되면 ($c_k \ge r_k$ 또는 $D_k \ge \tau$) 추론을 즉시 종료하고 최종 답변을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 신뢰도 동역학의 발견: 정답과 오답 경로에서 신뢰도가 어떻게 변화하는지에 대한 심층 분석을 통해, 초기 단계의 신호가 오답을 식별하는 데 더 유용하며, 오답 경로에서는 신뢰도의 불안정성이 핵심 지표임을 규명했습니다.
2. CoDE-Stop 방법론 제안: 학습이 필요 없는 (training-free) inference-time 조기 종료 알고리즘을 제안했습니다. 이는 단순한 임계값 설정을 넘어, 신뢰도의 시간적 변화 (동역학) 와 초기 단계의 중요성을 고려한 '퇴화 점수'를 도입했습니다.
3. 효율성과 정확도의 균형: 기존 방법들보다 우수한 정확도 - 계산 비용 트레이드오프 (Accuracy-Compute Tradeoff) 를 달성했습니다.

4. 실험 결과 (Results)

저자는 Qwen3-4B/14B, DeepSeek-R1, Llama-3.1-Nemotron 등 다양한 오픈소스 모델과 AIME, MATH500, GSM8K, GPQA-Diamond 등 다양한 추론 및 과학 벤치마크에서 CoDE-Stop 을 평가했습니다.

• 성능 향상: CoDE-Stop 은 기존 조기 종료 방법 (DEER, Think or Not, EAT 등) 과 비교하여 더 우수한 정확도 - 계산 비용 트레이드오프를 보였습니다.
• 토큰 사용량 감소: 표준 전체 길이 추론 (Full-length reasoning) 대비 토큰 사용량을 25%~50% 감소시켰습니다.
• 정확도 유지: 불필요한 추론을 줄임으로써 계산 비용을 절감하면서도, 강력한 베이스라인 모델과 비교해 동등하거나 더 나은 정확도를 유지했습니다.
• 강건성: 다양한 프롬프트 전략 (Budget Forcing, Chain-of-Draft 등) 과 결합했을 때도 추가적인 이점을 제공하며, 다양한 모델과 데이터셋에서 일관된 성능을 보였습니다.
• 비생산적 추론 제거: 특히 긴 오답 경로 (incorrect rollouts) 를 조기에 차단하여 불필요한 계산을 크게 줄였습니다.

5. 의의 및 결론 (Significance)

이 논문은 대규모 추론 모델의 효율성을 높이기 위한 실용적이고 강력한 솔루션을 제시합니다.

• 실용성: 추가 학습 없이 기존 모델에 즉시 적용 가능하여 배포 비용과 시간을 절감합니다.
• 통찰: 모델의 내부 상태 (hidden states) 를 직접 분석하지 않고도, 모델 출력 (신뢰도) 의 동역학만으로도 효과적인 조기 종료 신호를 얻을 수 있음을 입증했습니다.
• 미래 방향: 단순한 휴리스틱을 넘어 모델의 표현 (representations) 에서 더 풍부한 신호를 추출하는 연구의 기초를 마련했습니다.

요약하자면, CoDE-Stop은 모델이 "무엇을" 생각하는지보다 "어떻게" 생각하는지 (신뢰도의 변화 패턴) 를 분석하여, 불필요한 사고 과정을 조기에 차단함으로써 대규모 언어 모델의 추론 효율성을 혁신적으로 개선한 방법론입니다.