1. 문제 정의 (Problem Statement)

대규모 추론 모델 (Large Reasoning Models, LRMs) 은 수학 문제 해결 및 복잡한 논리 작업에서 뛰어난 성능을 보이지만, **과도한 추론 (Overthinking)**이라는 심각한 비효율성을 내포하고 있습니다.

• 과도한 추론 현상: LRMs 는 정답을 도출하는 데 필요한 정보보다 훨씬 많은 단계를 거치며, 불필요한 반복적 사고 과정을 수행합니다. 이는 계산 비용과 추론 시간을 급격히 증가시킵니다.
• 기존 강화학습 (RL) 의 한계: 기존 RL 기반 방법론은 모델이 자연스럽게 생성하는 긴 추론 경로 (Long Reasoning Trajectories) 에만 의존합니다. 모델은 본질적으로 장황한 답변을 선호하므로, 짧은 추론 경로를 학습할 수 있는 데이터가 부족합니다.
• 분포 불일치 (Distribution Mismatch): 단순히 긴 답변을 잘라내거나 외부에서 짧은 답변을 제공하여 학습시키면, 모델의 자연스러운 생성 분포와 학습 데이터 간의 불일치가 발생하여 학습 안정성을 해치고 성능 저하를 초래합니다.

2. 핵심 통찰 (Key Insight)

저자들은 **증거 누적 모델 (Evidence Accumulation Models)**에서 영감을 얻어 다음과 같은 가설을 세우고 실험을 통해 입증했습니다.

• 초기 정보 누적: LRMs 의 추론 과정에서 정답을 결정하는 데 필요한 핵심 정보는 추론의 초기 단계에 이미 충분히 누적됩니다.
• 불필요한 후속 단계: 그 이후의 추가적인 추론 단계는 정답의 정확도에 기여하지 않고 오히려 오류를 유발하거나 (Redundancy), 불필요한 토큰 소비만 증가시킵니다.
• 실험적 증명: MATH500 데이터셋에서 추론 경로의 앞부분 (예: 25%~75%) 만을 남기고 나머지를 잘라내어 (Truncation) 답변을 유도했을 때, 원래 정답의 90% 이상을 유지하면서도 토큰 소비를 크게 줄일 수 있음을 확인했습니다.

3. 제안 방법: JET (Just-Enough Thinking)

이러한 통찰을 바탕으로, 불필요한 추론을 능동적으로 중단하도록 모델을 학습시키는 JET 방법을 제안합니다. JET 는 크게 두 가지 핵심 구성 요소로 이루어집니다.

A. 2 단계 롤아웃 구축 (Two-Stage Rollout Construction)

모델이 다양한 길이의 추론 경로를 경험하도록 하여 효율적인 정책 학습을 유도합니다.

1. Stage 1 (전체 추론): 모델이 표준 자기회귀 방식으로 완전한 추론 경로를 생성합니다.
2. Stage 2 (경로 단축 - Trajectory Truncation):
   • 생성된 전체 경로에서 다양한 시점 (Progressive Early-Stopping, PES) 에서 추론을 중단시킵니다.
   • 중단 시점에 명시적인 "생각 중단 (Stop-thinking)" 신호 (예: "Wait, I have enough information...") 를 삽입하여 모델이 즉시 최종 답변을 생성하도록 유도합니다.
   • 이 과정은 모델의 자연스러운 생성 분포를 유지하면서 짧은 추론 경로를 학습 데이터로 확보합니다.

B. 품질 제어 길이 보상 (Quality-Controlled Length Reward)

정확성을 해치지 않으면서 간결한 추론을 장려하기 위한 보상 설계입니다.

• 정확성 우선: 오답에는 길이 보상을 부여하지 않습니다.
• 간결성 선호: 정답을 맞춘 경우, 해당 질문에서 생성된 정답 중 가장 짧은 정답을 기준으로 하여, 길이에 비례하여 보상을 감쇠시킵니다.
  • 수식: $r_\ell(i) = (\frac{\ell_{max} - \ell_i}{\ell_{max} - \ell_{min} + \epsilon}) \cdot \alpha \cdot (1 - \delta) + \delta$
  • 이를 통해 모델은 정답을 유지하면서 가능한 한 짧은 경로를 선택하도록 학습됩니다.

4. 주요 기여 (Key Contributions)

1. JET 프레임워크 제안: 증거 누적 모델을 기반으로, 경로 단축 (Truncation) 과 길이 인식 보상 (Length-aware reward) 을 결합하여 모델이 불필요한 추론을 중단하도록 학습시키는 새로운 RL 접근법 제시.
2. 실증적 발견: LRMs 가 초기 추론 단계에서 대부분의 필수 정보를 누적함을 입증하고, 이를 통해 모델의 자연 분포를 해치지 않는 짧은 추론 경로를 구성하는 방법론을 정립.
3. 이론적 분석: 단축된 롤아웃 (Truncated Rollouts) 이 강화학습의 안정성을 해치지 않으며, 신뢰 영역 (Trust Region) 내에서 효과적인 학습 신호를 유지함을 수학적으로 분석.
4. 성능 입증: 복잡한 작업에서 정확도를 유지하거나 향상시키면서 출력 길이를 획기적으로 줄이는 것을 실험을 통해 증명.

5. 실험 결과 (Results)

DeepSeek-Distill-Qwen-1.5B 및 7B 모델을 기반으로 한 광범위한 실험 결과, JET 는 기존 방법론 (SFT, DPO, DAPO, AdaptThink 등) 을 압도하는 성능을 보였습니다.

• 효율성 및 정확성 트레이드오프 개선:
  • Olympiad 벤치마크 (1.5B 모델): 정확도는 4.6% 상승 (+51.6% → 56.2% 수준 추정) 하면서, 출력 길이는 46.3% 감소했습니다.
  • MATH500 (7B 모델): 정확도는 유지하거나 소폭 향상되면서 토큰 길이는 약 25~30% 이상 감소했습니다.
• 범용성 (Generalization): 수학 문제뿐만 아니라 GPQA-Diamond(전문 추론), MMLU(다학제 평가), CSQA(상식 추론) 등 다양한 도메인과 난이도에서 일관된 성능 향상을 보였습니다. 특히 어려운 GPQA-Diamond 에서 1.5B 모델 기준 정확도 11.1% 상승이라는 놀라운 결과를 기록했습니다.
• 모델 규모 확장성: 1.5B, 7B, 8B(Llama) 등 다양한 크기의 모델에서 모두 효과적으로 작동함을 확인했습니다.
• 하드웨어 검증: NVIDIA GPU 뿐만 아니라 Huawei Ascend NPU 환경에서도 동일한 성능 향상을 입증하여 하드웨어 독립성을 보였습니다.

6. 의의 및 결론 (Significance)

이 논문은 대규모 언어 모델의 "생각하는 힘 (System-2)"을 강화하면서도, 그로 인한 계산 비용의 폭발적 증가를 해결할 수 있는 실용적인 솔루션을 제시합니다.

• 과도한 추론의 해결: 모델이 스스로 "언제 멈춰야 하는지"를 학습하게 함으로써, 불필요한 계산 자원을 절약하고 추론 속도를 획기적으로 개선합니다.
• 학습 데이터의 질적 향상: 인위적으로 생성된 데이터가 아닌, 모델의 자연스러운 생성 분포 내에서 최적의 중단점을 찾는 방식을 통해 RL 학습의 안정성과 효율성을 동시에 확보했습니다.
• 실용적 가치: JET 는 추론 모델의 배포 비용을 낮추고 응답 속도를 높여, 실제 산업 환경에서의 대규모 추론 모델 적용 가능성을 크게 높였습니다.

결론적으로, JET 는 "더 많이 생각하는 것"이 항상 "더 좋은 결과"를 의미하지는 않으며, **"적당히 생각하는 것 (Just-Enough Thinking)"**이 효율성과 정확성 모두를 달성하는 핵심 열쇠임을 증명했습니다.