Mid-Think: Training-Free Intermediate-Budget Reasoning via Token-Level Triggers

</think> 태그는 후속 토큰으로부터 가장 높은 주의(attention)를 끌어당기며, 효과적으로 추론을 활성화하는 스위치 역할을 합니다.

• 줄바꿈 트리거(The Newline Trigger): "No-Think" 모드에서는 </think> 태그 뒤에 오는 줄바꿈 패턴(\n\n)이 주의력의 대부분을 흡수하여 추론 동작을 억제합니다.
• 과적합 현상(Overfitting Phenomenon): 저자들은 추론 모델과 그 학습 데이터셋(예: OpenR1-Math)이 이러한 통합된 시작 패턴(예: "Okay"로 생각을 시작하는 것)에 "과적합"되는 현상을 관찰했습니다. 이는 모델이 의미론적 지시를 해석하기보다 이러한 토큰들을 하드 스위치(hard switches)로 의존하고 있음을 시사합니다.

2.2 Mid-Think: 학습이 필요 없는 프롬프팅 포맷

이러한 관찰을 바탕으로, 저자들은 추가적인 모델 재학습 없이 중간 단계의 추론 체제를 유도하기 위해 활성화 큐와 억제 큐를 결합한 프롬프팅 포맷인 Mid-Think를 제안합니다.

제안된 포맷은 다음과 같습니다:
...</think>\n\n<reason>\nOkay...

• 메커니즘: 이 포맷은 (추론을 억제하는) </think>\n\n 패턴과 (추론을 활성화하는) Okay 토큰을 명시적으로 결합합니다. <reason> 태그(또는 <begin>, <less think>와 같은 대안)는 생각하는 내용의 구조적 구분자 역할을 합니다.
• 효과: 이 결 combinação은 두 신호 사이의 "충돌" 또는 균형을 만들어내어, 모델이 표준 "Think" 모드보다는 짧지만 "No-Think" 모드보다는 견고한 추론 흔적(reasoning trace)을 생성하도록 유도합니다.

2.3 RL 학습에의 적용

저자들은 나아가 SFT(Supervised Fine-Tuning) 이후 강화 학습(RL)의 학습 목표로서 Mid-Think 포맷을 적용합니다. Mid-Think 포맷을 사용하여 모델이 응답을 생성하도록 학습함으로써 다음을 목표로 합니다:

• RL 최적화 단계 동안 추론 시퀀스의 길이를 줄임.
• 학습 중 정책 엔트로피(policy entropy)를 높임 (고정된 패턴으로 조기에 붕괴되는 것을 방지).
• 최종 모델의 추론 깊이와 효율성 사이의 균형 능력을 향상함.

3. 주요 결과

3.1 추론 시 제어 (학습 불필요)

다양한 모델(Qwen3-8B/14B/32B, DeepSeek-R1-Distill, Phi-4)에 대해 MATH500, AIME, GPQA에서 평가한 결과:

• 파레토 최적성(Pareto Optimality): Mid-Think는 정확도-길이 트레이드오프의 파레토 프런티어 상에 있거나 그 너머에 위치하는 성능을 일관되게 달성합니다. 이는 고정된 토큰 예산 베이스라인 및 프롬프트 기반 방법들보다 우수한 성능을 보입니다.
• 성능: MATH500에서 Mid-Think는 높은 예산의 "Think" 모드(예: Qwen3-14B의 경우 94% 대비 ~92%)와 유사한 정확도를 달면서도, 생성 길이는 현저히 줄였습니다 (4,904 토큰 대비 ~2,589 토크).
• 일반화: 이 방법은 모델의 학습 템플릿에 맞는 트리거 토큰을 사용하는 경우(예: "We need..."로 학습된 모델의 경우 "Okay" 대신 "We" 사용), 다양한 모델 제품군(Llama, Qwen, Phi)과 아키텍처(Dense, MoE)에 걸쳐 일반화됩니다.
• 태스크 범용성: 이 접근 방식은 수학을 넘어 코딩 태스크(LiveCodeBench)로 확장되며, 우수한 정확도-길이 트레이드오프를 유지합니다.

3.2 RL 학습 효율성 및 성능

Qwen3-4B 및 Qwen3-8B에 대해 GRPO를 사용한 RL 학습에 적용했을 때:

• 학습 효율성: Mid-Think는 최적화 과정 중 생성되는 추론 시퀀스가 더 짧기 때문에, 표준 "Think" 모드 학습과 비교하여 RL 학습 시간을 약 15% 단축했습니다 (예: Qwen3-8B의 경우 54시간에서 46시간으로 단축).
• 엔트로피 역학: Mid-Think 학습은 빠르게 저엔트로피 영역으로 붕괴되는 경향이 있는 표준 "Think" 모드에 비해 학습 과정 중 더 높은 엔트로피를 유지합니다.
• 최종 성능: Mid-Think로 학습된 모델은 표준 "Think" 또는 "No-Think" 모드로 학습된 모델보다 "Think" 모드 평가에서 더 높은 정확도를 달성합니다.
  • AIME: Qwen3-8B는 표준 RL의 69.8%에서 **72.4%**로 향상되었습니다.
  • GPQA: Qwen3-8B는 58.5%에서 **61.1%**로 향상되었습니다.
• 행동적 균형: "No-Think" 학습이 종종 "Think" 모드의 성능을 저하시키는 것과 달리, Mid-Think로 학습된 모델은 강력한 추론 능력을 유지하면서도 효율성을 보존합니다.

4. 의의 및 주장

본 논문은 대규모 언어 모델의 하이브리드 추론 행동이 복잡한 의미론적 지시가 아니라 소수의 토큰 수준 트리거에 의해 주로 제어된다고 주장합니다. 이를 바탕으로 본 연구의 의의는 세 가지로 요약됩니다:

1. 메커니즘 발견: 특정 어휘적 큐("Okay" 대 \n\n)를 통해 추론 모드를 조작할 수 있음을 밝혀냄으로써, 모델 행동을 이해하기 위한 가벼운 렌즈를 제공합니다.
2. 효율적인 추론: Mid-Think는 중간 단계의 예산을 가진 추론을 달성하기 위한 학습 불필요(training-free) 메커니즘을 제공하며, 기존 베이스라인보다 정확도-효율성 트레이드오프에 대해 더 신뢰할 수 있고 미세한 제어를 제공합니다.
3. 개선된 RL 학습: 이러한 트리거를 RL 목표에 통합함으로써, 학습을 가속화하고 더 균형 잡힌 추론 행동을 가진 모델을 산출하며, 이는 학습 중 "예산"을 제어하는 것이 최종 모델 성능을 향상시키는 유효한 전략임을 시사합니다.

저자들은 Mid-Think가 임의의 예산 수준(예: 정확한 0.1 또는 0.7 비율)에 대한 완전한 동적 제어를 제공하지는 못하며, 모델의 학습 데이터에 존재하는 과적합된 토큰 수준의 행동에 의존한다는 점을 한계로 언급했습니다.