💬 NLP

SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning

이 논문은 복잡한 문제의 난이도에 따라 추론 토큰 예산을 동적으로 할당하여 응답 길이를 평균 61% 단축하면서도 정확도를 유지하는 적응형 추론 전략인 'SelfBudgeter'를 제안합니다.

원저자: Zheng Li, Qingxiu Dong, Jingyuan Ma, Di Zhang, Kai Jia, Zhifang Sui

게시일 2026-04-20

📖 3 분 읽기☕ 가벼운 읽기

원저자: Zheng Li, Qingxiu Dong, Jingyuan Ma, Di Zhang, Kai Jia, Zhifang Sui

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제: "과잉 사고 (Overthinking)"라는 병

최근 AI(예: O1, DeepSeek-R1 등) 는 매우 복잡한 문제를 풀 때 놀라운 능력을 보여줍니다. 하지만 이 모델들은 아주 간단한 질문에도 마치 대학원생이 논문을 쓰는 것처럼 길고 복잡한 생각의 과정 (Chain of Thought) 을 펼쳐놓습니다.

비유: 친구가 "2+3 은 몇?"이라고 물었을 때, AI 가 "자, 2 는 1+1 이고, 3 은 1+1+1 이니까..."라며 10 분 동안 수학적 증명 과정을 설명하는 것과 같습니다.
결과: 컴퓨터 자원 낭비, 긴 대기 시간, 그리고 사용자의 짜증만 유발합니다.

2. 해결책: SelfBudgeter (스스로 예산을 정하는 AI)

저자들은 이 문제를 해결하기 위해 SelfBudgeter라는 기술을 제안했습니다. 핵심은 **"답을 말하기 전에, 이 문제를 풀기 위해 몇 단어가 (토큰) 필요한지 먼저 예측하고 그 안에서만 답을 내놓는다"**는 것입니다.

🏪 슈퍼마켓 장보기 비유

기존 AI: 장바구니에 들어갈 물건을 계산하기 전에, "아, 오늘 장보기는 100 만 원 정도 들겠지?"라고 생각도 안 하고 물건을 사다가 100 만 원이 넘으면 다시 빼고 다시 넣고... 결국 300 만 원을 쓰고 집에 옵니다. (비효율적)
SelfBudgeter: 장을 보러 가기 전에 **"오늘은 5 만 원만 쓸 거야"**라고 스스로 예산을 책정합니다. 그리고 그 예산 범위 안에서 필요한 물건만 딱 맞춰서 장을 봅니다. 만약 5 만 원으로 부족하면 "아, 이 문제는 5 만 원으로는 안 되겠네, 10 만 원으로 늘려야겠다"라고 다시 계산합니다.

3. 어떻게 작동할까요? (두 단계 훈련)

이 기술은 AI 를 두 단계로 훈련시킵니다.

냉간 시작 (Cold Start): AI 에게 "질문을 받으면 먼저 <예산> 200 토큰 </예산>이라고 적고, 그 다음에 답을 써라"라고 가르칩니다. 이때 AI 는 문제의 난이도에 따라 예산을 대충 맞춰봅니다.
보상 강화 학습 (RL): AI 가 예산을 잘 맞췄는지, 그리고 그 예산 안에서 정확한 답을 냈는지 점수를 줍니다.
- 잘 맞췄다: "와, 예산 200 으로 정확히 190 토큰 쓰면서 정답을 냈네! 점수 UP!"
- 너무 많이 썼다: "예산 200 이라고 했는데 500 썼네? 벌점!"
- 정답이 틀렸다: "예산은 잘 맞췄는데 답이 틀렸어? 다시 생각해봐!"

이 과정을 반복하면 AI 는 문제가 쉬우면 짧게, 어렵면 길게 생각하면서도 사용자가 정한 예산 (또는 스스로 정한 예산) 을 철저히 지키는 법을 배웁니다.

4. 놀라운 효과

실험 결과, SelfBudgeter 는 다음과 같은 성과를 냈습니다.

답변 길이 61% 단축: 수학 문제 같은 복잡한 작업에서도 답변 길이가 절반 이상 줄었습니다.
정확도 유지 (심지어 향상): 길이를 줄였다고 해서 답이 틀린 게 아니라, 오히려 불필요한 잡담을 빼고 핵심만 짚어내어 정확도가 더 좋아진 경우도 있었습니다.
사용자 경험 향상:
- 예측 가능: "이 질문을 풀면 약 10 초 정도 걸릴 거예요"라고 미리 알려주어 사용자가 기다릴지 말지 결정할 수 있습니다.
- 예산 통제: 사용자가 "이 문제는 500 토큰 (약 300 자) 안에만 답해줘"라고 하면, AI 는 그 제한 안에서 최선을 다해 답을 냅니다.

5. 결론: 더 똑똑하고, 더 빠른 AI

SelfBudgeter 는 AI 가 **"무작정 길게 생각하는 것"이 아니라 "상황에 맞게 적절하게 생각하는 것"**을 배울 수 있게 해줍니다.

마치 현명한 주부가 장바구니에 들어갈 물건을 미리 계산해서 불필요한 지출을 막는 것처럼, 이 기술은 AI 가 불필요한 생각 (과잉 사고) 을 줄이고, 필요한 생각에만 에너지를 집중하게 만들어줍니다. 그 결과, 우리는 더 빠르고, 저렴하며, 똑똑한 AI 와 대화할 수 있게 됩니다.

한 줄 요약:

"SelfBudgeter 는 AI 에게 '생각할 시간과 공간'을 스스로 조절하는 법을 가르쳐, 불필요한 잡담을 줄이고 핵심만 빠르게 전달하게 만든 기술입니다."

SelfBudgeter: 효율적인 LLM 추론을 위한 적응형 토큰 할당 기술 요약

이 논문은 대형 추론 모델 (Large Reasoning Models) 이 간단한 질문에도 과도한 추론 과정 (Overthinking) 을 거치며 발생하는 자원 낭비와 지연 시간을 해결하기 위해 제안된 SelfBudgeter 프레임워크에 대해 다룹니다.

1. 문제 정의 (Problem)

최근 O1, DeepSeek-R1, QwQ 와 같은 대형 추론 모델은 강화 학습 (RL) 을 통해 긴 사고의 사슬 (Chain-of-Thought, CoT) 을 학습하여 복잡한 문제 해결 능력을 크게 향상시켰습니다. 그러나 이러한 모델들은 단순한 질문에도 과도하게 긴 사고 과정을 생성하는 경향이 있습니다.

과도한 추론 (Overthinking): "2+3 은 무엇인가?"와 같은 간단한 질문에도 모델이 불필요하게 긴 논리 과정을 생성하여 토큰 소모가 급증합니다.
자원 낭비 및 지연: 이는 계산 자원의 낭비와 사용자의 대기 시간 (Latency) 증가로 이어집니다.
기존 방법의 한계: 프롬프트 기반 지시, 길이 패널티를 포함한 통합 훈련, 또는 라우터 기반 아키텍처 등 기존 방법들은 정밀한 길이 제어의 부재, 추가 계산 오버헤드, 또는 명시적인 최적 길이 출력 실패 등의 한계가 있었습니다.

2. 방법론 (Methodology)

SelfBudgeter 는 모델이 스스로 필요한 추론 예산 (토큰 수) 을 예측하고, 그 예산에 맞춰 정밀하게 응답 길이를 제어하는 적응형 전략입니다.

2.1 핵심 메커니즘

자기 추정 토큰 예산 (Self-Estimated Token Budget):
- 모델은 답변을 생성하기 전에 <budget> 태그를 사용하여 해당 질문을 해결하는 데 필요한 최소 토큰 수를 먼저 예측합니다.
- 사용자가 특정 예산을 지정하지 않으면 모델이 문제의 난이도에 따라 자동으로 할당합니다.
- 사용자가 예산을 지정하면, 모델은 해당 예산 내에서만 답변을 생성합니다.
이단계 훈련 프레임워크:
- 콜드 스타트 (Cold-Start): 모델이 새로운 출력 형식 (<budget>...</budget><solution>...</solution>) 을 학습하도록 지도 미세 조정 (SFT) 을 수행합니다. 이 단계에서 모델은 정답과 함께 해당 길이의 토큰 예산을 예측하는 법을 배웁니다.
- 강화 학습 (RL Training - GRPO): 예산 기반 GRPO (Group Relative Policy Optimization) 알고리즘을 사용하여 모델의 정확도를 유지하면서 출력 길이를 최적화합니다.
보상 함수 설계 (Reward Function):
- 정확도 보상 (Accuracy Reward): 정답 여부에 따른 기본 보상.
- 예산 페널티 (Budget Penalty): 예측한 예산이 허용된 최대 예산 ( $b_{max}$ ) 을 초과할 경우 패널티를 부과하여 불필요한 예산 할당을 억제합니다.
- 정밀 예산 제어 보상 (Precise Budget Control Reward, PreB): 실제 생성된 응답 길이 ( $\ell$ $ℓ$ ) 가 모델이 예측한 예산 ( $b$ $b$ ) 과 얼마나 일치하는지를 평가합니다.
  - 정답인 경우: 최소한의 충분한 길이 ( $(1-\alpha)b$ ) 에서 최대 보상을 받도록 유도하여 불필요한 길이를 줄입니다.
  - 오답인 경우: 더 긴 추론을 장려하여 정답에 도달할 가능성을 높입니다.
  - $\alpha$ (Tightness Coefficient): 예산 허용 오차 범위를 조절하는 인자로, 훈련 과정에서 선형적으로 감소 (Dynamic Alpha Schedule) 하여 점차 정밀한 길이를 요구하도록 합니다.

3. 주요 기여 (Key Contributions)

SelfBudgeter 프레임워크 제안: 대규모 언어 모델이 스스로 토큰 예산을 예측하고 이를 엄격히 준수하여 출력 길이를 제어할 수 있는 새로운 훈련 프레임워크를 제시했습니다.
정확도 유지 및 길이 단축: 응답 길이를 획기적으로 줄이면서도 (평균 61% 압축) 모델의 정확도를 유지하거나 오히려 향상시킬 수 있음을 입증했습니다. 길이가 짧다고 해서 추론 품질이 떨어지지 않음을 보여줍니다.
확장성 검증: 1.5B 에서 7B 에 이르는 다양한 모델 크기에서 일관된 성능 향상을 보이며, 수학 추론뿐만 아니라 일반 도메인 지식 추론 (GPQA, SCoRE) 으로도 확장 가능함을 확인했습니다.
사용자 경험 개선: 모델이 생성 시작 전에 예상 소요 시간 (토큰 수 기반) 을 사용자에게 제공하여, 사용자가 대기 시간을 예측하거나 예산을 직접 설정하여 상호작용 효율성을 높일 수 있게 했습니다.

4. 실험 결과 (Results)

성능 비교: GSM8K, MATH500, AIME2025 등 주요 수학 추론 벤치마크에서 기존 베이스라인 (DeepSeek-R1-Distill-Qwen 등) 과 비교하여 평균 응답 길이를 61% 줄이면서도 정확도를 유지하거나 향상시켰습니다.
- 예: GSM8K 에서 정확도는 11.01%p 증가 (73.09% → 84.10%) 하면서 길이는 43% 수준으로 단축.
- AIME2025(고난도) 에서도 길이를 30% 로 압축하며 동급의 정확도를 유지했습니다.
동적 할당 능력: 문제의 난이도 (GSM8K < MATH < AIME) 에 따라 모델이 할당하는 토큰 예산이 선형적으로 증가하는 것을 확인하여, 모델이 문제 복잡도를 스스로 인지하고 자원을 할당함을 증명했습니다.
사용자 지정 예산 준수: 사용자가 특정 토큰 수를 지정하면, 모델은 해당 범위 내에서 정밀하게 응답을 생성하며 (선형 회귀 분석을 통해 높은 준수율 확인), 이는 상호작용의 유연성을 제공합니다.

5. 의의 및 결론 (Significance)

SelfBudgeter 는 LLM 의 "과도한 추론" 문제를 해결하여 효율성, 제어 가능성, 사용자 경험을 동시에 개선하는 중요한 이정표입니다.

자원 효율성: 불필요한 토큰 소모를 줄여 추론 비용을 절감하고, 저사양 환경에서도 고성능 추론 모델을 배포할 수 있는 가능성을 열었습니다.
예측 가능성: 사용자는 응답 생성 전에 예상 토큰 수와 대기 시간을 알 수 있어, 시간 제약이 있는 상황에서 더 나은 의사결정을 할 수 있습니다.
적응형 추론: 모델이 문제의 난이도에 따라 추론 깊이를 스스로 조절하는 능력을 갖추게 되어, 단순한 질문에는 간결하게, 복잡한 질문에는 심층적으로 답변하는 지능적인 상호작용이 가능해졌습니다.

결론적으로 SelfBudgeter 는 추론 모델의 실용성을 높이고, 제한된 컴퓨팅 자원 환경에서도 고품질 추론을 가능하게 하는 유망한 솔루션입니다.