🤖 AI

Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation

이 논문은 그룹 상대 정책 최적화(Group Relative Policy Optimization)를 통해 "NoThink", "Short", "Long" 추론 모드 중 하나를 선택하는 법을 학습함으로써, 다양한 벤치마크에서 정확도를 유지하거나 향상시키면서도 상당한 토큰 감소를 달성하도록 추론 언어 모델이 테스트 시간 연산량을 적응적으로 할당하도록 훈련하는 방법을 소개한다.

원저자: Gijs Kassenaar, Zhao Yang, Vincent François-Lavet

게시일 2026-08-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gijs Kassenaar, Zhao Yang, Vincent François-Lavet

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

대규모 언어 모델은 복잡한 문제를 해결하는 데 매우 능숙해졌으며, 종종 사람이 어려운 수학 문제를 종이에 풀어나가는 것처럼 일련의 긴 중간 단계로 질문을 세분화하여 해결합니다. '생각의 사슬(chain-of-thought)'이라고 알려진 이 단계별 접근 방식은 이러한 시스템이 수학 및 코딩 작업에서 높은 수준의 정확도에 도달할 수 있게 해줍니다. 그러나 이러한 능력에는 상당한 대가가 따릅니다. 모델은 종종 필요 이상의 훨씬 더 많은 텍스트를 생성하여 막대한 양의 컴퓨팅 전력과 시간을 소비합니다. 문제가 단순할 때조차도 모델은 길고 장황한 설명을 만들어내며, 즉시 해결될 수 있는 작업에 자원을 낭비하곤 합니다. 연구자들은 오랫동안 이러한 시스템이 특정 문제가 실제로 어느 정도의 노력을 요구하는지 판단하는 능력이 부족하다고 의심해 왔으며, 이로 인해 쉬운 질문에도 어려운 질문과 똑같이 과도한 처우가 이루어지는 상황이 발생하고 있습니다.

암스테르담 자유 대학교(Vrije Universiteit Amsterdam)의 연구팀은 모델이 스스로 이러한 판단을 내릴 수 있도록 가르치기 위해 나섰습니다. 그들은 수학 문제를 풀도록 훈련된 15억 개의 파라미터를 가진 비교적 작은 추론 모델을 대상으로 연구를 진행했습니다. 모델에게 항상 고정된 시간 동안 생각하도록 강요하는 대신, 응답 시작 시점에 아주 간단한 선택권을 주었습니다. 즉, 생각 없이 즉시 답변할지, 짧게 추론할지, 아니면 길고 깊게 추론할지를 결정할 수 있게 한 것입니다. 모델은 정답 여부와 얼마나 효율적으로 정답에 도달했는지에 따라 피드백을 받는 '강화 학습' 방식을 통해 훈련되었습니다. 목표는 모델이 문제의 난이도에 맞춰 자신의 노력을 조절하는 법을 배울 수 있는지, 즉 쉬운 작업에서는 시간을 절약하고 어려운 작업에는 충분한 자원을 투입할 수 있는지 확인하는 것이었습니다.

연구진은 모델이 작동 모드를 알리기 위해 첫 번째 토큰으로 단 하나의 단어를 출력하는 시스템을 설계했습니다. 만약 모델이 "NoThink(생각 안 함)"를 선택하면 즉시 답변을 시도합니다. 만약 "Short(짧게)"를 선택하면 짧은 설명을 생성할 수 있지만, 사용할 수 있는 단어 수에 엄격한 제한이 따릅니다. 만약 "Long(길게)"을 선택하면 제한 없이 길게 추론할 수 있습니다. 모델이 실제로 이러한 선택을 준수하도록 하기 위해, 연구진은 짧은 모드에 대해 응답 길이에 대한 엄격한 제한을 두었습니다. 만약 모델이 "Short" 모드를 사용하면서 제한을 넘어 계속 글을 쓴다면, 최종 답이 맞더라도 시스템은 해당 시도를 오답으로 처리했습니다. 이를 통해 모델은 처음에 선택한 라벨이 자신의 행동에 실질적인 결과를 초래한다는 것을 배우도록 강제되었습니다.

모델이 단순히 선택을 무시하고 매번 가장 길고 안전한 옵션을 기본값으로 선택하는 것을 방지하기 위해, 연구진은 모델이 받는 보상을 조정했습니다. 매우 짧은 답변에 대해서는 "NoThink"와 "Short" 모드에 더 많은 보상을 주는 반면, "Long" 모드는 길이에 상관없이 일정한 보상을 제공했습니다. 이를 통해 최선의 전략은 문제에 따라 달라지도록 만들었습니다. 사소한 질문의 경우 가장 빠른 답변이 가장 높은 점수를 얻는 반면, 어려운 문제는 성공을 위해 "Long" 모드의 확장된 노력이 필요하게 되었습니다. 또한 연구진은 모델이 모든 문제에 대해 단 하나의 전략만을 사용하는 현상이 나타나지 않도록, 세 가지 옵션을 모두 사용하도록 부드럽게 유도하는 균형 메커니즘을 추가했습니다.

결과에 따르면 모델은 문제의 난이도를 분류하는 법을 성공적으로 학습했습니다. 500개의 미학습 수학 문제 세트에서 모델은 쉬운 질문을 "NoThink" 또는 "Short" 모드로 보내고, 어려운 질문을 "Long" 모드로 보내기 시작했습니다. 훈련 과정 동안 모델의 정확도는 수정되지 않은 원래 버전과 거의 동일하게 유지되었지만, 응답의 평균 길이는 크게 줄어들었습니다. 연구진은 새로운 정책이 평균 생성 단어 수를 41% 감소시켜, 응답 길이를 약 4,800개 토큰에서 약 2,800개 토큰으로 줄였다는 것을 발견했습니다. 이는 모델이 동일한 수의 문제를 정확하게 풀면서도 절반 미만의 계산적 노력만을 사용했음을 의미합니다.

결정적으로, 이러한 효율성은 모델이 본 적 없는 문제에 대한 성능 저하를 초래하지 않았습니다. 다른 초등 수학 문장제 문제 세트로 테스트했을 때, 모델은 높은 정확도를 유지하면서도 텍스트 양을 76%나 줄이는 더 큰 성과를 보여주었습니다. 깊은 추론이 거의 항상 필요한 매우 어려운 경시대회 수학 문제 세트에서도 모델은 거의 모든 질문에 대해 "Long" 모드를 올바르게 선택하여, 지름길을 찾으려다 시간을 낭비하지 않고 기존 모델의 성능을 그대로 구현했습니다. 이 연구는 추론 모델이 노력이 필요한 때에만 더 많은 생각 시간을 할당하도록 스스로를 조절하도록 훈련될 수 있음을 입증합니다. 이는 인공지능을 단순히 장황한 시스템이 아니라, 더 똑똑하면서도 경제적인 시스템으로 만들기 위한 발전 방향을 제시합니다.

기술 요약: 언제 생각할 것인가: 테스트 시 연산 할당을 위한 적응형 추론 (Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation)

문제 정의

추론 언어 모델, 특히 검증 가능한 보상(RLVR)을 통한 강화 학습으로 미세 조정된 모델은 일반적으로 모든 프롬프트에 균일하게 적용되는 고정된 토큰 예산 하에서 작동합니다. 이러한 정적 접근 방식은 다음과 같은 두 가지 주요 비효리성을 초래합니다:

과잉 연산 (Over-computation): 쉬운 문제에 과도한 추론 토큰이 할당되어, 정확도를 높이지 못한 채 추론 지연 시간과 비용을 증가시킵니다.
연산 부족 (Under-computation): 어려운 문제는 해결책을 찾기 전 고정된 상한선에 의해 차단될 수 있습니다.
소형 모델에서의 비효율성: 작은 모델들은 제한된 용량을 보완하기 위해 불필요하게 긴 설명을 생성하는 "장황함 보상(verbosity compensation)" 현상을 보이며, 오답은 정답보다 현저히 길게 나타나는 경 경향이 있습니다.

GRPO(Group Relative Policy Optimization)의 시간적 할인(temporal discounting)과 같은 기존 솔루션은 문제의 난이도와 상관없이 균일한 길이 패널티를 부과합니다. 이는 적응적인 연산 할당에 실패하며, 쉬운 문제와 어려운 문제 모두에게 각기 다른 최적의 추론 예산이 필요함에도 불구하고 동일하게 짧게 답변하도록 압박합니다. 또한, 기존의 적응형 모드 선택 시도는 "라우팅 붕괴(routing collapse, 정책이 단일 모드로 수렴하는 현상)"를 방지하기 위해 감독된 사전 학습 단계, 증류(distillation) 또는 복잡한 커리큘럼 스테이징에 의존하는 경우가 많습니다.

방법론

본 논문은 1.5B 규모의 증류된 추론 모델이 별도의 라우터 네트워크 없이 엔드투엔드(end-to-end)로 자신의 추론 노력을 스스로 할당하는 데 학습하는 3-모드 자기 라우팅 GRPO (Three-Mode Self-Routing GRPO) 프레임워크를 제안합니다.

핵심 메커니즘

모델은 응답의 첫 번째 토큰으로 이산적인(discrete) 라우팅 토큰을 생성하여 다음 세 가지 모드 중 하나를 선택합니다:

NoThink: 최대한 빠르게 답변 (최소한의 추론).
Short: 엄격한 토큰 상한 내에서 간략한 추론.
Long: 상한 없이 확장된 추론.

주요 기술 구성 요소

이산적 라우팅에서 흔히 발생하는 정책 붕괴를 방지하기 위해, 저자들은 세 가지 특정 메커니즘을 사용합니다:

모드별 엄격한 토큰 상한 (Hard Per-Mode Token Caps):
- NoThink: 1,024 토큰으로 제한.
- Short: 3,000 토크로 제한.
- Long: 상한 없음.
- 기능: 이러한 상한은 행동의 구별성을 보장합니다. 만약 "Short" 응답이 상한을 초과하면 내용과 관계없이 오답 처리됩니다. 이는 짧은 모드가 더 많은 토큰을 필요로 하는 어려운 문제를 은밀하게 흡수하는 것을 방지하여, 모드 간의 진정한 정확도 격차를 유지합니다.
형태가 잡힌 보상 표면 (Shaped Reward Surface):
- 각 모드는 라우팅 토큰 이후 생성된 토큰 수에 대해 서로 다른 기본 보상( $b$ )과 토큰당 할인 계수( $\gamma$ )를 적용받습니다.
- 공식: 정답의 경우 $r_i = b \cdot \gamma^{L_i}$ 이며, 여기서 $L_i$ 는 토큰 수입니다.
- 파라미터: $b_{NT}=1.3, b_{S}=1.2, b_{L}=1.0$ . 할인 계수는 특정 길이에 따라 보상 최적의 선택이 바뀌도록(약 800 및 3,000 토큰에서 교차) 튜닝되었습니다. 이는 각 모드가 특정 난이도/길이 범위에 최적화되도록 하는 보상 랜드스케이프를 생성합니다.
어드밴티지 균형 항 (Advantage Balancing Term):
- 이산적 선택의 자기 강화 특성에 대응하기 위해 어드밴티지 추정치에 직접 균형 항을 추가합니다: $\hat{A}_i \leftarrow A_i + \beta_{bal}(p^* - f_{mode}(i))$ .
- 이 항은 과하게 표현된 모드를 징벌하고 과소 표현된 모드를 촉진합니다. 결정적으로, 이는 비대칭적으로 적용됩니다. 즉, 음의 수정은 오답(incorrect) 롤아웃에만 적용되고, 양의 수정은 정답(correct) 롤아웃에만 적용되어 균형 항이 정확도 신호를 왜곡하지 않도록 합니다.
학습 수정 사항:
- KL 패널티 제거: 베이스 증류 모델이 거의 생성하지 않는 새로운 행동(예: 빠르게 답변하기)을 탐색할 수 있도록 참조 정책에 대한 KL 패널티를 제거했습니다 ( $\beta=0$ ).
- 토큰 평균 집계 (Token-Mean Aggregation): 시퀀스 평균 집계 대신 토큰 평균 집계를 사용하여 긴 시퀀스가 짧은 시퀀스보다 약한 그래디언트를 받지 않도록 했습니다.
- 강제 웜업 (Forced Warmup): 초기 단계에서는 자유로운 롤아웃으로 전환하기 전 초기 역학을 안정화하기 위해 각 모드당 하나의 롤아웃을 생성하도록 강제합니다.

주요 기여

엔드투엔드 적응형 라우팅: 1.5B 추론 모델이 별도의 라우터 네트워크, 감독된 사전 학습 또는 증류 없이, 단 하나의 이산적 토큰을 사용하여 문제 난이도에 따라 문제를 라우팅하는 법을 학습할 수 있음을 입증했습니다.
안정성 메커니즘: 엄격한 모드별 상한, 형태가 잡힌 보상, 그리고 어드밴티지 기반의 균형 항의 조합이 이산적 모드 선택의 고질적 문제인 라우팅 붕합을 효과적으로 방지함을 보여주었습니다.
파레토 프런티어에서의 효율성: 결과적인 정책은 베이스 모델과 대등한 정확도를 달성하면서도 토큰 사용량을 크게 줄였으며, 이를 통해 단일 모드 베이스라인들이 그리는 정확도-길이 파레토 프런티어보다 엄격하게 높은 위치에 자리 잡았습니다.

실험 결과

이 방법은 MATH 데이터셋으로 학습되고 MATH-500, GSM8K, AIME로 검증된 1.5B 모델(DeepSeek-R1-Distill-Qwen-1.5B)에 대해 평가되었습니다.

모드 출현 (Mode Emergence): 세 가지 시드 모두에서 세 모드가 붕괴 없이 지속되었습니다. 최종 체크포인트에서 분포는 20%(NoThink), 32%(Short), 47%(Long) 근처로 안착했습니다.
난이도 분류 (Difficulty Sorting): 라우팅은 의미론적으로 유의미했습니다.
- 내부 분포 (MATH-500): 모델은 쉬운 문제에는 "NoThink"와 "Short"를, 어려운 문제에는 "Long"을 할당했습니다. 훈련 중 모드별 정확도가 역전되었는데, 짧은 모드들이 자신들에게 할당된 문제들에 대해 Long 모드보다 더 높은 정확도를 보였습니다. 이는 성공적인 난이도 분류를 나타냅니다.
- 상관관계: 라우팅 분포는 MATH-500 난이도 레벨(1~5)과 단조적인 상관관계를 보였습니다. "NoThink"는 레벨 1에서 우세했고, "Long"은 레벨 5에서 우세했습니다.
효율성 이득:
- MATH-500: 정책은 0.782의 정확도(베이스 모델 0.796 대비)를 달성하면서 평균 응답 길이를 4,796개에서 2,811개 토큰으로 줄였습니다 (41% 감소).
- 파레토 프런티어: 적응형 정책은 단일 모드 베이스라인(NoThink-only, Short-only, Long-only)의 파레토 프런티어보다 엄격하게 위에 위치하여, 동일한 토큰 예산에서 더 높은 정확도를 제공하거나 동일한 정확도를 위해 더 적은 토큰을 사용했습니다.
외부 분포 전이 (Out-of-Distribution Transfer):
- GSM8K (더 쉬운 과제): 베이스 모델 대비 76%의 토큰 감소를 달성하면서도 유사한 길이의 고정-짧은 베이스라인보다 높은 정확도를 보였습니다.
- AIME (더 어려운 과제): 라우터는 대부분의 문제가 확장된 추론을 필요로 함을 정확히 식별하여 거의 모든 쿼리를 "Long"에 할당했으며, 프런티어의 정확도를 맞추면서 12%의 토큰 감소를 달性했습니다.

의의 및 주장

본 논문은 각 문제에 대해 얼마나 추론할지를 적응적으로 선택하는 추론 모델을 구축한다고 주장합니다. 그 의의는 다음과 같습니다:

토큰 효율성: 정확도를 희생하지 않으면서 쉬운 작업에서 추론 비용을 실질적으로 절감합니다 (최대 76%).
단순성: 복잡한 외부 라우터, 감독된 사전 학습 또는 다단계 커리큘럼 없이도 적응형 행동을 달성합니다.
일반화 가능성: 라우팅 메커니즘은 난이도 분포가 다른 데이터셋(GSM8K, AIME)으로 제로샷 전이가 가능하며, 문제가 쉬울 때는 연산을 아끼고 어려울 때는 예산을 보존합니다.

저자들은 단일 모델 크기와 작업 분포에 대한 의존성, 그리고 토큰 상한 설정에 대한 태스크별 튜닝의 필요성 등 한계점을 언급했습니다. 결론적으로, 이들의 주요 기여는 모델의 잠재적 추론 능력을 근본적으로 높이는 메커니즘이라기보다, 토큰 효율성 메커니즘으로서 정확도-길이 트레이드오프를 외부로 확장시킨 것에 있습니다.