Draft-Thinking: Learning Efficient Reasoning in Long Chain-of-Thought LLMs

이 논문은 추론 비용과 성능 간의 불필요한 상관관계를 해소하기 위해, 핵심 추론 단계만 선별하는 '초안 스타일' 구조를 점진적 커리큘럼 학습과 적응형 프롬프팅을 통해 내재화함으로써 추론 예산을 획기적으로 줄이면서도 성능을 유지하는 'Draft-Thinking' 방법을 제안합니다.

핵심

🧠 "Draft-Thinking": 똑똑한 AI 가 '생각의 초안'을 쓰는 법

이 논문은 최근 AI(대규모 언어 모델) 가 문제를 풀 때 너무 길고 지루하게 생각하다 보니, 오히려 비효율적이고 실수까지 하는 문제를 해결한 방법론을 소개합니다. 이를 **'Draft-Thinking(초안 생각)'**이라고 부릅니다.

일상적인 비유와 쉬운 설명으로 핵심을 풀어보겠습니다.

---

1. 문제: "생각이 너무 길어지면 병이 난다?" (Overthinking)

지금까지의 AI 는 어려운 문제를 풀 때, 무조건 길게 생각할수록 정답에 가까워진다고 믿었습니다. 마치 시험을 볼 때, 문제를 읽고 답을 쓰기까지 100 번이나 되뇌며 "아니, 이건 아닐까? 저건 어떨까?"라고 자문자답하는 학생과 같습니다.

• 현실: AI 는 이 과정에서 불필요한 생각 (중복된 계산, 헛된 시도) 을 너무 많이 합니다.
• 결과: 컴퓨터 자원 (비용) 은 엄청나게 많이 들면서, 오히려 지쳐서 실수를 하거나 정답을 놓치는 '생각 과부하 (Overthinking)' 현상이 발생합니다.

2. 해결책: "Draft-Thinking(초안 생각)"이란?

이 논문은 AI 에게 **"일단 핵심만 간결하게 초안 (Draft) 을 써보라"**고 가르쳤습니다.

🎨 비유: "건축가의 스케치" vs "완성된 청사진"

• 기존 AI: 건물을 짓기 전에 벽돌 하나하나의 색상, 문 손잡이의 재질, 창문의 각도까지 100 페이지 분량의 상세 설계도를 처음부터 다 그립니다. (시간과 비용 낭비)
• Draft-Thinking AI: 먼저 **"이건 3 층짜리 아파트야, 기둥은 여기 있고, 계단은 저기로 가"**라고 3 줄짜리 **스케치 (초안)**를 그립니다. 핵심만 담고 나머지는 생략합니다.

이제 AI 는 이 '초안'을 쓰는 법을 배웠습니다. 중요한 단계만 남기고 불필요한 수다를 떨지 않게 된 것입니다.

3. 학습 방법: "점진적인 커리큘럼" (Progressive Curriculum)

AI 가 갑자기 "짧게만 써!"라고 하면, 오히려 멍청해져서 정답을 못 맞춥니다. 그래서 연구팀은 학생을 가르치듯 단계별로 훈련시켰습니다.

1. 1 단계 (초급): "핵심만 적어라"

   • 더 똑똑한 AI(선생님) 가 쓴 '간결한 초안'을 보고, 우리 AI(학생) 가 그걸 모방하도록 훈련시킵니다.
   • 비유: 숙제를 할 때, 선생님이 "중요한 공식만 적고 풀이 과정은 생략해"라고 알려주면, 학생은 그 패턴을 익힙니다.

2. 2 단계 (중급): "조금 더 길게, 하지만 여전히 효율적으로"

   • 이제 조금 더 어려운 문제를 주면서, '초안'을 쓰되 필요한 만큼만 길이를 늘려줍니다.
   • 비유: 쉬운 문제는 3 줄로, 어려운 문제는 10 줄로 쓰되, 여전히 불필요한 수다는 금지합니다.

3. 3 단계 (고급): "상황에 맞춰 선택하라"

   • AI 가 스스로 판단하게 합니다. "이 문제는 쉬우니까 초안으로 풀고, 어려운 문제는 조금 더 자세히 생각하자."
   • 비유: 시험지 앞에서 "이건 1 분에 풀 수 있으니 간략하게, 저건 10 분 걸리니 꼼꼼하게"라고 스스로 전략을 세웁니다.

4. 놀라운 성과: "적게 쓰고, 더 잘 맞춘다"

실험 결과, 이 방법은 놀라웠습니다.

• 비용 절감: AI 가 생각할 때 사용하는 단어 수 (토큰) 가 80% 이상 줄었습니다. (예: 5,000 단어를 쓰던 걸 1,000 단어로 줄임)
• 정확도 유지: 생각은 짧아졌지만, 정답을 맞히는 능력은 거의 떨어지지 않았습니다. (오히려 복잡한 문제에서는 더 잘 풀기도 함)
• 유연성: AI 가 스스로 "이건 짧게, 저건 길게"를 선택할 수 있게 되어, 상황에 맞춰 최적의 전략을 쓸 수 있게 되었습니다.

5. 요약: 왜 이 기술이 중요한가?

기존의 AI 는 **"생각이 길어야 똑똑하다"**는 고정관념에 갇혀 있었습니다. 하지만 Draft-Thinking은 **"생각의 질이 중요하지, 양이 중요한 게 아니다"**라는 사실을 증명했습니다.

• 기존: "머리 아파도 100 번 생각하자." (비효율적, 비쌈)
• Draft-Thinking: "핵심만 10 번 생각하자. 나머지는 생략하자." (효율적, 저렴함, 똑똑함)

이 기술은 앞으로 AI 가 더 저렴하고 빠르게, 그리고 똑똑하게 우리 문제를 해결해 줄 수 있는 새로운 길을 열어주었습니다. 마치 성공한 학생이 '요약 노트'를 만들어 시험을 보는 것처럼 말이죠! 📝✨

기술 요약

1. 문제 정의 (Problem)

대규모 추론 모델 (LRMs) 은 복잡한 문제를 해결하기 위해 긴 사고의 사슬 (Long Chain-of-Thought, CoT) 을 생성하는 방식을 주로 사용합니다. 그러나 최근 연구들은 이러한 긴 추론 경로가 **시스템적인 '과도한 사고 (Overthinking)'**를 유발한다고 지적합니다.

• 비효율성: 모델은 정답에 필수적이지 않은 불필요한 단계를 반복하여 계산 비용 (토큰 수) 을 과도하게 소모합니다.
• 기존 방법의 한계:
  • 프롬프트 기반 (CoD 등): 프롬프트 품질에 의존성이 강하고, 소규모 모델이나 제로샷 환경에서 성능이 급격히 저하됩니다.
  • 압축 기반 (Compression): 외부 중요도 추정기에 의존하여 추론 능력을 압축기 품질에 종속시킵니다.
  • 길이 규제 (Length Penalty): 단순히 토큰 수를 줄이려는 보상 함수는 모델이 복잡한 문제에서도 충분한 깊이의 추론을 수행하지 못하게 하여 성능을 떨어뜨립니다.

즉, 기존 방법들은 추론 능력과 추론 비용 (비용) 을 분리하지 못하거나, 단순히 토큰을 줄이는 데만 초점을 맞춰 성능 저하를 초래했습니다.

2. 방법론 (Methodology)

이 논문은 Draft-Thinking이라는 새로운 패러다임을 제안합니다. 이는 모델이 핵심 추론 단계만 선별하여 간결한 '초안 (Draft)'을 작성하는 능력을 내재화하고, 필요에 따라 추론 깊이를 조절할 수 있도록 합니다.

가. Draft-Thinking 의 핵심 개념

• Draft Reasoning: 모델이 정답의 정당성과 정확성을 결정하는 핵심 추론 단계만 유지하고 불필요한 과정을 생략하는 간결한 추론 구조를 학습합니다.
• 적응형 프롬팅 (Adaptive Prompting): 모델이 문제의 난이도를 스스로 판단하여, 간단한 문제는 'Draft 모드'로, 복잡한 문제는 '긴 CoT 모드'로 전환할 수 있도록 합니다.

나. 점진적 커리큘럼 학습 (Progressive Curriculum Learning)

모델이 Draft 추론 능력을 안정적으로 습득하고 심화 추론 능력과 공진화 (Co-evolution) 하도록 3 단계 학습 전략을 사용합니다.

1. SFT (Supervised Fine-Tuning):
   • 더 큰 모델 (DeepSeek-V3-0324, 685B) 로부터 생성된 고품질의 'Draft' 추론 데이터를 사용하여 8B 모델 (Qwen3-8B) 을 미세 조정합니다.
   • 이를 통해 모델은 핵심 단계만 추출하는 간결한 추론 패턴을 초기화합니다.
2. 1 단계 RL (Reinforcement Learning):
   • 최대 출력 길이 ($L_{max}$) 를 3,000 토큰으로 제한하여 RL 학습을 수행합니다.
   • 이 단계에서 모델은 Draft 구조를 유지하면서 더 어려운 문제 (LIMO 데이터셋) 를 해결하는 능력을 키웁니다.
3. 2 단계 RL:
   • 최대 출력 길이를 6,000 토큰으로 확장하고, 더 난이도 높은 데이터 (AIME2024) 를 사용하여 학습합니다.
   • 핵심 아이디어: 초기에 너무 긴 길이를 허용하면 모델이 다시 긴 CoT 습관으로 돌아가므로, 길이를 점진적으로 늘려가며 모델이 스스로 추론 깊이를 조절하는 능력을 배양합니다.

3. 주요 기여 (Key Contributions)

1. Draft-Thinking 프레임워크 제안: 고품질 추론 단계 선택을 모델의 내재적 능력 (Endogenous Capability) 으로 전환하여, 기존 방법들보다 뛰어난 추론 효율성과 유연성을 달성했습니다.
2. 추론 깊이의 가변성 확보: 추론 깊이를 고정된 값이 아닌 모델이 선택 가능한 변수로 격상시켜, 문제 복잡도에 따라 예산을 유연하게 할당할 수 있게 했습니다.
3. 점진적 커리큘럼 학습 전략: SFT 와 단계별 RL 학습을 결합하여, 효율적인 추론 구조와 심층 추론 능력의 안정적인 공진화를 실현했습니다.

4. 실험 결과 (Results)

Qwen3-8B 모델을 기반으로 한 실험 결과는 다음과 같습니다.

• 효율성 극대화: MATH500 벤치마크에서 Draft-Thinking 은 추론 예산 (토큰 수) 을 82.6% 감소시켰음 (5,668 → 986 토큰) 에도 불구하고, 정확도는 2.6% 만 감소 (93.0% → 90.6%) 시켰습니다. 이는 토큰 효율성 (EFF) 이 5.6 배 향상된 것을 의미합니다.
• 성능 유지 및 향상:
  • Draft 모드뿐만 아니라, 학습 후 모델의 원래 긴 CoT (Long CoT) 모드 성능도 향상되었습니다 (예: AIME2025 에서 64.38% → 64.79%).
  • 적응형 (Adaptive) 프롬팅을 사용하면 Draft 의 효율성과 Long CoT 의 정확성을 모두 균형 있게 달성할 수 있습니다.
• 범용성: 수학 (MATH500, AIME) 뿐만 아니라 과학 추론 (GPQA-D) 등 도메인 외 (Out-of-Distribution) 데이터에서도 뛰어난 일반화 능력을 보였습니다.
• 비교 우위: ThinkPrune, MUR, DR.SAF 등 기존 최첨단 방법론들보다 낮은 토큰 수로 더 높은 정확도 또는 효율성을 기록했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 단순히 추론 길이를 줄이는 것이 아니라, 모델이 '어떤 단계를 생략할지'를 스스로 판단하는 능력을 학습시킴으로써 근본적인 효율성 문제를 해결했습니다.
• 비용 대비 성능 최적화: 대규모 모델의 추론 비용을 획기적으로 낮추면서도 성능을 유지할 수 있어, 실제 서비스 환경에서의 적용 가능성을 높였습니다.
• 유연한 추론 제어: 모델이 문제의 난이도에 따라 추론 깊이를 동적으로 조절할 수 있게 함으로써, '과도한 사고' 문제를 해결하고 자원 낭비를 방지합니다.

결론적으로 Draft-Thinking 은 대규모 언어 모델이 효율적이고 지능적인 추론을 수행할 수 있도록 돕는 새로운 학습 프레임워크로, 추론 모델의 실용성을 크게 향상시킨 연구로 평가됩니다.