Thinking with Reasoning Skills: Fewer Tokens, More Accuracy

1. 연구 배경 및 문제 정의 (Problem)

최근 OpenAI o1, DeepSeek-R1 등 추론 중심의 대형 언어 모델 (LRMs) 이 수학 및 코딩 분야에서 뛰어난 성능을 보이며 상용화되고 있습니다. 그러나 이러한 모델들은 문제를 해결할 때 Chain-of-Thought (CoT) 와 같은 긴 중간 추론 과정을 생성하며, 이는 다음과 같은 심각한 문제를 야기합니다.

• 높은 비용과 지연 시간: 수천 개의 '생각 (thinking)' 토큰이 생성되어 API 비용과 지연 시간 (latency) 을 급증시킵니다.
• 비효율적인 재탐색: 매번 새로운 문제 (query) 가 들어올 때마다 모델이 처음부터 (from scratch) 해결 경로를 다시 탐색하고 시행착오 (trial-and-error) 를 겪습니다. 이는 이미 해결된 유사한 문제의 논리를 재발견하는 불필요한 과정입니다.
• 효율성 - 정확도의 트레이드오프: 기존 연구들은 추론 길이를 강제로 줄이거나 (예: Chain-of-Draft, Token Budgeting) 불필요한 반성 토큰을 억제하는 방식을 취했으나, 이는 복잡한 문제에서 중요한 단계를 생략하게 만들어 정확도가 급격히 떨어지는 결과를 초래했습니다.

핵심 질문: 어떻게 모델이 매번 처음부터 추론하는 대신, 과거의 경험을 재사용하여 토큰 수는 줄이면서 정확도는 유지하거나 높일 수 있을까?

2. 제안 방법론: Thinking with Reasoning Skills (TRS)

저자들은 "처음부터 추론하는 것"을 "추론된 경험을 재회상하여 추론하는 것"으로 전환하는 프레임워크인 TRS를 제안합니다. 이는 학습이 필요 없는 (training-free) 검색 증강 (retrieval-augmented) 방식입니다.

A. 핵심 아이디어

• 추론 로직의 획득과 실행 분리: 고비용의 탐색 과정은 오프라인에서 한 번 수행하고, 그 결과를 재사용 가능한 '추론 기술 (Reasoning Skills)'로 압축하여 저장합니다. 온라인 추론 시에는 해당 기술을 검색하여 프롬프트에 주입함으로써 모델이 올바른 해결 경로로 바로 유도되도록 합니다.
• 외부화된 절차적 기억: 질문은 열려 있지만, 추론 패턴은 재사용 가능하다는 전제하에, 내부적 재발견을 외부화된 기억으로 대체합니다.

B. TRS 프로세스 (그림 2 참조)

1. 오프라인: 기술 라이브러리 구축 (Skill Library Construction)

   • 소스 문제 (Source Instance) 에 대해 강력한 모델이 긴 추론 궤적 (CoT) 을 생성합니다.
   • 요약 모델 (Summarizer) 이 이 긴 궤적을 분석하여 재사용 가능한 '기술 카드 (Skill Card)' 로 압축합니다.
     • 성공 사례: 핵심 패턴, 불변량, 알고리즘 템플릿을 추출.
     • 실패 사례: 잘못된 접근법 (Anti-pattern) 과 이를 수정하는 방법 (Fix) 을 추출.
   • 구조화된 카드 스키마: Trigger (적용 조건), Do (실행 단계), Avoid (피할 것), Check (검증 사항), Risk (위험 요소) 로 구성됩니다.
   • 이 카드들은 키 - 값 (Key-Value) 저장소에 저장되며, 검색을 위한 키워드 (Trigger) 가 생성됩니다.

2. 온라인: 기술 검색 및 주입 (Online Retrieval and Injection)

   • 새로운 질문이 들어오면, 검색 시스템 (BM25, Embedding, Hybrid) 이 가장 관련성 높은 기술 카드 (Top-k) 를 찾습니다.
   • 찾은 카드들을 모델의 프롬프트 앞에 주입하여, 모델이 해당 기술을 참고하도록 유도합니다.
   • 가드레일 (Gating): 관련 없는 조언은 무시하고, 직접 적용 가능한 기술만 사용하도록 지시합니다.

3. 주요 기여 (Key Contributions)

1. 토큰 효율적 추론을 위한 실용적 프레임워크: TRS 는 블랙박스 LLM API 와 호환되며, 추론 로직을 재사용 가능한 기술로 압축하여 추론 시 재사용합니다.
2. 효율성 - 정확도 트레이드오프의 극복: 수학 및 코딩 태스크에서 기존 CoT 기반 방법론 (CoD, TALE 등) 과 비교하여 생성 토큰 수와 비용을 줄이면서도 정확도를 유지하거나 향상시켰습니다. 특히 어려운 문제에서 그 효과가 두드러집니다.
3. 배포를 위한 심층 분석: 모델 간 전이 학습 (Cross-model transfer), 출력 길이, 검색 Ablation 연구 등을 통해 TRS 가 더 어려운 문제일수록 효과가 커지며, 이질적인 모델 간에도 전이가 가능함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 DeepMath-103K (수학) 와 NEMOTRON-COMPETITIVE-PROGRAMMING-V1 (코딩) 벤치마크에서 다양한 모델 (GPT-OSS, Gemini-3, Doubao Seed 등) 을 대상으로 실험했습니다.

• 성능 향상 (Accuracy):
  • 수학: Gemini-3-Flash 는 정확도 +0.7%p, GPT-4o-mini 는 +1.8%p 향상.
  • 코딩: GPT-OSS-120B 는 Pass@1 이 +4.1%p 증가.
  • 기존 방법론 (TALE, CoD) 은 문제가 어려워질수록 정확도가 급락하는 반면, TRS 는 어려운 문제에서도 높은 정확도를 유지했습니다.
• 비용 및 토큰 감소 (Efficiency):
  • 수학: Doubao 모델은 생성 토큰이 59.1% 감소하고 비용이 53.8% 절감됨.
  • 코딩: GPT-4o-mini 는 토큰 33.9% 감소, 비용 6.3% 절감.
  • 핵심 발견: TRS 는 단순히 추론을 짧게 만드는 것이 아니라, 불필요한 탐험 (detours) 을 제거하여 토큰을 줄이므로, 정확도 저하 없이 비용을 절감할 수 있습니다.
• 모델 간 전이 (Cross-Model Transfer):
  • 한 모델 (예: Doubao) 에서 추출한 기술을 다른 모델 (예: GPT-OSS) 에 적용해도 성능이 향상되었습니다. 이는 추론 기술이 모델에 구애받지 않는 보편적인 절차적 지식임을 시사합니다.
• 외부 벤치마크 전이 (AoPS Transfer):
  • DeepMath 에서 학습된 기술을 AIME, HMMT 등 외부 수학 경시대회 문제에 적용했을 때, 25 개의 모델 - 벤치마크 쌍 중 13 개는 정확도가 향상되었고 20 개는 비용이 감소했습니다.

5. 의의 및 결론 (Significance)

이 논문은 추론형 LLM 의 상용화 장벽인 높은 추론 비용을 해결할 수 있는 새로운 패러다임을 제시합니다.

• 경제적 타당성: 토큰 기반 과금 모델에서 TRS 는 per-request 비용을 획기적으로 낮추어 실제 산업 적용 (Real-world deployment) 을 가능하게 합니다.
• 패러다임 전환: "더 짧게 생각하기 (Thinking shorter)"에서 "더 똑똑하게 기억하고 활용하기 (Thinking with recalled experience)" 로의 전환을 제안합니다.
• 확장성: 학습이 필요 없으며 (Training-free), 블랙박스 모델에도 적용 가능하여 다양한 모델과 도메인에 쉽게 확장할 수 있습니다.

결론적으로, TRS 는 추론의 효율성과 정확성을 동시에 달성할 수 있는 실용적인 솔루션으로, 복잡한 문제 해결을 위한 LLM 의 미래 아키텍처에 중요한 통찰을 제공합니다.