Procedural Knowledge at Scale Improves Reasoning

1. 문제 정의 (Problem Statement)

• 배경: 수학, 과학, 코딩과 같은 복잡한 추론 작업에서 언어 모델의 성능을 높이기 위해 '테스트 타임 스케일링 (Test-time scaling)'이 핵심 패러다임으로 부상했습니다. 이는 추론 시 더 많은 계산 자원 (토큰 예산) 을 할당하여 모델이 더 길고 복잡한 사고 과정 (Chain-of-Thought) 을 생성하게 하는 방식입니다.
• 한계: 기존 테스트 타임 스케일링 방법론은 각 문제를 고립된 사건으로 처리하며, 이전 추론 궤적 (reasoning trajectories) 에서 얻은 지식을 체계적으로 재사용하지 못합니다.
  • 특히, 절차적 지식 (Procedural Knowledge) 이 소홀히 다루어집니다. 절차적 지식이란 "문제를 어떻게 재구성할지, 어떤 접근법을 선택할지, 하위 질문 (subquestion) 을 어떻게 분해할지, 그리고 검증이나 백트래킹이 필요한지"에 대한 방법론적 지식을 의미합니다.
  • 기존 RAG(검색 증강 생성) 방식은 주로 사실적 지식 (정의, 공식 등) 에 초점을 맞추어, 추론 모델이 현재 직면한 '하위 문제 해결 전략'에 대한 구체적인 가이드를 제공하지 못합니다. 이로 인해 검색된 문맥이 모델의 현재 추론 상태와 잘 맞지 않아 (misalignment) 성능 향상이 제한적이거나 오히려 저하되기도 합니다.

2. 방법론 (Methodology: Reasoning Memory)

저자들은 Reasoning Memory라는 새로운 RAG 프레임워크를 제안합니다. 이는 대규모 추론 궤적에서 절차적 지식을 추출하여 데이터스토어 (Datastore) 로 구축하고, 추론 시점에 이를 재사용하는 방식입니다.

A. 절차적 지식 데이터스토어 구축 (Datastore Construction)

• 원천 데이터: 공개된 'Nemotron V1' 코퍼스 (수학, 과학, 코딩 문제의 단계별 추론 궤적 포함) 를 활용합니다.
• 분해 (Decomposition): 긴 추론 궤적을 그대로 사용하는 대신, 자기 완결형 하위 질문 - 서브루틴 (Subquestion-Subroutine) 쌍으로 분해합니다.
  • 하위 질문 (Subquestion): 궤적의 핵심 중간 목표를 포착하는 독립적인 질문.
  • 서브루틴 (Subroutine): 해당 하위 질문을 해결하는 고수준의 절차적 전략 (구체적인 계산이나 시도는 배제하고, 접근법과 논리 흐름만 요약).
• 규모: 이 과정을 통해 약 3200 만 개의 컴팩트한 절차적 지식 엔트리를 생성한 데이터스토어를 구축했습니다.

B. 추론 내 검색 (In-Thought Active Retrieval)

• 쿼리 생성: 모델이 추론을 시작할 때, "현재 단계의 막힌 점을 해결하기 위해 유사한 기본 문제를 검색해보자"는 메타 사고 (meta-thinking) 프롬프트를 사용하여, 모델 스스로가 현재 하위 질문을 간결한 검색 쿼리로 표현 (Verbalization) 하도록 유도합니다.
• 검색 및 주입: 생성된 쿼리로 데이터스토어에서 관련 서브루틴을 검색한 후, 이를 모델의 사고 흐름 (Thinking Trace) 내에 힌트 형태로 직접 주입합니다.
  • 예: [hint] 관련 질문 "X" 에 대한 문제 해결 절차: [서브루틴 내용] [end of hint]
• 효과: 검색된 절차적 지식이 모델의 추론 과정에 암묵적인 사전 지식 (procedural priors) 으로 작용하도록 합니다.

C. 테스트 타임 스케일링 전략 (Inference-Time Scaling)

• 다양성 우선 전략: 주어진 계산 예산 (샘플 수 $m$) 내에서 검색된 $k$개의 서브루틴 각각에 대해 여러 개의 추론 궤적을 샘플링합니다.
• 불확실성 기반 필터링: 생성된 모든 추론 궤적에 대해 '생성 길이 (Length)'를 불확실성 지표로 사용하여 점수를 매깁니다. (짧은 추론은 더 확신 있는 것으로 간주).
• 최종 선택: 서브루틴별 평균 품질 점수를 계산하여 낮은 점수의 서브루틴을 제거하고, 남은 고신뢰도 샘플 중 최상위 $n$개를 선택하여 최종 답안을 도출합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 절차적 지식 데이터스토어: 기존 추론 궤적에서 3200 만 개의 하위 질문 - 서브루틴 쌍을 추출하여 재사용 가능한 절차적 지식 라이브러리를 구축했습니다.
2. 추론 최적화 RAG 프레임워크: 사실적 지식 검색이 아닌, 추론 과정의 '전략'을 검색하여 모델의 사고 흐름에 직접 주입하는 새로운 RAG 방식을 제안했습니다.
3. 효율적인 테스트 타임 스케일링: 검색된 다양한 절차적 지식을 기반으로 다중 추론 경로를 탐색하고 필터링하는 방법을 통해, 계산 비용 증가에 따른 성능 향상을 극대화했습니다.
4. 광범위한 실험적 검증: 수학, 과학, 코딩 벤치마크에서 다양한 오픈 가중치 추론 모델 (DeepSeek-R1, Qwen, OpenThinker 등) 에 대한 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: 6 개의 벤치마크 (AIME, GPQA-Diamond, LiveCodeBench 등) 에서 Reasoning Memory 는 검색 없는 No RAG 기법보다 최대 19.2% 까지 정확도를 향상시켰으며, 계산 자원을 동일하게 배분한 최강의 베이스라인 (Length Scaling) 보다 최대 7.9% 더 높은 성능을 보였습니다.
• 비교 우위:
  • 일반 문서 기반 RAG(Document RAG) 나 전체 궤적 기반 RAG(Trajectory RAG) 보다 훨씬 효과적이었습니다. 특히 일반 문서 RAG 는 추론 모델에서 오히려 성능 저하를 일으키는 경우가 많았으나, 절차적 지식 RAG 는 일관된 개선을 보였습니다.
  • 템플릿 기반 RAG 보다 대규모 데이터스토어와 동적 검색이 더 우월함을 입증했습니다.
• 스케일링 행동: 추론 예산 (샘플 수) 이 증가할수록 성능이 지속적으로 향상되었으며, 특히 다양성 우선 (Diversity-First) 전략 (여러 서브루틴을 골고루 탐색) 이 단일 서브루틴에 집중하는 전략보다 더 큰 이점을 제공했습니다.
• 데이터스토어 구성의 중요성: 데이터스토어의 크기와 다양성 (수학, 과학, 코딩의 혼합) 이 클수록 성능이 향상되었으며, 도메인 간 지식 전이 (Cross-domain transfer) 가 추론 능력 향상에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 추론의 새로운 패러다임: 추론 모델의 성능 향상은 단순히 '더 긴 사고 과정'을 생성하는 것뿐만 아니라, 과거의 문제 해결 경험을 구조화된 절차적 지식으로 재사용하는 데서도 큰 효과를 얻을 수 있음을 보여줍니다.
• RAG 의 진화: RAG 가 단순한 사실 정보 검색을 넘어, 모델의 추론 전략을 안내하는 '지적 가이드' 역할을 할 수 있음을 입증했습니다.
• 실용성: 추가적인 모델 학습 (Fine-tuning) 없이도, 기존 추론 코퍼스를 데이터스토어로 변환하여 추론 시점에 적용함으로써 다양한 오픈 소스 모델에 즉시 적용 가능한 솔루션을 제시합니다.

이 논문은 대규모 언어 모델의 추론 능력을 극대화하기 위해 절차적 지식의 체계적인 추출과 재사용이 필수적임을 강조하며, 추론과 RAG 커뮤니티 모두에게 중요한 방향성을 제시합니다.