💬 NLP

T1: Tool-integrated Verification for Test-time Compute Scaling in Small Language Models

이 논문은 암기 집약적인 검증 작업을 외부 도구로 오프로딩함으로써 소형 언어 모델의 테스트 시간 연산 스케일링을 향상시키는 프레임워크인 Tool-integrated Verification (T1)을 소개하며, 이를 통해 1B 모델이 MATH 벤치마크에서 훨씬 더 큰 8B 모델보다 우수한 성능을 낼 수 있음을 보여준다.

원저자: Minki Kang, Jongwon Jeong, Jaewoong Cho

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minki Kang, Jongwon Jeong, Jaewoong Cho

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "Tool-Integrated Verification for Test-Time Compute Scaling in Small Language Models" 논문을 쉬운 언어와 비유를 사용하여 설명한 글입니다.

거대한 문제: "작은 뇌" vs "거대한 수학 시험"

매우 똑똑하지만 체구는 작은 학생(소형 언어 모델, 또는 sLM)이 있다고 상상해 보세요. 이 학생은 이야기 쓰기나 일반적인 개념 이해에는 뛰어나지만, 복잡한 수학이나 까다로운 사실을 기억하는 것과 같은 무거운 작업에는 어려움을 겪습니다.

최근 연구자들은 **테스트 시간 연산 스케일링(Test-Time Compute Scaling)**이라는 기술을 발견했습니다. 학생의 덩치를 키우는 대신(이는 비용이 많이 들고 느립니다), 학생이 시험을 여러 번 치르게 하고, 다양한 답안을 생성하게 한 뒤, 그중 가장 좋은 것을 고르게 하는 방식입니다.

문제점: 가장 좋은 답을 고르려면 **심판(Judge)**이 필요합니다 거.

기존 방식: 거대하고 매우 똑똑한 교수님(대형 언어 모델)을 고용하여 작은 학생의 과제를 채점하게 합니다. 이 방식은 효과적이지만, 처음에 작고 저렴한 학생을 사용하려 했던 목적을 퇴색시킵니다.
새로운 문제: 만약 작은 학생이 자신의 과제를 스스로 채점하려고 한다면 어떻게 될까요? 논문은 수학 문제가 어려워질 때(예: 세 자리 수 더하기) 작은 학생의 "뇌"가 과부하 상태에 빠진다는 것을 보여줍니다. 학생은 계산 사실들을 모두 기억하지 못해서, 문제를 풀 때와 마찬가지로 채점할 때도 실수를 저지릅니다.

해결책: T1 ("계산기 + 선생님" 팀)

저자들은 **T1 (Tool-Integrated Verification)**이라는 새로운 시스템을 제안합니다. 이것은 작은 학생에게 자신의 과제를 채점하기 전에 계산기와 사실 확인 도구를 쥐여주는 것과 같습니다.

T1의 작동 방식은 다음과 같이 두 단계로 나뉩니다.

1단계: "계산기 필터" (도구 기반 검증기)

작은 학생이 답안을 살펴보기도 전에, 외부 도구(코드 인터프리터나 검색 엔진 등)를 사용하여 어려운 부분을 먼저 확인합니다.

비유: 학생이 수학 시험을 채점하고 있다고 상상해 보세요. 머릿속으로 $237 + 321$ 을 계산하려고 애쓰는 대신(여기서 실수할 수 있습니다), 컴퓨터가 계산을 수행하도록 아주 작은 코드를 작성하는 것입니다.
결과: 컴퓨터는 즉시 "이 답은 수학적 계산이 틀렸으므로 오답입니다"라고 말하며 해당 답안을 폐기합니다. 작은 학생은 숫자를 기억하기 위해 뇌를 쥐어짤 필요가 없습니다. 도구가 대신 해주기 때문입니다.

2단계: "선생님의 검토" (보상 모델)

이제 작은 학생은 계산기 필터를 통과한 답안들만 채점하면 됩니다. 학생은 자신의 "선생님 뇌"(보상 모델)를 사용하여 논리가 타당한지, 이야기가 매끄러운지, 그리고 추론이 건전한지를 확인합니다.

비유: 계산기가 이미 수학이 틀린 답들을 제거했으므로, 학생은 오로지 논리에만 집중할 수 있습니다. "좋아, 수학은 맞았어. 그런데 질문에 정확히 답변했나?"라고 판단하는 데 집중하는 것입니다.

왜 이것이 작동하는가 ("기억력"의 마법)

이 논문은 흥ars러운 이론을 증명합니다. 소형 모델은 너무 많은 사실을 암기해야 하기 때문에 검증에 실패한다는 것입니다.

도구가 없을 때: 수학 문제를 검증하기 위해 소형 모델은 $237 + 321$ 의 정답을 자신의 머릿속에 "기억"하고 있어야 합니다. 문제가 어려워질수록 모델의 기억력은 바닥납니다.
도구가 있을 때: 모델은 정답을 암기할 필요가 없습니다. 단지 계산기에게 어떻게 요청할지만 알면 됩니다. 이를 통해 모델은 더 어려운 과제인 논리적 추론에 집중할 수 있도록 뇌의 여유를 확보합니다.

결과: 작은 것이 큰 것을 이기다

연구진은 어려운 수학 벤치마크(MATH 및 GSM8K 등)에서 이를 테스트했습니다.

놀라운 결과: T1을 사용한 아주 작은 10억 파라미터 모델(작은 학생)이 도구를 사용하지 않은 훨씬 큰 80억 파라미터 모델(큰 학생)보다 더 높은 성능을 보였습니다.
핵심 요점: "지루한 암기 작업"을 도구에 넘김으로써, 소형 모델은 훨씬 더 나은 심판이 되었습니다. 이제 모델은 자신의 작업을 매우 잘 검증할 수 있게 되었고, 그 결과 8배나 더 큰 모델들을 능가했습니다.

요약

T1을 전문적인 도구 상자를 갖춘 작고 효율적인 노동자에 비유해 보세요. 모든 것을 기억하고 모든 것을 해내는 "초인"이 되려고 노력하는 대신, 이 노동자는 계산기를 사용하여 힘든 일(수학/사실 확인)을 처리하고, 그 후 자신의 뇌를 사용하여 판단(논리)을 내립니다. 이를 통해 소형의 저렴한 모델들이 거대하고 비싼 컴퓨터 없이도 이전에는 불가능하다고 생각되었던 수준의 성능을 낼 수 있게 됩니다.

기술 요약: 소형 언어 모델의 테스트 시간 연산을 위한 도구 통합 검증 (Tool-Integrated Verification)

문제 정의

최근 테스트 시간 연산 스케일링(test-time compute scaling)의 발전은 추론 과정에서 추가적인 계산 자원을 할당하는 것이 소형 언어 모델(sLM)의 추론 능력을 크게 향end할 수 있음을 입증했습니다. 그러나 기존의 스케일링 방식은 여러 후보군 중 최적의 해답을 선택하기 위해 대형 언어 모델(LLM)을 검증기(예: 프로세스 보상 모델 또는 비평가 모델)로 활용하는 것에 크게 의존합니다. 이러한 대형 검증기에 대한 의존은 sLM을 사용하는 효율성과 비용 이점을 저해합니다.

본 연구에서 식별된 핵심 병목 현상은 sLM이 생성된 출력물을 스스로 신뢰성 있게 검증하지 못한다는 점이며, 특히 산술적 사실이나 사실적 지식의 암기가 필요한 작업에서 두드로 나타납니다. 더 큰 모델들은 사고 사슬(chain-of-thought) 추론만으로 솔루션을 검증할 수 있는 반면, sLM은 복잡도가 증가함에 따라 간단한 계산조차 수행하는 데 어려움을 겪습니다. 저자들은 이러한 실패의 원인이 논리적 추론 능력의 부족보다는, 검증에 필요한 방대한 양의 계산 사실을 암기하는 데 필요한 용량의 한계에서 기인한다고 가설을 세웠습니다.

방법론: 도구 통합 검증 (T1)

이러한 암기 병목 현상을 해결하기 위해, 저자들은 암기가 많이 필요한 단계를 외부 도구로 오프로딩(offload)하면서 최종 검증을 위해 sLM을 유지하는 2단계 프레임워크인 **도구 통합 검증(Tool-Integrated Verification, T1)**을 제안합니다.

2단계 프레임워크

도구 기반 필터링 단계 (ToolV):
- sLM은 후보 솔루션을 바탕으로 실행 가능한 코드(예: Python)나 검색 쿼리를 생성합니다.
- 외부 도구(코드 인터프리터 또는 지식 검색기 등)가 코드를 실행하거나 사실을 검색하여 수치적 정확성과 사실적 일관성을 검증합니다.
- 이 단계는 이진 필터( $f(x, y; T, \theta) \in \{0, 1\}$ ) 역할을 수행하며, 계산 오류나 잘못된 사실이 포함된 솔루션을 제거합니다.
보상 모델 기반 스코어링 단계:
- 필터링을 통과한 나머지 솔루션들은 보상 모델(프로세스 보상 모델[PRM] 또는 생성형 보상 모델[GenRM])에 의해 점수가 매겨집니다.
- 최종 출력은 보상 모델로부터 가장 높은 점수를 받은 후보로 선택됩니다.

지식 증류 (Knowledge Distillation)

두 단계의 성능을 높이기 위해, 저자들은 더 큰 교사 모델(예: GPT-4o-mini)로부터 지식 증류를 수행합니다.

ToolV 증류: sLM이 교사의 출력을 바탕으로 도구 호출 쿼리(코드)를 생성하고 검증 결과를 추출하도록 미세 조정(fine-tuning)됩니다.
RM 증류: sLM이 교사의 평가를 모방하여 검증 근거와 점수를 생성하도록 미세 조정됩니다.
Multi-LoRA: 서로 다른 목적을 가진 과업들을 효율적으로 관리하기 위해, 도구 기반 과업과 보상 기반 과업에 각각 별도의 저차원 적응(LoRA) 어댑터를 사용합니다.

이론적 분석

본 논문은 T1 접근 방식을 뒷받침하는 이론적 보장을 제공합니다:

암기 감소: 정보 이론적 분석을 통해, 도구가 없을 경우 최적의 검증기는 거의 제로에 가까운 오류를 달성하기 위해 숫자 범위 $M$ 에 비례하는 $O(M^3)$ 크기의 데이터셋을 암기해야 함을 증명했습니다. 외부 도구를 사용하여 계산을 수행함으로써, 도구가 검증 로직을 처리하게 되어 모델 파라미터에 저장되어야 하는 상호 정보량(mutual information)이 0으로 떨어집니다.
스케일링 성능: 검증기를 노이즘이 있는 불완전한 필터로 모델링합니다. 저자들은 도구 기반 필터를 사용하는 것이 Best-of-N 선택 과정에서 정답 레이블을 올바르게 식별할 확률을 높인다는 것을 보여줍니다. 이론적으로 이는 테스트 시간 스케일링 성능의 단조성(monotonicity)을 개선하여, 신뢰할 수 있는 필터가 존재할 때 생성된 솔루션의 수( $N$ )를 늘릴수록 더 나은 결과를 얻을 수 있음을 보장합니다.

실험 결과

수학적 추론 벤치마크(MATH500, GSM8K) 및 지식 집약적 작업(MMLU-Pro 서브셋)에 대해 실험이 수행되었습니다.

성능 향상: T1은 sLM이 훨씬 더 큰 모델을 능가할 수 있게 합니다. 구체적으로, T1을 적용한 Llama-3.2 1B 모델은 MATH500 벤치마크에서 Llama-3.1 8B 모델보다 뛰어난 성능을 보였습니다.
검증기와의 통합: T1은 PRM과 GenRM 모두의 정확도를 향상시킵니다. 증류된 PRM과 결합되었을 때, T1을 사용하면 1B 모델이 더 적은 수의 생성 솔루션만으로도 8B 모델의 성능에 도달하거나 이를 넘어설 수 있습니다.
필터링 효능: 분석 결과, ToolV는 생성형 검증기 단독으로는 놓치기 쉬운 계산 오류로 인한 잘못된 솔루션을 효과적으로 걸러내는 것으로 나타났습니다.
연산 효율성: 코드 생성에 따른 토큰 오버헤드(컴퓨팅 예산의 약 1.14배 증가)를 고려하더라도, T1은 단순히 검증기의 크기를 키우거나 도구 없이 더 큰 모델을 사용하는 것보다 우수한 성능을 제공합니다.
데이터 효율성: 도구 기반 검증기는 단 10%의 훈련 데이터만으로 증류했을 때도 경쟁력 있는 성능을 유지하여 그 효율성을 입증했습니다.

의의 및 주장

본 논문은 도구 통합이 sLM의 테스트 시간 스케일링을 성공시키기 위해 단순히 유익한 수준을 넘어 필수적이라고 주장합니다. 주요 기여는 다음과 같습니다:

병목 현상 식별: 암기가 많이 필요한 단계가 sLM 검증의 주요 실패 지점임을 체계적으로 식려했습니다.
프레임워크 제안: 생성형 검증기와 PRM 모두를 위해 외부 도구와 sLM을 결$합하는 매끄러운 2단계 프레임워크인 T1을 도입했습니다.
이론적 정당화: 도구로 업무를 오프로딩하는 것이 암기 부담을 줄이며, 개선된 스케일링 성능을 이론적으로 보장함을 증명했습니다.
실증적 검증: 도구를 활용함으로써 작은 모델(예: 1B 파라미터)이 훨씬 더 큰 모델(예: 8B 이상)에 필적하는 추론 능력을 갖출 수 있음을 입증하여, sLM의 배포 효율성을 보존할 수 있음을 보여주었습니다.

저자들은 검증 부담을 외부 도구로 전환할 수 있다면, T1이 모델 파라미터 규모를 키우는 막대한 비용 없이도 복잡한 추론 작업에서 sLM의 성능을 높일 수 있는 실질적인 경로를 제공한다고 결론지었습니다.