기술 요약: MENTOR

문제 정의

대규모 언어 모델(LLM)과 외부 도구(예: 코드 인터프리터, 검색 API)의 통합은 고급 추론 능력을 가능하게 했습니다. 그러나 대규모 모델의 높은 추론 비용은 대규모 배포를 제한하며, 이는 도구 사용 능력을 소형 언어 모델(SLM)로 증류(distillation)하는 동기가 됩니다.

현재의 증류 방법은 주로 교사 모델이 생성한 궤적(trajectory)을 엄격하게 복제하도록 학생 모델을 학습시키는 지도 미세 조정(Supervised Fine-Tuning, SFT)에 의존합니다. 저자들은 이러한 정적인 토큰 분포에 대한 경직된 정렬이 용량이 제한된 SLM의 탐색적 자율성을 억제하여, 결과적으로 낮은 분포 외(out-of-domain, OOD) 일반화 성능을 초래한다는 점을 지적합니다.

강화 학습(Reinforcement Learning, RL)은 상호작용을 통해 모델이 학습할 수 있도록 하는 대안을 제공하지만, SLM을 위한 보상 구조를 설계하는 데는 심각한 딜레마가 존재합니다:

1. 희소한 결과 보상(Sparse Outcome Rewards): 최종 정답 여부에 대해서만 보상을 제공하는 것은 충분한 가이드를 제공하지 못해, 비효기적인 탐색과 도구 회피 현상을 유발합니다.
2. 엄격한 궤적 매칭(Strict Trajectory Matching): 정확한 시퀀스 복제를 강제하는 것은 SLM에게 과도한 최적화 부담을 지워, 모델이 근본적인 전략적 논리를 학습하고 보지 못한 도구에 적응하는 능력을 저해합니다.

본 논문은 SLM이 도구 호출 빈도와 성공률 사이의 단절을 특징으로 하는 "취약한 도구 사용 행동"을 보인다고 상정하며, 이는 종종 잘못된 도구 호출이나 교사와의 전략적 불일치로 이어집니다.

방법론: MENTOR

이러한 한계를 해결하기 위해, 저자들은 유연하고 프로세스를 인식하는 보상 구조를 통해 교사와 학생 사이의 전략적 격차를 메우도록 설계된 강화 학습 프레임워크인 MENTOR(Model Enhancement by Non-rigid Teacher-Optimized Rewards)를 제안합니다.

핵심 프레임워크

MENTOR는 GRPO(Group Relative Policy Optimization) 알고리즘을 활용합니다. 교사의 궤적을 순차적 매칭을 위한 경직된 목표로 취급하는 대신, 학생의 탐색 과정을 안내하는 전략적 참조점으로 활용합니다.

유연한 보상 설계

핵심 혁신은 세 가지 구성 요소를 균형 있게 조절하는 복합 보상 신호 $R(O^{(s)}, O^{(t)})$에 있습니다:
$$R = w_c R_c + w_a R_a + w_v R_v$$

1. 정확성 보상 ($R_c$): 학생의 최종 답변이 교사의 결과(정답과 대조 검증됨)와 일치하는지를 나타내는 이진 신호(1 또는 0)입니다. 이는 모델이 과업 지향성을 유지하도록 보장합니다.
2. 교사 정렬 보상 ($R_a$): 엄격한 시퀀스 매칭과 달리, 이 구성 요소는 집합 기반 매칭(set-based matching) 방식을 채택합니다. 실행 순서나 호출 횟수에 관계없이 학생이 사용한 도구의 집합이 교사의 도구 집합과 일치하면 보상을 줍니다. 이는 학생이 실행 경로의 유연성을 허용하면서도 교사의 고차원적인 도구 선택 전략을 채득하도록 장려합니다.
3. 도구 검증 보상 ($R_v$): 잘못되거나 형식이 잘못된 도구 호출에 대해 벌점을 부여하는 이진 신호입니다. 이 구성 요소는 실행 오류를 범하기 쉬운 SLM에게 매우 중요하며, 모델이 실행 가능한 코드를 생성하도록 학습시킵냐를 보장합니다.

이 프레임워크는 학생 모델이 교사의 궤적을 토큰 단위로 문자 그대로 모방하는 대신, 올바른 도구를 사용하는 대안적인 유효 추론 경로를 탐색할 수 있도록 허용합니다.

주요 기여

1. 보상 딜레마 식별: 저자들은 용량이 제한된 SLM이 희소한 결과 신호는 도구 사용을 유도하지 못하고, 엄격한 궤적 제약은 과도한 잘못된 호출과 낮은 일반화 성능을 초래하는 병목 현상에 직면해 있음을 경험적으로 입증했습니다.
2. MENTOR 프레임워크: 유연한 프로세스 인식 보상 구조를 도입하여 이 딜레마를 완화했습니다. 전략적 정렬(도구 선택)을 경직된 순차적 제약으로부터 분리함으로써, MENTOR는 SLM의 제한된 용량을 수용할 수 있는 절제된 가이드를 제공합니다.
3. 경험적 검증: 여러 벤치마크에 걸친 광범-한 실험을 통해, MENTOR가 SFT 및 엄격한 RL 베이스라인 모델들을 유의미하게 능가함을 보여주었습니다. 특히 OOD 시나리오에서 두드러졌습니다.

실험 결과

저자들은 Qwen3-235B를 교사로, 다양한 Qwen2.5 및 Qwen3 모델(1.5B ~ 8B)을 학생으로 사용하여 MENTOR를 평가했습니다.

• 인도메인(In-Domain) 성능: 수학적 추론 벤치마크(예: AIME, AMC, MATH)에서 MENTOR는 SFT 및 기타 RL 변형 모델을 포함한 모든 베이스라인 중 지속적으로 가장 높은 정확도를 달s성했습니다. 예를 들어, 7B 모델에서 MENTOR는 전체 수학 정확도를 Strict RL(26.64%) 및 SFT(22.48%) 대비 28.63%까지 향상시켰습니다.
• 분포 외(Out-of-Domain) 일반화: MENTOR는 보지 못한 도구 및 도메인(BFCL-v4 및 RAG 작업)에 대해 우수한 제로샷 일반화 능력을 보여주었습니다. 유연한 정렬 덕분에 SLM은 경직된 궤적 매칭으로 학습된 모델보다 새로운 도구 호출 패턴에 더 효과적으로 적응할 수 있었습니다.
• 행동 분석:
  • 도구 사용: MENTOR로 학습된 모델은 교사와 밀접하게 일치하는 도구 사용 분포를 보였으나, SFT 모델은 기존의 최적화되지 않은 호출 습관을 유지했습니다.
  • 안정성: MENTOR는 잘못된 도구 호출 빈도를 줄였으며, 모델이 정답을 도출한 후에도 계속해서 도구를 호출하는 SFT 및 Strict RL 베이스라인에서 관찰되는 "불필요한 검증 루프"를 제거했습니다.
  • 절제 연구(Ablation Studies): 교사 정렬 보상($R_a$) 또는 도구 검증 보상($R_v$)을 제거했을 때 성능이 크게 하락하였으며, 이는 복합 보상 구조의 필요성을 확인시켜 주었습니다.

의의 및 주장

본 논문은 검증 가능한 도구 사용 환경 내에서, 유연한 도구 사용 정렬이 적응형 소형 모델을 개발하는 데 있어 엄격한 궤적 복제보다 더 효과적임을 주장합니다.

• 전략적 학습 vs 모방 학습: 연구 결과는 SLM이 도구 사용을 배우기 위해 특정 토큰 시퀀스를 암기할 필요가 없음을 시사합니다. 오히려 도구 선택의 전략적 논리(즉, 어떤 도구를 사용할 것인가)를 배우면서도, 이를 어떻게 순차적으로 배치할지에 대한 자율성을 유지할 때 더 큰 이득을 얻습니다.
• 용량 격차 해소: MENTOR는 1.5B~8B 모델과 235B 교사 모델 사이의 성능 격차를 효과적으로 좁혀, 값비싼 클라우드 인프라에 의존하지 않고도 역량 있는 온디바이스 AI 에이전트를 배포할 수 있는 실행 가능한 경로를 제시합니다.
• 한계점: 저자들은 자신들의 접근 방식이 학생 모델이 실행 가능한 도구 호출을 생성할 수 있는 초기 능력(종종 짧은 SFT 워밍업이 필요함)을 갖추고 있다고 가정함을 겸허히 밝힙니다. 또한, 현재의 평가는 통제된 실행 가능 도구 환경(수학 및 검색)에 국한되어 있으며, 웹 브라우징이나 다단계 상태 추적과 같은 개방형 실세계 상호작용 환경의 복잡성은 아직 다루지 않았음을 인정합니다.

결론적으로, MENTOR는 도구 사용 증류의 미래가 소형 모델에게 대형 모델을 완벽하게 흉내 내도록 강요하는 것이 아니라, 모델의 용량 제약을 존중하면서도 견고하고 일반화 가능한 추론 전략을 육성할 수 있는 유연한 교사 가이드 신호를 제공하는 데 있다는 것을 제안합니다.