In-Context Reinforcement Learning for Tool Use in Large Language Models

이 논문은 외부 도구 사용을 위한 지도 미세조정 (SFT) 없이 소수 예제 프롬프트를 활용한 롤아웃 단계의 강화학습만으로 점진적으로 제로샷 도구 사용 능력을 습득하여 기존 방식보다 데이터 효율적이고 확장 가능한 성능을 달성하는 '인-컨텍스트 강화학습 (ICRL)' 프레임워크를 제안합니다.

핵심

🧠 핵심 아이디어: "보이지 않는 선생님"이 사라지는 과정

1. 기존 방식의 문제점: "무한한 암기 과외"

기존에 AI 가 검색 엔진이나 계산기 같은 '외부 도구'를 잘 쓰게 하려면, **방대한 양의 정답이 적힌 교재 (SFT, 지도 학습)**를 먼저 외워야 했습니다.

• 비유: 마치 어린 학생이 "수학 문제를 풀 때 계산기를 어떻게 쓰는지"를 알려주는 수천 권의 문제집을 무작정 외워야만 시험을 볼 수 있는 상황입니다. 이 과정은 시간도 많이 걸리고, 정답을 만드는 비용도 매우 비쌉니다.

2. 이 논문이 제안한 방법 (ICRL): "유아기부터의 실전 연습"

이 연구팀은 "교재를 통째로 외울 필요 없어. **실전 연습 (강화 학습)**을 하되, 처음엔 **작은 힌트 (Few-shot)**만 주면 돼"라고 말합니다. 이를 **ICRL(맥락 강화 학습)**이라고 부릅니다.

🎮 게임으로 비유하면 이렇게 진행됩니다:

1. 초반 (3~2 개의 힌트):

   • AI 는 게임에 처음 들어옵니다.
   • 화면에 **"이런 식으로 버튼을 누르면 아이템을 얻을 수 있어"**라고 적힌 작은 메모 2~3 장이 붙어 있습니다.
   • AI 는 이 메모를 보고 도구를 쓰는 법을 흉내 내며 게임을 즐깁니다. (이때는 AI 가 실수해도 괜찮습니다.)

2. 중반 (힌트 줄이기):

   • AI 가 조금씩 요령을 익히면, 연구자는 메모를 하나씩 떼어냅니다.
   • "자, 이제 메모가 하나만 남았어. 스스로 해봐!"
   • AI 는 남은 메모를 보고 더 똑똑하게 행동하려고 노력합니다.

3. 후반 (힌트 제로, Zero-shot):

   • 드디어 메모가 아예 사라집니다.
   • 하지만 AI 는 이미 "도구를 쓰는 법"을 몸으로 익혔기 때문에, 스스로 검색을 하고, 코드를 짜고, 정답을 찾아냅니다.
   • 마치 비행기 조종사가 시뮬레이터에서 연습기를 보고 익힌 뒤, 실제 비행기 조종대에 앉았을 때와 같습니다.

---

🌟 왜 이 방법이 특별한가요?

• 💰 비용 절감 (데이터 효율성):
  • 기존 방식은 "정답이 있는 문제집"을 수천 개 만들어야 했지만, 이 방법은 **"예시 2~3 개"**만 있으면 됩니다. 마치 "요리 레시피 책"을 통째로 외우는 대신, "스승이 한 번 보여준 요리법"만 보고 스스로 연습하는 것과 같습니다.
• 🚀 더 똑똑한 결과:
  • 실험 결과, 이 방법으로 훈련된 AI 는 기존에 정답을 외운 AI 들보다 **더 복잡한 문제 (예: 여러 단계를 거쳐 답을 찾아야 하는 퀴즈)**를 훨씬 잘 풀었습니다.
  • 특히 Qwen2.5-3B나 7B 같은 모델에서 기존 최고 성능보다 약 8~9 점이나 더 높은 점수를 기록했습니다.

📝 한 줄 요약

"AI 에게 도구 쓰는 법을 가르칠 때, 두꺼운 교재를 통째로 외우게 하지 말고, '작은 힌트'를 주며 실전 연습을 시키면, AI 는 스스로 그 힌트를 잊어버리고도 더 똑똑하게 도구를 다룰 수 있다."

이 논문은 AI 가 더 적은 비용으로, 더 유연하게 세상을 이해하고 도구를 활용하는 미래를 열어주는 중요한 한 걸음입니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 추론 능력이 뛰어나지만, 사전 학습된 고정된 지식의 한계로 인해 복잡한 작업이나 최신 정보 처리에 어려움을 겪습니다. 이를 해결하기 위해 외부 도구 (검색 엔진, 파이썬 인터프리터 등) 를 활용하는 접근법이 등장했으나, 모델이 도구를 효과적으로 사용하는 방법을 학습시키는 것은 여전히 큰 과제입니다.

기존의 주요 접근 방식은 **지도 미세 조정 (SFT)**으로 시작하여 **강화 학습 (RL)**을 수행하는 '콜드스타트 (Cold-start)' 파이프라인입니다. 그러나 이 방식은 고품질의 레이블이 지정된 도구 사용 데이터 (Tool traces) 가 대량으로 필요하며, 데이터 수집 및 주석 비용이 매우 높다는 단점이 있습니다. 또한, SFT 없이 처음부터 RL 만을 적용하면 모델이 초기 도구 사용 능력을 갖추지 못해 비효율적인 탐색을 하거나 성능이 저하되는 문제가 발생합니다.

2. 제안 방법론: ICRL (Methodology)

저자들은 **인-컨텍스트 강화 학습 (In-Context Reinforcement Learning, ICRL)**이라는 새로운 프레임워크를 제안합니다. 이는 SFT 단계를 완전히 제거하고, RL 학습 과정 중 '롤아웃 (rollout)' 단계에서 Few-shot 프롬핑을 활용하여 모델을 지도합니다.

핵심 메커니즘

1. 인-컨텍스트 데모 활용:
   • RL 학습 초기 단계에서, 모델의 프롬프트에 도구 사용 예시 (Few-shot examples) 를 포함시킵니다.
   • 이 예시들은 모델이 단계별 추론, 도구 호출 (예: <search>, <information> 태그), 최종 답변 생성 (<answer>) 을 어떻게 수행해야 하는지 '소프트 감독 (Soft supervision)' 역할을 합니다.
2. 커리큘럼 학습 (Curriculum Learning):
   • 학습이 진행됨에 따라 프롬프트 내의 예시 수를 점진적으로 줄입니다 (예: 3-shot $\to$ 2-shot $\to$ 1-shot $\to$ 0-shot).
   • 이 과정을 통해 모델은 초기에는 예시를 모방하다가, 점차 예시 없이도 도구를 독립적으로 호출하고 구조화된 출력을 생성하는 능력을 내재화하도록 설계되었습니다.
3. 보상 설계 (Reward Design):
   • 정답 정확도 (Accuracy): 정답과의 완전 일치 (Exact Match) 를 기반으로 보상.
   • 형식 준수 (Format Correctness): XML 태그 (<search>, <answer> 등) 의 올바른 사용 여부를 평가하여 형식 위반에 페널티를 부과.
   • 두 보상을 가중치 ($\alpha$) 를 통해 결합하여 모델이 정확한 답변과 올바른 도구 사용 형식을 모두 학습하도록 유도합니다.
4. 손실 마스크 (Loss Masking):
   • 도구 (검색 엔진 등) 가 반환한 콘텐츠는 모델이 생성한 것이 아니므로, RL 손실 계산 시 이를 마스킹하여 모델이 오직 자신의 행동 (도구 호출, 추론, 답변) 에만 집중하도록 합니다.
5. 알고리즘: GRPO (Group Relative Policy Optimization) 를 기반으로 하며, SFT 없이 RL 만으로 학습을 수행합니다.

3. 주요 기여 (Key Contributions)

• SFT 없는 효율적인 도구 사용 학습: 고비용의 레이블 데이터나 콜드스타트 SFT 없이도, Few-shot 프롬프트와 RL 만으로 LLM 이 복잡한 도구 사용 능력을 습득할 수 있음을 증명했습니다.
• 점진적 예시 제거 전략: Few-shot 에서 Zero-shot 으로 전환되는 커리큘럼 학습을 통해 모델이 도구 사용 전략을 내재화하고 자율적으로 도구를 호출하도록 유도하는 새로운 학습 패러다임을 제시했습니다.
• 범용성 및 확장성: 웹 검색 도구뿐만 아니라 파이썬 코드 실행을 통한 수학 추론 등 다양한 도구 활용 영역에서 유효성을 입증했습니다.

4. 실험 결과 (Results)

저자들은 다양한 QA 및 추론 벤치마크 (TriviaQA, HotpotQA, 2Wiki, Musique, Bamboogle 등) 와 수학 문제 (AIME2024, AIME2025) 에서 ICRL 을 평가했습니다.

• 성능 우위:
  • Qwen2.5-3B: 평균 정답 일치율 (EM) 에서 기존 최상위 기법 (Search-R1) 보다 8.94%p 높은 **40.16%**의 성능을 기록했습니다. 특히 다단계 추론 (Multi-hop) 작업 (2Wiki, Musique 등) 에서 두 자릿수 이상의 개선을 보였습니다.
  • Qwen2.5-7B: 평균 EM **49.12%**를 달성하여 기존 최강 기법 (ParallelSearch) 보다 7.34%p 우위를 점했습니다.
  • Qwen2.5-14B: 더 큰 모델에서도 일관된 성능 향상을 보였으며, CoT 기법 대비 평균 EM 에서 20.7%p 이상의 향상을 기록했습니다.
• 데이터 효율성 비교:
  • SFT 단계를 거치는 O2-Searcher 와 비교했을 때, ICRL 은 레이블된 도구 데이터 없이도 TriviaQA 에서 12.9%p, Musique 에서 4.0%p 더 높은 성능을 보여주었습니다.
• 수학 추론:
  • AIME2025 벤치마크에서 SFT+RL 기반의 ReTool 기법보다 2.4%p 높은 정확도를 달성하여, 코드 실행 도구 학습에도 효과적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 ICRL을 통해 LLM 의 도구 사용 능력을 학습시키는 데 있어 SFT 의존성을 탈피할 수 있음을 보여주었습니다.

• 비용 절감: 수천 개의 레이블된 도구 사용 데이터를 수집하고 주석하는 데 드는 막대한 비용을 절감할 수 있습니다.
• 확장성: 모델 크기가 커질수록 성능이 선형적으로 향상되며, 다양한 도구 (검색, 코드 실행 등) 에 적용 가능한 범용 프레임워크로 자리 잡았습니다.
• 자율성: Few-shot 프롬프트를 점진적으로 제거하는 과정을 통해 모델이 외부의 예시 없이도 복잡한 추론과 도구 호출을 독립적으로 수행하는 능력을 기를 수 있음을 입증했습니다.

결론적으로, ICRL 은 기존 SFT+RL 파이프라인의 대안으로, 데이터 효율성과 확장성을 갖춘 도구 증강 언어 모델 (Tool-augmented LLM) 학습의 새로운 표준을 제시합니다.