💬 NLP

CacheRL:Multi-Turn Tool-Calling Agents via Cached Rollouts and Hybrid Reward

CacheRL은 하이브리드 추론 트레이스, 실시간 실행 비용을 제거하기 위한 3단계 퍼지 캐시, 그리고 노이즈가 있는 환경으로부터의 견고한 학습을 보장하기 위한 캐시 계층 인식 보상을 활용하여, 100배 적은 연산량으로 최첨단 수준의 다단계 도구 호출 정확도를 달ace하기 위해 소형 에이전트 파운데이션 모델을 훈련하는 시스템입니다.

원저자: Md Amirul Islam, Sumiran Thakur, Huancheng Chen, Su Min Park, Jiayun Wang, Gyuhak Kim

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Md Amirul Islam, Sumiran Thakur, Huancheng Chen, Su Min Park, Jiayun Wang, Gyuhak Kim

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 작은, 똑똑한 어시스턴트(40억 파라미터 규모의 AI 모델)에게 1,185개의 다양한 도구(날씨 API, 코드 실행기, 데이터베이스 등)가 담긴 거대한 도구 상자를 사용하는 법을 가르치고 싶다고 상상해 보세요. 보통은 이 작업을 위해 거대하고 비싼 슈퍼컴퓨터급 두뇌(GPT-5 같은 모델)가 필요하지만, 이는 일상적인 사용에는 너무 비용이 많이 들고 느립니다.

이 논문은 CacheRL이라는 영리한 시스템을 소개합니다. 이는 작은 모델들이 거대한 모델처럼 행동하도록 가르치되, 비용은 훨씬 적게 들게 합니다. 이 시스템이 어떻게 작동하는지 간단한 개념으로 나누어 설명해 드리겠습니다.

1. 문제점: "실시간(Live)" 학습의 함정

보통 AI에게 도구 사용법을 가르치려면, 학습 과정 중에 실제로 그 도구들을 사용하게 해야 합니다.

비유: 학생에게 요리를 가르칠 때, 연습할 때마다 매번 실제로 식재를 사고, 요리하고, 뒷정리까지 하게 하는 것과 같습니다. 그러면 시간이 너무 오래 걸리고, 식재료 비용도 엄청나게 들 것이며, 실수를 할 때마다 많은 음식을 버리게 될 것입니다.
현실: AI에게 "실시간" 도구 사용이란, 수천 번의 API 호출 비용을 지불하고, 응답을 기다리느라 몇 초씩 시간을 허비하며, 오류가 발생할 위험을 감수하는 것을 의미합니다하게 됩니다. 이를 충분히 반복하여 제대로 배우기에는 너무나 비쌉니다.

2. 해결책: "캐시된(Cached)" 주방 (CacheAgentLoop)

연구진은 CacheAgentLoop라는 시스템을 구축했습니다. AI가 실제 주방에서 요리하게 하는 대신, 식재료와 결과물이 거대하고 똑똑한 찬장에 미리 저장되어 있는 "시뮬레이션 주방"을 제공한 것입니다.

작동 방식: AI가 "도쿄의 날씨를 확인해야 해"라고 말하면, 시스템은 찬장에서 그 답을 찾아냅니다.
- 정확한 일치(Exact Match): 만약 찬장에 정확한 답이 있다면, 즉시 전달합니다.
- 모호한 일치(Fuzzy Match): 만약 찬장에 유사한 답이 있다면(예: "도쿄, 일본" vs "도쿄, 2024"), 가장 가까운 것을 전달합니다.
- 최선의 노력(Best Effort): 만약 완전히 새로운 내용이라면, 일반적인 자리 표시자(placeholder)를 전달합니다.
마법 같은 효과: 이는 학습 비용을 100배 절감합니다. 이는 매번 실제 음식을 사는 대신, 식재료 사진과 미리 작성된 레시피 카드를 가지고 요리 연습을 하는 것과 같습니다.

3. "왜(Why)" vs "무엇(What)" (하이브리드 사고 궤적)

단순히 AI에게 어떤 도구를 사용할지만 보여주는 것으로는 부족합니다. AI는 왜 그 도구를 써야 하는지도 이해해야 합니다.

비유: 마스터 셰프(GPT-5)가 요리책을 쓰는 상황을 상상해 보세요. 나쁜 요리책은 단순히 단계만 나열합니다: "소금을 넣으세요. 후추를 넣으세요." 좋은 요리책은 논리를 설명합니다: "수분을 끌어내기 위해 소금을 넣고, 풍미를 높이기 위해 후추를 넣으세요."
혁신: 연구진은 거대 AI(GPT-5)를 사용하여 기존의 수천 가지 도구 사용 사례를 다시 작성했습니다. 그들은 모든 도구 선택 뒤에 숨겨진 추론을 설명하는 "사고 블록(thinking blocks)"(마치 셰프의 내면 독백과 같은 것)을 추가했습니다. 그리고 이 "사고"가 담긴 예시들을 사용하여 작은 모델을 가르쳤습니다.
결과: 작은 모델은 단순히 도구를 호출하는 메커니즘뿐만 아니라, 그 뒤에 숨겨진 전략까지 학습하게 되었습니다.

4. "공정한 판사" (Cache-Tier-Aware Reward)

여기서 까다로운 부분이 등장합니다. AI가 "시뮬레이션 찬장(캐시)"을 가지고 연습하기 때문에, 때때로 얻게 되는 데이터가 약간 틀리거나 일반적일 수 있습니다.

문제점: 만약 AI가 찬장에서 일반적인 답변을 받았고 그로 인해 과업에 실패했을 때, 표준적인 선생님은 AI가 "틀렸다"며 벌을 줄 수도 있습니다. 하지만 AI의 잘못이 아니라 찬장이 불완전했던 것입니다!
해결책: 연구진은 "공정한 판사"를 만들었습니다.
- 만약 찬장이 완벽한 답을 주었다면, 판사는 최종 결과에 대해 AI를 엄격하게 채점합니다.
- 만 만약 찬장이 거칠거나(rough) 일반적인 답을 주었다면, 판사는 최종 결과는 무시하고 AI가 올바른 도구를 선택했는지와 사고 과정이 올바랐는지만을 기준으로 채점합니다.
중요성: 이는 AI가 시뮬레이션의 불완전함 때문에 혼란스러워하거나 의욕을 잃는 것을 방지합니다.

5. 결과: 작지만 강력함

이 시스템으로 학습한 후, 40억 파라미터 규모의 작은 모델은 다단계 도구 작업에서 92%의 정확도를 달 achievement 했습니다.

비교: 이는 거대 모델인 GPT-5(94% 달성)와 거의 맞먹는 수준입니다. 그런데 이 작은 모델은 훈련 및 실행 비용이 100배 더 저렴합니다.
놀라운 점: 연구진은 훈련 알고리즘의 복잡한 수학적 계산보다 데이터의 품질(사고 예시와 공정한 판사)이 훨씬 더 중요하다는 것을 발견했습니다. 만약 "사고" 예시를 제거하면 성능이 41% 폭락하며, "공정한 판사"를 제거하면 17% 하락합니다.

요약

CacheRL은 작은 AI 어시스턴트를 위한 마스터클래스와 같습니다. 이 시스템은 다음과 같은 방식으로 AI를 가르칩니다:

**시뮬레이션 연습 환경(캐시)**을 제공하여 실제 비용을 지불하지 않고도 학습하게 합니다.
**단계별 추론 가이드(하이브리드 궤적)**를 제공하여 단순한 단계가 아닌 논리를 이해하게 합니다.
**스마트한 채점 시스템(공정한 판사)**을 사용하여, 연습 데이터가 불완전할 때 AI를 억울하게 벌하지 않도록 합니다.

그 결과, 이 작은 효율적인 AI는 거대 모델만큼이나 복잡한 다단계 작업을 수행할 수 있게 되었으며, 이는 강력한 AI 에이전트를 현실 세계에서 실제로 사용할 수 있게 만들어 줍니다.

Causal Reasoning Generation (인과적 추론 생성): 사용자 대상 콘텐츠의 경우, GPT-5는 특정 도구가 왜 선택되었는지, 이전 결과가 현재 행동에 어떻게 영향을 미치는지, 그리고 어떤 결과가 예상되는지에 대한 설명을 상세히 생성합니다.
Authenticity Preservation (본래성 보존): 1,185개의 고유한 도구 전반에 걸쳐 실제 호출 패턴을 학습할 수 있도록 모든 원래의 도구 호출, 인자(arguments), API 응답(오류 포함)을 그대로 보존합니다.

2. CacheAgentLoop (확장 가능한 RL 학습)

실제 실행 비용을 제거하기 위해, 저자들은 롤아웃 루프에 통합된 3단계 퍼지 캐시(fuzzy cache) 시스템을 도입합니다:

3단계 캐시:
- Exact (정확 일치): 완벽한 매칭을 위한 해시 기반 조회.
- Fuzzy (퍼지 일치): 유사한 도구 호출을 위한 자카드 유사도(Jaccard similarity) 활용.
- Best-Effort (최선 노력): 인자가 일치하지 않을 경우 해당 도구에 대해 일반적인 결과를 반환.
Token-Level Masking (토큰 수준 마스킹): 시스템은 모델이 생성한 토큰(추론, 도구 호출)은 1로 표시하고, 주입된 캐시 결과는 0으로 표시하는 이진 마스크를 유지합니다. 이는 그래디언트(gradient)가 모델이 직접 생성하지 않은 환경 응답을 통해 흐르는 것을 방지하여, 모델이 자신의 결정에 대해서만 학습하도록 보장합니다.
Structure Preservation (구조 보존): 루프는 주입된 결과에서 사고 블록(thinking blocks)을 미리 닫음으로써, 모델이 끝없는 추론 루프에 빠지는 대신 답변을 생성하도록 유도합니다.

3. Cache-Tier-Aware Reward Design (캐시 단계 인식 보상 설계)

모델이 캐시의 한계로 인해 불이익을 받는 귀속(attribution) 문제를 해결하기 위해, 저자들은 동적 가중치 메커니즘을 제안합니다:

Hybrid Reward (하이브리드 보상): $R = \alpha(\tau) \cdot R_{answer} + (1 - \alpha(\tau)) \cdot R_{process}$ .
Dynamic Weighting ( $\alpha$ , 동적 가중치):
- Exact Matches (정확 일치): 정답 품질(LLM-as-judge)에 높은 가중치 부여.
- Fuzzy/Best-Effort Matches (퍼지/최선 노력 일치): 프로세스 지표(유효한 도구 이름, 사고 블록, 다양성에 대한 결정론적 검사)로 가중치 이동.
이를 통해 모델이 불완전한 캐시 데이터로부터 파생된 잘못된 정답 때문에 처벌받지 않도록 하면서도, 데이터 품질이 높을 때는 강력한 학습 신호를 받을 수 있도록 합니다.

4. Iterative Training Pipeline (반복적 학습 파이프라인)

시스템은 지도 미세 조정(SFT), 거절 샘플링(고품질 궤적 필터링), 그리고 그룹 상대 정책 최적화(GRPO)의 순환 구조를 채택합니다. RL에서 얻은 고득점 궤적은 다시 SFT로 피드백되어, 모델의 능력을 정교화하는 선순환 구조를 만듭니다.

주요 기여 (Key Contributions)

소형 에이전트를 위한 최초의 캐시 기반 RL 시스템: 실시간 실행 없이도 4B 파라미터 모델의 멀티 턴 도구 호출에 대한 효율적인 RL 학습을 가능하게 하여, 실시간 실행 대비 비용을 100배 절감합니다.
하이브리드 사고 궤적 파이프라인: GPT-5의 추론을 활용해 궤적을 증강하는 확장 가능한 방법으로, 소형 모델에게 1,185개 도구 사용 뒤에 숨겨진 인과적 논리를 가르칩니다.
캐시 단계 인식 보상: 캐시 충실도에 따라 보상 귀속을 조정하는 새로운 동적 가중치 체계를 통해, 불완전한 환경에서의 노이즈 문제를 해결합니다.
소규모에서의 성능 입증: 4B 모델이 멀티 스텝 도구 호출에서 92%의 프로세스 정확도를 달야하며, 이는 GPT-5의 94%에 근접하는 수준임과 동시에 100배 적은 컴퓨팅 자원을 필요로 함을 보여줍니다.

결과 (Results)

성능: CacheRL은 Qwen3-4B-Thinking의 검증 보상을 SFT 베이스라인인 0.43에서 0.78로 향상시켰습니다. 공개 벤치마크에서 이 모델은 프런티어 모델들과 경쟁 가능한 92%의 프로세스 정확도를 달성했습니다.
Ablation Studies (절제 연구):
- 데이터 품질: 고품질 지식 전수(GPT-5 추론)를 제거하면 성능이 41.2% 하락합니다.
- 보상 설계: 캐시 단계 인식 가중치를 제거하면 **17.2%**의 하락이 발생하며, 이는 캐시의 한계로 인해 모델이 처벌받지 않도록 하는 것의 중요성을 강조합니다.
- RL의 영향: GRPO 학습은 안정성을 제공하지만, 강력한 SFT 베이스라인 이상의 성능 향상은 미미합니다(약 3% 개선). 이는 실용적인 소형 에이전트 모델을 구축하는 데 있어 복잡한 최적화 알고리즘보다 데이터 품질과 보상 설계가 더 중요하다는 것을 시사합니다.
- 규모(Scale): 데이터셋을 1.5K에서 44K 샘플로 확장함으로써 일반화 능력을 높이고, 과적합을 방지하며 200단계 이상의 학습을 안정화했습니다.

의의 및 주장 (Significance and Claims)

본 논문은 CacheRL이 배포 가능한 에이전트 파운데이션 모델을 구축하기 위한 실질적인 청사진을 제공한다고 주장합니다. 핵심적인 의의는 체계적인 지식 전수와 지능적인 학습 설계가 소형 모델에게는 정교한 RL 알고리즘보다 더 효과적이라는 점을 입증했다는 데 있습니다.

주요 통찰은 다음과 같습니다:

데이터 품질이 지배한다: 학습 데이터의 품질(특히 추론 궤적)이 성능의 주요 동력이며, RL 최적화 자체의 이점보다 훨씬 중요합니다.
안정성을 위한 RL, 성장을 위한 것은 아님: 캐시 기반 롤아웃의 맥락에서, RL은 새로운 능력을 끌어내기보다는 강력한 SFT 베이스라인을 안정화하는 역할을 합니다.
소형 에이전트의 실현 가능성: 적절한 지식 증류(knowledge distillation)와 캐시 인식 RL의 조합으로 학습된다면, 소형 모델(4B)도 견고하고 범용적인 에이전트 파운데이션 모델 역할을 수행할 수 있으며, 이는 거대한 규모만이 복잡한 도구 사용의 유일한 길이라는 관념에 도전합니다.

저자들은 캐시 기반 RL에 한계(예: 데이터 노후화, 교사 모델의 품질 의존성)가 있음에도 불구하고, 이것이 지식 전수와 실제 배포 사이의 간극을 성공적으로 메우며 보편적인 AI 에이전트를 위한 비용 효율적인 경로를 제공한다고 결론짓습니다.