🤖 machine learning

On Effectiveness and Efficiency of Agentic Tool-calling and RL Training

이 논문은 사소한 구현상의 선택이 평가 결과에 어떻게 상당한 왜곡을 일으키는지 밝히고, 성능 저하 없이 강화 학습 훈련을 가속화하는 기술을 도입함으로써 에이전트 기반 도구 호출의 효과성과 효율성을 조사한다.

원저자: Tong Liu, Cheng Qian, Matej Cief, Yuan He, Daniele Dan, Nikolaos Aletras, Gabriella Kazai

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

원저자: Tong Liu, Cheng Qian, Matej Cief, Yuan He, Daniele Dan, Nikolaos Aletras, Gabriella Kazai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑한 로봇 비서(대규모 언어 모델)가 있다고 상상해 보세요. 이 로봇은 훈련을 통해 얻은 수많은 사실을 알고 있습니다. 하지만 현실 세계에서 일을 완수하기 위해서는 날씨 API를 호출하거나, 웹 검색을 하거나, 달력을 확인하는 것과 같은 '도구'를 사용할 줄 알아야 합니다. 이 논문은 두 가지 큰 질문을 다룹니다. 우리는 로봇이 실제로 도구를 얼마나 잘 사용하는지 정말로 알고 있는가? 그리고 어떻게 하면 전기와 컴퓨터 자원을 낭비하지 않고 로봇에게 도구 사용법을 가르칠 수 있는가?

다음은 쉬운 비유를 사용한 상세 내용입니다:

파트 1: "효과성" 문제 (테스트가 공정한가?)

저자들은 로봇의 도구 사용 능력을 측정하는 것이 놀라울 정도로 취약하다는 것을 발견했습니다. 이는 마치 요리사의 요리 실력을 평가하는데, 주방의 아주 작고 흔히 간과되는 세부 사항에 따라 점수가 크게 변하는 것과 같습니다.

"랜덤 시드(Random Seed)" 룰렛: 재료를 넣는 순서를 결정하기 위해 동전을 던지는 상황을 상상해 보세요. 논문에 따르면, 이 무작위 시작점(시드)을 바꾸는 것만으로도 로봇의 점수가 크게 요동칠 수 있으며, 특히 단계가 많은 긴 작업에서 더욱 그러했습니다. 이는 마치 학생이 단지 자리를 옮겨 앉았다는 이유만으로 똑같은 시험에서 다른 성적을 받는 것과 같습니다.
"스토리텔링" 형식: 로봇에게 과거의 기록을 어떻게 전달하느냐가 중요합니다. 논문은 대화 기록을 보여주는 두 가지 방식을 비교했습니다:
- 방법 A (네이티브): 대화를 자연스러운 주고받기 형태로 보여줌.
- 방법 B (컨텍스트): 전체 기록을 하나의 거대한 텍스트 덩어리로 쏟아부음.
- 결과: 로봇은 방법 A로 진행했을 때 6~8% 더 높은 성능을 보였습니다. 로봇은 정보가 동일하더라도 거대한 텍text 벽보다는 자연스러운 대화의 흐름을 훨씬 더 잘 이해한다는 것이 밝혀졌습니다.
"생각"의 기록: 로봇이 자신의 이전 생각(예: "먼저 날씨를 확인해야겠다")을 스스로 볼 수 있어야 할까요? 논문은 이러한 사고 과정(thought traces)을 보이게 유지하는 것이 로봇이 경로를 이탈하지 않도록 도와 점수를 약 3~5% 높여준다는 것을 발견했습니다.
"선생님의 메모" (시스템 프롬프트): 때로는 로봇의 지침에 아주 작은 문장 하나를 추가하는 것(예: "여러 차례 대화 시 사용자처럼 행동하는 것을 기억하라")만으로도 몇 달간의 추가 훈련만큼이나 성능을 끌어올릴 수 있었습니다. 이는 다른 논문들에서 보이는 많은 "개선"이 실제 학생(모델)이 더 잘 배웠기 때문이 아니라, 단지 선생님(프롬프트)이 더 좋은 지침을 주었기 때문일 수 있음을 시사합니다.

핵심 요약: 만약 당신이 이러한 미세한 디테일들(채팅 형식, 사용하는 랜덤 시드, 제공하는 지침 등)을 표준화하지 않는다면, 서로 다른 로봇을 비교하는 것은 사과와 오렌지를 비교하는 것과 같습니다. 리더보드의 순위는 오해의 소지가 있을 수 있습니다.

파트 2: "효율성" 문제 (시간 낭비를 멈춰라)

우리가 공정하게 테스트하는 방법을 알게 된 후, 저자들은 강화 학습(RL)을 사용하여 이 로봇들을 어떻게 훈련시키는지 살펴보았습니다. 그들은 현재의 훈련 과정이 매우 낭비적이라는 것을 발견했는데, 이는 마치 학생이 이미 완벽하게 알고 있는 페이지를 반복해서 읽으며 시험 공부를 하는 것과 같습니다.

저자들은 두 가지 주요 낭비 요인을 식별했습니다:

1. "지루한 숙제" 문제 (제로 분산 프롬프트)

문제점: 훈련 중에 로봇은 많은 연습 문제를 받습니다. 그런데 약 80%의 문제에서 로봇은 즉시 100% 정답을 맞히거나, 혹은 배울 점이 전혀 없는 방식으로 완전히 실패합니다. 이것들이 바로 "제로 분산(zero-variance)" 프롬프트입니다. 이는 학습 신호를 전혀 주지 못합니다. 마치 선생님이 학생에게 1+1=2를 천 번 반복해서 풀게 하는 것과 같으며, 이는 학습에 아무런 도움이 되지 않습니다.
해결책: 저자들은 "스킵 리스트(skip list)"를 만들었습니다. 만약 로봇이 특정 문제를 연속으로 세 번 맞히면, 시스템은 시간을 낭비하며 새로운 시도를 생성하는 대신 더 어려운 문제로 넘어갑니다. 이를 통해 엄청난 양의 컴퓨터 시간을 절약할 수 있습니다.

2. "과잉 설계" 문제 (높은 업데이트 비용)

문제점: 학습을 위해 로로봇은 보통 어떤 답이 최선인지 확인하기 위해 한 문제를 여러 번(예: 8번) 시도합니다. 그 후 컴퓨터는 8번의 시도 모두를 바탕으로 로봇의 뇌를 업데이트하기 위해 엄청난 에너지를 소비합니다. 논문에 따르면 "뇌 업데이트" 부분이 실제 "시도"하는 부분보다 3~5배 더 오래 걸립니다.
해결책: 8번의 시도를 모두 사용하여 뇌를 업데이트하는 대신, 시스템은 가장 유용한 것들—구체적으로는 가장 좋은 답과 가장 나쁜 답—만을 선택합니다. 이렇게 하면 학습을 위한 극명한 대비를 만들어낼 수 있습니다. "중간 정도의 결과"들을 무시함으로써, 학습 성능을 해치지 않으면서도 업데이트 시간을 획기적으로 줄였습니다.

최종 결과

훈련 과정의 "낭비"를 해결함으로써, 저자들은 로봇이 (실제 시간 기준으로) 1.7배에서 2.6배 더 빠르게 학습하도록 만들었으며, 이 과정에서 로봇이 더 멍청해지지는 않았습니다. 오히려 로봇은 여러 단계의 대화에서 도구를 사용하는 능력이 향상되어, 여러 유명한 모델들을 능가했습니다.

요약하자면, 이 논문은 로봇 벤치마크를 단순한 게임처럼 다루지 말고 엄격한 과학 실험처럼 다루어야 한다고 주장하며(효과성 해결), 동시에 로봇을 훈련시킬 때 생각하는 매 초마다 비용을 지불하는 것처럼 낭비하지 말고 우리가 실제로 배우는 것(데이터)에 대해 더 똑똑해져야 한다고(효율성 해결) 강조합니다.

기술 요약: 에이전트 도구 호출(Tool-calling)의 효과성 및 효율성에 관하여

1. 문제 정의

본 논문은 도구 호출 능력을 갖춘 대규모 언어 모델(LLM) 에이전트 개발의 두 가지 핵심적이고 상호 보완적인 과제인 **평가 효과성(evaluation effectiveness)**과 **학습 효율성(training efficiency)**을 다룹니다.

효과성 (평가의 취약성): 도구 호출은 현대적 에이전트의 핵심이지만, 벤치마크 결과의 신뢰성은 의문이 제기됩니다. 저자들은 보고된 성능이 겉보기에 사소해 보이는, 문서화되지 않은 구현상의 선택(예: 랜덤 시드, 프롬프트 템플릿, 히스토리 처리 방식)에 매우 민감하게 반응한다고 주장합니다. 이러한 취약성은 재현성을 저해하고 논문 간의 비교를 불확실하게 만들며, 잠재적으로 연구자들이 견고한 방법론 대신 표면적인 이득을 쫓게 만들 수 있습니다.
효율성 (계산적 낭비): PPO나 GRPO와 같은 알고리즘을 사용하여 도구 호출 에이전트를 강화 학습(RL)으로 학습시키는 것은 계산 비용이 매우 높습니다. 저자들은 두 가지 구체적인 낭비 원인을 식별했습니다:
1. 롤아웃 낭비 (Rollout Waste): 상당수의 프롬프트(최대 80%)가 "제로 분산(zero-variance)" 롤아웃을 생성하여, 샘플링된 모든 궤적(trajectory)이 동일한 보상을 받게 됩니다. 이는 학습을 위한 그래디언트 신호를 생성하지 못합니다.
2. 업데이트 비용 (Update Cost): 도구 호출 과정에서의 정책 업데이트 단계는 긴 컨텍스트 시퀀스(도구 스키마, 다회차 히스토리, I/O)로 인해 롤아웃 생성 단계에 비해 불균형적으로 높은 계산 비용을 발생시킵니다.

2. 방법론

2.1. 평가 효과성 분석

저자들은 BFCL(Berkeley Function Calling Leaderboard) 벤치마크를 사례 연구로 사용하여, 평가 파이프라인의 특정 구성 요소들을 체계적으로 변화시키며 성능에 미치는 영향을 측정했습니다:

랜덤 시드 (Random Seeds): 다섯 가지 모델(Qwen 및 Llama 시리즈)에 대해 10개의 시드를 사용하여 성능을 평가함으로써 변동성을 정량화했습니다.
다회차 템플릿 (Multi-turn Templates): "네이티브(native)" 직렬화(채팅 템플릿에 의해 포맷된 role-content 메시지)와 "컨텍스트(context)" 결합(전체 히스토리를 단일 사용자 턴에 주입하는 방식)을 비교했습니다.
사고 이력 (Thinking History): 다회차 상호작용에서 중간 추론 흔적(Chain-of-Thought)을 유지하는 것과 생략하는 것이 미치는 영향을 분석했습니다.
시스템 프롬프트 (System Prompts): 다회차 상호작용에 맞춤화된 시스템 지침의 미세한 수동 수정이 결과의 민감도에 미치는 영향을 테스트했습니다.
학습 데이터 형식 (Training Data Format): 순수 단일 턴 데이터로 학습된 모델과 순수 다회차 데이터로 학습된 모델을 통제된 실험을 통해 비교하여 감독 형식(supervision format)의 기여도를 격리하여 분석했습니다.

2.2. 제안된 효율성 기술

식별된 계산 병목 현상을 바탕으로, 저자들은 도구 호출 강화 학습을 위한 두 가지 경량 가속 기술을 제안합니다:

온라인 사전 롤아웃 필터링 (Online Pre-rollout Filtering):
- 메커니즘: 비용이 많이 드는 롤아웃을 생성하기 전에, 프롬프트별 "전부 정답(all-correct)" 연속 기록을 담은 경량 캐시를 확인합니다. 만약 특정 프롬프트가 이전 $k$ 에포크(통상 $k=1$ 또는 $2$) 동안 계속 정답을 맞혔다면, 현재 에포크에서는 해당 프롬프트를 건너뜁니다.
- 근거: 일관되게 해결되는 프롬프트는 후속 에포크에서도 해결된 상태를 유지하는 경향이 있습니다. 이 동적 필터링은 정적인 사전 학습 필터링 없이도 정보가 없는 프롬프트의 중복 샘플링을 방지합니다.
분산 인지 롤아웃 다운샘플링 (Variance-aware Rollout Down-sampling):
- 메커니즘: 각 프롬프트에 대해 평소처럼 $n$ 개의 롤아웃을 생성합니다. 그러나 정책 업데이트 단계에서는 $m$ 개( $m < n$ )의 롤아웃 하위 집합만을 역전파합니다. 이 하위 집합은 보상 분산을 최대화하도록 선택됩니다 (구체적으로, 가장 낮은 보상을 받은 $m'$ 개와 가장 높은 보상을 받은 $m-m'$ 개를 선택).
- 근거: 이는 가장 대비가 뚜렷한 학습 신호(높은 보상 vs 낮은 보상)를 유지하면서, 도구 호출 시 주요 비용이 발생하는 정책 업데이트 단계의 계산 부하를 줄여줍니다.

3. 주요 결과

3.1. 평가 민감도 결과

시드 변동성: 단일 턴 성능은 시드 간에 안정적이지만, 다회차 평가는 턴이 진행됨에 따라 오류가 누적되어 상당한 변동성(최대 약 3% 편차)을 보입니다.
템플릿 영향: "네이티브" 다회차 템플릿을 사용하는 것이 "컨텍스트" 결합 방식보다 6~8%의 일관된 성능 향상을 가져옵니다.
사고 이력: 추론 모델의 경우 사고 이력을 유지하는 것이 다회차 성능을 2~5% 향상시킵니다.
시스템 프롬프트: 시스템 프롬프트에 대한 미세하고 타겟팅된 변경만으로도 RL 학습에 의한 성과와 비슷하거나 더 큰 이득을 얻을 수 있으며, 이는 혼란 변수(confounding variables)의 위험성을 강조합니다.
데이터 형식: 통제된 환경에서 순수 다회차 데이터로 학습하는 것이 다회차 성능을 반드시 개선시키지는 않았으며, 오히려 단일 턴 학습에 비해 성능이 저하되기도 했습니다. 이는 궤적의 품질과 노이즈 누적이 단순한 다회차 감독의 존재보다 더 중요하다는 것을 시사합니다.

3.2. 효율성 및 성능 이득

제로 분산 빈도: 초기 프롬프트의 약 **80%**가 제로 분산 롤아웃을 생성하며, 이는 상당한 롤아웃 낭비를 확인시켜 줍니다.
학습 속도 향상: 제안된 효율성 기술은 최종 성능을 저하시키지 않으면서 상당한 실제 시간(wall-clock) 단축을 달est합니다:
- 단일 턴 설정에서 1.7배 속도 향상.
- 다회차 설정에서 2.6배 속도 향상.
벤치마크 성능:
- RL로 학습된 모델(Qwen3-4B)은 BFCL 다회차에서 평균 점수 39.4를 기록하여, 베이스 모델 및 여러 오픈 소스 베이스라인을 능가했습니다.
- ACEBench에서 모델은 베이스 모델 대비 절대 정확도 12.1 포인트 향상되었으며, Nova1-Lite 및 기타 오픈 소스 모델들을 앞질렀습니다.
일반화: 다운스트림 평가(HellaSwag, MMLU, TruthfulQA, Winogrande) 결과, RL 학습이 일반적인 능력(general capabilities)을 유의미하게 저하시키지 않았음을 보여주었습니다.

4. 의의 및 주장

본 논문은 도구 호출 평가 파이프라인의 취약성에 대한 첫 번째 체계적인 분석을 제공한다고 주장하며, 의미 있는 비교를 위해 커뮤니티가 더욱 엄격한 표준화(예: 시드 보고, 템플릿 및 프롬프트 표준화)를 채택해야 한다고 강조합니다.

효율성 측면에서, 저자들은 도구 호출 작업 특유의 계산적 병목 현상(긴 컨텍스트 및 높은 무정보 프롬프트 비율)을 해결함으로써 RL 학습을 훨씬 빠르게 만들 수 있음을 입증했습니다. 저자들은 자신들의 기술이 성능을 희생하지 않으면서도 역량 있는 에이전트를 개발하는 데 따르는 환경적, 재정적 발자국을 줄일 수 있는 실질적인 경로를 제공한다고 주장합니다.

본 연구는 새로운 도구 사용 데이터셋이나 에이전트 아키텍처를 제안하는 것이 아니라, 평가 방법론과 학습 프로세스의 효율성을 개선하는 데 집중합니다. 저자들은 더 효율적인 학습이 배포의 장벽을 낮추지만, 잠재적인 오용을 방지하기 위해 책임 있는 안전 평가와 모니터링이 병행되어야 함을 언급합니다.