🤖 AI

Learning When Not to Act: Mitigating Tool Abuse in Agentic Reinforcement Learning

본 논문은 도구 미사용 궤적(tool-free trajectories), 난이도 인지 보상 형성(difficulty-aware reward shaping), 그리고 신뢰도 인지 토큰 재가중치 부여(confidence-aware token reweighting)를 통해 선택적 도구 사용을 학습함으로써 강화 학습에서의 도구 남용을 완화하는 효율적인 에이전트 정책 최적화 프레임워크인 EAPO를 제안하며, 이를 통해 여러 모델과 벤치마크에 걸쳐 추론 정확도를 향상시키는 동시에 불필요한 도구 호출을 크게 줄인다.

원저자: Liuji Chen, Dianxing Tang, Xing Shi, Dingshuo Chen, Qiang Liu, Shu Wu, Liang Wang

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liuji Chen, Dianxing Tang, Xing Shi, Dingshuo Chen, Qiang Liu, Shu Wu, Liang Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑한 학생이 한 명 있다고 상상해 보세요. 이 학생은 방금 강력한 도서관(인터넷)과 첨단 계산기(Python 코드)를 사용하는 법을 배웠습니다. 당신은 이 학생에게 수학 문제를 풀거나 상식 질문에 답하도록 시키고 싶습니다.

처음에 이 학생은 의욕이 너무 앞선 나머지, 당신이 "1 + 1은 뭐야?"라고 물었을 때조차도 즉시 덧셈에 관한 책을 찾으러 도서관으로 달려가거나 숫자를 계산하기 위해 계산기를 가동합니다. 결과적으로 정답은 맞히지만, 머릿속으로 충분히 할 수 있는 일에 시간, 에너지, 그리고 비용을 낭비하고 만 것입니다. 이것이 바로 이 논문에서 말하는 **"도구 남용(Tool Abuse)"**입니다.

이 논문의 연구자들은 EAPO라는 방법을 통해 이 학생에게 더 나은 교훈을 주고자 했습니다. 바로 **"언제 행동하지 말아야 하는지 배우는 것"**입니다.

그 방법은 다음과 같이 간단한 개념들로 나누어 설명할 수 있습니다.

1. 문제점: "도구에 과하게 의존하는" 학생

과거에 강화 학습(RL)으로 훈련된 AI 모델들은 단순히 정답을 맞히는 것만으로 보상을 받았습니다. 만약 도구를 사용하는 것이 정답을 맞히는 데 도움이 된다면, 모델은 아주 사소하고 쉬운 질문에도 매번 도구를 사용하도록 학습되었습니다. 이는 마치 요리사가 마늘 한 쪽을 다지기 위해 칼을 쓰는 게 훨씬 빠르고 공짜임에도 불구하고, 효과가 있다는 이유만으로 푸드 프로세서를 사용하는 것과 같습니다.

2. 해결책: "효율적인" 훈련 캠프 (EAPO)

저자들은 EAPO(Efficient Agentic Policy Optimization)라는 새로운 훈련법을 만들었습니다. 이것은 세 단계의 코칭 전략이라고 생각하면 됩니다.

단계 A: "도구 없는" 연습 (효율성을 고려한 롤아웃)

보통 이러한 AI 학생들을 훈련할 때는 모든 연습 문제에 도구를 사용할 수 있도록 허용합니다. 하지만 EAPO는 규칙을 바꿉 수 있습니다. 매 연습 묶음(batch)마다 코치는 학생에게 도구를 전혀 사용하지 않고 일부 문제를 풀도록 강제합니다.

비유: 운전 강사가 가끔 이렇게 말하는 것과 같습니다. "자, 오늘은 GPS 없이 이 쉬운 경로를 운전해 보세요."
결과: 이를 통해 AI는 "어, 나 이거 스스로도 풀 수 있네! GPS가 꼭 필요하지 않구나"라는 것을 깨닫게 됩니다. 이는 "도구 없이 풀었을 때와 도구를 써서 풀었을 때 중 어느 쪽이 더 나았는가?"라는 명확한 비교를 만들어냅니다.

단계 B: "난이도" 성적표 (난이도를 고려한 보상 설계)

코치는 어려운 문제를 풀 때 도구를 사용하는 학생을 벌하지 않습니다. 오직 학생이 이미 알고 있어야 할 쉬운 문제에 도구를 사용할 때만 벌점을 부여합니다.

비유: 만약 수학 천재에게 "1+1"을 물었는데 계산기를 사용한다면, 코치는 "그건 시간 낭비야, 감점이야"라고 말합니다. 하지만 복잡한 물리 방정식을 풀 때 계산기를 사용한다면, 코치는 "잘했어! 그 도구는 꼭 필요했어"라고 말합니다.
결과: AI는 단순히 전체적으로 도구를 덜 사용하는 법이 아니라, 언제 도구를 집어 들어야 하는지에 대해 영리하게 판단하는 법을 배웁니다.

단계 C: "확신"의 스포트라이트 (확신도를 고려한 가중치 재설정)

코치는 학생이 확신이 없는 순간에 특별히 주목합니다.

비유: 만약 학생이 확신에 차 있었는데 틀렸다면, 코치는 "너 자신만만했구나, 다시 한번 살펴보자"라고 말합니다. 만약 학생이 확신이 없었지만 정답을 맞혔다면, 코치는 "위험을 감수했고 성공했구나, 그 느낌을 기억해둬"라고 말합니다.
결과: AI는 자신의 "직관"(내부 추론)이 맞았을 때는 그것을 더 신뢰하고, 추측할 때는 더 주의를 기울이는 법을 배웁니다.

3. 결과: 더 똑똑하고 더 빠르게

논문은 이 방법을 세 가지 다른 AI 모델(Qwen 및 Llama)을 대상으로 어려운 수학 문제부터 복잡한 상식 퀴즈까지 아홉 가지 유형의 챌린지에 테스트했습니다.

더 높은 정확도: 모델들이 전반적으로 더 많은 문제를 맞혔습니다.
더 적은 도구 사용: 도구 호출 횟수가 눈에 띄게 줄었습니다 (약 18%에서 24% 감소).
트레이드오프(Trade-off): 이들은 어려운 문제를 풀 때 성능이 떨어지거나 느려지는 일 없이, 단지 쉬운 문제에서 도구 사용을 멈춤으로써 이 결과를 달성했습니다.

요약

이 논문은 진정으로 똑똑한 AI 에이전트는 도구를 사용하는 법뿐만 아니라, 언제 도구를 내려놓아야 하는지도 알아야 한다고 주장합니다. 도구 없이 문제를 푸는 연습을 시키고, 불필요한 도구 사용에 대해서만 벌점을 줌으로써, EAPO는 AI가 문제를 더 잘 해결하면서도 시간과 자원을 아끼며 효율적으로 작동하도록 가르칩니다.

기술 요약: 도구 사용을 멈추는 법 배우기: 에이전트 강화 학습에서의 도구 남용 완화

1. 문제 정의: 에이전트 RL에서의 도구 남용 (Tool Abuse)

최근 대규모 언어 모델(LLM)의 발전은 모델이 복잡한 추론 과제를 해결하기 위해 외부 도구(예: 검색 엔진, Python 인터프리터)와 상호작용할 수 있게 하는 에이전트 강화 학습(Agentic Reinforcement Learning, RL) 프레임워크의 발전을 촉진했습니다. 이러한 프레임워크는 문제 해결 능력을 향상시키지만, **도구 남용(tool abuse)**이라는 심각한 문제를 야기합니다.

표준적인 에이전트 RL에서 모델은 주로 과제 성공 여부에 따라 보상을 받습니다. 결과적으로, 에이전트는 내부적 추론(예: 간단한 산술 또는 기초적인 사실 질문)을 통해 효율적으로 해결할 수 있는 질의에 대해서도 도구 호출을 기본 추론 전략으로 취급하는 경향을 보입니다. 이러한 행동은 다음과 같은 문제를 초러합니다:

불필요한 계산: 불필요한 도구 호출은 지연 시간과 배포 비용을 증가시키며, 특히 외부 서비스가 사용량에 따라 비용을 청구하는 경우 문제가 됩니다.
비효율적인 탐색: 도구 사용에 대한 균등한 페널티나 엄격한 제한(예: OTC 또는 표준 GRPO)은 어려운 쿼리에 대한 필수적인 도구 사용과 쉬운 쿼리에 대한 불필요한 사용을 구분하지 못하는 경우가 많습니다. 이러한 균등한 제약은 진정으로 도전적인 과제에 대한 유용한 탐색을 억제하거나, 사소한 과제에서의 남용을 처벌하지 못할 수 있습니다.
학습 신호의 부재: 표준 롤아웃 절차는 일반적으로 도구를 사용할 수 있는 설정 하에서 궤적(trajectory)을 샘플링합니다. 도구가 없는 궤적이 명시적으로 존재하지 않으면, 학습 과정에서 특정 질의가 모델의 내재적 추론만으로 해결 가능한지 판단할 직접적인 근거가 부족해지며, 이로 인해 필수적인 도구 사용과 남용을 구분하기 어려워집니다.

2. 방법론: 효율적 에이전트 정책 최적화 (EAPO)

이러한 과제를 해결하기 위해 저자들은 추론의 효과성과 도구 사용의 효율성 사이의 트레이드오프를 최적화하도록 설계된 다중 도구 에이전트 RL 프레임워크인 EAPO를 제안합니다. EAPO는 세 가지 핵심 메커니즘을 도입합니다.

2.1 효율성 인지 롤아웃 (Efficiency-Aware Rollout)

모든 궤적이 도구를 호출할 수 있는 표준 롤아웃과 달리, EAPO는 각 질의에 대해 $M$ 개의 궤적 롤아웃 그룹에 적어도 $n$ 개의 **도구 미사용 궤적(tool-free trajectories)**을 포함하도록 보장합니다.

구현: 학습 중에 프롬프트는 일부 궤적에 대해 도구 사용을 명시적으로 금지하며, 롤아웃 모듈은 이 샘플들에 대해 도구 실행을 비활성화합니다.
메커니즘: 이는 도구 증강 솔루션과 도구 미사용 솔루션 사이에 명시적인 대조를 만듭니다. 이를 통해 모델은 특정 질의에 대해 도구 호출이 진정한 성능 향상을 가져오는지 학습할 수 있습니다.
효율성 계수: 각 궤적에 대해 효율성 계수 $\varepsilon(T_i) = \exp(-\beta(c_i - c_{min}))$ 가 계산됩니다. 여기서 $c_i$ 는 도구 호출 횟수이고 $c_{min}$ 은 그룹 내 정답 궤적들 중 최소 도구 호출 횟수입니다. 이는 그룹 내 가장 효율적인 정답 솔루션과 비교하여 불필요한 도구 호출이 있는 궤적에 페널티를 부여합니다.

2.2 난이도 인지 보상 형성 (Difficulty-Aware Reward Shaping)

어려운 과제에 대한 학습을 방해할 수 있는 과도한 페널티를 피하기 위해, EAPO는 질의의 고유한 난이도를 보상 신호에 포함합니다.

질의 난이도 ( $d(q)$ ): $1 - \frac{1}{M}\sum I(T_i)$ 로 정의됩니다. 여기서 $I(T_i)$ 는 궤적의 정답 여부를 나타냅니다. 그룹 내 대부분의 궤적이 오답이라면 해당 질의는 어려운 것으로 간주됩니다.
보상 조정: 조정된 보상 $\tilde{R}_i$ $\tilde{R}_{i}$ 는 다음과 같이 계산됩니다:
$\tilde{R}_i = [d(q) + (1 - d(q))\varepsilon(T_i)] R_i$
- 쉬운 질의(낮은 $d(q)$ )의 경우, 보상은 효율성 계수 $\varepsilon(T_i)$ 에 의해 크게 조절되어 불필요한 도구 사용을 강력하게 억제합니다.
- 어려운 질의(높은 $d(q)$ )의 경우, 보상은 기본 정답 보상 $R_i$ 에 더 많이 의존하여, 비록 많은 호출이 발생하더라도 도구 지원 솔루션을 탐색하려는 동기를 보존합니다.

2.3 신뢰도 인지 어드밴티지 재가중치 부여 (Confidence-Aware Advantage Reweightng)

EAPO는 모델의 생성 신뢰도( $C_t = \log p_t(y_t)$ )를 기반으로 토큰의 가중치를 조정하여 정책 학습을 정교화합니다.

전략:
- 정답: 낮은 신뢰도( $\rho$ -분위수 미만)를 가진 토큰은 가중치를 높여( $W_{pos}$ ), 불확실하지만 정답인 추론 단계로부터의 학습 신호를 강조합니다.
- 오답: 높은 신뢰도( $1-\rho$ -분위수 초과)를 가진 토큰은 가중치를 낮추어( $W_{neg}$ ), 과도하게 확신에 찬 오류의 영향을 줄입니다.
목표: 이 재가중치는 정보 밀도가 높은 토큰에 집중하고 확신에 찬 실수로부터 발생하는 노이즈를 완화함으로써 더 효과적인 정책 학습을 촉진합니다.

3. 주요 기여

효율성 인지 롤아웃 메커니즘: 모델이 필수적인 도구 사용과 과도한 의존성을 구분할 수 있도록 도구 미사용 궤적을 도입하는 새로운 학습 전략을 제시합니다.
EAPO 프레임워크: 난이도 인지 보상 형성과 신뢰도 인지 토큰 재가중치를 결합하여 추론 성능과 도구 사용 효율성을 동시에 개선하는 통합 최적화 프레임워크입니다.
실증적 검증: 9개의 벤치마크(수학 및 지식 집약적 과제)와 여러 모델 제품군(Qwen2.5-3B/7B, Llama3.1-8B)에 걸친 광범 fact 실험을 통해 정확도-효율성 트레이드오프의 일관된 개선을 입증했습니다.

4. 실험 결과

저자들은 EAPO를 Base (도구 없음), TIR (프롬프트 기반 도구 사용), GRPO, Reinforce++, ToolStar, ARPO, AEPO를 포함한 베이스라인들과 비교 평가했습니다.

성능 향상: EAPO는 모든 벤치마크에서 최고 또는 차석의 성능을 일관되게 달성했습니다.
- GRPO와 비교했을 때, EAPO는 평균 성능을 Qwen2.5-3B에서 10.45%, Qwen2.5-7B에서 7.27%, Llama3.1-8B에서 9.69% 향상시켰습니다.
- 수학적 추론(Pass@1) 및 지식 집약적 과제(F1)에서 EAPO는 ARPO 및 AEPO와 같은 강력한 베이스라인을 능가했습니다.
효율성 향상: EAPO는 정확도를 희생하지 않으면서 불필요한 도구 사용을 크게 줄였습니다.
- GRPO와 비교했을 때, EAPO는 평균 도구 호출 횟수를 Qwen2.5-3B에서 18.33%, Qwen2.5-7B에서 18.33%, Llama3.1-8B에서 24.59% 감소시켰습니다.
- 감소 폭은 3B 모델보다 7B 모델에서 더 뚜렷하게 나타났으며, 이는 작은 모델이 제거해야 할 중복된 도구 사용이 더 적음을 시사합니다.
어블레이션 연구 (Ablation Studies): 콜드 스타트 SFT를 제거했을 때 가장 큰 성능 저하가 발생했습니다. 보상 형성을 제거하면 QA 과제에서 도구 호출이 급격히 증가했습니다. 어드밴티지 재가중치를 제거하면 정책이 더 보수적으로 변했습니다.
하이퍼파라미터 민감도: 프레임워크는 도구 페널티 파라미터 $\beta$ 와 신뢰도 재가중치 가중치가 합리적인 범위 내에 있다면 견고하게 작동합니다.

5. 의의 및 주장

본 논문은 E-APO가 도구 통합 추론의 이점을 훼손하지 않으면서도 에이전트 모델이 언제 도구를 사용하지 말아야 하는지 학습할 수 있음을 보여준다고 주장합니다.

패러다임의 전환: 이 연구는 단순히 도구 빈도를 줄이는 것을 넘어, 질의 난이도와 내재적 능력을 바탕으로 불필요한 도구 사용을 식별하고 처벌하는 단계로 나아갑니다.
실제 배포: 정확도-효율성 트레이드오프를 개선함으로써, EAPO는 도구 사용에 상당한 계산 및 금융 비용이 발생하는 실제 배포 환경에 에이전트 RL을 더욱 적합하게 만듭니다.
한계점: 저자들은 현재 벤치마크가 어려운 문제에 집중되어 있다고 언급했습니다. 효과성과 효율성을 동시에 평가하기 위해서는 "쉬움-에서-어려움으로(easy-to-hard)" 이어지는 데이터셋이 필요하며, 이는 향후 평가 패러다임의 영역입니다.

요약하자 اعتماد, EAPO는 에이전트가 내부 추론과 외부 도구 호출 사이의 균형을 잡도록 가르치는 구조화된 접근 방식을 제공하며, 도구가 추론의 보완재로서 사용되도록 보장하며, 단순한 기본 도구(default crutch)가 되지 않도록 합니다.