EvoTool: Self-Evolving Tool-Use Policy Optimization in LLM Agents via Blame-Aware Mutation and Diversity-Aware Selection

이 논문은 지연된 감독과 긴 시간 범위의 궤적에서 발생하는 신용 할당 문제를 해결하기 위해, 모듈별 실패 원인 분석과 피드백 기반 변이, 다양성 유지 선택 메커니즘을 통해 LLM 에이전트의 도구 사용 정책을 자기 진화적으로 최적화하는 'EvoTool' 프레임워크를 제안합니다.

핵심

🍳 배경: 왜 AI 는 실수를 할까요?

우리가 복잡한 요리를 시키면 (예: "오늘 저녁 메뉴를 계획하고, 재료를 사서, 요리해서 먹게 해줘"), AI 는 여러 단계를 거쳐야 합니다.

1. 메뉴 계획 (Planner): 무엇을 만들지 정함.
2. 도구 선택 (Selector): 어떤 칼, 어떤 팬을 쓸지 고름.
3. 작업 실행 (Caller): 실제로 칼질을 하고 불을 조절함.
4. 결과 정리 (Synthesizer): 요리가 다 되면 접시에 담고 손님에게 줌.

문제점:
기존 방법들은 이 팀이 실패했을 때, **"아, 실패했네. 전체 팀을 다시 훈련시켜야겠다!"**라고 막연하게 생각하거나, **"아, 칼질만 잘못했네. 칼질만 고치자!"**라고 너무 좁게만 생각했습니다.

• 전체 수정: 팀 전체를 다 고치려다 보니, 잘하던 요리사가 오히려 망가질 수 있어요. (비효율적)
• 부분 수정: 칼질만 고쳤는데, 사실 문제는 '메뉴 계획'이 잘못되어서 재료를 잘못 샀던 거였어요. (원인을 못 찾음)

🚀 EVOTOOL 의 해결책: "누가 실수했는지 찾아서, 그 사람만 코칭한다!"

EVOTOOL 은 이 문제를 해결하기 위해 세 가지 마법 같은 단계를 거칩니다.

1. 🕵️‍♂️ "누가 실수했지?" (책임 소재 파악)

요리사가 실패한 요리를 보고, 진단 도구를 꺼냅니다.

• "음, 재료를 잘못 샀네? → **선택자 (Selector)**의 실수야!"
• "칼질은 잘했는데 불 조절을 못 했네? → **작업자 (Caller)**의 실수야!"
• "요리 자체는 잘했는데 접시에 담는 법을 몰랐네? → **정리꾼 (Synthesizer)**의 실수야!"

이처럼 **정확히 누가, 어디서 실수했는지 pinpoint(핀포인트)**으로 찾아냅니다. 이전에는 "팀 전체가 망했다"고만 알았지만, 이제는 "A 가 실수했다"고 정확히 압니다.

2. 📝 "그 사람만 코칭한다" (타겟 수정)

이제 **코치 (Mutator)**가 나옵니다.

• 만약 선택자가 실수했다면, 코치는 선택자만 불러서 "다음엔 이 재료를 고를 때 이 규칙을 지켜!"라고 **자연어 (사람 말)**로 구체적인 피드백을 줍니다.
• 다른 팀원들 (계획자, 작업자 등) 은 그대로 둡니다. 그들이 잘하던 방식을 망가뜨리지 않으면서, 실수한 사람만 딱 고치는 것입니다.

3. 🌈 "다양한 재능을 지켜라" (다양성 유지)

기존 방법들은 "가장 잘하는 사람 한 명만 남기고 나머지는 다 버린다"는 방식을 썼어요. 하지만 문제는, 어떤 요리에는 A 가 잘하고, 다른 요리에는 B 가 잘할 수 있다는 거죠.

• EVOTOOL 은 다양한 재능을 가진 팀원들을 모두 모아둡니다.
• "이 요리에는 A 가 최고지만, 저 요리에는 B 가 최고야. 둘 다 필요해!"라고 생각하며, 서로 다른 강점을 가진 후보들을 골고루 유지합니다. 이렇게 하면 어떤 상황에서도 실패하지 않는 튼튼한 팀이 됩니다.

---

🏆 결과: 얼마나 잘할까요?

이 방법을 실험해 보니, 기존에 가장 잘하던 AI 들보다 5 점 이상 더 높은 점수를 받았습니다.

• 효율성: 불필요한 말 (토큰) 을 덜 쓰면서도 더 잘합니다.
• 이동성: 한 환경 (예: 요리) 에서 배운 지식을 다른 환경 (예: 여행 계획) 으로 옮겨도 잘 적용됩니다.

💡 한 줄 요약

EVOTOOL은 AI 가 실수했을 때, "전체 다 고쳐!"라고 막연하게 하는 대신, "누가 실수했는지 정확히 찾아서, 그 사람만 구체적으로 코칭하고, 다양한 재능을 가진 팀원들을 모두 살려서" 점점 더 똑똑하게 만들어주는 스마트한 AI 훈련 시스템입니다.

이제 AI 가 요리할 때, 실수한 사람만 조용히 불러서 "다음엔 이렇게 해"라고 알려주면, 팀 전체가 훨씬 더 훌륭해진다는 뜻이죠! 🍳✨

기술 요약

1. 문제 정의 (Problem Definition)

LLM 기반 에이전트는 외부 도구를 활용하여 복잡한 작업을 해결하지만, 신용 할당 (Credit Assignment) 문제와 지연된 감독 (Delayed Supervision) 으로 인해 도구 사용 정책 (Tool-Use Policy) 을 최적화하는 것이 매우 어렵습니다.

• 기존 접근법의 한계:
  • 모놀리식 최적화 (Monolithic Optimization): 에이전트의 전체 프롬프트를 하나의 블록으로 간주하여 전역적으로 업데이트합니다. 이는 모듈 간 행위가 서로 얽히게 (entangle) 하여, 한 모듈의 오류 수정이 다른 모듈의 성능을 저하시키는 역효과를 낳습니다.
  • 단일 측면 최적화 (Single-Aspect Optimization): 계획 (Planning) 이나 도구 호출 (Tool Calling) 등 개별 구성 요소만 개선합니다. 이는 장기적인 작업 (Long-horizon trajectories) 에서 발생하는 모듈 간 오류 전파를 무시하여, 국소적인 최적화에 그칩니다.
• 핵심 과제: 지연된 피드백 (작업 종료 시점의 성공/실패 신호) 하에서, 어떤 특정 모듈이 실패를 초래했는지 정확히 식별 (Blame Attribution) 하고, 해당 모듈만 표적적으로 수정 (Targeted Mutation) 하여 전체 정책의 안정성을 해치지 않으면서 성능을 향상시키는 것입니다.

2. 제안 방법론: EVOTOOL (Methodology)

EVOTOOL 은 경사 기반이 아닌 진화적 패러다임 (Gradient-free Evolutionary Paradigm) 을 사용하여 모듈화된 도구 사용 정책을 자가 진화시키는 프레임워크입니다. 에이전트의 정책을 Planner(계획), Selector(선택), Caller(호출), Synthesizer(종합) 의 4 개 모듈로 분해하고, 다음 3 가지 핵심 메커니즘을 통해 반복적으로 개선합니다.

A. 궤적 기반 책임 귀속 (Trajectory-Grounded Blame Attribution)

• 목적: 실패의 원인을 특정 모듈로 국소화합니다.
• 작동 방식: 에이전트의 실행 궤적 (Trajectory) 에서 도메인 진단 이벤트 (도구 선택 결과, 인자 유효성, 실행 결과 등) 를 추출합니다.
• Blamer LLM: 전체 궤적과 진단 정보를 바탕으로 4 개 모듈 각각에 대한 '책임 점수 (Blame Score)'를 0~1 사이로 산출합니다. 가장 높은 점수를 받은 모듈을 표적 (Target) 으로 선정합니다.

B. 피드백 유도 표적 변이 (Feedback-Guided Targeted Mutation)

• 목적: 책임이 있는 모듈만 자연어 피드백을 통해 수정합니다.
• 작동 방식: 선정된 표적 모듈의 현재 명세 (Specification) 와 실패 사례 (Episode) 를 바탕으로 Mutator LLM 을 실행합니다.
• 자연어 비판 (Natural-Language Critique): 오류 모드를 설명하고 구체적인 수정 사항을 제안하는 자연어 피드백을 생성합니다. 이를 통해 해당 모듈의 프롬프트나 규칙만 업데이트하고, 나머지 3 개 모듈은 고정 (Freeze) 합니다. 이는 불필요한 회귀 (Regression) 를 방지합니다.

C. 다양성 인식 인구 선택 (Diversity-Aware Population Selection)

• 목적: 조기 수렴 (Premature Convergence) 을 방지하고 다양한 역량을 유지합니다.
• 작동 방식: 단순히 평균 점수가 높은 후보만 선택하는 탐욕적 (Greedy) 접근을 지양합니다. 대신, 인스턴스 단위 승리 (Instance-level Wins) 기준을 적용합니다.
  • 검증 세트에서 특정 인스턴스 (작업) 에 대해 가장 높은 점수를 낸 후보를 '승자'로 간주합니다.
  • 어떤 인스턴스에서도 우위를 점하지 못하는 후보는 제거하고, 다양한 영역에서 강점을 가진 후보들을 유지하여 인구의 다양성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. EVOTOOL 프레임워크 제안: 경사 기반 학습 없이, 모듈화된 도구 사용 정책을 자가 진화시키는 새로운 프레임워크를 제안했습니다.
2. 새로운 최적화 메커니즘 도입:
   • 궤적 기반 책임 귀속: 실패 원인을 모듈 수준으로 정확히 진단.
   • 피드백 유도 표적 변이: 자연어 비판을 통해 특정 모듈만 정밀하게 수정.
3. 다양성 보존 전략: 단일 최적 해에 수렴하는 것을 방지하고, 이질적인 작업 분포에 대응할 수 있는 다양한 정책 변이를 유지하는 인구 선택 전략을 제시했습니다.
4. 광범위한 실험 검증: 4 개의 벤치마크 (ToolBench, RestBench, τ-Bench, BFCL) 에서 GPT-4.1 과 Qwen3-8B 를 사용하여 검증했습니다.

4. 실험 결과 (Results)

• 성능 향상: 4 개의 벤치마크 전반에서 기존 최첨단 (SOTA) 베이스라인 (Hand-crafted, Monolithic, Single-aspect 방법론 포함) 보다 평균 5 점 이상 높은 성능을 기록했습니다.
  • GPT-4.1: 전체 평균 70.6 (가장 강력한 단일 측면 베이스라인 대비 약 6 점, 모놀리식 베이스라인 대비 약 7 점 우위).
  • Qwen3-8B: 전체 평균 57.0 (2 위 베이스라인 대비 5.2 점 우위).
• 복잡한 작업에서의 강건성: 특히 상태 유지가 필요한 장기 작업 (τ-Bench) 과 다중 턴 기능 호출 (BFCL) 에서 다른 방법론들이 급격히 성능이 떨어지는 반면, EVOTOOL 은 모듈 간 의존성을 효과적으로 처리하여 높은 성능을 유지했습니다.
• 효율성 (Token Efficiency): 전역적 검색을 하지 않고 표적 수정만 수행하므로, 동등한 성능을 달성하는 데 필요한 토큰 비용이 기존 방법론보다 현저히 낮았습니다.
• 전이 학습 (Transferability): 한 데이터셋 (ToolBench) 에서 진화시킨 정책이 다른 데이터셋 (RestBench) 이나 다른 모델 (Qwen3-8B ↔ GPT-4.1) 로 전이될 때도 우수한 성능을 발휘하여, 학습된 도구 사용 행동이 모델이나 데이터셋에 종속되지 않음을 입증했습니다.

5. 의의 및 결론 (Significance)

EVOTOOL 은 LLM 에이전트의 도구 사용 정책 최적화에서 신용 할당 문제를 해결하는 획기적인 접근법을 제시합니다.

• 모듈화 및 표적 수정: 에이전트의 복잡한 행동을 모듈로 분해하고, 실패 원인을 정확히 찾아 수정함으로써, 기존 방법론들이 겪던 '한 부분 고치면 다른 부분 망가짐' 문제를 해결했습니다.
• 자가 진화 가능성: 추가적인 모델 학습 (Fine-tuning) 없이, 오직 프롬프트와 규칙의 진화만으로 에이전트의 능력을 지속적으로 향상시킬 수 있음을 증명했습니다.
• 실용성: 토큰 비용 효율성과 다양한 모델/데이터셋에 대한 전이 능력을 통해, 실제 복잡한 자동화 작업에 적용 가능한 확장 가능한 솔루션을 제시했습니다.

이 연구는 LLM 에이전트가 장기적이고 복잡한 작업을 수행할 때, 어떤 부분이 잘못되었는지 진단하고 (Blame), 어떻게 고칠지 제안하며 (Mutation), 다양한 해결책을 유지 (Diversity) 하는 자가 진화 시스템의 새로운 표준을 제시합니다.