기술 요약: AutoTool: 에이전틱 추론을 위한 동적 도구 선택 및 통합

1. 문제 정의

최근 에이전틱 강화 학습(Agentic Reinforcement Learning, RL)의 발전은 대규모 언어 모델(LLM)이 외부 도구 사용과 교차되는 긴 사고 사슬(Chain-of-Thought, CoT) 궤적을 생성할 수 있게 했습니다. 그러나 기존 방식은 특정 작업을 위해 사전 정의된 고정된 도구 인벤토리를 가정하는 경우가 많습니다. 이러한 방식은 폐쇄된 환경에서는 효과적이지만, 다음과 같은 현실적인 시나리오에서는 실패합니다:

1. 에이전트가 복잡하고 도메인이 다양한 도구 세트에서 적절한 도구를 선택해야 하는 경우.
2. 훈련 중에 존재하지 않았던, 보지 못한 새로운 도구가 추론 과정 중에 도입되는 경우.

현재의 모델들은 정적인 도구 목록에 과적합될 위험이 있으며, 진화하는 도구 환경에 일반화하는 능력이 부족합니다. 이 연구가 다루는 핵심 과제는 다음과 같습니다: 어떻게 하면 LLM 에이전트가 강력한 추론 능력을 유지하면서, 진화하는 도구 세트로부터 동적으로 도구를 선택할 수 있는가?

2. 방법론: AutoTool 프레임워크

저자들은 LLM 에이전트에 동적 도구 선택 능력을 부여하기 위해 설계된 훈련 프레임워크인 AutoTool을 제안합니다. 이 프레임워크는 추론과 도구 사용을 하나의 통합된 궤적으로 결합하며, **이단계 최적화 파이프라인(dual-phase optimization pipeline)**을 채택합니다.

2.1. 도구 인식 궤적 생성 (Tool-Aware Trajectory Generation)

본 프레임워크는 추론 궤적 $\tau$를 세 가지 구성 요소의 상호작용으로 개념화합니다:

• 내부 추론 ($\tau^{reason}$): 표준 CoT 내부 추론.
• 도구 선택 ($\tau^{select}$): 에이전트가 도구 세트 $\mathcal{T}$를 바탕으로 도구 $t_k$를 선택함.
• 도구 통합 ($\tau^{integrate}$): 선택된 도구를 실행하고 피드백을 다시 생성 과정에 입력함.

진화하는 도구 세트를 처리하기 위해, AutoTool은 **임베딩 앵커 기반 도구 선택(Embedding-Anchored Tool Selection)**을 활용합니다:

• 도구 임베딩: 각 도구 $t_k$는 기능 설명 $\mu(t_k)$ (이름, 기능, 스키마)와 쌍을 이루며, LLM의 내부 임베딩 레이어를 사용하여 잠재 임베딩 $e_{t_k}$로 인코딩됩니다.
• 선택 메커니즘: 도구 이름을 직접 생성하는 대신(이는 보지 못한 도구에서 실패함), 에이전트는 선택 근거(selection rationale) $s_i$와 예측된 임베딩 앵커 $e'_i$를 생성합니다. 도구는 $e'_i$와 후보 도구 임베딩 $e_{t_k}$ 사이의 프로베니우스 노름(Frobenius norm) 거리를 기반으로 한 소프트맥스(softmax) 분포에서 샘플링하여 선택됩니다. 이를 통해 에이전트는 암기된 식별자가 아닌 표현 정렬(representation alignment)을 통해 새로운 도구를 선택할 수 있습니다.

2.2. 이단계 최적화 파이프라인 (Dual-Phase Optimization Pipeline)

훈련 과정은 두 가지 뚜렷한 단계로 구성됩니다:

단계 I: 궤적 안정화 (Trajectory Stabilization)

• 목표: 에이전트에게 안정적인 장문 CoT 추론과 유효한 도구 통합 패턴을 갖추게 함.
• 방법: 에이전트를 베이스 참조 모델($\pi_{\theta_{ref}}$)로부터 초기화하고, 지도 미세 조정(SFT) 및 RL 기반 정책 최적화(예: GRPO)를 통해 훈련합니다. 이를 통해 모델이 추론, 선택, 실행 단계를 포함하는 일관된 궤적을 생성할 수 있도록 보장합니다.

단계 II: 도구 선택 정교화 (Tool-Selection Refinement)

• 목표: 동적 도구 세트를 처리할 수 있도록 도구 선택 과정을 명시적으로 최적화함.
• 방법: 최적화는 내부 추론 및 통합 단계를 마스킹하고, 특히 도구 선택 단계에 집중합니다. 저자들은 도구 선택을 플래킷-루스(Plackett–Luce, PL) 랭킹 문제로 프레임화했습니다.
  • 이론적 연결: 저자들은 KL 정규화된 RL 목적 함수를 최적화하는 것이 후보 궤적들에 대한 정책의 유도된 PL 랭킹 분포를 일치시키는 것과 동일함을 증명합니다.
  • 목적 함수: 정책은 더 나은 도구 선택 근거와 정확한 최종 답변을 가진 궤적이 더 높은 순위를 갖도록 하는 보상 가이드 랭킹에 부합하도록 최적화됩니다.
  • 손실 함수: 모델의 유도된 랭킹과 보상 기반 랭킹 사이의 차이를 최소화하여, 최적 정책 $\pi^*$를 향해 $\pi_\theta$를 훈련하는 데 다루기 쉬운 교차 엔트로피(Cross-Entropy, CE) 손실이 사용됩니다.

3. 데이터 큐레이션

동적 도구 환경을 지원하기 위해, 저자들은 명시적인 도구 선택 근거를 포함하는 200k 규모의 데이터셋을 구축했습니다.

• 범위: 코드, 검색, 멀티모달을 포함한 1,346개의 도구와 수학, 과학, 코드 생성, 멀티모달 이해를 아우르는 120개 이상의 작업 유형을 다룹니다.
• 파이프라인:
  1. 수집: 도구와 작업을 조립합니다.
  2. 근거 생성: 전문가 수준의 추론 모델(DeepSeek-R1)을 사용하여 각 단계에서 특정 도구가 왜 선택되었는지에 대한 명시적인 정당성을 생성함으로써, 문맥과 선택 간의 정렬을 보장합니다.
  3. 증강: 유효하지 않은 근거를 필터링하고 유효한 근거를 궤적에 삽입하여 고품질 훈련 데이터를 생성합니다.
• 진화하는 설정: 훈련 중에는 460개의 도구(34.2%)만 사용되었습니다. 나머지 886개의 도구는 보지 못한 상태로 유지되어 일반화 성능을 평가하기 위해 추론 단계 전용으로 남겨졌습니다.

4. 실험 결과

실험은 Qwen3-8B 및 Qwen2.5-VL-7B를 베이스 모델로 사용하여 10개의 다양한 벤치마크에서 수행되었습니다.

4.1. 성능 향상

AutoTool은 고급 LLM 에이전트 및 특화된 도구 통합 방식들을 지속적으로 능가했습니다:

• 수학 및 과학 추론: 평균 +6.4% 향상.
• 검색 기반 QA: 평균 +4.5% 향상.
• 코드 생성: 평균 +7.7% 향상.
• 멀티모달 이해: 평균 +6.9% 향상.
• 비교: AutoTool (8B/7B 파라미터)은 모든 도메인에서 훨씬 더 큰 모델(예: Qwen2.5-72B, GPT-4o) 및 특화된 RL 베이스라인(예: ReTool, Search-R1)과 대등하거나 이를 능가하는 성능을 달야, 균형 잡힌 견고함을 입증했습니다.

4.2. 보지 못한 도구에 대한 일반화

• 보지 못한 도구 성능: 추론 시 완전히 새로운 도구 세트(886개)로 평가했을 때, AutoTool은 전체 도구 세트를 사용할 때와 비교하여 2% 미만의 미미한 하락만을 보이며 강력한 성능을 유지했습니다.
• 적중률(Hit Rate): 더 높은 도구 선택 적중률(올바른 도구 선택)은 다운스트림 정확도 향상과 직접적인 상관관계가 있었습니다.
• 절제 연구(Ablation): 도구 선택 근거를 포함하여 훈련된 모델은 그렇지 않은 모델보다 유의미하게 우수한 성능을 보였으며, 성공적인 도구 실행 횟수를 13.5% 증가시켰습니다.

5. 의의 및 주장

본 논문은 AutoTool이 진화하는 환경에서 작동할 수 있는 확장 가능한 에이전틱 시스템을 향한 중요한 진전임을 주장합니다.

• 정적 도구를 넘어: 고정된 도구 인벤토리를 가정하는 기존 연구와 달리, AutoTool은 에이전트가 동적이고 개방적인 세트로부터 적응적으로 도구를 선택할 수 있게 합니다.
• 일반화: 임베딩 공간에 선택을 고정하고 PL 랭킹을 통해 최적화함으로써, 이 프레임워크는 훈련 중에 보지 못한 도구에 대해서도 강력한 일반화 성능을 달성합니다.
• 효율성: 이 방법은 경쟁 관계에 있는 많은 최첨단 에이전트들보다 적은 파라미터(8B/7B)로 이러한 결과를 달성하여, 명시적인 도구 선택 최적화의 효율성을 강조합니다.
• 실질적 영향: 본 프레임워크는 도구 세트가 유동적이고 지속적으로 확장되는 실제 배포 환경과 폐쇄 루프 훈련 사이의 간극을 해결합니다.

저자들은 단순히 도구 사용뿐만 아니라 도구 선택을 명시적으로 최적화하는 것이, 복잡하고 변화하는 환경에서 효과적으로 추론하고 행동할 수 있는 에이전트를 구축하는 데 결정적이라고 결론짓습니다.