ToolOmni: 능동적 검색과 근거 기반 실행을 통한 오픈 월드 도구 사용 가능 에이전트 학습

이 논문은 대규모 언어 모델 (LLM) 이 방대하고 진화하는 도구 레포지토리 (Tool Repository) 에서 사용자의 의도를 정확히 파악하고, 적절한 도구를 검색하여 실행하는 '오픈 월드 (Open-World)' 도구 사용 문제를 해결하기 위해 제안된 ToolOmni 프레임워크에 대한 기술적 요약입니다.

1. 문제 정의 (Problem)

기존의 LLM 기반 도구 학습 방법론은 다음과 같은 한계를 가지고 있어 오픈 월드 환경에서 성능이 저하됩니다.

• 수동적 검색의 한계: 기존의 임베딩 기반 검색 (Embedding Retrieval) 은 사용자의 질의와 도구의 의미적 유사성만을 기반으로 정적 (Static) 으로 도구를 찾습니다. 이는 복잡한 시나리오에서 사용자의 의도와 실제 필요한 기능적 도구를 정렬하는 데 실패하거나, 너무 많은 후보 도구를 반환하여 실행 에이전트의 혼란을 초래합니다.
• 역할 기억 (Parameter Memorization) 의 한계: 도구 문서를 모델의 파라미터 지식으로 주입하는 방식은 새로운 도구가 추가되거나 업데이트될 때마다 재학습이 필요하여 동적 환경에서 일반화 능력이 떨어집니다.
• 검색과 실행의 분리: 기존 파이프라인 방식은 도구 검색과 실행을 분리하여 최적화하지 않기 때문에, 검색 단계의 오류가 실행 단계의 실패로 이어지는 연쇄적 문제를 해결하지 못합니다.

2. 방법론 (Methodology)

ToolOmni 는 능동적 검색 (Proactive Retrieval) 과 근거 기반 실행 (Grounded Execution) 을 통합된 추론 루프 내에서 수행하는 통합 에이전트 프레임워크입니다. 학습 과정은 크게 두 단계로 구성됩니다.

2.1. 콜드 스타트 (Cold-Start) 및 SFT

모델에게 기본적인 도구 상호작용 능력을 부여하기 위해 지도 미세조정 (Supervised Fine-Tuning, SFT) 단계를 거칩니다.

• 데이터 구성: ToolBench 에서 파생된 고품질 하이브리드 데이터셋을 사용합니다. 이는 검색 (Retrieval) 트래젝토리 (약 28,000 개) 와 실행 (Execution) 트래젝토리 (약 33,000 개, 정답 및 오답 포함) 를 통합합니다.
• 목적: 모델이 도구 검색 쿼리를 생성하고, 도구를 호출하며, 환경 피드백을 기반으로 추론하는 기본 능력을 학습하게 합니다.

2.2. 오픈 월드 도구 학습 (Open-World Tool Learning)

SFT 이후, 분리된 다목적 GRPO (Decoupled Multi-Objective GRPO) 알고리즘을 기반으로 한 강화학습 (RL) 을 수행합니다. 이는 기존 GRPO 와 구별되는 핵심 혁신입니다.

• 능동적 검색 (Proactive Retrieval): 에이전트는 단일 단계가 아닌, 반복적인 검색 쿼리 생성과 도메인별 도구 선별을 통해 작업에 필요한 도구 집합 ($T_{sub}$) 을 스스로 결정합니다.
• 근거 기반 실행 (Grounded Execution): 검색된 도구를 바탕으로 추론과 도구 호출을 교차하여 수행합니다.
• 분리된 보상 및 최적화 (Decoupled Rewards & Optimization):
  • 보상 설계: 검색 단계와 실행 단계에 대해 별도의 보상을 설계합니다.
    • 검색 보상 ($R_{ret}$): 형식 준수, 정답 도구 회수율 (Recall), 검색된 정보의 유효한 전환 비율을 고려합니다.
    • 실행 보상 ($R_{exec}$): 추론 경로의 구조적 유효성과 최종 답변의 정확도를 고려합니다.
  • 분리된 업데이트 (Separated Update): 검색과 실행의 그래디언트를 직접 합산하지 않고, 순차적으로 업데이트하여 두 작업 간의 그래디언트 충돌 (Gradient Conflict) 을 방지합니다.
  • 트래젝토리 필터링: 검색 단계에서 정답 도구를 모두 포함하지 못한 경우, 실행 단계를 수행하지 않고 필터링하여 실행 정책이 고품질의 '근거 (Grounded)'된 컨텍스트에서만 학습하도록 보장합니다.

3. 주요 기여 (Key Contributions)

1. ToolOmni 프레임워크 제안: 능동적 도구 검색과 근거 기반 실행을 통합된 추론 루프에 결합한 엔드 - 투 - 엔드 에이전트 프레임워크를 제시했습니다.
2. 2 단계 학습 전략: 도구 검색 및 실행의 기초를 다지기 위한 SFT 와, 이를 최적화하기 위한 분리된 다목적 GRPO 기반 RL 을 결합한 전략을 제안했습니다.
3. 성능 및 일반화: ToolBench 벤치마크에서 기존 최첨단 모델들을 압도하는 성능을 보였으며, 특히 보지 못한 도구와 도메인에 대한 강력한 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

ToolBench 벤치마크 (I1~I3 난이도, 다양한 일반화 분할) 에서 다음과 같은 결과를 얻었습니다.

• 도구 검색 성능 (Retrieval):
  • Multi-Domain 설정 (16,000 개 이상의 API 중 검색) 에서 평균 NDCG@5 가 **78.29%**로, 기존 최강 베이스라인 (ToolRetriever, ToolGen 등) 을 크게 상회했습니다.
  • 특히 Top-1 및 Top-3 정밀도에서 뛰어난 성능을 보이며, 방대한 레포지토리에서 '황금 도구 (Golden Tools)'를 정확하게 찾아내는 능력을 입증했습니다.
• 엔드 - 투 - 엔드 실행 성능 (Execution):
  • SoPR (Solvable Pass Rate): 검색기를 포함한 엔드 - 투 - 엔드 설정에서 **54.13%**의 성공률을 기록하여, GPT-3.5 파이프라인 (42.35%) 보다 +11.78%p, 통합 모델 ToolGen 보다 +18% 이상 높은 성능을 보였습니다.
  • SoWR (Solvable Win Rate): 답변의 품질 측면에서도 50.16% 를 기록하여, 기존 오픈소스 모델 (ToolLlama-v2) 보다 14%p 이상 우월했습니다.
• 강건성 (Robustness):
  • 일반화: 보지 못한 도구 (Tool Gen) 와 완전히 새로운 도메인 (Category Gen) 에서도 55.95% 의 높은 성능을 유지하며, 도구 사용의 보편적 메커니즘을 학습했음을 증명했습니다.
  • 노이즈 내성: 검색 결과에 악성 도구 (Adversarial tools) 가 섞여도 성능이 점진적으로 회복되는 적응형 강건성을 보였습니다.

5. 의의 및 결론 (Significance)

ToolOmni 는 LLM 이 정적 도구 집합을 넘어, 동적이고 방대한 오픈 월드 환경에서 스스로 도구를 탐색하고 (Proactive Retrieval), 검증된 논리를 통해 실행 (Grounded Execution) 할 수 있음을 입증했습니다.

• 기술적 의의: 검색과 실행을 분리하여 최적화하는 '분리된 다목적 GRPO' 알고리즘은 희소한 보상 (Sparse Reward) 과 순차적 의존성 문제를 해결하는 새로운 패러다임을 제시합니다.
• 실용적 의의: API 호출 비용이 높은 실제 환경에서도, 불필요한 호출을 줄이고 정확한 도구만 선별하여 전체적인 계산 효율성을 높일 수 있음을 보여줍니다.
• 미래 전망: 이 프레임워크는 멀티모달 도구 확장 및 더 복잡한 장기 계획 (Long-horizon planning) 작업으로의 확장에 대한 토대를 마련했습니다.

결론적으로, ToolOmni 는 LLM 이 단순한 도구 호출기를 넘어, 복잡한 오픈 월드 문제 해결을 위한 탄력적인 문제 해결사 (Resilient Problem Solver) 로 진화할 수 있음을 보여주는 획기적인 연구입니다.