The Tool Illusion: Rethinking Tool Use in Web Agents

1. 연구 배경 및 문제 제기 (Problem)

웹 에이전트 (Web Agents) 는 최근 대규모 언어 모델 (LLM) 을 활용하여 웹 브라우저 상호작용을 자동화하는 분야에서 급격히 발전하고 있습니다. 초기 연구들은 마우스 클릭, 키보드 입력과 같은 저수준의 원자적 행동 (Low-level atomic actions) 에 의존했으나, 이는 오류가 발생하기 쉽고 비효율적이며 에이전트의 탐색 부하를 크게 증가시켰습니다.

이를 해결하기 위해 최근 연구들은 API 나 절차적 함수와 같은 고수준의 도구 (Tools) 를 도입하여 복잡한 행동 추상화를 시도했습니다. 그러나 기존 연구들은 다음과 같은 한계로 인해 도구 사용의 효과에 대한 결론이 명확하지 않았습니다.

• 제한된 실험 규모: 단일 도구 소스 (예: 특정 모델이 생성한 도구) 만 사용하거나, 동질적인 백본 모델 (Backbone models) 만 평가하는 경우가 많음.
• 상충되는 결론: 도구 사용이 약한 모델에 더 유리하다는 주장과 강한 모델에 더 유리하다는 주장이 공존하며, 일관된 근거가 부족함.
• 설계 원리 부재: 효과적인 도구의 설계 원칙이나 도구 사용이 초래하는 부작용 (Side effects) 에 대한 체계적인 분석이 결여됨.

이 논문은 이러한 불확실성을 해소하기 위해, 다양한 도구 소스, 백본 모델, 에이전트 프레임워크, 평가 벤치마크를 아우르는 광범위하고 엄격하게 통제된 실증 연구를 수행합니다.

2. 연구 방법론 (Methodology)

저자들은 웹 에이전트의 도구 사용을 재검토하기 위해 다음과 같은 실험 설계를 적용했습니다.

• 평가 벤치마크: 실제 웹 환경을 시뮬레이션하는 WEBARENA와 시각적 작업을 포함하는 VISUALWEBARENA 두 가지 벤치마크를 사용했습니다.
• 백본 모델 (Backbone Models): 단일 모델이 아닌, 다양한 크기와 계열을 가진 5 가지 모델 (GPT-5, GPT-5-mini, GPT-5-nano, Grok-4.1-R, Mistral-L-3.1) 을 테스트하여 모델 크기에 따른 도구 효과의 변화를 분석했습니다.
• 비교 대상 프레임워크: 도구 설계와 특성이 서로 다른 3 가지 주요 오픈소스 프레임워크를 비교 분석했습니다.
  1. Hybrid-Agent: 인간이 개발한 REST API 기반 도구 (약 2,000 개 이상).
  2. SkillWeaver: LLM(GPT-4o) 이 생성한 도구 (약 400 개 이상).
  3. WALT: LLM(GPT-5-mini) 이 생성하고 URL 조작 등을 최적화한 도구 (소수).
• 분석 차원: 도구 사용 유무에 따른 성공률, 토큰 비용, 행동 효율성 (단계 수), 도구 복잡도, 도구 구성성 (Compositionality), 시각적 정보 (Vision) 의 영향 등을 다각도로 분석했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

가. 도구 생성은 '일방향 능력 증류 (One-way Capability Distillation)'이다

• 핵심 발견: LLM 이 생성한 도구는 도구 생성자 (Synthesizer) 가 도구 사용자 (User) 보다 명확히 강력한 경우에만 일관된 성능 향상을 가져옵니다.
• 상세 결과:
  • 약한 모델 (예: GPT-5-nano) 은 강력한 모델이 만든 도구를 사용할 때 성능이 크게 향상됩니다.
  • 반면, 강력한 모델 (예: GPT-5) 이 약한 모델이 만든 도구를 사용할 경우, 성능이 오히려 저하되거나 일관되지 않은 결과를 보입니다.
  • 이는 도구가 약한 모델의 능력을 보완하는 '증류' 역할을 하지만, 강한 모델에게는 불필요한 오버헤드나 잘못된 지시를 줄 수 있음을 의미합니다.

나. 도구의 복잡성과 포괄성은 성능을 보장하지 않는다

• 핵심 발견: 과도하게 복잡하거나 특정 작업에 종속된 (Task-specific) 도구는 오히려 일반화 능력과 실용성을 떨어뜨립니다.
• 상세 결과:
  • 복잡한 도구 (고수준 추상화) 는 UI 상태에 과도하게 의존하여 실제 실행 중 호출되지 않거나 오류를 유발합니다.
  • 설계 원칙: 도구는 결정론적이고 재사용 가능한 UI 조작 (Deterministic UI operations) 만 캡슐화해야 하며, 맥락에 따른 추론과 계획 (Reasoning & Planning) 은 에이전트가 직접 수행해야 합니다.

다. 기능적 커버리지와 구성성 (Compositionality) 이 핵심

• 핵심 발견: 단일 도구의 완성도보다는 여러 도구를 조합하여 다양한 사용자 의도를 커버하는 능력이 중요합니다.
• 상세 결과:
  • 인간이 개발한 도구 (Hybrid-Agent) 는 여러 도구를 조합하여 복잡한 작업을 해결하는 비율이 높고 성공률도 높았습니다.
  • LLM 생성 도구는 너무 구체적이거나 복잡하여 조합이 어렵고, 실제 작업에서 자주 사용되지 않는 경우가 많았습니다.
  • 효과적인 설계는 "작업 전체를 한 번에 해결하는 도구"가 아니라, "원자적 행동에 가까운 도구들을 유연하게 조합하여 다양한 의도를 충족시키는 것"입니다.

라. 도구의 숨겨진 비용 (Hidden Tax)

• 핵심 발견: 도구가 브라우저 상호작용을 대체한다고 해서 항상 효율성이 향상되는 것은 아닙니다.
• 상세 결과:
  • 토큰 비용: 방대한 도구 라이브러리를 검색하고 선택하는 과정에서 토큰 비용이 급증할 수 있습니다.
  • 행동 오버헤드: 도구 선택, 오류 복구, 파라미터 조정 등을 위해 추가적인 단계가 필요하여 전체 실행 시간이 늘어날 수 있습니다.

마. 시맨틱 스킬 (Semantic Skills) 의 대안적 가치

• 핵심 발견: 실행 가능한 코드 (블랙박스 도구) 대신 자연어로 된 시맨틱 스킬 (화이트박스 지식) 이 강력한 모델에게는 더 효과적일 수 있습니다.
• 상세 결과:
  • 강력한 모델은 자연어로 된 스킬 설명을 분석하고, 부분적으로 따르거나 수정하여 유연하게 활용할 수 있습니다.
  • 반면, 약한 모델은 스킬을 추론하고 적용하는 부담이 커서 직접 실행 가능한 도구를 사용하는 것이 나을 수 있습니다.

바. 시각 정보 (Vision) 의 지속적 유용성

• 핵심 발견: 도구를 사용하더라도 웹페이지 스크린샷과 같은 시각적 정보는 여전히 성능 향상에 기여합니다.
• 상세 결과: 도구는 에이전트가 시각적 정보 부재에 더 강건하게 만들지만, 시각적 입력을 제거할 때의 성능 저하는 여전히 발생합니다. 도구와 시각 정보는 상호 보완적인 역할을 합니다.

4. 의의 및 결론 (Significance)

이 논문은 웹 에이전트 분야에서 도구 사용에 대한 기존 낙관론을 재검토하고, 조건부 유효성 (Conditional Utility) 을 강조합니다.

1. 실증적 기반 강화: 다양한 모델과 프레임워크를 아우르는 체계적인 데이터를 통해, "도구가 무조건 좋다"는 편견을 깨고 구체적인 설계 가이드라인을 제시했습니다.
2. 실용적 설계 원칙 제시:
   • 약한 모델용 도구 생성 시에는 강력한 모델이 생성해야 함.
   • 도구는 너무 복잡하지 않고 조합 가능 (Composable) 해야 함.
   • 에이전트의 추론 능력을 도구 실행과 분리 (Decoupling) 해야 함.
3. 미래 연구 방향: 단순한 도구 라이브러리 확장보다는, 기능적 커버리지와 구성성에 초점을 맞춘 설계, 그리고 시맨틱 스킬과 같은 대안적 접근법의 중요성을 부각시켰습니다.

결론적으로, 이 연구는 웹 에이전트의 도구 사용이 마법 같은 해결책이 아니라, 신중한 설계와 모델 간 상호작용을 고려해야 하는 복잡한 기술적 과제임을 명확히 보여줍니다.