Tool Attention Is All You Need: Dynamic Tool Gating and Lazy Schema Loading for Eliminating the MCP/Tools Tax in Scalable Agentic Workflows

1. 문제 정의: 도구 세금 (The Tools Tax)

이 논문은 대규모 언어 모델 (LLM) 에이전트가 외부 도구와 연결하기 위해 널리 사용되는 모델 컨텍스트 프로토콜 (MCP) 의 근본적인 비효율성을 지적합니다.

• 상태 없는 (Stateless) 스키마 주입: MCP 는 매 대화 턴마다 모든 도구의 전체 JSON 스키마를 프롬프트에 다시 주입합니다. 이는 에이전트가 현재 작업과 무관한 수백 개의 도구 설명을 매번 읽어야 함을 의미합니다.
• 도구 세금 (Tools Tax): 이 불필요한 토큰 오버헤드를 "도구 세금"이라고 부릅니다. 일반적인 46 개 서버 환경에서 매 턴 15,00055,000 토큰, 심한 경우 150,000 토큰 이상의 비용이 발생합니다.
• 3 가지 연쇄적 실패:
  1. 경제적: 토큰 비용이 기하급수적으로 증가하여 운영 비용이 폭증합니다.
  2. 인지적: 컨텍스트 윈도우의 70% 이상을 도구 설명이 차지하면, LLM 의 추론 능력이 급격히 저하됩니다 (할루시네이션 증가, 파라미터 혼동, 작업 기억 상실).
  3. 보안적: 악의적인 도구 설명 (Tool Poisoning) 이 모델의 주의를 흐트러뜨려 에이전트의 제어권을 탈취할 수 있는 공격 표면이 확대됩니다.

2. 방법론: Tool Attention

논문은 "Attention Is All You Need"의 아이디어를 토큰 단위가 아닌 도구 (Tool) 단위로 확장한 미들웨어 계층 메커니즘인 Tool Attention을 제안합니다. 이는 세 가지 핵심 구성 요소로 이루어집니다.

가. 의도 - 스키마 중첩 점수 (Intent-Schema Overlap, ISO)

• 사용자 쿼리와 각 도구의 요약본 (이름 및 간략한 설명) 을 임베딩하여 코사인 유사도를 계산합니다.
• 현재 사용자의 의도와 가장 관련성이 높은 도구들만 선별합니다.

나. 상태 인식 게이트 (State-aware Gating)

• 단순한 의미 유사도뿐만 아니라, 에이전트의 현재 실행 상태 (인증 토큰 보유 여부, 이전 도구 출력, 워크플로우 마일스톤 등) 를 기반으로 도구를 필터링합니다.
• 사전 조건 (Preconditions) 을 만족하지 않는 도구는 즉시 제외됩니다.

다. 2 단계 지연 로딩 (Two-phase Lazy Schema Loading)

• 1 단계 (요약 풀): 모든 도구의 간략한 요약본 (약 60 토큰) 만을 컨텍스트에 상주시켜 도구 존재 자체를 인지시킵니다. 이는 프롬프트 캐싱이 가능하여 효율적입니다.
• 2 단계 (스키마 프로모션): 게이트를 통과한 상위 k 개의 도구에만 전체 JSON 스키마를 필요 시점에 동적으로 주입합니다.
• 할루시네이션 게이트: 모델이 게이트를 통과하지 않은 도구를 호출하려 할 경우, 미들웨어가 이를 차단하고 구조화된 오류를 반환하여 모델이 다시 시도하도록 유도합니다.

3. 주요 기여 (Contributions)

1. 공식적 정량화: 도구 세금의 수학적 표현식을 도출하고, 이것이 유효 컨텍스트 윈도우를 지배하는 조건을 증명했습니다.
2. 새로운 메커니즘 제안: ISO 점수, 상태 게이트, 지연 로딩을 결합한 모델-중립적 (Model-agnostic) 미들웨어 아키텍처를 설계했습니다.
3. 참조 구현체: LangGraph, FAISS, sentence-transformers 등을 기반으로 한 프로덕션 수준의 Python 구현체와 재현 가능한 벤치마크를 오픈소스로 공개했습니다.
4. 정교한 시뮬레이션 평가: 120 개 도구, 6 개 서버로 구성된 합성 벤치마크를 통해 실제 배포 데이터를 기반으로 토큰 수를 보정하여 평가했습니다.

4. 실험 결과

120 개 도구를 가진 6 개 서버 환경에서 500 개의 작업을 시뮬레이션한 결과는 다음과 같습니다.

• 토큰 감소: 매 턴 도구 관련 토큰 수가 47,300 개에서 2,400 개로 95.0% 감소했습니다.
• 유효 컨텍스트 활용도: 토큰 비율 기반의 유효 컨텍스트 활용도 (Effective Context Utilization) 가 24% 에서 91% 로 3.8 배 향상되었습니다.
• 성능 및 비용 (프로젝션):
  • 작업 성공률: 약 72% (기존) → 94% 로 증가.
  • 지연 시간 (Latency): P50 기준 약 52% 감소.
  • 비용: 작업당 비용이 약 86% 절감.
  • 추론 품질: LLM 저지 (LLM-as-judge) 평가 점수가 3.21 에서 4.43으로 향상되었습니다.
• 비교: 정적 가지치기 (Static Pruning) 나 단순 검색 (Simple Retrieval) 방식보다 훨씬 우수한 성능을 보였으며, CLI 방식의 지연 발견 (CLI Lazy) 과 유사한 효율성을 유지하면서도 성공률은 훨씬 높았습니다.

5. 의의 및 결론

• 패러다임 전환: 에이전트 시스템의 확장성을 제한하는 요인이 '원시 컨텍스트 길이'가 아니라 '프로토콜 수준의 효율성'임을 입증했습니다.
• 보안 강화: 게이트 메커니즘을 통해 악성 도구 설명이 모델의 주의를 끄는 것을 원천 차단하여, 도구 중독 공격 (Tool Poisoning Attack) 에 대한 방어력을 자연스럽게 제공합니다.
• 실용성: 복잡한 재구성이 필요 없이 기존 MCP 환경에 미들웨어 레이어로 바로 적용 (Drop-in) 가능하여, 즉시 운영 효율성을 높일 수 있습니다.

이 논문은 "Tool Attention Is All You Need" 라는 제목처럼, 에이전트 시스템의 성능을 극대화하기 위해 불필요한 컨텍스트를 제거하고 의도에 맞는 도구만 동적으로 로드하는 것이 핵심임을 강조합니다.