Semantic Tool Discovery for Large Language Models: A Vector-Based Approach to MCP Tool Selection

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 외부 도구 (Tool) 를 호출하여 복잡한 작업을 수행할 수 있는 능력을 갖추고 있습니다. Anthropic 이 제안한 모델 컨텍스트 프로토콜 (MCP) 은 LLM 을 다양한 도구 세트로 연결하는 표준화된 프레임워크로 부상했습니다.
• 문제점:
  • 확장성 한계: 단일 MCP 서버는 수십 개에서 수백 개의 도구를 노출할 수 있으며, 생산 환경에서는 여러 서버가 통합됩니다.
  • 토큰 오버헤드: 모든 도구를 LLM 컨텍스트에 제공하는 방식 (Static Tool Provisioning) 은 각 도구 스키마가 200800 토큰을 소모하므로, 100 개 도구의 경우 20,00080,000 토큰이 소모됩니다. 이는 막대한 비용 증가와 토큰 제한 (Context Window) 을 초래합니다.
  • 정확도 저하: 관련 없는 도구가 컨텍스트에 포함되면 LLM 의 인지 과부하 (Cognitive Overload) 가 발생하여 도구 선택 정확도가 떨어집니다.
  • 기존 접근법의 한계: 수동 분류는 유연성이 부족하고, 기존 RAG(검색 증강 생성) 연구는 주로 문서 검색에 집중되어 있어 구조화된 실행 가능한 도구 선택에는 적용되지 않았습니다.

2. 제안된 방법론 (Methodology)

이 논문은 벡터 기반 검색 (Vector-based Retrieval) 을 활용한 새로운 시맨틱 도구 발견 (Semantic Tool Discovery) 아키텍처를 제안합니다.

• 시스템 아키텍처:

  1. 도구 인덱싱 파이프라인: MCP 서버에서 도구를 탐색하고, 스키마 (이름, 설명, 파라미터 등) 를 추출하여 풍부한 텍스트 문서로 구성합니다. 이를 Dense Embeddings(밀집 임베딩) 으로 변환하여 벡터 데이터베이스 (Milvus 등) 에 저장합니다.
  2. 쿼리 처리: 사용자의 자연어 쿼리를 임베딩하고, 벡터 공간에서 유사도 검색 (Similarity Search) 을 수행하여 가장 관련성 높은 상위 K 개의 도구 (일반적으로 3~5 개) 만 동적으로 선택합니다.
  3. LLM 통합: 선택된 소수의 도구만 LLM 컨텍스트에 주입하여 도구 호출을 수행합니다.
  4. 피드백 루프: 실제 호출된 도구와 작업 성공/실패 데이터를 수집하여 임베딩이나 검색 파라미터를 미세 조정합니다.

• 핵심 기술:

  • 임베딩 모델: text-embedding-ada-002 사용 (1536 차원).
  • 유사도 측정: 내적 (Dot Product) 기반 검색.
  • 검색 파라미터: Top-K (1~10) 를 조절하여 정밀도 (Precision) 와 재현율 (Recall) 의 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

1. 새로운 아키텍처: MCP 생태계를 위해 설계된 최초의 시맨틱 도구 발견 계층을 제안했습니다.
2. 포괄적인 평가: 다양한 쿼리 유형, 도구 세트, LLM 모델을 대상으로 토큰 효율성, 정확도, 지연 시간, 비용을 측정했습니다.
3. 실용적 구현: 기존 MCP 기반 시스템에 최소한의 통합 오버헤드로 적용 가능한 오픈소스 구현체를 제공합니다.
4. 벤치마크 데이터셋: 5 개 MCP 서버의 121 개 도구에 대한 140 개의 쿼리와 정답 도구 선택을 포함한 데이터셋을 공개했습니다.
5. 확장성 분석: 멀티 에이전트 시스템, 조직 간 도구 발견, 동적 도구 조합 등으로의 확장 가능성을 논의했습니다.

4. 실험 결과 (Results)

121 개 도구 (5 개 MCP 서버) 와 140 개 쿼리를 대상으로 한 실험 결과는 다음과 같습니다.

• 토큰 효율성: 도구 관련 토큰 소비를 99.6% 감소시켰습니다. (전체 도구 목록 제공 대비)
• 정확도 (Hit Rate & MRR):
  • K=3(상위 3 개 도구) 일 때 최적의 성능을 보였습니다.
  • Hit Rate@K=3: 97.1% (질문의 97.1% 에서 올바른 도구가 상위 3 개 안에 포함됨).
  • MRR (평균 역순위): 0.91.
  • Precision@K=1: 92.1% (단일 도구만 선택했을 때도 매우 높은 정확도).
• 지연 시간 (Latency): 모든 구성에서 91ms 미만의 검색 지연 시간을 기록하여 LLM 추론 시간에 비해 무시할 수준임을 확인했습니다.
• 도메인별 분석:
  • GitHub, MySQL: 도구 설명이 명확하여 낮은 K 값에서도 높은 정확도를 보였습니다.
  • Filesystem: read_file, write_file 등 의미적 중복이 많아 재현율 확보를 위해 더 높은 K 값이 필요했습니다.
  • Time/Weather: 도구 수가 적어 (10 개) 재현율과 F1 점수가 상대적으로 높게 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 경제적 타당성: 토큰 비용의 99% 이상 절감으로 대규모 MCP 배포의 경제적 장벽을 해소했습니다.
• 성능 향상: 모든 도구를 제공하는 방식보다 적은 수의 관련 도구만 제공하는 것이 LLM 의 도구 호출 정확도를 오히려 높인다는 역설적인 사실을 입증했습니다. 이는 LLM 이 도구 선택에 소모되는 인지 자원을 파라미터 구성 및 실행 계획에 집중할 수 있게 하기 때문입니다.
• 실용성: K=3 이 대부분의 배포에 대한 최적 운영점으로 제안되었으며, 검색 지연 시간은 시스템 병목이 되지 않습니다.
• 미래 전망: 이 아키텍처는 멀티 에이전트 라우팅, 조직 간 도구 마켓플레이스, 동적 도구 체인 구성 등으로 확장 가능하며, 도구 수가 수천 개로 증가하는 미래 에이전트 AI 생태계에서 필수적인 기술로 평가됩니다.

이 연구는 LLM 기반 에이전트 시스템이 수백 개의 도구 중에서도 사용자의 의도에 맞는 도구를 실시간으로, 효율적으로, 그리고 정확하게 선별할 수 있는 새로운 패러다임을 제시했습니다.