Semantic Tool Discovery for Large Language Models: A Vector-Based Approach to MCP Tool Selection

Título: Descoberta Semântica de Ferramentas para Grandes Modelos de Linguagem: Uma Abordagem Baseada em Vetores para Seleção de Ferramentas MCP

1. O Problema: Escalabilidade e Sobrecarga de Contexto

Com o avanço dos Grandes Modelos de Linguagem (LLMs) capazes de chamar ferramentas externas, o Model Context Protocol (MCP) emergiu como um padrão para conectar LLMs a diversos conjuntos de ferramentas. No entanto, a implementação atual enfrenta um desafio crítico de escalabilidade:

• Sobrecarga de Tokens: Fornecer todas as ferramentas disponíveis (que podem variar de 50 a mais de 100 por servidor) no contexto do LLM consome uma quantidade massiva de tokens (20.000 a 80.000 tokens apenas para definir as ferramentas).
• Custos e Latência: Isso resulta em custos elevados (ex: $1,50 por requisição em escala) e aumenta a latência.
• Degradação de Precisão: Estudos indicam que o desempenho do LLM diminui com o aumento do comprimento do contexto. Apresentar ferramentas irrelevantes cria "ruído", reduzindo a precisão na seleção da ferramenta correta (sobrecarga cognitiva).
• Limitações de Janela de Contexto: Mesmo modelos com janelas grandes (128K-200K tokens) têm limites práticos quando as definições de ferramentas competem com o histórico de conversa e documentos recuperados.

Abordagens atuais, como o fornecimento estático de todas as ferramentas ou a categorização manual, são ineficientes ou carecem de flexibilidade semântica.

2. Metodologia: Arquitetura de Descoberta Semântica

O artigo propõe uma arquitetura inovadora que utiliza recuperação baseada em vetores para selecionar dinamicamente apenas as ferramentas mais relevantes para uma consulta do usuário.

• Pipeline de Indexação:

  1. Descoberta e Extração: O sistema consulta servidores MCP para enumerar ferramentas e extrai seus esquemas (nome, descrição, parâmetros).
  2. Construção de Documento: Cria-se uma representação textual rica para cada ferramenta, incluindo nome, propósito, capacidades expandidas e descrições de parâmetros.
  3. Geração de Embeddings: Os documentos das ferramentas são convertidos em vetores densos (usando o modelo text-embedding-ada-002).
  4. Armazenamento: Os vetores são indexados em um banco de dados vetorial (Milvus).

• Processamento de Consulta:

  1. A consulta do usuário é convertida em um vetor de embedding.
  2. O sistema realiza uma busca por similaridade no espaço vetorial para recuperar as top-K ferramentas mais similares.
  3. Apenas essas ferramentas (tipicamente 3-5) são injetadas no contexto do LLM, em vez de todo o catálogo.

• Integração com LLM: As ferramentas selecionadas são formatadas e enviadas ao LLM, que executa a chamada. Um loop de feedback opcional pode coletar dados sobre o sucesso da tarefa para refinar o sistema.

3. Principais Contribuições

1. Nova Arquitetura: Primeiro framework de descoberta semântica de ferramentas especificamente projetado para o ecossistema MCP.
2. Algoritmo de Seleção Dinâmica: Um algoritmo baseado na similaridade entre a consulta e a descrição da ferramenta.
3. Avaliação Abrangente: Experimentos extensivos medindo eficiência de tokens, precisão, latência e custo.
4. Conjunto de Dados de Benchmark: Liberação de um dataset curado com 140 consultas e seleções de ferramentas "ground-truth" através de 5 servidores MCP diferentes.
5. Análise de Extensibilidade: Discussão sobre como a arquitetura se aplica a sistemas multi-agente e descoberta de ferramentas entre organizações.

4. Resultados Experimentais

Os testes foram realizados em 5 servidores MCP (Sistema de Arquivos, MySQL, Slack, GitHub, Tempo/Clima) com um total de 121 ferramentas e 140 consultas.

• Eficiência de Tokens: Redução de 99,6% no consumo de tokens relacionados às ferramentas, independentemente do valor de K (número de ferramentas recuperadas).
• Precisão e Recuperação (K=3):
  • Hit Rate (Taxa de Acerto): 97,1% (a ferramenta correta estava entre as top-3).
  • MRR (Mean Reciprocal Rank): 0,91.
  • F1-Score: 58,4% (o ponto ótimo de equilíbrio entre precisão e recall).
• Latência: A recuperação é extremamente rápida, com latência end-to-end inferior a 91ms em todas as configurações, adicionando overhead negligenciável ao pipeline.
• Análise por Domínio:
  • Servidores com descrições distintas (GitHub, MySQL) atingiram taxas de acerto quase perfeitas com K baixo.
  • Servidores com ferramentas semanticamente sobrepostas (Sistema de Arquivos) exigiram K ligeiramente maior para manter o recall, mas ainda se beneficiaram da redução de tokens.

5. Significado e Implicações

• Viabilidade Econômica: A redução de 99,6% nos tokens torna viável economicamente a implantação de sistemas MCP em escala industrial, eliminando custos proibitivos de processamento de definições de ferramentas.
• Melhoria de Desempenho: Contrariando a intuição, fornecer menos ferramentas (mas mais relevantes) melhora a precisão do LLM na chamada de ferramentas, pois reduz a complexidade de decisão e o ruído no contexto.
• Padrão para o Futuro: À medida que o número de ferramentas cresce de centenas para milhares, mecanismos de descoberta inteligente deixam de ser uma otimização e tornam-se uma necessidade.
• Open Source: O sistema foi projetado para integração transparente e é disponibilizado como código aberto, facilitando a adoção imediata.

Em conclusão, o trabalho demonstra que a recuperação semântica baseada em vetores é uma solução robusta e eficiente para o problema de escalabilidade em sistemas de LLMs aumentados por ferramentas, permitindo que o ecossistema MCP cresça sem comprometer o desempenho ou a viabilidade econômica.