🤖 AI

LLM within MCP Matters: Measuring Inefficient Resource Utilization Driven by LLMs

Este estudo revela que os Grandes Modelos de Linguagem frequentemente ignoram dados de referência incorporados de forma eficiente nas instruções do servidor do Protocolo de Contexto de Modelo (MCP) em favor de ferramentas de busca devido a preferências comportamentais, necessitando de mecanismos explícitos ao nível do host para priorizar o contexto da instrução sobre a seleção de ferramentas.

Autores originais: Minhan Cho, Soyoung Park, Kihyeon Jeong, Byeongkyu Jeon, Daejin Choi, Jinyoung Han

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Minhan Cho, Soyoung Park, Kihyeon Jeong, Byeongkyu Jeon, Daejin Choi, Jinyoung Han

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde seu assistente inteligente não apenas conversa com você, mas também possui um superpoder: ele pode recorrer instantaneamente a uma vasta biblioteca de ferramentas e bancos de dados para resolver seus problemas. Esta é a fronteira emocionante dos Modelos de Linguagem de Grande Escala (LLMs) trabalhando com ferramentas. Pense em um LLM como um estudante brilhante e curioso que sabe muito, mas às vezes precisa pesquisar algo. Para ajudar esse estudante, temos um novo padrão chamado Model Context Protocol (MCP). Você pode pensar no MCP como um controle remoto universal que permite ao "host" do estudante (o aplicativo que executa o estudante) entregar ferramentas específicas, dados e um conjunto de instruções sobre como usá-los.

A grande questão que os pesquisadores estão fazendo é: O estudante realmente ouve as instruções? Às vezes, as instruções dizem: "Ei, eu já escrevi a resposta que você precisa bem aqui nesta página; apenas leia-a!" Mas outras vezes, as instruções também dizem: "Ah, e a propósito, há um botão de busca que você pode pressionar se quiser." Acontece que, mesmo os estudantes mais inteligentes podem se distrair com o botão de busca brilhante, ignorando a resposta que está bem na frente deles. Este artigo mergulha exatamente nesse cenário para ver se o "hábito de busca" é mais forte do que a capacidade de ler as instruções e, se for o caso, como podemos consertar isso.

O Grande Experimento: "Ler o Menu" vs. "Chamar o Garçom"

Neste estudo, os pesquisadores montaram uma cozinha digital chamada LexLink, um servidor projetado para ajudar as pessoas a encontrar leis coreanas. Imagine que este servidor é um menu de restaurante. Normalmente, se você quer um prato específico (uma lei), tem que pedir ao garçom (a ferramenta de busca) para ir até a cozinha, encontrar a receita e trazê-la de volta. Isso leva tempo e esforço.

No entanto, o dono do restaurante (o servidor) decidiu ser esperto. Eles imprimiram uma lista de "Especiais do Dia" diretamente na mesa (as instruções do servidor) que incluía os 20 pratos mais populares e seus números de pedido exatos. A regra era simples: Se você quer um prato desta lista, apenas diga o número do pedido diretamente ao garçom. Não se dê ao trabalho de pedir para ele pesquisar na cozinha! Isso deveria ser mais rápido e barato.

Os pesquisadores então convidaram 24 diferentes estudantes de IA (de famílias como Claude, Gemini e GPT) para fazer pedidos neste menu. Eles realizaram um experimento massivo com 54.000 tentativas para ver o que aconteceria. Os estudantes de IA leriam a lista de "Especiais do Dia" e fariam o pedido diretamente? Ou eles ignorariam a lista e apertariam o botão de "Busca" de qualquer maneira?

A Descoberta Chocante: O Botão de Busca é Tentador Demais

Os resultados foram um pouco um choque de realidade. Quando os pesquisadores removeram o botão de busca inteiramente, forçando os estudantes a usar a lista da mesa, 23 de 24 modelos de IA fizeram um trabalho fantástico, lendo a lista e fazendo o pedido corretamente 98% a 100% das vezes. Isso provou que os estudantes podiam ler as instruções; eles apenas não queriam quando um botão de busca estava disponível.

Mas quando o botão de busca estava presente, a história mudou dramaticamente. 9 de 24 modelos tiveram sua taxa de sucesso cair para abaixo de 15%. Eles ignoraram completamente a lista de "Especiais do Dia" e continuaram apertando o botão de busca, mesmo com a resposta bem ali na mesa. Os pesquisadores chamam isso de um "comportamento de preferência". Não é que a IA seja burra demais para ler; é que ela tem o hábito de alcançar a ferramenta que conhece melhor, mesmo quando esta é a escolha ineficiente. É como uma criança que sabe que a resposta está na página 5, mas continua pedindo ao professor para abrir o livro na página 5 de qualquer maneira.

Curiosamente, ser "mais novo" ou "mais inteligente" não garantiu um melhor comportamento. Alguns dos modelos mais recentes na verdade ficaram piores em seguir essa regra específica do que seus irmãos mais velhos. O estudo descobriu que a recência do modelo não prediz quem será um bom ouvinte nesta situação.

Podemos Treiná-los para Ouvir? (A Fórmula Mágica)

Os pesquisadores então tentaram corrigir esse mau hábito mudando as instruções na mesa. Eles testaram três truques diferentes:

O Cabeçalho Mandão (B): Um aviso grande e em negrito dizendo: "DEVE usar a lista! NÃO busque!"
O Exemplo (C): Mostrar uma imagem de alguém fazendo do jeito certo e alguém fazendo do jeito errado.
A Dica (D): Alterar a descrição do botão de busca para dizer: "Verifique a lista primeiro antes de me usar."

Eles misturaram e combinaram esses truques em todas as combinações possíveis. Os resultados mostraram que nenhum truque sozinho funcionou para todos. Na verdade, para alguns modelos de IA, usar apenas o "Cabeçalho Mandão" fez com que eles performassem pior (caindo para 0% em um caso!). É como como um grito alto pode assustar um aluno para que ele trabalhe, mas fazer outro travar.

No entanto, quando combinaram os três truques juntos, os resultados foram incríveis. 20 de 24 modelos saltaram de volta para taxas de sucesso de 86% ou mais. Isso sugere que, embora você não possa apenas gritar com uma IA para consertar seus hábitos, uma abordagem abrangente que combina avisos, exemplos e dicas pode colocar a maioria delas de volta nos trilhos.

O Que Isso Significa para o Futuro

A principal lição é que simplesmente dar uma ferramenta e um conjunto de instruções a uma IA não é suficiente. A IA pode ter um "reflexo de busca" que anula as instruções, levando a desperdício de tempo e recursos. O artigo argumenta que os aplicativos que executam essas IAs (os "hosts") precisam intervir. Em vez de esperar que a IA leia as instruções, o aplicativo deve forçar a IA a verificar as instruções antes mesmo de ela ter permissão para escolher uma ferramenta.

Até que isso aconteça, os desenvolvedores precisam ser cuidadosos. Eles não podem apenas escrever um conjunto de instruções e esperar que funcione para cada IA. Eles precisam testar suas instruções contra os modelos "mais fracos" que pretendem usar, e devem usar uma mistura de exemplos e dicas em vez de apenas comandos mandões. O estudo mostra que, embora o problema seja real, ele também é solucionável com a receita certa de instruções.

Resumo Técnico: LLM dentro de MCP Importa: Medindo a Utilização Ineficiente de Recursos Impulsionada por LLMs

Declaração do Problema

O padrão Model Context Protocol (MCP) padroniza como os servidores expõem dados e ferramentas para Large Language Models (LLMs). Um padrão de design prevalente envolve a incorporação de dados de referência frequentemente usados (ex: tabelas de consulta de identificadores) diretamente nas Instruções do Servidor — o texto do prompt de sistema fornecido ao cliente LLM. Teoricamente, isso permite que o modelo ignore chamadas de ferramentas (como busca) para entradas conhecidas, reduzindo o uso de tokens e a latência.

No entanto, a eficácia deste padrão permanece não verificada em escala. Embora os servidores forneçam essas instruções, o cliente LLM deve escolher segui-las em detrimento dos esquemas de ferramentas disponíveis. Evidências prévias sugerem baixa conformidade com instruções de servidor e falhas em hierarquias de instruções. Este artigo investiga se os clientes LLM realmente consomem os dados incorporados nas instruções ou se exibem uma preferência comportamental por invocar ferramentas de busca mesmo quando os dados necessários são explicitamente fornecidos no contexto.

Metodologia

Os autores conduziram um estudo empírico de larga escala usando o LexLink, um servidor MCP de produção para recuperação de informações jurídicas coreanas.

Testbed: O servidor expõe 26 ferramentas. Para as 20 leis mais solicitadas, as instruções do servidor incorporam uma tabela mapeando nomes de leis para IDs. Um cliente eficiente deve usar o eflaw_service com o ID em cache diretamente, em vez de chamar o eflaw_search para resolver o ID primeiro.
Modelos Avaliados: 24 LLMs de três provedores (9 Anthropic Claude, 6 Google Gemini, 9 OpenAI GPT), abrangendo múltiplas gerações e níveis de capacidade.
Escala: 54.000 tentativas (24 modelos × 9 condições × 5 consultas × 50 rodadas).
Métrica: Hit Ratio ( $\phi$ ): A fração de tentativas onde a primeira chamada de ferramenta do modelo é o eflaw_service correto com o ID em cache. Qualquer outra primeira chamada (incluindo busca ou ID errado) é um erro (miss).
Condições Experimentais:
- Baseline: Instruções de servidor padrão com a tabela incorporada e a ferramenta de busca disponível.
- Diagnóstico (no_s): A ferramenta de busca é removida inteiramente. Isso isola a capacidade (o modelo consegue ler a tabela?) da preferência (ele escolhe a tabela sobre a ferramenta?).
- Intervenções Fatoriais ( $2^3$ ): Três modificações ao nível de instrução foram testadas individualmente e em combinação:
  - B (Diretiva): Um cabeçalho "CRITICAL" ordenando o uso direto de IDs em cache.
  - C (Few-shot): Exemplos contrastando padrões de ferramentas corretos vs. incorretos.
  - D (Dica de Ferramenta): Modificando a descrição da ferramenta de busca para alertar os usuários a verificar a tabela de instruções primeiro.

Principais Resultados

Capacidade vs. Preferência:
- Sob a condição no_s (ferramenta de busca removida), 23 de 24 modelos alcançaram um hit ratio $\ge$ 98%, provando que possuem a capacidade de ler e utilizar dados incorporados nas instruções.
- Sob a condição baseline (ferramenta de busca presente), 9 modelos caíram abaixo de 15%.
- Conclusão: A falha é impulsionada por uma preferência comportamental em invocar a ferramenta de busca em vez de uma falta de capacidade para processar instruções. A mera presença de uma ferramenta de busca anula os dados incorporados para muitos modelos.
Desempenho Não Monotônico:
- A eficiência não correlaciona com a recência ou geração do modelo. Regressões notáveis foram observadas:
  - GPT-4.1 (99%) $\to$ GPT-5 (1%).
  - Gemini 2.5-pro (100%) $\to$ Gemini 3-pro (2%).
  - Claude Opus 4.5 (100%) $\to$ Opus 4.6 (63%).
- Isso sugere que o pós-treinamento em benchmarks agênticos pode inadvertidamente reforçar políticas de chamada de ferramentas que ignoram dados de contexto.
Análise de Intervenção Fatorial:
- Intervenções individuais (B, C ou D) mostraram alta variância e podem ter efeito reverso. Por exemplo, aplicar apenas a Diretiva (B) fez o desempenho do GPT-5.2 cair de 5% para 0%.
- Efeitos de Interação: Existem fortes interações entre os fatores. A combinação de todos os três (BCD) restaurou o desempenho para $\ge$ 86% para 20 de 24 modelos.
- Designs de fator único teriam perdido essas interações críticas e o potencial das intervenções de degradar o desempenho.

Significância e Alegações

O artigo argumenta que a engenharia de prompt por servidor é um contorno (workaround) em vez de uma correção. Como as intervenções individuais podem falhar ou reverter dependendo da família do modelo, confiar apenas no ajuste de instruções é frágil.

Os autores propõem três implicações:

Avaliação de Capacidade Conjunta: As capacidades do servidor MCP não podem ser avaliadas isoladamente; elas dependem fortemente do comportamento do cliente LLM.
Mecanismos do Lado do Host: As aplicações host do MCP (ex: Claude Desktop, Cursor) devem fornecer mecanismos explícitos para priorizar as instruções do servidor no processo de deliberação do cliente LLM (ex: pré-injetar instruções como diretivas de prioridade do sistema ou forçar uma verificação de "consultar instruções primeiro" antes da seleção da ferramenta).
Orientação para Desenvolvedores de Servidor: Desenvolvedores devem incluir exemplos de few-shot (que mostraram efeitos positivos ou negligenciáveis em todos os modelos) e combinar múltiplos tipos de intervenção (B, C e D) para maior cobertura, validando contra os modelos de cliente mais fracos esperados.

O estudo é limitado a um único domínio de servidor (busca jurídica) e interações de turno único. Embora um estudo expandido em quatro servidores MCP adicionais (geográfico, acadêmico, banco de dados, mensagens) esteja em andamento, os autores declaram explicitamente que seus resultados preliminares são citados como uma perspectiva (outlook) e não como evidência para os achados aqui relatados.