The Scaffolding Matters More Than the Interface: A Controlled Comparison of MCP and CLI Tool Use Across Seven Agent Scaffoldings, Five Language Models, and One Software Task

Resumo Técnico: O Andaime Importa Mais que a Interface

Definição do Problema
O artigo aborda uma discordância significativa na comunidade de engenharia de IA em relação à eficiência de custo dos mecanismos de acesso a ferramentas para agentes de Large Language Models (LLMs). Especificamente, investiga a diferença de custo entre o uso do Model Context Protocol (MCP) — que padroniza a descoberta de ferramentas via esquemas estruturados enviados com cada requisição — e a abordagem de Interface de Linha de Comando (CLI), onde os agentes dependem do conhecimento pré-treinado de comandos de shell.

Relatos anteriores de praticantes estimaram que o uso do MCP incorre em uma penalidade de tokens variando de 3× a 35× em comparação ao uso de CLI, atribuindo isso à transmissão repetida de esquemas de ferramentas na janela de contexto. No entanto, essas estimativas carecem de reprodutibilidade, pois foram geradas usando diferentes andaimes de agentes (scaffoldings), tarefas e condições de medição. O problema central é a incapacidade de isolar o custo da interface (MCP vs. CLI) do custo do andaime do agente (o suporte de software que impulsiona o modelo) e da variabilidade da própria tarefa.

Metodologia
Os autores projetaram uma comparação controlada para isolar essas variáveis, liberando todo o suporte de medição, definição de tarefa e conjunto de dados como código aberto para garantir a reprodutibilidade.

• Tarefa: Uma tarefa de software fixa envolvendo seis operações contra um repositório privado do GitHub: localizar uma issue, criar uma branch, aplicar um patch, realizar commits, abrir um pull request e relatar a contagem de arquivos de um diretório.
• Verificação: A conclusão foi verificada através da inspeção do estado do repositório via API do GitHub, em vez de confiar no autorrelato do agente.
• Variáveis:
  • Andaimes de Agentes (Scaffoldings): Sete andaimes distintos foram testados. Cinco suportam tanto MCP quanto CLI (Claude Code, OpenAI Codex, qwen-code, Hermes, opencode). Dois servem como controles sem qualquer suporte a MCP (pi, Tau).
  • Modelos: Cinco modelos de linguagem foram usados, incluindo modelos hospedados (OpenAI, Anthropic) e dois modelos de pesos abertos rodando localmente (incluindo um modelo denso de 27 bilhões de parâmetros).
  • Braços Experimentais: Para os andaimes capazes de MCP, as execuções foram conduzidas em dois braços isolados: um com o servidor MCP oficial do GitHub anexado, e outro apenas com o shell e o cliente CLI gh.
• Medição de Custo: Os custos foram calculados com base no consumo de tokens de entrada (o principal driver dos custos da janela de contexto) e modelados em custos monetários usando taxas de lista públicas. Execuções falhas foram rastreadas separadamente para analisar o "custo da falha".

Principais Resultados

1. O Andaime Domina o Custo da Interface:
   A descoberta mais significativa é que a escolha do andaime do agente tem um impacto muito maior no custo do que a escolha da interface.

   • Os dois andaimes sem suporte a MCP (pi e Tau) completaram cada execução usando apenas ferramentas de CLI. Eles foram de 5,0× a 28× mais baratos do que os cinco andaimes que suportavam MCP.
   • Para um modelo local de 27 bilhões de parâmetros, o custo variou por um fator de 139× entre diferentes andaimes ao completar a mesma tarefa.
   • A diferença no consumo de tokens de entrada entre o andaime mais barato e o mais caro foi de um fator de 20, enquanto a diferença entre interfaces dentro de um mesmo andaime foi inconsistente.

2. MCP Não é Necessário para Esta Classe de Trabalho:
   O estudo demonstra que, para tarefas envolvendo serviços com clientes de linha de comando maduros (como o GitHub), o MCP não é necessário para o acesso. Os andaimes de controle (pi e Tau) completaram todo o fluxo de trabalho com sucesso usando apenas ferramentas padrão de shell, provando que o "catálogo" de ferramentas fornecido pelo MCP não é um pré-requisito para a execução nestes cenários.

3. Comparação Inconclusiva Dentro do Mesmo Andaime:
   Ao comparar MCP vs. CLI dentro do mesmo andaime, os resultados foram instáveis. A razão do custo de MCP para o custo de CLI em 13 execuções estritamente pareadas variou de 0,43× a 29×.

   • Alguns andaimes (ex: Codex) mostraram uma penalidade massiva para o MCP (16× mais caro).
   • Outros (ex: Hermes, qwen-code) mostraram o MCP como sendo mais barato ou comparável.
   • Essa variabilidade sugere que o custo não é uma propriedade estável do protocolo, mas é altamente sensível a como o respectivo andaime implementa o protocolo (ex: transmissão ansiosa/eager vs. sob demanda).

4. O Custo da Falha:
   Embora a frequência de falha tenha sido semelhante entre os braços, o custo da falha diferiu.

   • 12,9% do dinheiro gasto em execuções de MCP não comprou nenhum trabalho concluído, comparado a 2,2% para execuções de CLI.
   • Isso ocorre porque as falhas no braço de MCP tenderam a ocorrer em configurações caras (ex: pares específicos de modelo/andaime), enquanto as falhas de CLI ocorreram em configurações mais baratas.

5. O Método de Entrega Importa:
   Uma análise secundária sugeriu que como o catálogo do MCP é entregue impacta o custo. Andaimes que transmitiram o esquema completo de 44 ferramentas a cada requisição incorreram em custos significativamente maiores do que o único andaime (Hermes) que buscou descrições de ferramentas sob demanda (7 esquemas por requisição). Isso resultou em uma diferença de 3,1× no uso de tokens entre os métodos de entrega.

6. Aderência do Agente à Interface Atribuída:
   O estudo descobriu que os agentes frequentemente ignoravam sua interface atribuída. Em um experimento complementar, os agentes frequentemente contornavam suas ferramentas MCP para usar comandos de shell ou APIs HTTP diretamente. Isso indica que comparações que não verificam o uso real de ferramentas medem uma "mistura desconhecida" de comportamentos, potencialmente subestimando o verdadeiro custo do MCP se os agentes mudarem silenciosamente para métodos CLI mais baratos.

Significância e Alegações
O artigo alega que o foco predominante na escolha da interface (MCP vs. CLI) obscurece uma variável mais crítica: o andaime do agente.

• Para Agentes de Propósito Específico: Para tarefas bem especificadas e repetíveis (como a testada), os andaimes de propósito geral carregam um overhead desnecessário. Os autores argumentam que "colher" (harvesting) um agente para um pequeno programa de linha de comando customizado (removendo a infraestrutura de propósito geral) gera reduções de custo de ordens de magnitude, superando em muito as economias de trocar de interface.
• Para Modelos Pequenos: O overhead dos andaimes de propósito geral é mais prejudicial para modelos menores, que possuem menos capacidade de contexto para desperdiçar com descrições de ferramentas redundantes. Um modelo de 27B poderia completar a tarefa eficientemente em um andaime mínimo, mas falhou ou tornou-se proibitivamente caro em andaimes de propósito geral.
• Para Benchmarking: O estudo destaca que os benchmarks atuais são frequentemente irreplicáveis porque falham em controlar as diferenças de andaime, métodos de entrega (ansioso/eager vs. sob demanda) e a aderência do agente às instruções. Os autores pedem que estudos futuros verifiquem o uso real de ferramentas e relatem as contagens de transmissão de esquemas para reconciliar as estimativas de custo conflitantes.

Em conclusão, o artigo postula que "o andaime importa mais que a interface". A escolha do suporte de software que impulsiona o modelo é o determinante primário de custo e confiabilidade, muitas vezes superando o protocolo específico usado para o acesso a ferramentas.