Resumo Técnico: Compressão de Esquema de Ferramentas Habilita RAG Agêntico Sob Orçamentos de Contexto Confinados

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) Agênticos enfrentam um conflito crítico de recursos: a janela de contexto necessária para a geração aumentada por recuperação é consumida pelas definições de ferramentas necessárias para o agente funcionar. Em ambientes de produção, agentes frequentemente requerem 20–100+ definições de ferramentas, tipicamente representadas como objetos JSON Schema verbosos. Esses esquemas consomem 300–500 tokens por ferramenta. Consequentemente, em orçamentos de contexto modestos (por exemplo, 8K tokens) com tão poucos quanto 28 ferramentas, o bloco de esquema sozinho (~11.000 tokens) excede inteiramente a janela de contexto. Esse "desbordamento de contexto" deixa orçamento zero para fragmentos de recuperação, prompts de sistema ou histórico de conversação, tornando o sistema RAG não funcional.

Pesquisas existentes sobre compressão de prompts visam principalmente linguagem natural, falhando em abordar as invariantes estruturais (sintaxe, tipos de parâmetros, enums) necessárias para definições de ferramentas legíveis por máquina. Além disso, trabalhos anteriores não avaliaram sistematicamente o trade-off entre tamanho do esquema e desempenho de recuperação em fluxos de trabalho agênticos.

Metodologia

Os autores apresentam o primeiro estudo controlado de compressão de esquema de ferramentas em RAG agêntico, utilizando um desenho experimental rigoroso:

• Benchmarks: Um benchmark "NovaTech-28" construído para o propósito, apresentando 28 definições de ferramentas (banco de dados, recuperação de documentos, computação, comunicação) e 100 perguntas em cinco categorias (single-hop, multi-hop, exigindo ferramenta, etc.). O corpus de recuperação consiste em 40 fragmentos (350 tokens cada).
• Técnica de Compressão: O estudo emprega TSCG (Gerador de Compressão de Esquema de Ferramentas), um método de compressão determinístico e baseado em regras que preserva a sintaxe JSON Schema enquanto alcança economias de 44–50% de tokens.
• Escopo Experimental:
  • Modelos: 14 modelos variando de 1,5B a 32B parâmetros (locais) mais um modelo de API de fronteira (Claude Sonnet 4).
  • Orçamentos de Contexto: Três níveis: 8K, 16K e 32K tokens.
  • Escala: 6.566 chamadas de API controladas.
  • Desenho: Comparações emparelhadas (mesmas perguntas, mesmos modelos) variando apenas o formato do esquema (JSON vs. TSCG) e a alocação resultante de orçamento de contexto.
• Métricas: Métricas primárias incluem Correspondência Exata (EM) e Token F1. Métricas secundárias incluem precisão de seleção de ferramenta e detecção de desbordamento de contexto. A significância estatística é avaliada via testes de postos sinalizados de Wilcoxon e intervalos de confiança bootstrap.
• Validação: Validação externa no HotpotQA (50 perguntas multi-hop) e testes de escalonamento de fronteira até 800 ferramentas usando uma janela de contexto de 200K.

Resultados Principais

1. Habilitação Binária em Orçamentos Confinados (8K)

Em um orçamento de contexto de 8K com 28 ferramentas, esquemas JSON não comprimidos causam 100% de desbordamento de contexto, resultando em pontuações de Correspondência Exata (EM) próximas de zero (média de 2,6%).

• Efeito da Compressão: Aplicar compressão TSCG reduz os tokens do esquema em ~50%, liberando espaço suficiente para caber pelo menos um fragmento de recuperação.
• Aumento de Desempenho: Essa restauração da funcionalidade produz um aumento médio massivo de EM de +20,5 pontos percentuais (pp) em todos os oito modelos testados em 8K. Modelos exibindo "habilitação total" viram um aumento médio de +24,7 pp.
• Mecanismo: O ganho é atribuído à conversão do sistema de um estado de falha total ($k=0$ fragmentos) para um estado funcional ($k \ge 1$ fragmento), capturando a porção mais íngreme da curva de utilização de contexto.

2. Efeitos Impulsionados por Orçamento vs. Efeitos Intrínsecos de Formato

• Orçamento 16K: Ambos os formatos cabem sem desbordamento. O TSCG permite ~26 fragmentos em comparação com ~9 fragmentos do JSON. Apesar do aumento de 3x no contexto de recuperação, a diferença de precisão é negligenciável (mediana $\Delta$EM = -1 pp). Isso confirma que os ganhos de 8K são puramente devidos à realocação de orçamento, não a uma superioridade intrínseca do formato comprimido.
• Orçamento 32K: Ambos os formatos cabem confortavelmente todos os 40 fragmentos. Quatro de cinco modelos mostram $\Delta$EM $\le$ 1 pp, confirmando que, quando as restrições de orçamento são removidas, o formato de compressão não tem impacto significativo na precisão.

3. Validação Externa e Escalonamento

• HotpotQA: Em um conjunto de dados independente, o TSCG habilitou um ganho de +48 pp EM em contexto de 8K, onde os esquemas JSON falharam completamente.
• Escalonamento de Fronteira: Testes com Claude Sonnet 4 em contexto de 200K revelaram que esquemas JSON desbordam em aproximadamente 494 ferramentas, causando falha total do sistema. Esquemas TSCG permaneceram operacionais além de 800 ferramentas, estendendo o intervalo operacional em 63%.

4. Modos de Falha e Análise

• Diluição de Distratores: Em modelos pequenos ($\le$8B parâmetros) em 16K, fornecer mais fragmentos via TSCG às vezes reduziu a precisão. Os autores atribuem isso à "diluição de distratores", onde a capacidade limitada de atenção é sobrecarregada por contexto irrelevante, ecoando o fenômeno "perdido no meio".
• Modelo de Utilização de Contexto: Os autores ajustaram um modelo descritivo $C(k) = C_{max}(1 - e^{-\lambda k}) + C_0$, mostrando que o ganho marginal do primeiro fragmento de recuperação é o maior, com retornos decrescentes daí em diante. Isso explica por que recuperar apenas um fragmento em 8K produz ganhos de precisão desproporcionais.

Significado e Alegações

O artigo reenquadra a compressão de esquema de ferramentas de uma otimização de custo opcional para uma camada de infraestrutura necessária para RAG agêntico em implantações de contexto confinado.

• Habilitação Categórica: A contribuição primária é a descoberta de um efeito de "habilitação binária". Sem compressão, o RAG agêntico em 8K é fundamentalmente quebrado (desempenho próximo de zero); com compressão, torna-se funcional. Esta é uma diferença categórica entre um sistema que não pode operar e um que pode ser iterativamente melhorado.
• Fidelidade sem Perdas: O estudo demonstra que a compressão TSCG é sem perdas na prática; quando os orçamentos de contexto são suficientes (32K), esquemas comprimidos e não comprimidos produzem precisão idêntica, provando que a compressão não introduz artefatos de precisão.
• Necessidade de Escalabilidade: À medida que as contagens de ferramentas crescem em produção (por exemplo, implantações MCP), a compressão de esquema torna-se uma necessidade prática para prevenir desbordamento de contexto, estendendo a contagem viável de ferramentas em mais de 60% mesmo em janelas de contexto grandes.

Os autores concluem que, para implantações de modelos locais e ambientes confinados, a compressão de esquema de ferramentas não é meramente um ajuste de desempenho, mas um pré-requisito para habilitar o raciocínio aumentado por recuperação. Todo o código, dados e checkpoints estão publicamente disponíveis.