Resumo Técnico: Redução do Uso de Tokens de Agentes de Estado-em-Contexto usando Minificação

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados como motores de raciocínio para agentes de engenharia de software (SE), particularmente para tarefas em nível de repositório, como as encontradas no benchmark SWE-bench. Nesses fluxos de trabalho, os agentes devem recuperar e raciocinar sobre bases de código extensas, levando a um crescimento rápido nos tamanhos de contexto e alto consumo de tokens. Uma vez que o uso de tokens está diretamente correlacionado com custos operacionais e pode levar à degradação de desempenho devido às limitações de contexto, reduzir efetivamente o tamanho do contexto mantendo a informação relevante é crítico.

Trabalhos recentes de Jiang et al. introduziram agentes de "estado-em-contexto", que simplificam a arquitetura ao alimentar uma versão comprimida de todo o estado do ambiente em um único prompt, em vez de reconstruir o estado incrementalmente via chamadas de ferramentas. No entanto, a análise desses agentes revela que a vasta maioria do consumo de tokens ocorre durante a etapa de reparo, onde o código-fonte domina o prompt. Especificamente, mais de 90% dos tokens no prompt de reparo são consumidos por código-fonte, enquanto instruções em linguagem natural e o ranking de arquivos representam menos de 10%. Este artigo aborda o desafio de reduzir esse consumo de tokens sem incorrer em perdas de desempenho proibitivas.

Metodologia

Replicação e Baseline

Os autores primeiro realizaram uma replicação independente e extensão do agente de estado-em-contexto DirectSolve. Como nenhum artefato público estava disponível, eles implementaram uma versão de "clean-room" baseada nas especificações originais. O fluxo de trabalho envolve três etapas:

1. Ranking: Um LLM classifica os arquivos do repositório com base na relevância para uma descrição de problema usando apenas caminhos de arquivos.
2. Agregação: Os arquivos com melhor classificação são agregados em um contexto até um orçamento de tokens predefinido (limitado a 100.000 tokens neste estudo para garantir uma comparação justa entre modelos).
3. Reparo: Um LLM gera um patch no formato SEARCH/REPLACE baseado no contexto agregado.

Os autores avaliaram este baseline no benchmark SWE-bench Verified usando GPT-5-mini, alcançando uma taxa de pass@1 de 50,0%, consistente com o relatório original de 50,8% usando Gemini-2.5-Pro.

Estratégia de Minificação

Para reduzir o uso de tokens, os autores aplicaram uma série de técnicas de minificação de código aos arquivos fonte antes que fossem passados ao LLM para o reparo. Essas transformações são projetadas para remover ou encurtar elementos lexicais não essenciais enquanto preservam a semântica do programa. As técnicas específicas incluem:

• Remoção de Espaço em Branco de Linha/Operador: Eliminação de linhas em branco e remoção de espaços em branco ao redor de operadores (ex: a + b torna-se a+b).
• Remoção de Comentários/Docstrings: Remoção de comentários e docstrings, que são ignorados em tempo de execução.
• Dedentação (Redução de Indentação): Redução dos níveis de indentação (ex: de 4 espaços para 2) mantendo a consistência dentro dos blocos. Para evitar que o LLM gere patches inválidos devido a incompatibilidades de indentação, o sistema instrui o modelo a produzir blocos SEARCH/REPLACE com um estilo de indentação fixo de 4 espaços, independentemente do formato de entrada.
• Encurtamento de Identificadores: Substituição de nomes de variáveis, funções e classes por aliases mais curtos. Isso foi testado em dois modos:
  • Não preservação de semântica: Substituição direta sem contexto.
  • Preservação de semântica: Renomeação de identificadores e adição de uma tabela de mapeamento ao prompt para que o LLM possa reconstruir os nomes originais.
• Manipulação de Imports: Mesclagem de todos os imports em um único arquivo sintético ou remoção total.

Essas transformações foram integradas ao pipeline de reparo. Pós-geração do patch, os mapeamentos de identificadores foram revertidos, e um procedimento de correspondência tolerante a espaços em branco e diferenças de comentários foi usado para aplicar os patches ao repositório original.

Principais Contribuições

1. Replicação Independente: Uma implementação de "clean-room" do agente de estado-em-contexto DirectSolve, demonstrando que um agente de chamada única e livre de ferramentas pode alcançar desempenho competitivo (50% pass@1) no SWE-bench Verified quando pareado com um modelo capaz (GPT-5-mini).
2. Análise de Alocação de Tokens: Uma análise empírica revelando que o código-fonte no prompt de reparo é o fator dominante no uso de tokens, eclipsando instruções em linguagem natural e prompts de ranking.
3. Framework de Minificação: A proposta e integração de um conjunto de transformações de minificação de código leves e que preservam a semântica, adaptadas para código-fonte Python dentro do fluxo de trabalho de reparo de estado-em-contexto.
4. Avaliação Empírica: Uma avaliação sistemática no SWE-bench Verified mostrando que a minificação reduz o uso médio de tokens de entrada em aproximadamente 42% com uma queda de 12 pontos percentuais na taxa de resolução (de 50,0% para 38,0%).
5. Ablação e Análise de Falhas: Estudos detalhados isolando transformações individuais e combinações empilhadas, quantificando seus trade-offs específicos. Os autores identificaram que, embora a maioria das transformações resulte em perdas modestas de desempenho, a transformação "dedent" causa uma queda significativa na taxa de resolução devido à geração de patches sintaticamente inválidos (erros de indentação).

Resultados

• Eficiência vs. Eficácia: O principal achado é um claro trade-off. A minificação reduz os tokens de entrada médios de ~90.535 para ~52.776 (uma redução de 42%). Isso resulta em uma diminuição absoluta de 12% na taxa de resolução.
• Implicações de Custo: Como os tokens de entrada representam aproximadamente 93% do custo da etapa de reparo, a redução de tokens traduz-se diretamente em economias significativas de custo.
• Especificidades das Transformações:
  • A remoção de docstrings e comentários proporcionou as maiores reduções de tokens com penalidades de desempenho relativamente pequenas (as taxas de resolução permaneceram acima de 40%).
  • A transformação "dedent" foi a principal exceção, causando uma queda na taxa de resolução para 27-36%, dependendo do modelo e da configuração de empilhamento. A análise de falhas indicou que isso ocorreu porque o LLM falhou em restaurar a indentação de 4 espaços exigida no output, levando a erros de IndentationError no código gerado.
  • O empilhamento de múltiplas transformações (excluindo o "dedent") reduziu consistentemente os custos enquanto mantinha o desempenho próximo ao baseline.
• Generalização: As tendências observadas foram estáveis entre diferentes repositórios e níveis de dificuldade de problemas, sugerindo que a abordagem se generaliza bem para diferentes condições.

Significância

O artigo afirma que transformações leves de código-fonte oferecem um caminho promissor para agentes de engenharia de software mais econômicos. Ao demonstrar que uma fração substancial do desempenho baseline pode ser retida enquanto se alcança quase 50% de redução de tokens, o trabalho sugere que a compressão agressiva de contexto é viável para tarefas de nível de repositório. Os autores enfatizam que suas descobertas destacam um trade-off explícito entre eficiência e eficácia, fornecendo uma base baseada em dados para selecionar estratégias de transformação baseadas em requisitos específicos de custo e desempenho. A implementação completa é disponibilizada publicamente para apoiar pesquisas adicionais nesta área.