SWE-Pruner: Self-Adaptive Context Pruning for Coding Agents

1. Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) demonstraram potencial notável em tarefas de engenharia de software, desde a compreensão de código até a geração autônoma de patches. No entanto, sua eficácia é severamente prejudicada pelo "Muro de Contexto":

• Acúmulo de Tokens: Repositórios de software do mundo real são massivos. Agentes que navegam nesses repositórios acumulam longos históricos de interação e conteúdos brutos de arquivos, esgotando rapidamente as janelas de contexto até mesmo de modelos de longo contexto.
• Custo e Latência: A ingestão cega de grandes volumes de código leva a custos de API proibitivos e alta latência de inferência.
• Diluição da Atenção: Contexto excessivo introduz ruído, causando "diluição da atenção" e alucinações, onde o modelo perde o foco em detalhes críticos de implementação.
• Limitações das Soluções Existentes: Métodos atuais de compressão de contexto (por exemplo, LongLLMLingua, Selective-Context) dependem de métricas estáticas como Perplexidade (PPL) ou autoinformação. Esses métodos são agnósticos à tarefa e frequentemente operam no nível de token, o que interrompe a estrutura sintática e lógica do código, tornando-o inutilizável para depuração ou compilação. Eles falham em se adaptar aos objetivos dinâmicos e em evolução das interações de agentes multi-turno.

2. Metodologia: SWE-Pruner

Os autores propõem o SWE-Pruner, um framework de poda de contexto autoadaptativo projetado especificamente para agentes de codificação. Ele opera como middleware entre o agente e o ambiente, interceptando comandos de leitura de arquivos (por exemplo, cat, grep) para filtrar o contexto bruto antes que ele alcance o LLM.

Componentes Principais

1. Geração de Dica de Objetivo:

   • Em vez de compressão estática, o agente é instruído a gerar uma Dica de Objetivo — uma descrição em linguagem natural de sua necessidade atual de informação (por exemplo, "Focar na lógica de tratamento de erros no módulo Auth").
   • Essa dica é passada como um parâmetro opcional (context_focus_question) para o sistema de poda, permitindo filtragem consciente da tarefa.

2. Leitor Neural Leve:

   • Arquitetura: Um modelo de 0,6B de parâmetros baseado no Qwen3-Reranker-0.6B. É projetado para baixa latência e alta eficiência.
   • Mecanismo: O leitor trata a poda de contexto como um problema de reclassificação. Dada uma consulta (Dica de Objetivo) e um contexto (conteúdo bruto do arquivo), ele calcula pontuações de relevância.
   • Granularidade por Linha: Diferentemente da poda em nível de token, o SWE-Pruner agrega pontuações de token ao nível de linha. Isso garante que estruturas sintáticas (por exemplo, definições de função, blocos de classe) sejam preservadas intactas, impedindo a quebra do código.
   • Objetivo de Treinamento: O modelo é treinado usando uma perda de Campo Aleatório Condicional (CRF) para modelar dependências sequenciais entre decisões de "manter" e "podar", garantindo retenção coerente em nível de linha. Também inclui uma cabeça de reclassificação em nível de documento para manter a relevância global.

3. Construção de Dados de Treinamento:

   • Como não existe nenhum conjunto de dados com anotações de relevância em nível de linha para agentes de codificação, os autores construíram um corpus poliglota de 61K amostras usando um paradigma professor-aluno.
   • Um LLM professor (Qwen3-Coder-30B) sintetizou consultas orientadas a tarefas e máscaras de retenção em nível de linha a partir de repositórios do GitHub, cobrindo nove tarefas agênticas distintas (por exemplo, depuração, refatoração, adição de recursos).
   • Um mecanismo de "LLM como Juiz" filtrou os dados para garantir anotações de alta qualidade.

4. Fluxo de Trabalho de Integração:

   • O framework é integrado em loops de agentes (por exemplo, Mini SWE Agent, OpenHands). Quando um agente lê um arquivo, a saída bruta é enviada ao leitor junto com a Dica de Objetivo. O leitor retorna um Contexto Podado contendo apenas as linhas relevantes, que o agente então processa.

3. Principais Contribuições

• Framework de Poda Consciente da Tarefa: Introduziu uma abordagem inovadora que adapta dinamicamente a compressão de contexto com base nos objetivos específicos de raciocínio do agente, indo além da compressão estática baseada apenas em conteúdo.
• Preservação Estrutural em Nível de Linha: Projetou um leitor neural leve que opera no nível de linha, preservando a validade sintática e a estrutura lógica, o que é crítico para a correção do código.
• Arquitetura Eficiente: Desenvolveu um modelo de 0,6B de parâmetros que introduz latência negligenciável (<100ms) enquanto alcança redução significativa de tokens, tornando-o prático para fluxos de trabalho de agentes em tempo real.
• Pipeline de Dados Sintéticos: Criou um pipeline rigoroso para gerar dados supervisionados de alta qualidade em nível de linha para poda de código, abordando uma lacuna crítica de dados no campo.

4. Resultados Experimentais

Os autores avaliaram o SWE-Pruner em quatro benchmarks: SWE-Bench Verified e SWE-QA (tarefas de agentes multi-turno), e Long Code Completion e Long Code QA (tarefas de turno único).

• Tarefas de Agentes Multi-Turno (SWE-Bench Verified):

  • Redução de Tokens: Alcançou redução de 23–38% no consumo total de tokens.
  • Taxa de Sucesso: Surpreendentemente, as taxas de sucesso melhoraram em 1,2–1,4 pontos percentuais (por exemplo, de 70,6% para 72,0% com Claude Sonnet 4.5).
  • Eficiência: Reduziu rodadas de interação em 18–26%, indicando que os agentes tomam decisões mais decisivas com contexto focado.
  • Custo: Redução significativa nos custos de API (até ~36% de economia).

• Tarefas de Turno Único (Long Code QA/Completion):

  • Taxa de Compressão: Alcançou até 14,84× de compressão no Long Code QA sob restrições estritas, superando amplamente baselines como LLMLingua2 e RAG.
  • Desempenho: Mantive ou melhorou ligeiramente a precisão (por exemplo, 58,71% de precisão em 14,84× de compressão) em comparação com o contexto completo, enquanto as baselines em nível de token sofreram degradação severa de desempenho sob alta compressão.

• Eficiência e Latência:

  • O leitor de 0,6B adiciona sobrecarga mínima (<100ms de latência do primeiro token), que é amortizada pela redução massiva nos custos de decodificação do LLM a jusante.
  • Correção AST: O SWE-Pruner manteve 87,3% de correção AST (validade sintática), superando significativamente métodos em nível de token (que caíram para perto de 0% ou <13%).

5. Significado

• Resolvendo o Muro de Contexto: O SWE-Pruner fornece uma solução escalável para as limitações da janela de contexto de agentes de codificação, permitindo que eles naveguem em bases de código grandes e complexas sem incorrer em custos proibitivos ou perder o foco.
• Mudança de Paradigma: Desloca a gestão de contexto de compressão estática para seleção dinâmica e orientada a objetivos, imitando como desenvolvedores humanos "folheiam" o código com base em objetivos específicos de depuração ou recursos.
• Viabilidade Prática: O framework é leve, agnóstico ao modelo (funciona com Claude, GLM, Qwen, etc.) e integra-se perfeitamente como middleware, tornando-o imediatamente aplicável à infraestrutura existente de agentes.
• Qualidade sobre Quantidade: Os resultados demonstram que menos contexto é frequentemente melhor para agentes de codificação, desde que o contexto retido esteja estruturalmente intacto e semanticamente relevante para a tarefa atual. Isso desafia a suposição predominante de "mais contexto é melhor" na pesquisa de LLMs de longo contexto.