💬 NLP

SWE-Pruner Pro: The Coder LLM Already Knows What to Prune

O SWE-Pruner Pro aprimora agentes de codificação ao aproveitar suas representações internas para podar diretamente saídas de ferramentas irrelevantes por meio de um cabeçalho leve, alcançando economia significativa de tokens e melhor desempenho de tarefas sem exigir classificadores separados.

Autores originais: Yuhang Wang, Yuling Shi, Shaoqiu Zhang, Jialiang Liang, Shilin He, Siyu Ye, Yuting Chen, Kai Cai, Xiaodong Gu

Publicado 2026-07-21

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuhang Wang, Yuling Shi, Shaoqiu Zhang, Jialiang Liang, Shilin He, Siyu Ye, Yuting Chen, Kai Cai, Xiaodong Gu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive superinteligente tentando resolver um mistério massivo dentro de uma biblioteca gigante e infinita. Você tem um assistente robô que consegue ler qualquer livro, mas toda vez que ele pede uma página a um bibliotecário, o bibliotecário lhe entrega uma pilha de papéis que às vezes é apenas uma única frase e outras vezes mil páginas de texto. O problema? Seu assistente robô tem um tempo de atenção muito curto. Se você fornecer texto demais de uma só vez, ele fica sobrecarregado, começa a esquecer as pistas e comete erros. Este é o mundo dos "agentes de codificação" — programas de IA que escrevem software ao ler arquivos e executar comandos. Para evitar que eles se afoguem em informações, cientistas têm tentado ensinar como "podar", ou aparar, as partes chatas do texto que eles leem.

Por muito tempo, a solução era como contratar um segundo editor separado para ficar ao lado do robô. Toda vez que o robô recebia uma nova pilha de papéis, esse editor lia tudo, decidia o que era importante e jogava o resto fora antes mesmo de o robô poder olhar para aquilo. Mas isso era lento e desajeitado; era como pedir para um humano ler um livro apenas para dizer a outro humano o que ler. A grande questão era: o próprio robô conseguiria saber o que jogar fora sem precisar de uma segunda pessoa para fazer o trabalho?

Este artigo apresenta um novo truque inteligente chamado SWE-Pruner Pro. Os pesquisadores descobriram que o cérebro do robô já sabe quais linhas de texto são importantes e quais são apenas ruído. É como se o robô estivesse lendo os papéis e, lá no fundo, sentindo um pequeno "zumbido" de importância para as pistas principais e um sinal de "tédio" para o conteúdo irrelevante. Em vez de contratar um editor separado, a equipe construiu um "decodificador" minúsculo e leve que escuta esses zumbidos internos. Conforme o robô lê a saída de uma ferramenta, este decodificador traduz instantaneamente esses sentimentos em um rótulo simples de "manter" ou "deletar" para cada linha individual.

Os resultados são surpreendentemente eficazes. Ao ouvir os próprios sinais internos do robô, o sistema consegue cortar até 39% do texto que o robô precisa processar, economizando uma quantidade massiva de poder computacional e tempo. Crucialmente, o robô não fica confuso nem comete mais erros; na verdade, em alguns desafios de codificação difíceis, o robô resolveu 3,8% mais problemas do que antes porque não se perdeu no ruído. O artigo mostra que não precisamos construir ferramentas externas complexas para gerenciar a memória de uma IA; às vezes, a IA já possui o mapa, nós apenas precisamos aprender como lê-lo.

Resumo Técnico: SWE-Pruner Pro

Declaração do Problema

Agentes de codificação operando em ambientes de múltiplos turnos acumulam extensas saídas de ferramentas (ex: cat, grep, ls, logs de execução de python) durante sua interação com bases de código. Essas saídas frequentemente contêm redundância significativa, consumindo a maior parte do orçamento de tokens por trajetória e desencadeando a degradação de contexto longo. As soluções de poda de contexto existentes dividem-se em duas categorias:

Compressão de propósito geral: Métodos como LLMLingua2 ou Selective Context pontuam tokens com base em métricas fixas (ex: perplexidade, estrutura sintática). Estes falham em se adaptar ao foco evolutivo da tarefa do agente.
Poda específica à tarefa: Trabalhos anteriores como o SWE-Pruner condicionam a poda à intenção do agente, mas exigem um modelo de pontuação externo e uma consulta explícita de "dica de objetivo" (goal-hint) que o agente deve gerar a cada turno. Isso introduz overhead e latência adicionais.

Ambas as abordagens tratam o sinal de poda como uma quantidade externa a ser reconstruída, ignorando o fato de que o modelo principal (backbone) do agente já processou a saída da ferramenta e provavelmente codificou informações de relevância dentro de suas representações internas.

Metodologia: SWE-Pruner Pro

O SWE-Pruner Pro propõe ler o sinal de poda diretamente das representações ocultas (hidden states) internas do backbone do agente, eliminando a necessidade de modelos de pontuação externos ou consultas explícitas de "dica de objetivo". O método opera diretamente dentro do loop de inferência do agente.

Mecanismo Central

Utilização de Representação Interna: Quando o agente lê uma resposta de ferramenta ( $r_t$ ), o backbone congelado realiza um prefill padrão, gerando estados ocultos do último nível ( $h_i$ ) para cada token. O SWE-Pruner Pro anexa um cabeçalho de poda leve a esses estados existentes.
Arquitetura do Cabeçalho de Poda:
- Embedding Sensível ao Comprimento: Um embedding aprendido $e(N)$ , condicionado à contagem total de linhas $N$ da resposta, é adicionado via broadcast a cada estado oculto. Isso permite que o modelo ajuste sua estratégia de poda com base no comprimento da resposta (ex: sendo mais conservador com saídas curtas onde cada linha é crítica).
- Classificador Não Linear: Uma pequena rede feed-forward (LayerNorm + dois blocos Linear-GELU-Dropout) mapeia os estados ocultos aumentados para um logit de manter ou podar. Esta não linearidade é necessária para resolver a sobreposição no espaço de representação observada em experimentos de sondagem linear.
- Agregação de Decisão: Os logits ao nível de token são agregados via voto majoritário dentro de cada linha para produzir uma decisão binária de manter/podar para a linha inteira.
Estratégia de Treinamento:
- Dados: O cabeçalho é treinado em 22.609 trajetórias de múltiplos turnos anotadas pelo Claude Sonnet 4.6 com rótulos de manter/podar por linha.
- Função de Perda: Os autores utilizam uma per-sample balanced focal loss (perda focal balanceada por amostra). Ao contrário da focal loss padrão que equilibra globalmente, esta abordagem calcula a perda separadamente para tokens de "manter" e "podar" dent dentro de cada amostra e os média com peso igual. Isso garante que amostras com taxas de manutenção extremas (ex: apenas 3% das linhas mantidas) contribuam igualmente para o objetivo, evitando que o modelo sofra overfitting para a taxa média de manutenção (~30%).
Integração de Inferência: O cabeçalho roda "in-server" durante a fase de prefill. Ele reutiliza os estados ocultos gerados para a resposta da ferramenta, adicionando apenas uma única passagem direta do pequeno cabeçalho. A resposta podada ( $\tilde{r}_t$ ) substitui a resposta bruta no contexto para o próximo turno, enquanto a geração do turno atual ainda atende à resposta bruta completa.

Principais Contribuições

Descoberta de Sinal: O artigo demonstra que as representações internas do backbone de um agente já codificam a importância das linhas das saídas de ferramentas. Uma simples sondagem linear atinge um AUC de 0,83, provando que o sinal de "manter-ou-podar" existe sem reconstrução externa.
Arquitetura: Introdução de um cabeçalho leve, o SWE-Pruner Pro, que utiliza um embedding sensível ao comprimento e uma per-sample balanced focal loss para tomar decisões de poda precisas diretamente dos estados congelados do backbone.
Eficiência: O método evita chamadas extras de modelo e consultas explícitas de "dica de objetivo", adicionando um overhead de inferência limitado enquanto alcança uma redução significativa de tokens.

Resultados Experimentais

O método foi avaliado em dois backbones de pesos abertos (MiMo-V2-Flash e Qwen3-Coder-Next) em quatro benchmarks de múltiplos turnos: SWE-Bench Verified, SWE-QA, SWE-QA-Pro e Oolong.

Economia de Tokens: O SWE-Pruner Pro é o único método entre sete avaliados que reduz o uso de tokens de ponta a ponta em todas as configurações.
- Até 39% de redução no SWE-QA-Pro (Qwen3-Coder-Next).
- 30% de redução no benchmark de contexto longo Oolong (MiMo-V2-Flash).
- Em contraste, outros métodos (ex: LLMLingua2) às vezes aumentaram o uso de tokens em até 190% em tarefas de contexto longo devido ao overhead.
Qualidade da Tarefa:
- SWE-QA/Pro: Mantém a qualidade da tarefa dentro de uma banda estreita do baseline não podado (ex: mudança de pontuação de +0,02 no SWE-QA).
- Oolong: Melhora a precisão em +2,2 pontos no MiMo-V2-Flash.
- SWE-Bench Verified: No MiMo-V2-Flash, melhora a taxa de resolução em +3,8% enquanto reduz os tokens de entrada em 7,4% comparado ao baseline não podado. No Qwen3-Coder-Next, alcança a maior redução de tokens de entrada (-13,5%) com a menor degradação na taxa de resolução (-1,2%).
Latência: O cabeçalho in-server adiciona aproximadamente 15,0% de tempo de parede (wall time) agregado ao tempo total de geração, um custo compensado pela redução do tamanho do contexto para turnos subsequentes.

Significância e Alegações

O artigo alega que o "julgamento de relevância" necessário para a poda de contexto não é um sinal externo que deve ser elicitado via consultas ou modelos adicionais, mas já está presente nas representações formadas pelo backbone enquanto lê passivamente uma observação.

Mudança de Paradigma: Em vez de construir a poda ao redor do agente (exigindo modelos externos ou consultas explícitas), o SWE-Pruner Pro simplesmente lê o sinal que o agente já formou.
Impacto Prático: Esta abordagem resolve o trade-off qualidade-compressão observado em trabalhos anteriores, permitindo uma poda agressiva (até 39% de economia de tokens) sem degradar o desempenho da tarefa e, em alguns casos, melhorando-o ao mitigar a degradação de contexto longo.
Generalização: Embora avaliado em tarefas de codificação centradas em Python, o pipeline é independente de linguagem e demonstrou preservar a economia de tokens e a qualidade em tarefas de contexto longo de linguagem natural (Oolong), sugerindo que o paradigma se transfere entre domínios.

Os autores concluem que, para agentes de codificação, o caminho mais eficiente para o gerenciamento de contexto é alavancar o estado interno do próprio backbone, evitando a latência e a complexidade de mecanismos de pontuação externos.