💻 computer science

Compressing Code Context for LLM-based Issue Resolution

O artigo apresenta o SWEzze, um framework que utiliza a destilação de código guiada por oráculo (OCD) para comprimir o contexto de código de forma eficiente, reduzindo significativamente o custo de tokens e melhorando as taxas de resolução de problemas em LLMs ao eliminar ruído sem perder os elementos essenciais para correção.

Autores originais: Haoxiang Jia, Earl T. Barr, Sergey Mechtaev

Publicado 2026-03-31

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haoxiang Jia, Earl T. Barr, Sergey Mechtaev

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive de software (um modelo de Inteligência Artificial) chamado "SWEzze". Sua tarefa é resolver um crime: encontrar um erro em um código de computador e consertá-lo.

O problema é que, para resolver o caso, você precisa ler milhares de páginas de documentos (o código do projeto). Mas há dois problemas graves:

Custo: Ler tudo isso custa muito dinheiro e tempo.
Confusão: Entre as milhares de páginas, há muita "lixo" (informação irrelevante) que distrai o detetive, fazendo-o esquecer a pista principal.

A maioria dos métodos atuais tenta resolver isso cortando o texto de forma genérica, como se fosse um resumo de livro. Mas isso é perigoso: ao cortar, você pode remover a única página que contém a solução do crime, ou cortar frases que mudam completamente o significado da história.

A Solução: O "SWEzze" e o "Oráculo"

Os autores deste artigo criaram um novo sistema chamado SWEzze. Para entender como ele funciona, vamos usar uma analogia:

1. O Problema da "Caixa Cheia de Palha"

Imagine que o código do projeto é uma caixa gigante cheia de palha. O erro (o bug) é um grão de ouro escondido ali dentro.

Os métodos antigos pegam a caixa inteira e tentam espremer a palha, mas acabam jogando fora o grão de ouro junto com a palha, ou deixam tanta palha que o detetive não consegue achar o ouro.
O SWEzze, em vez de apenas espremer, usa um Oráculo Mágico (um especialista superpoderoso) que sabe exatamente onde está o ouro.

2. A "Distilação Guiada pelo Oráculo" (OCD)

Para ensinar o SWEzze a ser inteligente, os pesquisadores criaram um processo de treinamento chamado OCD:

Eles pegam uma caixa cheia de palha (o código original).
O Oráculo (um modelo de IA muito forte e caro) tenta encontrar o grão de ouro.
O Oráculo começa a tirar pedaços da palha, um por um, e pergunta: "Se eu tirar este pedaço, ainda consigo achar o ouro?"
Se a resposta for "sim", ele joga o pedaço fora. Se for "não" (porque aquele pedaço era essencial para encontrar o ouro), ele guarda.
No final, sobra apenas o mínimo necessário: uma pequena caixa contendo apenas o grão de ouro e as ferramentas exatas para pegá-lo. Nada de palha extra.

3. O Treinamento do SWEzze

Agora, eles usam milhares desses exemplos de "caixas perfeitas" (onde só sobrou o necessário) para treinar o SWEzze.

O SWEzze é um detetive júnior (um modelo leve e barato).
Ele aprende a olhar para a caixa gigante cheia de palha e dizer: "Ah, este pedaço de palha é irrelevante, posso jogar fora. Mas este aqui é uma pista importante, preciso manter!"
Ele aprende a identificar não apenas o que parece importante, mas o que é funcionalmente necessário para o conserto.

Os Resultados: Mais Rápido, Mais Barato e Mais Inteligente

Quando testaram o SWEzze em problemas reais do GitHub (o "SWE-bench"), os resultados foram impressionantes:

Economia de Espaço: O SWEzze conseguiu reduzir o tamanho do código que o detetive precisa ler em 6 vezes. É como transformar uma pilha de 100 livros em apenas 10 páginas essenciais.
Economia de Dinheiro: Como o detetive precisa ler menos, o custo de processamento caiu entre 50% e 70%.
Mais Acertos: Surpreendentemente, ao remover o "lixo" que distraía o detetive, ele acertou mais casos do que quando lia tudo. A taxa de sucesso aumentou em cerca de 5% a 9%.
Estabilidade: Outros métodos tentavam cortar tanto que quebravam a estrutura do código (como cortar as pernas de uma cadeira para economizar madeira). O SWEzze é cuidadoso: ele mantém a estrutura intacta, removendo apenas o que não é necessário.

Resumo em uma Frase

O SWEzze é como um editor de cinema genial que, ao invés de apenas cortar cenas aleatoriamente, sabe exatamente quais cenas são vitais para a história do filme (o conserto do bug) e remove apenas as que distraem a audiência, resultando em um filme mais curto, mais barato de produzir e, ironicamente, mais emocionante e claro.

Em suma: Em vez de dar ao computador "tudo o que existe", damos a ele "apenas o que ele precisa para resolver o problema", economizando dinheiro e melhorando a inteligência do sistema.

1. O Problema

A resolução de problemas (issues) do GitHub por Grandes Modelos de Linguagem (LLMs) avançou significativamente, mas enfrenta um gargalo fundamental: a sobrecarga de contexto de código.

Sobretaxa de Contexto (Overapproximation): Abordagens atuais, que utilizam recuperação heurística ou RAG (Retrieval-Augmented Generation), tendem a retornar arquivos ou funções inteiras para garantir que dependências críticas não sejam perdidas. Isso resulta em contextos que contêm centenas de linhas de código, mas apenas alguns segmentos são realmente relevantes para o reparo.
Custo e Eficácia: Processar esses contextos massivos é computacionalmente caro (custo de inferência escala com o tamanho do contexto). Além disso, o excesso de código irrelevante ("ruído") distrai o modelo, diluindo o sinal de correção do bug e reduzindo a taxa de sucesso na geração de patches.
Falha das Técnicas Atuais:
- Compressores Genéricos: Tratam código como linguagem natural, quebrando a integridade semântica e estrutural (ex: relações definição-uso, restrições de tipo) necessárias para criar um patch correto.
- Ferramentas Específicas de Código: Baseiam-se em similaridade léxica ou estrutural superficial, falhando em identificar "ingredientes de reparo" (fix ingredients) que podem não parecer lexicalmente relacionados ao bug, mas são funcionalmente essenciais.

2. Metodologia Proposta

Os autores propõem um novo framework composto por duas partes principais: OCD (Oracle-guided Code Distillation) e o modelo SWEzze.

A. Oracle-guided Code Distillation (OCD)

O objetivo do OCD é gerar dados de treinamento de alta qualidade, reduzindo contextos de código excessivos para uma Subsequência Mínima Suficiente (MSC). Uma MSC é definida como o menor conjunto de fragmentos de código onde cada elemento é funcionalmente necessário para que o LLM gere um patch que passe nos testes.

Abordagem de Busca: O problema é tratado como uma busca guiada por um "oráculo" (o próprio LLM de reparo + suíte de testes).
Estratégia de Dois Estágios:
1. Algoritmo Genético (GA): Explora o espaço de combinações de contextos para encontrar qualquer subconjunto que permita a geração de um patch bem-sucedido.
2. Depuração Delta Hierárquica (HDD): Minimiza o contexto encontrado pelo GA, removendo sistematicamente unidades redundantes (arquivos, funções, blocos) até atingir a "minimalidade 1" (remover qualquer elemento restante torna o contexto insuficiente).
Representação Hierárquica: O código é decomposto em unidades estruturais (Arquivo, Função/Método, Bloco) para garantir que a compressão mantenha a sintaxe válida. Conteúdo removido é substituído por placeholders (ex: # ... N linhas omitidas) para preservar a estrutura.
Pontuação de Prioridade: Utiliza sobreposição com o patch real, cobertura de testes e sobreposição de símbolos para guiar a busca.

B. O Modelo SWEzze

O SWEzze é um modelo leve (baseado em Qwen3-Reranker-0.6B com adaptação LoRA) treinado para imitar o processo de distilação do OCD.

Treinamento: Aprende a mapear um contexto inicial ( $C_{init}$ ) para sua MSC correspondente ( $\hat{C}$ ), classificando segmentos de código como "retidos" ou "descartados".
Inferência: Funciona sem acesso ao oráculo (sem executar testes ou gerar patches). Ele pontua segmentos do contexto inicial e seleciona os mais relevantes de forma greedy (gananciosa), respeitando um orçamento de tokens.
Tratamento de Desequilíbrio: Como a maioria dos segmentos é irrelevante, o modelo utiliza ponderação de classes e pesos baseados no papel semântico do segmento (ex: definições de esquema vs. utilitários genéricos) para evitar prever apenas "descartar tudo".

3. Principais Contribuições

Framework OCD: Um método inovador para extrair dados de treinamento que definem o contexto mínimo necessário para reparos, superando heurísticas estáticas.
Modelo SWEzze: Um compressor de contexto específico para código que preserva os "ingredientes de reparo" essenciais enquanto remove ruído, mantendo a integridade estrutural.
Validação Empírica: Demonstração de que a compressão focada na suficiência (manter o que é necessário para o reparo) é superior à compressão focada apenas na redução de tokens ou similaridade.

4. Resultados Experimentais

O framework foi avaliado no conjunto de dados SWE-bench Verified (500 issues reais) utilizando três modelos LLM de ponta: GPT-5.2, DeepSeek-V3.2 e Qwen3-Coder-Next.

Taxa de Resolução (Eficácia): O SWEzze superou todos os baselines (incluindo No Compression, LLMLingua-2, LongCodeZip e SWE-Pruner).
- Aumentou a taxa de resolução em 5,0% a 9,2% em relação ao cenário sem compressão.
- Cobriu 93,8% a 99,2% da união de todos os casos resolvidos por qualquer baseline, indicando que ele recupera casos que outros compressores perdem.
Compressão e Custo:
- Mantém uma taxa de compressão estável de aproximadamente 6x através de diferentes modelos.
- Reduz o orçamento total de tokens (prompt + conclusão) em 51,8% a 71,3% em comparação com o cenário sem compressão.
- Reduz o custo de prompt em até 73,4%.
Latência: O SWEzze é 4,0x mais rápido que o LongCodeZip (o baseline mais lento), embora seja um pouco mais lento que compressores genéricos simples. Oferece o melhor equilíbrio entre eficácia, taxa de compressão e sobrecarga de tempo.
Análise de Falhas: A análise manual mostrou que falhas em outros compressores ocorrem principalmente porque eles retêm contexto distrativo ou removem ingredientes críticos devido a uma discriminação semântica imprecisa.

5. Significado e Conclusão

O trabalho demonstra que, para a resolução de problemas em nível de repositório, o objetivo não é maximizar a agressividade da compressão, mas sim preservar o contexto suficiente para o reparo.

Mudança de Paradigma: A pesquisa desloca o foco de "comprimir para relevância" (baseado em similaridade) para "destilar para suficiência" (baseado na capacidade funcional de gerar um patch).
Generalização: O SWEzze, treinado com dados de um modelo específico (Qwen3-Coder-30b), generaliza-se bem para outros modelos e arquiteturas, sugerindo que os "ingredientes de reparo" são dependências semânticas reais do problema, e não artefatos de um modelo específico.
Impacto Prático: A abordagem permite reduzir significativamente os custos de inferência de LLMs em tarefas de engenharia de software sem sacrificar (e até melhorando) a qualidade da solução gerada, tornando a automação de reparos mais viável economicamente.