Resumo Técnico: SWE-MeM

Declaração do Problema

Agentes de engenharia de software (SWE) de longo horizonte enfrentam desafios significativos ao gerenciar históricos de interação extensos e ruidosos sob orçamentos de contexto limitados. Os agentes existentes normalmente seguem um paradigma ReAct de anexação contínua (append-only), onde o histórico de interação se acumula continuamente. Em tarefas de SWE, isso resulta em trajetórias que frequentemente excedem a janela de contexto de Grandes Modelos de Linguagem (LLMs) ou tornam-se excessivamente ruidosas para um raciocínio eficaz.

As abordagens atuais de gerenciamento de memória sofrem de duas limitações primárias:

1. Rigidez: Métodos existentes dependem de fluxos de compressão estáticos, como sumarização baseada em limiares, dobramento (folding) de nível de subtarefa ou ferramentas de compressão aprendidas com regras fixas. Essas abordagens falham em se adaptar ao valor heterogêneo da informação dentro de uma trajetória. Por exemplo, logs de execução extensos podem ser comprimidos com segurança em qualquer ponto, enquanto um código inspecionado no início de uma trajetória pode permanecer essencial para o raciocínio posterior. Regras fixas não conseguem distinguir entre esses cenários.
2. Objetivos Subótimos: A maioria dos métodos existentes otimiza estritamente a redução de contexto em vez da eficiência na resolução de tarefas. Embora possam reduzir o comprimento de pico do contexto, frequentemente aumentam drasticamente o uso total de tokens ou os passos de interação, levando a uma eficiência e desempenho gerais piores.

Metodologia

Os autores propõem o SWE-MeM, um framework de treinamento projetado para equipar agentes de SWE com capacidades de gerenciamento de memória proativas e sob demanda. A abordagem consiste em três componentes principais:

1. Ferramenta de Gerenciamento de Memória Flexível

O SWE-MeM introduz uma ferramenta que permite aos agentes decidir quando, o quê e como comprimir com base no estado atual da trajetória.

• Mecanismo: O agente invoca uma ferramenta compress com argumentos que incluem uma análise de progresso, um número de passo inicial/final que define o intervalo a ser comprimido, o conteúdo sumarizado e um plano de trabalho restante.
• Operação: A ferramenta substitui um intervalo selecionado do histórico bruto (ex: logs, tentativas falhas) por um resumo de alto nível, preservando a ordem temporal. Crucialmente, os resumos comprimidos podem ser selecionados para compressão adicional em etapas posteriores, permitindo uma redução progressiva de contexto.

2. Ajuste Fino de Currículo com Trajetórias Sintetizadas

Para ensinar ao modelo um gerenciamento de memória eficaz, os autores desenvolveram um fluxo de síntese que aumenta as trajetórias de resolução de tarefas com ações de gerenciamento de memória.

• Síntese de Trajetória: Um modelo base gera os rollouts da tarefa, enquanto um modelo proprietário atua como um "monitor de contexto" para julgar quando a compressão é necessária. Os gatilhos são baseados em duas categorias:
  • Pressão do Orçamento de Contexto: Um agendador probabilístico que aumenta a probabilidade de compressão conforme o orçamento de contexto restante cai abaixo de 20%.
  • Gerenciamento de Memória Proativo: Um mecanismo de "LLM-as-a-judge" detecta situações onde a compressão é benéfica antes que o orçamento se torne crítico, como conclusão de subtarefa, baixa densidade de informação (ex: logs verbosos) ou degradação de foco.
• Filtragem de Qualidade: Um pipeline baseado em regras filtra as trajetórias sintetizadas, mascarando defeitos como razões de redução inapropriadas, intervalos excessivamente curtos ou desalinhamento de intervalo.
• Aprendizado de Currículo: O treinamento ocorre em dois estágios. O primeiro estágio ensina o uso básico da ferramenta em um conjunto completo de trajetórias filtradas. O segundo estágio foca em comportamentos de memória proativa de alta qualidade, utilizando rubricas para garantir que a análise e a compressão sejam semanticamente consistentes e acionáveis.

3. GRPO (Group Relative Policy Optimization) Consciente de Memória

Para otimizar conjuntamente o gerenciamento de memória e a resolução de problemas, os autores propõem uma variante de aprendizado por reforço chamada Memory-aware GRPO.

• Divisão de Trajetória Consciente de Memória: O RL padrão trata os rollouts como sequências contínuas. O SWE-MeM interrompe as trajetórias nos passos de compressão, dividindo-as em sub-trajetórias que começam exatamente do prefixo comprimido que o agente observaria durante a inferência. Isso garante a consistência entre treinamento e inferência.
• Atribuição de Crédito por Passo: O GRPO padrão atribui crédito com base no resultado final. O SWE-MeM introduz máscaras de nível de passo para melhorar a atribuição de crédito:
  • Verificações de Qualidade: Máscaras para ações de memória inapropriadas (ex: razões de redução erradas) em trajetórias bem-sucedidas.
  • Gerenciamento Tardio: Penaliza ações de memória tomadas apenas após o orçamento ter caído criticamente.
  • Falha de Overflow: Atribui penalidades especificamente aos passos onde o agente falhou em invocar o gerenciamento de memória apesar de um baixo orçamento restante.
  • Uso Inválido: Máscaras para passos com chamadas de ferramenta inválidas para evitar o aprendizado de padrões indesejáveis.

Principais Contribuições

1. Ferramenta de Memória Adaptável: Uma interface que permite aos agentes decidir dinamicamente o tempo, o escopo e a estratégia de sumarização da compressão com base nos estados de trajetória em tempo real.
2. Framework de Treinamento: Um novo pipeline que combina trajetórias de memória proativa sintetizadas, ajuste fino de currículo e Memory-aware GRPO para otimizar conjuntamente as decisões de memória e o desempenho da tarefa.
3. Desempenho e Eficiência: Evidência empírica mostrando que o SWE-MeM alcança taxas de resolução superiores enquanto mantém um uso de tokens menor e menos passos de interação em comparação com as linhas de base existentes.

Resultados Experimentais

O framework foi avaliado no SWE-Bench Verified usando modelos Qwen3-4B-Instruct e Qwen3-Coder-30B-A3B sob um orçamento de contexto de 32K.

• Taxas de Resolução:
  • Modelo 4B: Alcançou uma taxa de resolução de 43,4% (SFT + RL), superando todas as linhas de base ReAct e métodos de gerenciamento de memória existentes na faixa de parâmetros <10B.
  • Modelo 30B: Alcançou uma taxa de resolução de 60,2% (SFT + RL), superando as linhas de base de gerenciamento de memória existentes (ex: Context Folding, SWE-Compressor), que tipicamente variam entre 53,8% e 58,8%.
• Eficiência: O SWE-MeM alcançou a maior taxa de resolução mantendo o menor uso de tokens relatado entre os métodos de gerenciamento de memória. Ele utilizou menos tokens do que o agente ReAct base correspondente, enquanto métodos concorrentes frequentemente aumentavam o uso total de tokens.
• Generalização: O método demonstrou melhorias consistentes no SWE-Bench Multilingual e SWE-Bench Pro, sugerindo que os comportamentos aprendidos de gerenciamento de memória transferem-se entre linguagens de programação e tarefas de longo horizonte.

Significância e Alegações

O artigo afirma que o SWE-MeM aborda o gargalo crítico do gerenciamento de contexto em agentes de SWE de longo horizonte, mudando de uma compressão rígida e disparada externamente para um gerenciamento de memória proativo e impulsionado pelo agente.

Os autores enfatizam que um gerenciamento de memória eficaz faz mais do que meramente prevenir o transbordamento de contexto; ele fornece um contexto de trabalho mais limpo que ajuda os modelos a utilizar informações relevantes para a tarefa de forma mais eficaz. Ao treinar os agentes para reconhecer quando a densidade de informação é baixa ou quando uma subtarefa foi concluída, o SWE-MeM reduz a distração de contextos redundantes sem induzir uma reexploração excessiva. Os resultados sugerem que a otimização conjunta das decisões de memória e do desempenho da tarefa via Memory-aware GRPO é essencial para alcançar alto desempenho em ambientes de contexto restritos.