Resumo Técnico: Poda de Contexto para Agentes de Codificação via Raciocínio Latente Multi-Critério

Declaração do Problema

Agentes de codificação baseados em LLM (por exemplo, SWE-agent, OpenHands) enfrentam uma "parede de contexto" crítica. Embora frameworks de última geração automatizem tarefas complexas em nível de repositório, os agentes gastam aproximadamente 67–76% de seu orçamento de tokens simplesmente lendo arquivos. Este inchaço de contexto incorre em custos de API proibitivos e desencadeia "diluição da atenção" e o fenômeno "perdido no meio", onde segmentos de código irrelevantes degradam a precisão do raciocínio.

Métodos de poda aprendidos existentes, como o SWE-Pruner, enquadram a redução de contexto como uma tarefa de rotulagem de sequência estruturada usando um Campo Aleatório Condicional (CRF) de objetivo único. No entanto, essa formulação cria um gargalo de modelagem: tenta modelar todas as facetas da relevância do código (por exemplo, faixas semânticas contíguas e linhas de suporte estrutural esparsas, como imports ou pares de fluxo de controle) com uma única matriz de transição. Consequentemente, o modelo tende a blocos semânticos densos e frequentemente descarta linhas estruturalmente necessárias (por exemplo, imports, cabeçalhos de classe, blocos try/except) que possuem baixas pontuações semânticas, mas são essenciais para a validade sintática e o raciocínio do agente. Isso leva a sintaxe quebrada, repetidas tentativas de retentativa do agente e, em última análise, maior consumo de tokens do que as linhas de base não podadas.

Metodologia: LaMR (Multi-Critério Latente)

Os autores propõem o LaMR, um framework de poda estruturada que decompõe a relevância do código em dimensões de qualidade interpretáveis, modeladas por cabeças CRF dedicadas e fundidas por meio de uma rede de gate adaptativa à consulta.

1. Formulação Multi-Critério Latente

Em vez de uma única pontuação de relevância, o LaMR decompõe os motivos de retenção em $K$ critérios latentes. Na prática, os autores utilizam duas dimensões:

• Evidência Semântica: Linhas diretamente relevantes para a consulta (relevância temática).
• Suporte de Dependência: Linhas estruturalmente necessárias para interpretar a evidência (imports, cabeçalhos de escopo, irmãos de fluxo de controle como try/except).

Cada dimensão $k$ é modelada por uma cabeça CRF dedicada com sua própria matriz de transição aprendível $T^{(k)}$. Isso permite que o modelo aprenda dinâmicas sequenciais distintas: a relevância semântica favorece blocos contíguos longos (alta auto-transição), enquanto o suporte de dependência tolera alternâncias frequentes (linhas dispersas e estruturas emparelhadas).

2. Gate Adaptativo à Consulta

Uma rede de gate leve do tipo Mixture-of-Experts (MoE) pondera dinamicamente as emissões por critério com base na consulta do agente. Para cada token $t$, o gate produz pesos $g_t \in \Delta^{K-1}$, e a emissão fundida é calculada como:
$$e^{fused}_t = \sum_{k=1}^K g_{t,k} E_{t,k}$$
Isso permite que o modelo alterne o foco entre sinais semânticos e estruturais dependendo da intenção específica da tarefa.

3. Rotulagem Guiada por Critérios (Dessincronização Baseada em AST)

Para supervisionar essas dimensões sem anotação humana adicional, os autores introduzem a Rotulagem Guiada por Critérios. Usando as máscaras binárias existentes de manter/podar do LLM professor (corpus de treinamento do SWE-Pruner) e análise estática de programas (AST), eles derivam rótulos de critério granulares:

• Rótulos Semânticos: Mapeiam diretamente a pontuação de relevância em nível de documento do professor para as linhas retidas.
• Rótulos de Dependência: Propagam pontuações das linhas retidas para suas dependências estruturais (imports, definições, cabeçalhos de contenção e irmãos de fluxo de controle) através das arestas da AST.
  Este processo efetivamente "dessincroniza" os rótulos do professor, recuperando linhas estruturalmente necessárias que o professor poderia ter podado com base em baixas pontuações semânticas.

4. Arquitetura e Inferência

• Backbone: Um reranker de 0,6 bilhão de parâmetros (Qwen3-Reranker) com fusão de características de múltiplas camadas (concatenando estados ocultos das camadas inicial, intermediária e final).
• Treinamento: O modelo é treinado com uma soma ponderada da perda principal do CRF (sobre emissões fundidas) e perdas específicas de CRF por critério.
• Inferência: O LaMR atua como um middleware leve. Ele processa blocos de código, realiza decodificação de Viterbi nas emissões fundidas para gerar decisões binárias de manter/podar e aplica uma passe de pós-processamento consciente de AST final. Este passe repara o código podado re-inserindo cabeçalhos de escopo ausentes, imports e companheiros de fluxo de controle para garantir validade sintática.

Contribuições Principais

1. Formulação Multi-Critério Latente: Identifica e resolve o conflito de transição na poda de objetivo único, modelando a relevância do código através de cabeças CRF separadas para dimensões semânticas e de dependência.
2. Gate Adaptativo à Consulta: Introduz uma rede de gate MoE para equilibrar dinamicamente sinais semânticos e estruturais com base na consulta do agente.
3. Dessincronização de Rótulos Baseada em AST: Desenvolve um pipeline de custo zero para extrair rótulos multidimensionais de máscaras binárias, corrigindo tokens estruturais ausentes nos dados do professor sem anotação adicional.
4. Compromisso Superior entre Eficiência e Desempenho: Demonstra que preservar unidades autocontidas de suporte de evidência (linhas relevantes para a tarefa + contexto estrutural) permite que o contexto podado iguale ou exceda as linhas de base de contexto completo, reduzindo significativamente o uso de tokens.

Resultados Experimentais

Os autores avaliaram o LaMR em quatro benchmarks (SWE-Bench Verified, SWE-QA, LCC, LongCodeQA) usando dois modelos de backbone (Claude Sonnet 4.5 e Opus 4.6).

• Tarefas de Várias Rodadas (SWE-Bench, SWE-QA):

  • O LaMR vence em 12 de 16 comparações diretas contra o SWE-Pruner de objetivo único.
  • Economiza até 31% mais tokens em tarefas de várias rodadas em comparação com linhas de base não podadas.
  • Crucialmente, enquanto o SWE-Pruner às vezes aumenta o uso de tokens com modelos mais fortes (devido a falhas estruturais causando retentativas), o LaMR consistentemente reduz ou limita a sobrecarga.
  • Quedas de desempenho são marginais (por exemplo, ≤0,6 pontos percentuais na taxa de sucesso), enquanto os ganhos de eficiência são substanciais.

• Tarefas de Rodada Única (LCC, LongCodeQA):

  • O LaMR melhora as métricas de qualidade da tarefa (Correspondência Exata, Similaridade de Edição, Precisão) em todas as restrições de compressão (4× e 8×).
  • Ganhos notáveis incluem +3,5 na Correspondência Exata no LCC em compressão 8× e +1,80 na Precisão no LongCodeQA em 4×.
  • Linhas de base em nível de token (LLMLingua-2, Selective-Context) degradam-se drasticamente em alta compressão, enquanto o LaMR mantém estabilidade através de granularidade em nível de linha e preservação estrutural.

• Estudos de Ablação:

  • Remover o critério de dependência ou o reparo consciente de AST degrada significativamente o desempenho, confirmando que o suporte estrutural é distinto e complementar à relevância semântica.
  • A recuperação grosseira (por exemplo, LongCodeZip) combinada com a poda granular do LaMR produz os melhores resultados, enquanto empilhar múltiplos compressores de linha prejudica o desempenho.

Significado e Alegações

O artigo afirma que o LaMR representa uma mudança de "deletar tokens" para "preservar unidades autocontidas de suporte de evidência". Ao separar explicitamente a evidência semântica do suporte de dependência, o framework aborda a tensão inerente na relevância do código: uma linha pode ser irrelevante semanticamente, mas crítica estruturalmente.

Os autores afirmam que o LaMR fornece um compromisso estritamente melhor entre compressão de contexto e qualidade da tarefa downstream em comparação com métodos anteriores. Ele permite que agentes de codificação operem com mais eficiência sem sacrificar a integridade estrutural necessária para raciocínio complexo, filtrando efetivamente ruídos distrativos enquanto mantém o "sinal" necessário para a conclusão bem-sucedida da tarefa. O trabalho sugere que o gerenciamento futuro de contexto para agentes deve ir além de pontuações de relevância de escalar único em direção a um raciocínio estruturado e multidimensional sobre dependências de código.