On the Effectiveness of Context Compression for Repository-Level Tasks: An Empirical Investigation

Título: Sobre a Eficácia da Compressão de Contexto para Tarefas em Nível de Repositório: Uma Investigação Empírica

1. Problema e Motivação

As tarefas de inteligência de código em nível de repositório (como conclusão de código entre arquivos e geração de código consciente do projeto) exigem que Modelos de Linguagem de Grande Escala (LLMs) processem contextos longos e heterogêneos que abrangem múltiplos arquivos e dependências complexas. Isso introduz três gargalos práticos:

1. Custo e Latência: O custo de inferência e a latência crescem rapidamente com o comprimento do contexto devido à complexidade quadrática da autoatenção.
2. Ruído Contextual: Evidências críticas para a tarefa são frequentemente obscurecidas pelo ruído circundante (fenômeno conhecido como "lost in the middle").
3. Limites de Janela: Janelas de contexto finitas forçam o truncamento de entradas que abrangem grandes bases de código.

Embora a compressão de contexto seja estudada em Processamento de Linguagem Natural (PLN), sua aplicabilidade ao código permanece pouco explorada. O código possui dependências semânticas densas, restrições sintáticas estritas e uma relação sinal-ruído diferente da linguagem natural, o que torna a filtragem agressiva arriscada.

2. Metodologia

Os autores realizaram o primeiro estudo empírico sistemático de compressão de contexto para LLMs de código em nível de repositório. Eles organizaram oito métodos representativos em três paradigmas, baseados no espaço de representação de saída:

• Text-to-Text (T2T): Métodos que produzem uma sequência de tokens discretos mais curta através de filtragem ou reescrita (ex: LLMLingua, LongLLMLingua, LLMLingua-2). Operam no espaço de tokens original, sem modificar o modelo downstream.
• Text-to-Vector (T2V): Métodos que codificam o contexto em um conjunto compacto de tokens latentes contínuos (vetores). O modelo downstream condiciona-se a esses vetores fixos em vez da sequência original (ex: ICAE, Gist tokens). Requer um módulo de compressão treinado, mas mantém o LLM base congelado.
• Text-to-Image (T2I): Métodos que renderizam o contexto textual como imagens consumidas por um modelo visão-linguagem (VLM), explorando a alta densidade de informação do modo visual (ex: DeepSeek-OCR adaptado).

Configuração Experimental:

• Modelos: Família Qwen2.5 (Qwen2.5-Coder para T2V/T2T e Qwen2.5-VL para T2I) em escalas de 3B e 7B parâmetros.
• Tarefas: Geração de código (síntese de função a partir de especificação) e Conclusão de código (previsão de código faltante).
• Benchmarks: ComplexCodeEval (amostras de Java e Python).
• Métricas: BLEU, Edit Similarity (ES), Exact Match (EM), latência de inferência e uso de memória GPU.

3. Principais Contribuições

1. Estudo Sistemático: Primeira avaliação abrangente comparando os três paradigmas (T2T, T2V, T2I) em tarefas de código em nível de repositório.
2. Descoberta de Desempenho Supra-Contexto: Demonstraram que a compressão não é apenas uma perda de informação, mas pode ativamente melhorar o desempenho em relação ao contexto completo.
3. Análise de Eficiência e Diretrizes de Implantação: Fornecem uma análise detalhada de custo (latência e memória) e orientações práticas para a seleção de estratégias de compressão baseadas no tipo de tarefa e restrições de recursos.

4. Resultados Chave

RQ1: Impacto dos Paradigmas no Desempenho

• T2V (Vetores Latentes): Superou o desempenho do contexto completo em até 28,3% (BLEU) na conclusão de código Python. Os vetores latentes atuam como um filtro aprendido que remove o "boilerplate" do repositório e reforça sinais relevantes, em vez de apenas truncar o texto.
• T2I (Imagens): Desempenhou-se bem em tarefas de conclusão (mantendo-se próximo ao contexto completo), mas degradou-se drasticamente em geração de código (perda de até 50,8% em BLEU). O renderização uniforme perde a estrutura relacional entre arquivos necessária para a geração.
• T2T (Texto): Funcionou bem em taxas de compressão baixas, mas degradou-se rapidamente em tarefas de geração. A filtragem baseada em perplexidade tende a remover tokens sintaticamente previsíveis (como imports e anotações de tipo), que são cruciais para a estrutura do código, levando a um desempenho inferior ao "sem contexto" em Python.

RQ2: Sensibilidade à Taxa de Compressão

• T2V: Mantém uma vantagem de desempenho estável em uma faixa ampla de compressão (de 4× a 128×), superando o contexto completo em todas as taxas avaliadas para geração.
• T2I: Pico de desempenho em 4× para conclusão; degradação gradual para taxas maiores. A geração permanece consistentemente abaixo do contexto completo, independentemente da taxa.
• T2T: O desempenho em geração colapsa em taxas moderadas (7× a 12×), convergindo para a linha de base sem contexto.

RQ3: Eficiência e Uso de Recursos

• T2I: Oferece a maior redução de latência (até 50% em altas taxas), convergindo para o custo de inferência sem contexto.
• T2V: Apresenta um custo de sobrecarga estável e previsível, mantendo-se muito abaixo do custo do contexto completo.
• T2T: Reduz a latência total em mais de 35%, mas o ganho de desempenho desaparece antes que a eficiência máxima seja alcançada.

5. Significado e Implicações

• Viabilidade: A compressão de contexto é uma estratégia viável e benéfica para LLMs de código, oferecendo ganhos de desempenho e eficiência simultâneos.
• Seleção de Paradigma:
  • Para geração de código e máxima precisão: T2V é a escolha recomendada, apesar de exigir treinamento de um módulo de compressão específico.
  • Para conclusão de código e implantação sem treinamento: T2I (em modelos VLM) ou T2T (em taxas baixas) são opções, mas com limitações claras em tarefas complexas.
• Desafios Futuros: O estudo revela que a estrutura de linguagens de programação exige abordagens de compressão específicas (ex: considerar ASTs e dependências entre arquivos), pois métodos baseados em PLN (como pontuação por perplexidade) falham em capturar a importância estrutural de tokens como imports e delimitadores.

Em suma, o trabalho estabelece que a compressão de contexto, quando aplicada corretamente (especialmente via vetores latentes), não é apenas uma ferramenta de economia de recursos, mas uma técnica capaz de melhorar a qualidade da resposta do modelo ao filtrar ruído inerente a grandes repositórios de código.