CoRoVA: Compressed Representations for Vector-Augmented Code Completion

Resumo Técnico: CoRoVA

1. O Problema

Os sistemas modernos de conclusão de código (Code Completion) em IDEs dependem cada vez mais de Geração Aumentada por Recuperação (RAG) para acessar contexto de nível de repositório (funções auxiliares, definições de tipos, convenções em outros arquivos). No entanto, a abordagem RAG tradicional ("Vanilla RAG") apresenta um gargalo crítico:

• Aumento da Latência: Inserir trechos de código recuperados diretamente no prompt do Modelo de Linguagem (LLM) aumenta drasticamente o comprimento da sequência.
• Custo de Prefill: O processamento de tokens adicionais eleva o custo computacional e o tempo de espera até o primeiro token (TTFT - Time-to-First-Token).
• Impacto na UX: Em ambientes interativos como IDEs, atrasos no TTFT quebram a experiência de codificação, tornando as sugestões inúteis na prática.

Existe uma necessidade urgente de comprimir o contexto recuperado sem sacrificar a qualidade da geração, mantendo a latência baixa.

2. Metodologia: CoRoVA

O CoRoVA (Compressed Representations for Vector-Augmented) é um framework que comprime o contexto recuperado em um conjunto pequeno de vetores contínuos (tokens comprimidos), em vez de injetar o texto bruto no prompt.

Arquitetura:

1. Codificação: Um modelo de embedding pré-treinado (ex: Qwen3-Embedding ou UniXCoder) codifica os chunks de código recuperados em vetores densos.
2. Projeção (Projector): Um módulo leve (MLP) projeta esses vetores de alta dimensão para o espaço de embeddings do LLM leitor.
3. Integração: Em vez de 10 trechos de texto (centenas de tokens), o LLM recebe apenas 10 vetores projetados (equivalente a ~10 tokens), reduzindo drasticamente o comprimento do prompt.
4. Inferência: A projeção é pré-computada durante a indexação do repositório. Na inferência online, o sistema apenas anexa os vetores comprimidos ao prompt, eliminando a necessidade de rodar o codificador ou o projetor em tempo real.

Função de Perda (Loss Function) Inovadora:
O artigo identifica que a perda de Cross-Entropy (CE) padrão é insuficiente para tarefas de geração de código, pois otimiza a probabilidade de tokens individuais, mas não métricas de nível de sequência como Exact Match (EM) e Edit Similarity (ES). O CoRoVA utiliza uma função de perda composta de três componentes:

• Cross-Entropy (CE): Garante a coerência básica do texto.
• Reinforcement Learning (RL - SCST): Utiliza o algoritmo Self-Critical Sequence Training para otimizar diretamente as métricas EM e ES, corrigindo o viés de "teacher forcing" e alinhando a otimização com a qualidade percebida pelo desenvolvedor.
• Cosine Alignment Loss: Uma perda novel que previne o "colapso" das representações. Sem ela, o projetor tende a mapear todos os vetores para um subespaço quase unidimensional, perdendo a distinção entre diferentes trechos de código. Esta perda força a preservação das similaridades cosseno relativas entre os vetores projetados.

3. Principais Contribuições

• Primeira Aplicação em Código: É o primeiro trabalho a aplicar projeção de embeddings (estilo LLaVA/xRAG) especificamente para completude de código, demonstrando que é possível manter a qualidade sem fine-tuning do LLM ou do Encoder.
• Novo Objetivo de Treinamento: Desenvolvimento de uma função de perda composta (CE + RL + Cosine Alignment) que supera métodos anteriores baseados apenas em CE ou distilação KL, que falharam neste domínio.
• Integração de Modalidades Estruturais: Investigação do uso de representações sintáticas e estruturais (como ASTs - Abstract Syntax Trees) nos embeddings para enriquecer a representação semântica do código.
• Eficiência sem Fine-tuning: O método requer o treinamento apenas do projetor leve, mantendo o LLM base e o Encoder congelados.

4. Resultados Experimentais

Os experimentos foram realizados em modelos como Qwen2.5-Coder e StarCoder2 em benchmarks como The Stack, CCEvalLong e RepoEval.

• Qualidade de Geração: O CoRoVA supera a linha de base sem contexto (w/o CFC) e se aproxima ou supera o RAG não comprimido (w/ CFC) em métricas de EM e ES.
  • Em alguns benchmarks, o CoRoVA atingiu EM de 47.66% vs 45.97% (sem contexto) e 50.87% (RAG completo), com uma redução significativa de tokens.
• Redução de Latência (TTFT):
  • A compressão reduz o comprimento do prompt em 20-38% (ex: de 2512 tokens para ~2010 tokens).
  • Isso resulta em uma redução direta de 20-38% no TTFT (Time-to-First-Token) em comparação com o RAG tradicional, tornando-o viável para IDEs interativas.
  • O impacto no TPOT (Time-per-Output-Token) é mínimo, pois a geração em si não muda drasticamente.
• Avaliação de Execução (Pass@k): Em testes de execução de código (RepoEval Function Completion), o CoRoVA demonstrou melhorias na correção funcional, superando a linha de base sem contexto em repositórios complexos.
• Custo de Indexação: O custo offline para construir o banco de dados de vetores comprimidos é prático (minutos para repositórios grandes), especialmente com codificadores mais rápidos como o UniXCoder.

5. Significância e Conclusão

O CoRoVA resolve o dilema fundamental entre qualidade de contexto e latência em assistentes de programação.

• Viabilidade Industrial: Ao reduzir o TTFT em até 38% sem perder a qualidade da geração, o CoRoVA torna o uso de RAG de nível de repositório viável em ambientes de produção onde a responsividade é crítica.
• Inovação Metodológica: Demonstra que técnicas de compressão de contexto, originalmente usadas em multimodalidade (imagem-texto), podem ser adaptadas com sucesso para código, desde que se utilizem funções de perda adequadas (RL e alinhamento coseno) para lidar com a natureza estruturada e semântica do código.
• Futuro: Abre caminho para o uso de sinais estruturais (grafos de fluxo de dados) e estratégias de RL mais avançadas para refinar ainda mais a precisão da geração de código.

Em resumo, o CoRoVA oferece um equilíbrio superior entre a riqueza do contexto recuperado e a eficiência de inferência, sendo um avanço significativo para a implementação de assistentes de código inteligentes em tempo real.