Resumo Técnico: ProjAgent: Recuperação de Similaridade Procedural para Geração de Código em Nível de Repositório

Definição do Problema

A geração de código em nível de repositório exige que Grandes Modelos de Linguagem (LLMs) implementem funções alvo enquanto navegam por dependências complexas entre arquivos, convenções específicas do projeto e utilitários distribuídos. As abordagens existentes de geração aumentada por recuperação (RAG) para esta tarefa baseiam-se predominantemente em similaridade léxica (ex: BM25) ou semântica (ex: embeddings densos).

Os autores identificam uma limitação crítica nesses métodos: eles frequentemente falham em recuperar funções do repositório que implementam uma lógica procedural similar, mas que diferem significamente em nomenclatura, tipos de dados ou domínios de aplicação. Por exemplo, uma função que valida formas de entrada em um módulo de cosmologia pode ser proceduralmente idêntica a uma função que valida entradas de temperatura em um módulo de física, embora as métricas de similaridade superficial (léxica ou semântica) falhem em conectá-las. Esse "gap procedural" leva os LLMs a alucinar APIs ou gerar código que viola as convenções do projeto porque os padrões lógicos necessários estão ausentes no contexto recuperado.

Metodologia: ProjAgent

O artigo propõe o ProjAgent, um sistema de geração de código em nível de repositório que introduz a similaridade procedural como um sinal de recuperação explícito, integrado em um fluxo de trabalho agêntico e um loop de feedback de análise estática.

1. Representando a Similaridade Procedural

Para capturar o comportamento da implementação além do texto superficial, o ProjAgent utiliza projeções de subespaço de raciocínio derivadas dos estados ocultos do LLM.

• Decomposição de Subespaço: Baseando-se em Hu et al. [14], o sistema decompõe o espaço de estado oculto do LLM em um subespaço semântico (expressão linguística) e um subespaço de raciocínio (lógica interna). Isso é alcançado via Decomposição de Valores Singulares (SVD) na camada de unembedding.
• Projeção: Os estados ocultos das etapas de código são projetados no subespaço de raciocínio para isolar a lógica procedural.
• Desenviesamento (Debiasing): Para abordar o fenômeno da anisotropia (onde vetores se agrupam em uma direção comum independentemente do conteúdo), os autores introduzem uma etapa de desenviesamento baseada em Análise de Componentes Principais (PCA). Isso remove a direção compartilhada dominante e o centramento na média, melhorando significamente o poder discriminativo da similaridade de cosseno para o pareamento procedural.

2. O Fluxo de Trabalho de Recuperação Agêntico

O ProjAgent emprega um processo de recuperação em múltiplas etapas para construir um contexto rico para a função alvo:

• Pré-processamento Offline: O repositório é pré-processado para decompor as funções de contexto em etapas lógicas (ex: validação de entrada, transformação de estado). Cada etapa é validada contra o código original e projetada no subespaço de raciocínio.
• Recuperação Procedural (Agêntica):
  • Busca de Sementes (Seed Finding): A função alvo é decomposta em etapas. Um conjunto inicial de etapas de contexto proceduralmente similares é identificado via similaridade de projeção.
  • Exploração Agêntica: Um agente de LLM navega pelo repositório usando ferramentas (ex: read_func, search_func) para descobrir novas funções que possam conter etapas proceduralmente similares, expandindo iterativamente o conjunto de sementes.
  • Expansão e Verificação de Sementes: O sistema expande a busca para funções não processadas usando limiares de similaridade de projeção. Uma etapa de verificação (baseada em LLM) filtra falsos positivos, particularmente para operações genéricas, garantindo correspondências procedurais de alta qualidade.
• Recuperação Semântica: Para complementar a lógica procedural, o sistema recupera símbolos semanticamente relacionados (APIs, classes, constantes) usando um híbrido de pontuações léxicas (BM25) e semânticas (embedding denso). Isso garante que o LLM tenha acesso às entidades específicas do repositório necessárias para implementar a lógica recuperada.
• Geração de Código e Feedback: O LLM gera código usando o contexto procedural e semântico combinado. Um loop de feedback de análise estática conservadora então refina o código iterativamente. Ele realiza verificações de sintaxe baseadas em AST e verificações de consistência semântica (chamadas de método, acesso a campos, resolução de variáveis), enviando erros de volta ao LLM para reparo.

Principais Contribuições

1. Similaridade Procedural como uma Dimensão de Recuperação: O artigo introduz a similaridade procedural como um sinal de recuperação distinto e eficaz, abordando o gap onde funções compartilham padrões lógicos, mas carecem de sobreposição léxica ou semântica.
2. Projeções de Subespaço de Raciocínio: Os autores utilizam projeções de estados ocultos de LLM para representar a lógica procedural, permitindo a recuperação de funções relacionadas através de diferentes convenções de nomenclatura e domínios.
3. Sistema ProjAgent: Um sistema completo que integra um fluxo de trabalho agêntico para descoberta de contexto procedural, recuperação híbrida (procedural + semântica) e um loop de feedback de análise estática para reparo iterativo de código.
4. Avaliação Abrangente: Uma avaliação rigorosa no benchmark REPOCOD, incluindo estudos de ablação e análise das contribuições dos componentes de recuperação.

Resultados

Avaliado no benchmark REPOCOD (980 problemas em 11 repositórios) utilizando o modelo Qwen2.5-Coder-14B-Instruct:

• Desempenho: O ProjAgent alcançou um Pass@1 de 41,14%, superando as linhas de base existentes:
  • SpecAgent (SOTA): 34,52%
  • Recuperação Densa: 28,83%
  • Recuperação Esparsa: 26,58%
  • Recuperação no Mesmo Arquivo: 14,98%
• Estudos de Ablação:
  • A remoção da recuperação procedural causou a maior queda de desempenho (41,14% $\to$ 25,76%), destacando seu papel crítico no fornecimento de orientação de implementação.
  • A remoção da recuperação semântica também degradou significativamente o desempenho (41,14% $\to$ 32,29%), confirmando a necessidade de símbolos específicos do repositório.
  • A remoção do loop de feedback resultou em uma diminuição modesta (41,14% $\to$ 40,29%), atribuída à natureza conservadora da análise estática.
• Efetividade da Recuperação: O método de similaridade de projeção mostrou-se altamente eficaz em filtrar contextos dissimilar (alta precisão no grupo "leftover"), mas exigiu um design de dois estágios (projeção + verificação) para lidar com falsos positivos no grupo "promoted".

Significância e Alegações

O artigo alega que a similaridade procedural é uma dimensão de recuperação eficaz e anteriormente inexplorada para a geração de código em nível de repositório. Os autores argumentam que a geração de código bem-sucedida depende não apenas da recuperação de código semanticamente relevante, mas também da recuperação de contexto que compartilha a mesma lógica computacional subjacente.

Ao integrar a similaridade procedural com sinais léxicos e semânticos convencionais, o ProjAgent demonstra que os LLMs podem ser guiados para implementar lógicas complexas mesmo quando o código fonte difere significativamente em domínio ou vocabulário. O trabalho sugere uma mudança em direção a métodos de recuperação conscientes do comportamento na engenharia de software, indo além da correspondência de texto superficial para capturar a intenção funcional do código. Os autores mantêm a modéstia quanto à validade externa, observando que os resultados são específicos para repositórios Python e para o modelo de base utilizado, e que a cobertura de busca continua sendo um gargalo para melhorias futuras.