Resumo Técnico: Geração de Código Aumentada por Contexto Utilizando Grafos de Conhecimento de Programação

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência na geração de código a partir de linguagem natural, eles frequentemente enfrentam dificuldades com tarefas de programação complexas que exigem conhecimento externo, como convenções específicas de API, casos de borda e padrões idiomáticos. A Geração Aumentada por Recuperação (RAG) surgiu como uma solução para fundamentar a geração em fontes externas (ex: documentação, repositórios). No entanto, as abordagens RAG existentes para código sofrem com dois gargalos principais:

1. Precisão de Recuperação: Modelos de recuperação padrão frequentemente retornam contexto redundante, parcialmente relevante ou enganoso. Tratar código e documentação como fragmentos (chunks) planos de vizinhos mais próximos falha ao não considerar a natureza heterogênea dos artefatos de programação (centrados em código vs. centrados em texto).
2. Alucinação e Ruído: Modelos de geração podem ser distraídos por dados recuperados irrelevantes ou podem alucinar quando forçados a integrar contextos ruidosos, particularmente sob orçamentos limitados de janela de contexto.

Os métodos atuais carecem de controle explícito sobre a granularidade das unidades recuperadas e a montagem do contexto, levando à degradação de desempenho em vez de melhoria em cenários complexos.

Metodologia

Os autores propõem o Programming Knowledge Graph (PKG), uma representação estruturada para RAG que separa e organiza o conhecimento heterogêneo em nós semanticamente coerentes e de grão fino. A metodologia consiste em três estágios:

1. Construção do PKG

O sistema constrói duas variantes distintas de grafos para lidar com diferentes modalidades de dados:

• Código-Centric PKG (Centrado em Código): O código-fonte é analisado em uma Árvore de Sintaxe Abstrata (AST) para criar uma hierarquia direcionada. Um nó de função expande-se em uma sequência de nós de bloco (ex: if, for, try), que se expandem posteriormente em blocos filhos. Isso cria uma árvore multinível enraizada na função, preservando as fronteiras de contenção sintática.
• Texto-Centric PKG (Centrado em Texto): Textos de tutoriais e documentações são convertidos em JSON estruturado. Um Grafo Acíclico Dirigido (DAG) é construído onde os nós representam campos/seções do JSON, e as arestas codificam relações estruturais (ex: vinculando exemplos a explicações). Isso permite a recuperação ao nível de campo, em vez de recuperar passagens inteiras.

2. Recuperação e Controle de Contexto

Dada uma consulta do usuário, o sistema recupera nós relevantes baseando-se em similaridade de cosseno. Para gerenciar janelas de contexto e reduzir o ruído, os autores implementam a poda de árvore (tree pruning):

• Ao recuperar um nó raiz (ex: uma função ou uma seção JSON), o sistema avalia os ramos filhos.
• Ramos irrelevantes são podados ao pontuar o subgrafo restante contra o embedding da consulta.
• Isso garante que apenas o conteúdo mais pertinente e de grão fino seja serializado e anexado ao prompt.

O sistema opera em dois modos de granularidade:

• Func-PKG: Recupera ao nível de função (mais grosseiro).
• Block-PKG: Recupera ao nível de bloco (mais fino), visando maior precisão.

3. Reclassificação de Soluções (Reranking)

Reconhecendo que a recuperação pode por vezes introduzir erros, os autores empregam um mecanismo de reclassificação pós-geração.

• Múltiplas soluções candidatas são geradas usando diferentes estratégias (NoRAG, BM25, variantes de PKG).
• Os candidatos são filtrados quanto à validade sintática e sanidade de tempo de execução (execução em sandbox).
• Um reclassificador baseado em similaridade seleciona o melhor candidato do conjunto diversificado, priorizando soluções que se alinham à consulta enquanto mitigam a influência de contexto recuperado errôneo.

Principais Contribuições

1. Representação Inovadora (PKG): Uma representação de conhecimento estruturada para RAG que modela código via hierarquias derivadas de AST e texto via DAGs baseados em JSON, permitindo recuperação de grão fino.
2. Análise de Granularidade: Uma avaliação explícita das unidades de recuperação, comparando a recuperação ao nível de função (Func-PKG) vs. nível de bloco (Block-PKG) para quantificar a relação precisão-revocação (precision-recall trade-off).
3. Montagem de Contexto Estruturada: Um mecanismo para recuperação centrada em texto que normaliza tutoriais em JSON estruturado, permitindo recuperação ao nível de campo e montagem de contexto estruturada.
4. Mecanismo de Poda: Uma estratégia de poda de árvore aplicada à estrutura do grafo recuperado para controlar o crescimento do contexto e excluir ramos de baixa utilidade antes da construção do prompt.
5. Integração de Reclassificação: A aplicação de um estágio de reclassificação de candidatos como um mecanismo de seleção ortogonal para melhorar a correção final e mitigar alucinações induzidas pela recuperação.

Resultados Experimentais

A abordagem foi avaliada nos benchmarks HumanEval e MBPP utilizando vários Code-LLMs (CodeLlama, StarCoder2, DeepSeek-Coder) e LLMs gerais (Llama3.1).

• Ganhos de Desempenho:
  • Comparado à linha de base NoRAG, a abordagem PKG melhorou a acurácia pass@1 em até 20% em ambos os benchmarks.
  • Comparado às linhas de base de recuperação esparsa (BM25) e densa (Voyage-Code-2), o PKG demonstrou um aumento de até 8% no HumanEval e uma melhoria de 34% no MBPP.
  • O Block-PKG geralmente apresentou o melhor desempenho médio entre os métodos sem reclassificação, sugerindo que unidades de recuperação mais finas reduzem o contexto irrelevante.
• Impacto da Reclassificação:
  • A reclassificação proporcionou ganhos adicionais significativos, melhorando o pass@1 em aproximadamente 4 pontos no HumanEval e 12 pontos no MBPP sobre os melhores métodos sem reclassificação.
  • Isso indica que a recuperação serve melhor como um mecanismo para gerar diversidade de candidatos, sendo a seleção o principal motor da acurácia final.
• Análise de Erros:
  • No dataset complexo MBPP, o PKG reduziu significativamente os AssertionErrors (desajustes semânticos), mas introduziu mais NameErrors e IndentationErrors em alguns modelos.
  • O PKG centrado em texto (JSON-PKG) mostrou efeitos heterogêneos: beneficiou LLMs gerais e modelos específicos no HumanEval, mas foi menos consistente que o PKG centrado em código para tarefas de geração de código.
• Custo:
  • Embora a construção do PKG exija tempo adicional de pré-processamento (aprox. 301 minutos vs. 241 para apenas embedding) e armazenamento, ele reduz o uso de tokens de inferência ao recuperar contexto de grão mais fino, diminuindo os custos computacionais durante a geração.

Significância e Alegações

O artigo afirma que a recuperação não é inerentemente benéfica; seu sucesso depende criticamente da estrutura das unidades de recuperação e da estratégia de seleção. Os autores argumentam que:

• A Estrutura Importa: Tratar código e documentação como fragmentos planos é insuficiente. Representações estruturadas (baseadas em AST para código, baseadas em JSON para texto) que respeitam limites sintáticos e semânticos são necessárias para preservar o conhecimento útil minimizando o ruído.
• Granularidade é um Compromisso (Trade-off): Unidades de recuperação mais finas (blocos) geralmente melhoram a precisão, mas exigem gerenciamento cuidadoso para evitar a omissão de contexto necessário.
• Seleção é Crítica: O sistema mais eficaz não é definido pelo "melhor contexto único", mas por um pipeline que utiliza recuperação estruturada para gerar diversidade de candidatos e emprega reclassificação robusta para filtrar erros induzidos pela recuperação.
• Limitações de Contexto: Os benefícios do PKG não são uniformes; eles variam conforme a arquitetura do modelo, o tópico do problema (ex: grandes ganhos em Matemática/Ordenação, potenciais regressões em Manipulação de Strings) e o modo de erro.

Os autores concluem que a geração de código aumentada por recuperação deve ser tratada como um problema acoplado de construção de artefatos relevantes para a tarefa na granularidade apropriada e seleção robusta entre candidatos para lidar com o ruído da recuperação.