Deep Graph-Language Fusion for Structure-Aware Code Generation

Resumo Técnico: Fusão Profunda de Linguagem e Grafos para Geração de Código Consciente de Estrutura

Declaração do Problema
Embora os Modelos de Linguagem Pré-treinados (PLMs) tenham transformado tarefas de engenharia de software como geração de código e detecção de bugs, eles exibem uma limitação arquitetônica fundamental: lutam para capturar explicitamente os atributos estruturais e relacionais do código, como fluxo de controle e dependências de dados. Isso decorre de uma incompatibilidade entre os padrões sequenciais de tokens processados por LLMs baseados em transformadores e a natureza baseada em grafos da estrutura do código. As tentativas existentes de preencher essa lacuna — usando extração de características de grafos, geração aumentada por recuperação (RAG) ou engenharia de prompts — frequentemente sofrem com perda de informação durante a extração densa de características ou codificação de prompts. Notavelmente, o potencial para uma fusão profunda, ao nível de tokens, de características de grafos diretamente dentro dos internals do modelo permanece sistematicamente inexplorado.

Metodologia: O Framework CGFuse
Os autores introduzem o CGFuse, um framework inovador projetado para fundir representações derivadas de grafos diretamente nas camadas intermediárias dos PLMs. A abordagem consiste em três etapas principais:

1. Construção de Grafo de Código: Trechos de código-fonte são representados como grafos de código ($G_c$) que aumentam as Árvores de Sintaxe Abstrata (ASTs) com arestas de fluxo de dados. O grafo inclui nós terminais (tokens de código) e nós de sintaxe (construções de alto nível), conectados por arestas de hierarquia AST e arestas de fluxo de dados (rotuladas comingFrom e calculatedBy).
2. Pré-treinamento de Especialista em Grafos: Uma Rede Neural de Grafos (GNN) é pré-treinada como um "especialista em grafos" para aprender representações ao nível de nós para ambos os nós de sintaxe e terminais. A GNN agrega características da vizinhança de um nó usando agregação relacional para múltiplos tipos de arestas. Ela é treinada em uma tarefa de classificação de nós, inicializada com embeddings de tokens do PLM para nós terminais e embeddings aleatórios para nós de sintaxe.
3. Fusão Profunda: A GNN pré-treinada é integrada a um PLM baseado em transformador. Em uma camada intermediária alvo $l$, a GNN processa o grafo de código para produzir representações de nós ($h^l_g$), que são então fundidas com as representações de tokens do transformador ($h^l_\theta$) por meio de uma soma ponderada: $h^l_f = h^l_\theta + \lambda h^l_g$. Apenas nós dentro do contexto atual são alimentados na GNN, com arestas fora de contexto mascaradas. O modelo fundido é então ajustado finamente conjuntamente em tarefas downstream.

Principais Contribuições

• Framework Inovador: O CGFuse é o primeiro framework a fundir sistematicamente GNNs com PLMs em camadas intermediárias, permitindo a exploração ao nível de tokens de informações estruturais de granularidade fina provenientes de ASTs e grafos de fluxo de dados.
• Avaliação Sistemática: Os autores avaliaram o framework em nove PLMs diversos (incluindo arquiteturas de Codificador e Codificador-Decodificador) e três arquiteturas de GNN (R-GCN, GraphSAGE e GIN).
• Eficiência de Amostra: O estudo demonstra que modelos de linguagem natural (NL) aprimorados com CGFuse podem superar modelos pré-treinados em código, apesar de utilizarem significativamente menos amostras e iterações de treinamento.

Resultados Experimentais
O framework foi avaliado no conjunto de dados CONCODE (geração de código Java) usando as métricas Correspondência Exata (EM), BLEU e CodeBLEU. As principais descobertas incluem:

• Ganhos de Desempenho: O CGFuse alcançou melhorias de até 10–16% em BLEU e 6–11% em CodeBLEU em vários modelos.
  • Para modelos apenas NL (por exemplo, BERT), adicionar um R-GCN de 1 camada melhorou o BLEU de 33,4 para 48,5 (+15,1) e o CodeBLEU de 31,2 para 43,1 (+11,9).
  • Modelos pré-treinados em código também apresentaram ganhos significativos; por exemplo, o PLBART melhorou em +17,2 BLEU e +14,9 CodeBLEU quando aumentado com uma GNN.
• Sensibilidade à Arquitetura: GNNs rasas performaram melhor. GNNs de camada única superaram consistentemente variantes de 2 e 3 camadas, sugerindo que GNNs mais profundas podem introduzir ruído ou suavizar excessivamente as representações para esta tarefa específica. R-GCN e GIN (1 camada) produziram as pontuações mais altas em BLEU/CodeBLEU e EM, respectivamente.
• Eficiência de Amostra: Modelos baseados em NL aprimorados com CGFuse (por exemplo, RoBERTa + GIN) superaram seus contrapartes pré-treinados em código (por exemplo, GraphCodeBERT) enquanto foram expostos a ordens de magnitude menos dados de código (por exemplo, ~8M de amostras vs. ~12M+ para GraphCodeBERT).

Significado e Direções Futuras
O artigo postula que a integração profunda de grafos e PLMs oferece um caminho para um desenvolvimento de software impulsionado por IA mais robusto e capaz, preservando informações estruturais de granularidade fina que modelos sequenciais tipicamente perdem. Os resultados destacam que embeddings estruturais podem efetivamente infundir conhecimento de código em modelos não originalmente expostos a código durante o pré-treinamento.

Os autores identificam várias avenidas para trabalhos futuros, incluindo:

• Desenvolver estratégias para treinamento eficiente de GNN e manipulação de código incompleto durante a decodificação.
• Mitigar ambiguidade na geração de AST.
• Testar escalabilidade em PLMs maiores.
• Avaliar a correção funcional em benchmarks como HumanEval e MBPP, em vez de depender exclusivamente de métricas de correspondência de strings.

O trabalho reconhece que integrar especialistas em GNN em decodificadores permanece desafiador devido à necessidade de construir grafos a partir de código potencialmente ambíguo ou incompleto durante o processo de geração.