Deep Graph-Language Fusion for Structure-Aware Code Generation

Riepilogo Tecnico: Fusione Profonda Grafo-Linguaggio per la Generazione di Codice Consapevole della Struttura

Enunciato del Problema
Sebbene i Modelli Linguistici Pre-addestrati (PLM) abbiano trasformato compiti di ingegneria del software come la generazione di codice e il rilevamento di bug, essi mostrano una limitazione architetturale fondamentale: faticano a catturare esplicitamente gli attributi strutturati e relazionali del codice, come il flusso di controllo e le dipendenze dei dati. Ciò deriva da una discrepanza tra i modelli di token sequenziali elaborati dai LLM basati su transformer e la natura basata su grafi della struttura del codice. I tentativi esistenti di colmare questo divario—utilizzando l'estrazione di caratteristiche da grafi, la generazione aumentata per recupero (RAG) o l'ingegneria dei prompt—spesso soffrono di perdita di informazioni durante l'estrazione densa di caratteristiche o la codifica dei prompt. In particolare, il potenziale per una fusione profonda a livello di token delle caratteristiche dei grafi direttamente all'interno degli interni del modello rimane sistematicamente inesplorato.

Metodologia: Il Framework CGFuse
Gli autori introducono CGFuse, un nuovo framework progettato per fondere rappresentazioni derivate da grafi direttamente negli strati intermedi dei PLM. L'approccio consta di tre fasi principali:

1. Costruzione del Grafo del Codice: Frammenti di codice sorgente sono rappresentati come grafi del codice ($G_c$) che arricchiscono gli Alberi della Sintassi Astratta (AST) con archi di flusso dei dati. Il grafo include nodi terminali (token di codice) e nodi di sintassi (costrutti di livello superiore), collegati da archi gerarchici AST e archi di flusso dei dati (etichettati comingFrom e calculatedBy).
2. Pre-addestramento dell'Esperto di Grafi: Una Rete Neurale su Grafi (GNN) viene pre-addestrata come "esperto di grafi" per apprendere rappresentazioni a livello di nodo sia per i nodi di sintassi che per i nodi terminali. La GNN aggrega le caratteristiche dal vicinato di un nodo utilizzando l'aggregazione relazionale per più tipi di archi. Viene addestrata su un compito di classificazione dei nodi, inizializzata con embedding di token PLM per i nodi terminali e embedding casuali per i nodi di sintassi.
3. Fusione Profonda: La GNN pre-addestrata viene integrata in un PLM basato su transformer. A uno strato intermedio target $l$, la GNN elabora il grafo del codice per produrre rappresentazioni dei nodi ($h^l_g$), che vengono poi fuse con le rappresentazioni dei token del transformer ($h^l_\theta$) tramite una somma pesata: $h^l_f = h^l_\theta + \lambda h^l_g$. Solo i nodi all'interno del contesto corrente vengono immessi nella GNN, con gli archi fuori contesto mascherati. Il modello fuso viene quindi fine-tuned congiuntamente su compiti downstream.

Contributi Chiave

• Framework Innovativo: CGFuse è il primo framework a fondere sistematicamente GNN con PLM a strati intermedi, consentendo lo sfruttamento a livello di token di informazioni strutturali fini provenienti da AST e grafi di flusso dei dati.
• Valutazione Sistematica: Gli autori hanno valutato il framework su nove diversi PLM (incluse architetture Encoder e Encoder-Decoder) e tre architetture GNN (R-GCN, GraphSAGE e GIN).
• Efficienza del Campione: Lo studio dimostra che i modelli di linguaggio naturale (NL) potenziati con CGFuse possono superare i modelli pre-addestrati sul codice, nonostante utilizzino significativamente meno campioni di addestramento e iterazioni.

Risultati Sperimentali
Il framework è stato valutato sul dataset CONCODE (generazione di codice Java) utilizzando le metriche Exact Match (EM), BLEU e CodeBLEU. Le scoperte chiave includono:

• Miglioramenti delle Prestazioni: CGFuse ha ottenuto miglioramenti fino al 10–16% in BLEU e al 6–11% in CodeBLEU su vari modelli.
  • Per i modelli solo NL (ad es. BERT), l'aggiunta di un R-GCN a 1 strato ha migliorato BLEU da 33,4 a 48,5 (+15,1) e CodeBLEU da 31,2 a 43,1 (+11,9).
  • Anche i modelli pre-addestrati sul codice hanno registrato guadagni significativi; ad esempio, PLBART è migliorato di +17,2 BLEU e +14,9 CodeBLEU quando potenziato con una GNN.
• Sensibilità Architetturale: Le GNN superficiali hanno ottenuto i migliori risultati. Le GNN a singolo strato hanno costantemente superato le varianti a 2 e 3 strati, suggerendo che GNN più profonde potrebbero introdurre rumore o appiattire eccessivamente le rappresentazioni per questo compito specifico. R-GCN e GIN (1 strato) hanno prodotto i punteggi più alti rispettivamente in BLEU/CodeBLEU e EM.
• Efficienza del Campione: I modelli basati su NL potenziati con CGFuse (ad es. RoBERTa + GIN) hanno superato i loro corrispettivi pre-addestrati sul codice (ad es. GraphCodeBERT) pur essendo esposti a ordini di grandezza meno dati di codice (ad es. ~8M campioni contro ~12M+ per GraphCodeBERT).

Significato e Direzioni Future
Il documento sostiene che l'integrazione profonda grafo-PLM offre una strada verso uno sviluppo software guidato da AI più robusto e capace, preservando informazioni strutturali fini che i modelli sequenziali tipicamente mancano. I risultati evidenziano che gli embedding strutturali possono infondere efficacemente conoscenze sul codice in modelli non esposti originariamente al codice durante il pre-addestramento.

Gli autori identificano diverse vie per lavori futuri, tra cui:

• Sviluppare strategie per l'addestramento efficiente delle GNN e la gestione di codice incompleto durante la decodifica.
• Mitigare l'ambiguità nella generazione degli AST.
• Testare la scalabilità su PLM più grandi.
• Valutare la correttezza funzionale su benchmark come HumanEval e MBPP, invece di affidarsi esclusivamente a metriche di corrispondenza delle stringhe.

Il lavoro riconosce che integrare esperti GNN nei decoder rimane una sfida a causa della necessità di costruire grafi da codice potenzialmente ambiguo o incompleto durante il processo di generazione.