Deep Graph-Language Fusion for Structure-Aware Code Generation

Technische Samenvatting: Diepe Fusie van Grafiek en Taal voor Structureel Bewuste Codegeneratie

Probleemstelling
Hoewel vooraf getrainde taalmodellen (PLM's) software-engineeringtaken zoals codegeneratie en bugdetectie hebben getransformeerd, vertonen ze een fundamentele architecturale beperking: ze worstelen om de gestructureerde en relationele attributen van code, zoals besturingsflow en data-afhankelijkheden, expliciet vast te leggen. Dit vloeit voort uit een mismatch tussen de sequentiële tokenpatronen die door op transformers gebaseerde LLM's worden verwerkt en de op grafieken gebaseerde aard van de codestructuur. Bestaande pogingen om deze kloof te overbruggen—met behulp van grafiekkenmerkextractie, retrieval-augmented generation (RAG) of prompt-engineering—lijden vaak onder informatieverlies tijdens dichte kenmerkextractie of promptcodering. Opmerkelijk is dat het potentieel voor diepe, token-level fusie van grafiekenkenmerken direct binnen de modelinterne componenten systematisch onontdekt blijft.

Methodologie: Het CGFuse-raamwerk
De auteurs introduceren CGFuse, een nieuw raamwerk dat is ontworpen om grafiek-afgeleide representaties direct in de tussenliggende lagen van PLM's te fuseren. De aanpak bestaat uit drie hoofdfasen:

1. Codegrafiekconstructie: Broncodefragmenten worden weergegeven als codegrafieken ($G_c$) die Abstract Syntax Trees (AST's) verrijken met dataflow-edges. De grafiek omvat terminale knopen (codetokens) en syntaxis-knopen (hogere niveau constructies), verbonden door AST-hiërarchie-edges en dataflow-edges (gelabeld comingFrom en calculatedBy).
2. Pre-training van Grafiekexpert: Een Graph Neural Network (GNN) wordt vooraf getraind als een "grafiekexpert" om knoop-niveau representaties te leren voor zowel syntaxis- als terminale knopen. Het GNN aggregeert kenmerken van de omgeving van een knoop met behulp van relationele aggregatie voor meerdere edge-types. Het wordt getraind op een knoopclassificatietaken, geïnitieerd met PLM-tokenembeddings voor terminale knopen en willekeurige embeddings voor syntaxis-knopen.
3. Diepe Fusie: Het vooraf getrainde GNN wordt geïntegreerd in een op transformer gebaseerde PLM. Op een doel-tussenliggende laag $l$ verwerkt het GNN de codegrafiek om knooprepresentaties ($h^l_g$) te produceren, die vervolgens worden gefuseerd met de tokenrepresentaties van de transformer ($h^l_\theta$) via een gewogen som: $h^l_f = h^l_\theta + \lambda h^l_g$. Alleen knopen binnen de huidige context worden aan het GNN toegevoerd, waarbij edges buiten de context worden gemaskeerd. Het gefuseerde model wordt vervolgens gezamenlijk fijngefineerd op downstream-taken.

Belangrijkste Bijdragen

• Nieuw Raamwerk: CGFuse is het eerste raamwerk dat systematisch GNN's met PLM's fust op tussenliggende lagen, waardoor token-level benutting van fijnmazige structurele informatie uit AST's en dataflow-grafieken mogelijk wordt.
• Systematische Evaluatie: De auteurs hebben het raamwerk geëvalueerd over negen diverse PLM's (inclusief Encoder- en Encoder-Decoder-architecturen) en drie GNN-architecturen (R-GCN, GraphSAGE en GIN).
• Staal-efficiëntie: De studie toont aan dat natuurlijke taal (NL) modellen die zijn versterkt met CGFuse modellen die vooraf zijn getraind op code, kunnen overtreffen, ondanks het gebruik van aanzienlijk minder trainingsstalen en iteraties.

Experimentele Resultaten
Het raamwerk werd geëvalueerd op het CONCODE-dataset (Java-codegeneratie) met behulp van Exact Match (EM), BLEU en CodeBLEU-metrics. Belangrijke bevindingen zijn:

• Prestatiewinst: CGFuse behaalde verbeteringen van tot 10–16% in BLEU en 6–11% in CodeBLEU over diverse modellen.
  • Voor NL-only modellen (bijv. BERT) verbeterde het toevoegen van een 1-laags R-GCN BLEU van 33,4 naar 48,5 (+15,1) en CodeBLEU van 31,2 naar 43,1 (+11,9).
  • Op code vooraf getrainde modellen zagen ook significante winsten; bijvoorbeeld, PLBART verbeterde met +17,2 BLEU en +14,9 CodeBLEU wanneer verrijkt met een GNN.
• Architectuur-gevoeligheid: Ondiepe GNN's presteerden het beste. Enkellaagse GNN's presteerden consequent beter dan varianten met 2 lagen en 3 lagen, wat suggereert dat diepere GNN's ruis kunnen introduceren of representaties voor deze specifieke taak kunnen oververhitten. R-GCN en GIN (1-laags) leverden respectievelijk de hoogste scores op BLEU/CodeBLEU en EM.
• Staal-efficiëntie: Op NL gebaseerde modellen versterkt met CGFuse (bijv. RoBERTa + GIN) presteerden beter dan hun op code vooraf getrainde tegenhangers (bijv. GraphCodeBERT), terwijl ze blootgesteld werden aan orde-grootte minder code-data (bijv. ~8M stalen versus ~12M+ voor GraphCodeBERT).

Betekenis en Toekomstige Richtingen
Het artikel stelt dat diepe integratie van grafieken en PLM's een weg biedt naar robuustere, capabelere door AI gedreven softwareontwikkeling door fijnmazige structurele informatie te behouden die sequentiële modellen doorgaans missen. De resultaten benadrukken dat structurele embeddings codekennis effectief in modellen kunnen infuseren die oorspronkelijk niet tijdens de pre-training aan code waren blootgesteld.

De auteurs identificeren verschillende avenues voor toekomstig werk, waaronder:

• Het ontwikkelen van strategieën voor efficiënte GNN-training en het hanteren van incomplete code tijdens het decoderen.
• Het mitigeren van ambiguïteit in AST-generatie.
• Het testen van schaalbaarheid op grotere PLM's.
• Het evalueren van functionele correctheid op benchmarks zoals HumanEval en MBPP, in plaats van uitsluitend te vertrouwen op string-matching-metrics.

Het werk erkent dat het integreren van GNN-experts in decoders uitdagend blijft vanwege de noodzaak om grafieken te construeren uit potentieel ambigu of incomplete code tijdens het generatieproces.