Deep Graph-Language Fusion for Structure-Aware Code Generation

Resumen Técnico: Fusión Profunda de Grafos y Lenguaje para la Generación de Código Consciente de la Estructura

Enunciado del Problema
Aunque los Modelos de Lenguaje Preentrenados (PLM) han transformado tareas de ingeniería de software como la generación de código y la detección de errores, exhiben una limitación arquitectónica fundamental: les resulta difícil capturar explícitamente los atributos estructurales y relacionales del código, como el flujo de control y las dependencias de datos. Esto se debe a una discrepancia entre los patrones secuenciales de tokens procesados por los LLM basados en transformadores y la naturaleza basada en grafos de la estructura del código. Los intentos existentes de cerrar esta brecha —mediante la extracción de características de grafos, la generación aumentada por recuperación (RAG) o la ingeniería de prompts— a menudo sufren pérdida de información durante la extracción densa de características o la codificación de prompts. Cabe destacar que el potencial de una fusión profunda a nivel de tokens de características de grafos directamente dentro de los componentes internos del modelo permanece sistemáticamente inexplorado.

Metodología: El Marco CGFuse
Los autores presentan CGFuse, un marco novedoso diseñado para fusionar representaciones derivadas de grafos directamente en las capas intermedias de los PLM. El enfoque consta de tres etapas principales:

1. Construcción del Grafo de Código: Los fragmentos de código fuente se representan como grafos de código ($G_c$) que aumentan los Árbores de Sintaxis Abstrata (AST) con aristas de flujo de datos. El grafo incluye nodos terminales (tokens de código) y nodos de sintaxis (constructos de alto nivel), conectados por aristas de jerarquía AST y aristas de flujo de datos (etiquetadas como comingFrom y calculatedBy).
2. Preentrenamiento del Experto en Grafos: Una Red Neuronal de Grafos (GNN) se preentrena como un "experto en grafos" para aprender representaciones a nivel de nodo tanto para nodos de sintaxis como terminales. La GNN agrega características del vecindario de un nodo utilizando agregación relacional para múltiples tipos de aristas. Se entrena en una tarea de clasificación de nodos, inicializada con incrustaciones de tokens de PLM para nodos terminales e incrustaciones aleatorias para nodos de sintaxis.
3. Fusión Profunda: La GNN preentrenada se integra en un PLM basado en transformadores. En una capa intermedia objetivo $l$, la GNN procesa el grafo de código para producir representaciones de nodo ($h^l_g$), las cuales se fusionan con las representaciones de tokens del transformador ($h^l_\theta$) mediante una suma ponderada: $h^l_f = h^l_\theta + \lambda h^l_g$. Solo los nodos dentro del contexto actual se alimentan a la GNN, enmascarando las aristas fuera de contexto. El modelo fusionado se ajusta finamente de forma conjunta en tareas posteriores.

Contribuciones Clave

• Marco Novedoso: CGFuse es el primer marco que fusiona sistemáticamente GNN con PLM en capas intermedias, permitiendo la explotación a nivel de token de información estructural fina de AST y grafos de flujo de datos.
• Evaluación Sistemática: Los autores evaluaron el marco en nueve PLM diversos (incluyendo arquitecturas de Codificador y Codificador-Decodificador) y tres arquitecturas de GNN (R-GCN, GraphSAGE y GIN).
• Eficiencia de Muestra: El estudio demuestra que los modelos de lenguaje natural (NL) mejorados con CGFuse pueden superar a los modelos preentrenados en código, a pesar de utilizar significativamente menos muestras e iteraciones de entrenamiento.

Resultados Experimentales
El marco se evaluó en el conjunto de datos CONCODE (generación de código Java) utilizando las métricas de Coincidencia Exacta (EM), BLEU y CodeBLEU. Los hallazgos clave incluyen:

• Mejoras de Rendimiento: CGFuse logró mejoras de hasta 10–16% en BLEU y 6–11% en CodeBLEU en diversos modelos.
  • Para modelos solo NL (por ejemplo, BERT), añadir un R-GCN de 1 capa mejoró BLEU de 33.4 a 48.5 (+15.1) y CodeBLEU de 31.2 a 43.1 (+11.9).
  • Los modelos preentrenados en código también vieron ganancias significativas; por ejemplo, PLBART mejoró en +17.2 BLEU y +14.9 CodeBLEU al ser aumentado con una GNN.
• Sensibilidad a la Arquitectura: Las GNN superficiales funcionaron mejor. Las GNN de una sola capa superaron consistentemente a las variantes de 2 y 3 capas, lo que sugiere que las GNN más profundas pueden introducir ruido o suavizar en exceso las representaciones para esta tarea específica. R-GCN y GIN (1 capa) obtuvieron las puntuaciones más altas en BLEU/CodeBLEU y EM, respectivamente.
• Eficiencia de Muestra: Los modelos basados en NL mejorados con CGFuse (por ejemplo, RoBERTa + GIN) superaron a sus contrapartes preentrenadas en código (por ejemplo, GraphCodeBERT) mientras estaban expuestos a órdenes de magnitud menos datos de código (por ejemplo, ~8M de muestras vs. ~12M+ para GraphCodeBERT).

Significado y Direcciones Futuras
El artículo postula que la integración profunda de grafos y PLM ofrece un camino hacia un desarrollo de software impulsado por IA más robusto y capaz, al preservar información estructural fina que los modelos secuenciales suelen pasar por alto. Los resultados destacan que las incrustaciones estructurales pueden infundir eficazmente conocimiento de código en modelos que no estuvieron expuestos originalmente al código durante el preentrenamiento.

Los autores identifican varias vías para trabajos futuros, incluyendo:

• Desarrollar estrategias para el entrenamiento eficiente de GNN y el manejo de código incompleto durante la decodificación.
• Mitigar la ambigüedad en la generación de AST.
• Probar la escalabilidad en PLM más grandes.
• Evaluar la corrección funcional en puntos de referencia como HumanEval y MBPP, en lugar de depender únicamente de métricas de coincidencia de cadenas.

El trabajo reconoce que integrar expertos en GNN en decodificadores sigue siendo un desafío debido a la necesidad de construir grafos a partir de código potencialmente ambiguo o incompleto durante el proceso de generación.