Resumen Técnico: Un Conjunto de Datos de Referencia para la Regresión en Grafos con Variantes Homogéneas y Multi-Relacionales

Declaración del Problema

Las Redes Neuronales de Grafos (GNN) han logrado un éxito significativo en tareas de clasificación de nodos y grafos en dominios como la biología, las redes sociales y los sistemas de recomendación. Sin embargo, la regresión en grafos permanece poco explorada, con puntos de referencia públicos fuertemente sesgados hacia grafos moleculares y redes de citas (principalmente en Química y Descubrimiento de Fármacos). Esta falta de diversidad limita el desarrollo y la evaluación de GNN para tareas de regresión en otros campos críticos, como la ingeniería de software, las finanzas y el transporte. Específicamente, existe una escasez de conjuntos de datos que permitan a los investigadores investigar cómo las elecciones de representación estructural (homogénea frente a multi-relacional) influyen en el comportamiento del modelo en la regresión de grafos.

Metodología

Los autores introducen RelSC, un nuevo conjunto de datos de regresión en grafos diseñado para la predicción del rendimiento del software, centrándose específicamente en la estimación del tiempo de ejecución de código fuente Java. La metodología implica transformar el código fuente en representaciones de grafos que capturan tanto la estructura sintáctica como el flujo de ejecución semántico.

Recolección de Datos

El conjunto de datos comprende dos fuentes para garantizar la diversidad en complejidad y entorno:

1. OSSBuild: Tiempos de ejecución extraídos de sistemas de integración continua (CI) de cuatro proyectos de código abierto (SystemDS, H2, Dubbo, RDF4J).
2. HadoopTests: Tiempos de ejecución de 2.895 pruebas unitarias del framework Apache Hadoop, medidos en un entorno virtual controlado.
   Los valores objetivo (tiempos de ejecución) se normalizan al rango $[0, 1]$ para garantizar la comparabilidad entre conjuntos de datos con diferentes escalas.

Construcción del Grafo

La contribución central reside en la construcción de dos variantes de grafos complementarias a partir de Árbores de Sintaxis Abstracta (AST):

1. RelSC-H (Homogéneo):

   • Comienza con un AST analizado mediante javalang.
   • Convierte el árbol en un grafo dirigido.
   • Aumento: Integra aristas de Grafos de Flujo de Control (CFG) y Grafos de Flujo de Datos (DFG) para capturar la semántica de ejecución. Esto incluye 11 tipos de aristas adicionales (por ejemplo, Flujo de Si, Flujo de Ejecución de Mientras, Próximo Uso, Flujo de Próxima Sentencia).
   • Características: Los nodos se codifican con vectores one-hot que representan 72 tipos de nodos AST. Las características de los nodos se concatenan con la codificación one-hot sumada de los tipos de aristas salientes para capturar el contexto relacional.

2. RelSC-M (Multi-Relacional):

   • Se basa en RelSC-H pero categoriza los 72 tipos de nodos AST en 7 categorías semánticas: Declaraciones, Tipos de Datos, Flujo de Control, Operaciones, Elementos Estructurales, Excepciones/Errores y Otros.
   • Estructura: Construye un grafo multi-relacional donde las aristas se definen por la relación específica entre estas categorías, resultando en hasta 49 tipos de relaciones distintas.
   • Características: Similar a RelSC-H, pero aprovecha el paso de mensajes heterogéneo para tratar los diferentes tipos de relaciones de manera distinta.

Contribuciones Clave

1. Nuevo Punto de Referencia: La introducción de RelSC, el primer punto de referencia a gran escala para la regresión en grafos en ingeniería de software que proporciona el tiempo de ejecución como una variable objetivo continua.
2. Variantes Dúales: La publicación de ambas RelSC-H (homogénea, con características de nodo ricas) y RelSC-M (multi-relacional, preservando las relaciones semánticas originales), permitiendo la comparación directa de cómo la representación estructural afecta el rendimiento de la regresión.
3. Aumento Semántico: A diferencia de trabajos anteriores que se basaban únicamente en propiedades estructurales, este enfoque integra características de nodo semánticas y aristas basadas en flujo (CFG/DFG) para crear una representación más expresiva de la ejecución del código.
4. Lanzamiento Público: El conjunto de datos, los objetos de grafo (formato PyTorch Geometric) y el código para la construcción de grafos y el entrenamiento de modelos están disponibles públicamente.

Resultados Experimentales

Los autores evaluaron un conjunto diverso de arquitecturas en ambas variantes:

• Líneas Base: Modelos de código fuente (CodeBERT, Code2Vec) y GNN estándar (GCN, ChebConv, GIN, GraphSAGE, PNA).
• Modelos Multi-Relacionales: HeteroGNN (HeteroSAGE, HeteroGAT) para RelSC-M.

Hallazgos Clave:

• Superioridad de GNN: Los modelos basados en GNN superaron consistentemente a los modelos basados en código fuente (CodeBERT) y basados en AST (Code2Vec) en todos los conjuntos de datos.
• Mejores Rendimientos:
  • En RelSC-H, PNA (Agregación de Vecindario Principal) logró el Error Absoluto Medio (MAE) más bajo en cada conjunto de datos.
  • En RelSC-M, HeteroGAT generalmente superó a HeteroSAGE, aunque el rendimiento varió significativamente según el tamaño y la complejidad del conjunto de datos.
• Impacto de la Representación: Contrario a la intuición de que las estructuras multi-relacionales proporcionan información más rica, los modelos entrenados en RelSC-H a menudo superaron a los de RelSC-M. Esto sugiere que aprovechar eficazmente los datos multi-relacionales para la regresión sigue siendo un desafío abierto.
• Estudio de Ablación: Agregar aristas de flujo (CFG/DFG) a ASTs simples redujo significativamente el MAE (en aproximadamente 0.07–0.09), confirmando el papel crítico del aumento semántico en la predicción del tiempo de ejecución.
• Limitaciones: Todos los modelos tuvieron dificultades con valores atípicos y objetivos de alta varianza, particularmente en el conjunto de datos Hadoop, donde las predicciones a menudo se agrupaban cerca de cero y fallaban en estimar con precisión los tiempos de ejecución altos.

Significado y Afirmaciones

El artículo afirma que RelSC aborda una brecha crítica en la disponibilidad de puntos de referencia diversos para la regresión en grafos. Al ir más allá del panorama dominado por la química, permite la exploración de GNN en ingeniería de software, un dominio con alta relevancia práctica para la optimización de código, la refactorización y la detección de regresiones de rendimiento en CI/CD.

Los autores posicionan a RelSC no como una propuesta de una nueva arquitectura, sino como un banco de pruebas riguroso para evaluar modelos existentes y futuros. Los resultados destacan que, si bien las GNN son superiores a los métodos no gráficos para esta tarea, la elección específica de la representación estructural (homogénea frente a multi-relacional) impacta significativamente el rendimiento. El artículo concluye que los conjuntos de datos propuestos sirven como un recurso valioso para avanzar en el aprendizaje basado en grafos en dominios poco explorados, aunque también revelan que los modelos actuales aún luchan con la complejidad y la variabilidad de los tiempos de ejecución del software del mundo real.