Resumen Técnico: GraphLand: Evaluación de Modelos de Aprendizaje Automático en Grafos sobre Datos Industriales Diversos

Enunciado del Problema

A pesar de la prevalencia de datos con estructura de grafo en aplicaciones industriales del mundo real, la evaluación de los modelos de Aprendizaje Automático en Grafos (GML), particularmente las Redes Neuronales de Grafos (GNN) y los Modelos Fundacionales de Grafos (GFMs), sigue estando limitada por un conjunto reducido de puntos de referencia. Los puntos de referencia populares actuales dependen predominantemente de redes de citación académicas (por ejemplo, Cora, Citeseer, Pubmed) y de unas pocas redes de co-compra de comercio electrónico. Estos conjuntos de datos adolecen de varias limitaciones críticas:

• Estrechamiento del Dominio: Cubren solo un único dominio de aplicación o muy limitado, fallando en representar la diversidad de grafos del mundo real como redes sociales, grafos web y redes viales.
• Homogeneidad de Características: La mayoría de los conjuntos de datos existentes proporcionan únicamente atributos de nodo textuales, pasando por alto la mezcla compleja de características numéricas y categóricas común en entornos industriales.
• Sesgo Estructural: Son en gran medida homofílicos (las aristas conectan nodos similares), mientras que muchos grafos industriales son no homofílicos.
• Brechas de Evaluación: Los puntos de referencia estándar a menudo carecen de divisiones temporales realistas y configuraciones inductivas, fallando en evaluar el rendimiento del modelo bajo cambios distribucionales temporales o cuando aparecen nuevos nodos sin datos de entrenamiento previos.
• Limitaciones de los Modelos Fundacionales: Los GFMs propuestos se evalúan frecuentemente solo en grafos con atributos textuales, ignorando el desafío de generalizar a grafos con conjuntos de características de nodo arbitrarios y no textuales.

En consecuencia, existe una falta de puntos de referencia fiables, diversos y realistas para evaluar las verdaderas capacidades de generalización de los modelos GML en contextos industriales.

Metodología

Para abordar estas brechas, los autores introducen GraphLand, un punto de referencia que comprende 14 conjuntos de datos de grafos diversos derivados de aplicaciones industriales y fuentes de datos abiertas subutilizadas.

Construcción del Conjunto de Datos

El punto de referencia incluye 14 conjuntos de datos que cubren dominios como la detección de fraude web, redes sociales de creadores de arte, predicción de tráfico vial, predicción de la tasa de clics (CTR) de anuncios y detección de fraude de trabajadores en plataformas de crowdsourcing. Las características clave incluyen:

• Diversidad: Los grafos varían desde ~11 mil hasta ~3 millones de nodos, con densidades, diámetros y coeficientes de agrupamiento variables.
• Riqueza de Características: Los nodos poseen atributos diversos, incluyendo características numéricas y categóricas (por ejemplo, intereses del usuario, metadatos de segmentos viales, precios de productos), yendo más allá de las descripciones puramente textuales.
• Variedad de Tareas: Las tareas incluyen clasificación binaria (detección de fraude), clasificación multiclase (predicción de temas, predicción de regiones) y regresión (velocidad del tráfico, conteo de visualizaciones, CTR).
• Divisiones de Datos: Los autores proporcionan tres estrategias de división distintas para la mayoría de los conjuntos de datos:
  1. RL (Aleatorio Bajo): 10% entrenamiento, 10% validación, 80% prueba.
  2. RH (Aleatorio Alto): 50% entrenamiento, 25% validación, 25% prueba.
  3. TH (Temporal Alto): 50% entrenamiento, 25% validación, 25% prueba basados en la evolución temporal, simulando cambios distribucionales realistas.
  4. THI (Temporal Alto Inductivo): Similar a TH pero con una configuración inductiva estricta donde los nodos de prueba y sus aristas incidentes no están disponibles durante el entrenamiento.

Configuración Experimental

Los autores realizaron experimentos extensos comparando diversas clases de modelos:

• Líneas Base Agnósticas al Grafo: ResMLP (un MLP estilo ResNet) y Árboles de Decisión Impulsados por Gradiente (GBDT: XGBoost, LightGBM, CatBoost).
• Líneas Base Aumentadas con Grafos: Los modelos anteriores aumentados con Agregación de Características de Vecindad (NFA), que anexa estadísticas agregadas de vecinos (media, máximo, mínimo) a las características del nodo.
• Redes Neuronales de Grafos (GNN): Arquitecturas clásicas (GCN, GraphSAGE) y modelos basados en atención (GAT, Graph Transformer).
• Modelos Fundacionales de Grafos (GFMs): Evaluación de OpenGraph, AnyGraph, TS-GNN y GCOPE, centrándose en su capacidad para manejar características no textuales y transferirse entre dominios.

Todos los modelos pasaron por un ajuste riguroso de hiperparámetros. Los experimentos se ejecutaron tanto en configuraciones transductivas como inductivas para aislar el impacto de la estructura del grafo y los cambios temporales.

Resultados Clave

1. Utilidad de la Estructura del Grafo

La estructura del grafo en los conjuntos de datos de GraphLand es altamente beneficiosa. Las GNN superaron consistentemente a los modelos ResMLP agnósticos al grafo. Además, aumentar los GBDT con NFA mejoró significativamente su rendimiento, permitiéndoles a menudo igualar o superar a las GNN estándar, particularmente en tareas de regresión. Esto confirma que los GBDT con características derivadas de grafos sirven como líneas base sólidas en entornos industriales.

2. Rendimiento de las GNN

• Mecanismos de Atención: Las GNN basadas en atención (GAT, Graph Transformer) generalmente superaron a las GNN clásicas (GCN, GraphSAGE) en la mayoría de los conjuntos de datos, lo que sugiere que ponderar los mensajes de los vecinos basándose en el contenido es crucial para los grafos industriales diversos.
• Cambios Temporales: Los modelos tuvieron un rendimiento significativamente peor bajo divisiones temporales (TH) en comparación con divisiones aleatorias (RH), lo que indica que los cambios distribucionales realistas plantean un desafío sustancial.
• Configuraciones Inductivas: El rendimiento disminuyó aún más en la configuración inductiva (THI) en comparación con la configuración transductiva, destacando la dificultad de generalizar a nodos no vistos en grafos en evolución.

3. Limitaciones de los Modelos Fundacionales Actuales

Los GFMs actuales (OpenGraph, AnyGraph, TS-GNN, GCOPE) no lograron producir resultados competitivos en los conjuntos de datos de GraphLand.

• Tuvieron dificultades con características de nodo no textuales y grafos a gran escala.
• Su rendimiento fue a menudo inferior al de las GNN clásicas e incluso a las líneas base de GBDT.
• Muchos modelos encontraron errores de tiempo de ejecución o límites de memoria en conjuntos de datos más grandes, y ninguno soportó tareas de regresión de nodos de manera efectiva en las implementaciones proporcionadas.

Significado y Afirmaciones

Los autores posicionan a GraphLand como un paso necesario hacia una evaluación más realista y diversa de los métodos GML. El artículo afirma el siguiente significado:

1. Realismo en la Evaluación: GraphLand proporciona el primer punto de referencia unificado para la predicción de propiedades de nodos que abarca diversos dominios industriales, tipos de características y propiedades estructurales, superando el dominio de las redes de citación.
2. Destacar Brechas de Investigación: El punto de referencia revela que los métodos GML actuales, incluidos los GFMs, aún no son robustos ante cambios distribucionales temporales ni capaces de manejar conjuntos de características de nodo arbitrarios. Identifica el diseño de modelos resilientes a estos cambios como una dirección de investigación crítica.
3. Reevaluación de Líneas Base: Los resultados demuestran que los GBDT con características basadas en grafos son competidores formidables para las GNN en entornos industriales, desafiando la suposición de que las GNN son siempre superiores.
4. Evaluación de Modelos Fundacionales: El bajo rendimiento de los GFMs actuales en estos conjuntos de datos sugiere que el problema de crear modelos fundacionales de grafos verdaderamente generalizables está lejos de resolverse, particularmente en lo que respecta a la generalización de características más allá del texto.

Los autores concluyen que GraphLand sirve como un campo de pruebas fiable para futuras investigaciones, señalando que trabajos iniciales de seguimiento ya han utilizado el punto de referencia para desarrollar GFMs que logran resultados sólidos en estos conjuntos de datos. Los conjuntos de datos y el código están disponibles públicamente a través de GitHub y PyTorch Geometric.