Resumen Técnico: GRAPHNETZ

Planteamiento del Problema

Las actuales referencias de evaluación para Redes Neuronales de Grafos (GNN) adolecen frecuentemente de una falta de rigor estadístico. Los estudios típicos reportan estimaciones puntuales de precisión (a menudo con desviaciones estándar) derivadas de semillas aleatorias limitadas y divisiones específicas de entrenamiento/prueba. Este enfoque conduce frecuentemente a la conclusión de que un modelo "supera" a otro basándose en diferencias titulares que son menores que el ruido introducido por la varianza de la semilla aleatoria, las divisiones del conjunto de datos o los artefactos de evaluación.

Como se señaló en reevaluaciones anteriores (Shchur et al., 2018; Errica et al., 2020), muchas ganancias arquitectónicas reportadas colapsan cuando se aleatorizan las semillas y las divisiones. Si bien existen herramientas estadísticas estándar —como intervalos de confianza (IC), comparaciones emparejadas con corrección de comparaciones múltiples y agregación basada en rangos—, raramente son la salida predeterminada de las suites de referencia de aprendizaje en grafos. Los marcos existentes como PyTorch Geometric, Open Graph Benchmark (OGB) y Benchmarking-GNNs se centran en la arquitectura y la amplitud de los conjuntos de datos, pero dejan la presentación estadística, la orquestación de múltiples semillas y la prueba de hipótesis rigurosa a cargo del usuario.

Metodología: El Marco GRAPHNETZ

Los autores introducen GRAPHNETZ, un marco de referencia diseñado para hacer que un informe estadístico estructurado sea la salida predeterminada de una ejecución de referencia, en lugar de una tabla de precisión cruda. El marco se organiza en torno a cuatro capas conceptuales:

1. Catálogo de Conjuntos de Datos Categorizados:

   • El marco incluye 63 cargadores de conjuntos de datos mapeados a 10 categorías de investigación (Optimización Combinatoria, Biología, Social, Conocimiento, Infraestructura, Finanzas, Computación, Visión, Física y Seguridad).
   • Soporta 4 tipos de tareas: Clasificación de Nodos, Clasificación de Grafos, Regresión de Grafos y Predicción de Enlaces.
   • Los cargadores incluyen referencias públicas canónicas (por ejemplo, Planetoid, TUDataset, QM9, ZINC) e instancias sintéticas (por ejemplo, TSP, VRP, Red de Ising) donde faltan referencias canónicas.

2. Protocolo de Evaluación Uniforme:

   • El marco evalúa 5 arquitecturas canónicas de GNN: GCN, GAT, GIN, GraphSAGE y Graph Transformer.
   • Emplea adaptadores de tarea (por ejemplo, cabezas de agrupación a nivel de grafo, cabezas de predicción de enlaces por producto punto) para asegurar que los codificadores a nivel de nodo puedan probarse en todos los tipos de tareas.
   • El Algoritmo 1 define el protocolo: Para una categoría dada, los modelos se entrenan a través de $S$ semillas (predeterminado $S=10$) y $E$ épocas. El proceso es determinista dada una pila de software fija, con los generadores de números aleatorios (RNG) reiniciados antes de cada ejecución.

3. Capa de Presentación Estadística:

   • Análisis por Celda: Calcula la media $\pm$ intervalo de confianza del 95% de la distribución t de Student para cada par (tarea, modelo).
   • Pruebas Pareadas Dentro de la Tarea: Realiza pruebas t pareadas (paramétricas) y pruebas de rangos con signo de Wilcoxon (no paramétricas) sobre las métricas finales alineadas por semilla. Estas se corrigen para comparaciones múltiples utilizando el método Holm-Bonferroni.
   • Agregación Entre Tareas: Clasifica los modelos por tarea, calcula la prueba omnibus de Friedman y genera diagramas de diferencia crítica (CD) de Nemenyi para visualizar diferencias significativas entre tareas.

4. Implementación:

   • El marco está implementado en Python, con un único punto de entrada run_benchmark.
   • Soporta conjuntos de datos y modelos personalizados mediante una extensión de API de una sola línea.
   • Todos los generadores de números aleatorios se siembran para asegurar la reproducibilidad.

Contribuciones Clave

El artículo afirma cuatro contribuciones principales:

1. Una Taxonomía Categorial: Un mapeo de 63 cargadores a 10 áreas de investigación, señalando explícitamente subtemas que actualmente carecen de referencias públicas canónicas.
2. Un Protocolo Uniforme: Una configuración de evaluación estandarizada para cinco arquitecturas principales de GNN a través de cuatro tipos de tareas, asegurando que las diferencias de rendimiento reflejen elecciones de modelado en lugar de idiosincrasias de evaluación.
3. Una Capa Estadística Principiada: El tipo de retorno predeterminado de una ejecución de referencia es un informe estructurado que contiene IC por celda, valores p pareados corregidos con Holm y diagramas CD de Friedman-Nemenyi.
4. Validación Empírica: Una referencia de evaluación entre categorías que demuestra que, bajo un escrutinio estadístico riguroso, las diferencias de rango aparentes entre codificadores canónicos a menudo caen dentro de un solo clúster de Nemenyi, indicando que no hay diferencia significativa.

Resultados Experimentales

Los autores realizaron un experimento entre categorías a través de 10 tareas heterogéneas (un conjunto de datos representativo por categoría) utilizando 10 semillas y 5 arquitecturas.

• Resultados por Categoría: Para cada tarea, se calcularon el rendimiento medio y los IC del 95%. En muchos casos, los intervalos de confianza de diferentes arquitecturas se superpusieron significativamente.
• Acuerdo de Pruebas Pareadas: En los conjuntos de datos sociales/Planetoid (Cora, CiteSeer, PubMed), la prueba t pareada paramétrica y la prueba de rangos con signo de Wilcoxon no paramétrica coincidieron en las 18 comparaciones después de la corrección Holm-Bonferroni en $\alpha = 0.05$.
• Clasificación Entre Categorías:
  • Los cuatro codificadores a nivel de nodo (GCN, GAT, GraphSAGE, Graph Transformer) se clasificaron a través de las 10 tareas.
  • La prueba omnibus de Friedman arrojó $\chi^2_3 = 2.04$ ($p = 0.56$), no logrando rechazar la hipótesis nula global de rangos medios iguales.
  • La diferencia crítica de Nemenyi se calculó como $CD_{0.05} = 1.48$ unidades de rango.
  • La brecha de rango máxima observada fue entre GraphSAGE (rango medio 2.10) y GAT (rango medio 2.90), una diferencia de 0.80.
  • Conclusión: Dado que $0.80 < 1.48$, ninguna de las cuatro arquitecturas fue significativamente mejor que ninguna otra en $\alpha = 0.05$. Las cuatro cayeron dentro de un solo clúster de Nemenyi.

Significado y Afirmaciones

El artículo presenta a GRAPHNETZ como una herramienta para abordar la crisis de reproducibilidad en el aprendizaje de grafos al integrar el rigor estadístico en el flujo de trabajo predeterminado.

• Comparación Honesta: El marco proporciona una "comparación de modelos reproducible y honesta" que tiene en cuenta la incertidumbre de la semilla y evita la selección arbitraria de resultados.
• Evidencia Calibrada: Los autores argumentan que los tamaños de muestra típicos del campo (por ejemplo, $N=10$ tareas, $S=10$ semillas) a menudo carecen de la potencia para distinguir entre arquitecturas canónicas. Las salidas estadísticas del marco (IC, diagramas CD) están "precisamente calibradas" para reflejar la evidencia real disponible, mostrando que las diferencias titulares a menudo se disuelven cuando se tiene en cuenta adecuadamente el ruido.
• Estándar Comunitario: Al hacer que toda la cadena de presentación estadística (desde la evaluación de múltiples semillas hasta los diagramas CD) sea la salida predeterminada, GRAPHNETZ tiene como objetivo servir a la comunidad de aprendizaje de grafos con un flujo de trabajo listo para ser adoptado en artículos de investigación, moviendo al campo de la presentación de tablas de precisión cruda hacia la evidencia estadística principista.

Los autores permanecen modestos respecto a las implicaciones futuras, señalando que aumentar el número de conjuntos de datos ($N$) estrecharía el umbral de diferencia crítica, y que extender el marco para incluir la búsqueda de hiperparámetros o modelos fundacionales son los siguientes pasos naturales, pero no forman parte de la versión actual.