Resumen Técnico: Una Evaluación Justa de los Modelos Fundacionales de Grafos para la Predicción de Propiedades de Nodos

Planteamiento del Problema

El desarrollo de los Modelos Fundacionales de Grafos (GFM, por sus siglas en inglés) ha ganado una tracción significativa debido a la ubicuidad de los datos con estructura de grafo en la industria y la ciencia. Específicamente, los GFM diseñados para la predicción de propiedades de nodos (predecir etiquetas de nodos desconocidas a partir de características, estructura y etiquetas conocidas) son de gran interés, con aplicaciones que van desde la detección de fraude hasta los sistemas de recomendación. Sin embargo, el campo carece de un entorno de evaluación unificado. Los trabajos existentes evalúan los modelos utilizando protocolos muy diferentes, empleando a menudo conjuntos de datos estrechos y no representativos, así como líneas de base (baselines) débiles. Esta inconsistencia impide una comparación fiable entre los diferentes GFM y entre los GFM y las Redes Neuronales de Grafos (GNN) tradicionales. Además, el término "Modelo Fundacional" se aplica a menudo de forma laxa a modelos que apuntan a dominios de grafos (por ejemplo, moléculas frente a redes sociales) y tareas muy distintas, lo que oscurece su alcance y capacidades reales.

Metodología

Para abordar estos problemas, los autores llevaron a cabo un estudio empírico riguroso y a gran escala reevaluando 9 GFMs recientes para la predicción de propiedades de nodos frente a líneas de base de GNN fuertes y bien ajustadas.

1. Conjuntos de Datos

El estudio utiliza 10 conjuntos de datos del benchmark GraphLand (Bazhenov et al., 2025). Este benchmark fue diseñado específicamente para superar las limitaciones de los conjuntos de datos previos (por ejemplo, errores, cobertura de dominio estrecha, relevancia práctica cuestionable) mediante la representación de aplicaciones industriales del mundo real a través de diversos dominios como el comercio electrónico, el transporte y las redes sociales. Los autores utilizan divisiones de datos estándar de RL (Etiqueta Aleatoria).

2. Líneas de Base (GNNs)

Para garantizar una comparación justa, los autores evitan las líneas de base insuficientemente ajustadas. Emplean dos versiones de arquitecturas GNN mejoradas que son conocidas por ser líneas de base fuertes:

• Platonov et al. (2023b): Variantes de GCN, GraphSAGE, GAT y Local Graph Transformer (LGT) que presentan mejoras arquitectónicas como conexiones de salto (skip-connections) y normalización.
• Luo et al. (2024): Variantes mejoradas similares con opciones arquitectónicas adicionales como la separación de incrustaciones de ego-vecino.
• Ajuste de Hiperparámetros: Ambos conjuntos de líneas de base se someten a una búsqueda exhaustiva de hiperparámetros (100 ensayos utilizando el algoritmo TPE) para asegurar un rendimiento óptimo, contrarrestando la tendencia en la literatura de no ajustar adecuadamente las líneas de base.

3. Modelos Evaluados

El estudio evalúa 9 GFMs, categorizados por sus mecanismos subyacentes:

• GFMs no basados en PFN: OpenGraph, AnyGraph, GCOPE, SAMGPT, MDGFM y TS-GNN. Estos modelos suelen depender de mecanismos como la proyección de características, la reducción de dimensionalidad o la conversión de grafos a tablas sin un preentrenamiento nativo consciente de la estructura del grafo.
• GFMs basados en PFN: G2T-FM, TAG y GraphPFN. Estos se basan en el paradigma de las Redes Ajustadas a Datos Previos (PFN). Se entrenan en conjuntos de datos sintéticos para realizar Aprendizaje en Contexto (ICL), realizando predicciones en una sola pasada hacia adelante (forward pass) sin entrenamiento por conjunto de datos.
  • G2T-FM y TAG aumentan las características de los nodos con información de grafos y los introducen en modelos fundacionales tabulares preentrenados (LimiX-16M o TabPFNv2).
  • GraphPFN utiliza una arquitectura personalizada nativa de grafos que incorpora el paso de mensajes directamente dentro de la estructura del PFN.

4. Protocolos de Evaluación

Los modelos se evalúan bajo todos los regímenes soportados:

• Aprendizaje en Contexto (ICL): Predicción zero-shot utilizando el modelo preentrenado.
• Ajuste Fino (Fine-Tuning - FT): Entrenamiento del modelo con parámetros específicos del conjunto de datos.
• Métricas: Precisión (multiclase), Precisión Media (binaria) y R² (regresión), agregadas mediante rango promedio y puntuación normalizada promedio a través de los conjuntos de datos.
• Eficiencia: Se miden los costes computacionales para el ajuste de hiperparámetros, el entrenamiento y la inferencia.

Resultados Clave

1. Rendimiento Predictivo

Los resultados bifurcan claramente los GFMs en dos grupos distintos:

• GFMs no basados en PFN: Estos modelos desempeñan sistemáticamente por debajo de las GNN clásicas bien ajustadas, a menudo por un margen sustancial, en todos los conjuntos de datos.
• GFMs basados en PFN: Estos modelos generalmente superan a las GNN.
  • En el régimen de ICL, los modelos basados en PFN (específicamente GraphPFN, G2T-FM y TAG) logran los mejores resultados en la mayoría de los conjuntos de datos, superando a todas las GNN. GraphPFN lidera en el rango promedio.
  • En el régimen de Ajuste Fino (FT), el rendimiento mejora significativamente para los modelos basados en PFN. GraphPFN (FT) emerge como el mejor modelo general, logrando los mejores resultados en los 10 conjuntos de datos, a menudo por un gran margen.
  • Comparación de Arquitecturas: Entre los modelos basados en PFN, aquellos que utilizan el esqueleto LimiX-16M (G2T-FM, TAG) funcionan mejor que los que usan TabPFNv2. Sin embargo, GraphPFN, que maneja nativamente la estructura del grafo mediante el paso de mensajes dentro de la arquitectura PFN, supera a los enfoques de esqueleto tabular (G2T-FM y TAG) tanto en el régimen ICL como en el FT.

2. Eficiencia Computacional

• Inferencia: Las GNN son significativamente más eficientes en la inferencia, requiriendo típicamente <1 segundo. En contraste, los GFMs basados en PFN requieren segundos o minutos (con algunos modelos TAG tomando hasta 30 minutos) debido al coste computacional de procesar todo el contexto en una sola pasada hacia adelante.
• Entrenamiento/Desarrollo: Las GNN requieren un ajuste extensivo de hiperparámetros y múltiples ejecuciones de entrenamiento (cientos de pasadas hacia adelante/atrás) para cada nuevo conjunto de datos. Los modelos basados en PFN, una vez preentrenados, requieren muchos menos hiperparámetros para ajustar (por ejemplo, solo la tasa de aprendizaje para el ajuste fino) y menos ejecuciones de entrenamiento. En escenarios donde el tiempo de desarrollo es crítico y la latencia de inferencia está menos restringida, los PFN pueden ser preferibles.

Contribuciones Clave

1. Marco de Evaluación Unificado: El artículo establece un protocolo de evaluación justo y riguroso para la predicción de propiedades de nodos de los GFM, utilizando el benchmark GraphLand y líneas de base de GNN fuertes y bien ajustadas.
2. Identificación de la Disparidad de Rendimiento: Demuestra que la mayoría de los GFMs actuales (no basados en PFN) no superan a las GNN adecuadamente ajustadas, desafiando la suposición de que los "modelos fundacionales" producen inherentemente un rendimiento superior en tareas de grafos.
3. Validación del Paradigma PFN: El estudio identifica que solo los GFMs basados en el paradigma de Redes Ajustadas a Datos Previos (PFN) logran un rendimiento de vanguardia, superando a las GNN tanto en los entornos de ICL como de ajuste fino.
4. Perspectivas de Arquitectura: Destaca que, si bien la adaptación de modelos fundacionales tabulares a grafos (mediante el aumento de características) funciona, las arquitecturas nativas conscientes de grafos (como GraphPFN) producen resultados superiores en comparación con el tratamiento de los grafos como tablas.
5. Análisis de Coste-Beneficio: El artículo proporciona un desglose detallado del compromiso entre el alto coste de inferencia de los PFN y sus reducidos costes de desarrollo/ajuste en comparación con las GNN.

Significado y Reivindicaciones

Los autores afirman que este trabajo proporciona una "reevaluación justa y rigurosa" que clarifica el estado actual del campo. El significado principal reside en:

• Corrección de Conceptos Erróneos: Demostrar que no todos los modelos etiquetados como "GFM" son efectivos; solo aquellos que aprovechan el paradigma PFN ofrecen actualmente una ventaja de rendimiento sobre las GNN.
• Definición de Alcance: Argumentar que el término "GFM" está mal definido y urgir a los investigadores a aclarar explícamente el alcance de sus modelos (por ejemplo, dominios de datos o tareas específicas).
• Guía Práctica: Ofrecer un análisis de compromiso claro para los profesionales: si la velocidad de inferencia es primordial, las GNN bien ajustadas siguen siendo la opción dominante; si se requiere una rápida adaptación a nuevos conjuntos de datos con un ajuste mínimo, los GFMs basados en PFN son la opción superior a pesar de la mayor latencia de inferencia.

El artículo concluye que, si bien el campo aún no ha convergido hacia una solución unificada, el paradigma PFN representa la dirección más prometedora para los Modelos Fundacionales de Grafos en la predicación de propiedades de nodos, siempre que el coste computacional de la inferencia sea aceptable para la aplicación específica.