Resumen Técnico: Revisitando la Década Post-GCN: Evaluación Estratificada por Curvatura del Aprendizaje Relacional

1. Planteamiento del Problema

Las prácticas actuales de evaluación en el aprendizaje relacional dependen excesivamente de "leaderboards" planos que promedian el rendimiento de los modelos a través de conjuntos de datos heterogéneos. Este enfoque asume implícitamente que los datos relacionales constituyen una categoría monolítica con una estructura subyacente uniforme. Los autores argumentan que esta suposición introduce un sesgo sistemático al ocultar las variaciones de rendimiento dependientes de la geometría. En consecuencia, los benchmarks estándar pueden generar conclusiones erróneas sobre la generalización de los modelos, atribuyendo potencialmente el éxito a una superioridad arquitectónica cuando en realidad es el resultado de una alineación fortuita con las propiedades geométricas dominantes del mix específico de datos.

Si bien trabajos recientes han introducido modelos hiperbólicos, esféricos y de curvatura mixta para adaptarse a topologías de datos específicas, el paradigma de evaluación permanece estancado, juzgando modelos especializados contra promedios globales que ocultan su verdadera utilidad. Esto crea un "desajuste geométrico" donde los modelos se diseñan para curvaturas específicas pero se evalúan para el "promedio".

2. Metodología: CURVBENCH

Para abordar estos problemas, los autores introducen CURVBENCH, un marco de auditoría estratificado por curvatura. La metodología procede a través de tres etapas principales:

A. Caracterización Geométrica

El marco trata a los grafos como espacios métricos finitos y cuantifica su geometría intrínseca utilizando dos métricas primarias derivadas de la curvatura de sección discreta:

1. Curvatura Media ($\bar{\kappa}(G)$): Mide la curvatura con signo promedio del grafo, indicando si la geometría local es generalmente euclidiana (cercana a cero), esférica (positiva) o hiperbólica (negativa).
2. Asimetría de Curvatura ($\gamma_\kappa(G)$): Captura la asimetría de la distribución de la curvatura. Esto es crítico para identificar conjuntos de datos donde un subconjunto pequeño de nodos o aristas porta señales geométricas desproporcionadamente grandes (por ejemplo, la geometría impulsada por la cola en grafos derivados de tablas), incluso si la curvatura media es cercana a cero.

Basándose en estas métricas, los conjuntos de datos se particionan en tres regímenes:

• Cercano a cero: $|\bar{\kappa}(G)| < 0.01$ y $|\gamma_\kappa(G)| < 0.5$.
• Positivo: Caracterizado por una curvatura media positiva o una asimetría positiva.
• Negativo: Caracterizado por una curvatura media negativa o una asimetría negativa.

B. Configuración Experimental

• Conjuntos de Datos: El benchmark evalúa 14 conjuntos de datos diversos, incluyendo 9 grafos naturales (ej. Cora, Citeseer, Airport, Telecom) y 5 grafos derivados de tablas (ej. Carcinogenesis, Hepatitis, F1).
• Modelos: Se evalúan 18 modelos representativos, categorizados por sus sesgos inductivos geométricos:
  • Euclidianos/Agnósticos a la geometría: MLP, GCN, GAT, GraphSAGE, PCNet.
  • Hiperbólicos: HGNN, HGCN, HAT, HyboNet.
  • Flexibles/Curvatura Mixta: QGCN, CUSP.
  • Riemannianos Adaptativos: GraphMoRE.
  • Modelos Fundacionales de Grafos (GFMs): GCOPE, MDGPT, MDGFM, SAMGPT, GraphGluing, SA2GFM.
• Tareas: Clasificación de Nodos y Predicción de Enlaces.
• Protocolo de Evaluación: En lugar de un único leaderboard global, el rendimiento se analiza mediante diagnósticos condicionados por régimen. Los autores utilizan métricas de consistencia de ranking (Spearman, Kendall, solapamiento de Jaccard) para comparar los rankings de los modelos dentro y entre regímenes de curvatura.

C. Fundamentación Teórica

El artículo proporciona una justificación teórica del enfoque:

• Desajuste de Curvatura: Se demuestra que la distorsión métrica en un embedding está acotada inferiormente por el desajuste en los residuales de curvatura. Si el espacio de embedding de un modelo no se alinea con la curvatura intrínseca del grafo, la distorsión métrica sistemática es inevitable.
• Órdenes Condicionados por Régimen: Los autores demuestran que la brecha entre la estabilidad de ranking intra-régimen y cross-régimen sirve como una estimación directa de la variación de preferencia. Si la curvatura afecta el comportamiento del modelo, los rankings serán estables dentro de un régimen pero inestables entre regímenes.

3. Resultados Clave

A. Los Regímenes de Curvatura Inducen Órdenes Parciales Coherentes

Los rankings de los modelos son altamente estables dentro de un régimen geométrico homogéneo, pero cambian significativamente a través de los regímenes.

• Consistencia: La correlación de Spearman intra-régimen para los top-3 rankings es de 0.539, comparada con solo 0.036 entre regímenes.
• Reorganización de Sesgos Inductivos:
  • Régimen Cercano a Cero: Los métodos euclidianos (GraphSAGE, PCNet) dominan.
  • Régimen Positivo: Los métodos euclidianos siguen siendo competitivos, pero el MLP se vuelve altamente predictivo, sugiriendo que los atributos de los nodos pesan más que la estructura relacional en grafos compactos/agrupados.
  • Régimen Negativo: Los métodos mixtos y riemannianos adaptativos (GraphMoRE, QGCN) dominan, mientras que los métodos euclidianos caen al 0% de las posiciones del top-3. Esto indica que los modelos euclidianos no son inherentemente débiles, sino que están limitados por el régimen.

B. Los Modelos Fundacionales de Grafos (GFMs) están Condicionados por la Geometría

Los GFMs no eliminan la necesidad de una evaluación consciente de la curvatura; introducen nuevos sesgos inductivos condicionados por la geometría.

• Rendimiento de 1-Shot: Los rankings siguen estando condicionados por la curvatura. Los modelos basados en tokens (MDGPT, MDGFM) sobresalen en grafos cercanos a cero, mientras que los modelos de alineación estructural (GraphGluing) dominan en regímenes positivos.
• Elasticidad de Etiquetas: El aumento de la supervisión de 1-shot a 5-shot produce altas ganancias para grafos cercanos a cero (limitados por etiquetas), pero rendimientos decrecientes para grafos positivos y negativos (limitados por la geometría).
• Factibilidad: Varios GFMs encuentran errores de Fuera de Memoria (OOM) en conjuntos de datos específicos (ej. Telecom), resaltando que la factibilidad es una manifestación de la dificultad de transferencia, no solo un detalle de implementación.

C. Los Grafos Derivados de Tablas Revelan una Geometría Impulsada por la Cola

Los grafos derivados de tablas a menudo exhiben una curvatura media cercana a cero pero una asimetría positiva extrema.

• Especialista vs. Robustez: Modelos como HAT actúan como "especialistas de alta varianza", sobresaliendo en conjuntos de datos con colas de curvatura pronunciadas (ej. F1, PTE) pero fallando en otros. En contraste, los baselines euclidianos como GraphSAGE proporcionan un rendimiento más estable y robusto a través de estos conjuntos de datos heterogéneos.
• Necesidad de Métricas: Depender únicamente de la curvatura media oculta estos compromisos entre especialista y robustez; tanto la media como la asimetría son necesarias para explicar el rendimiento.

D. Perfiles de Eficiencia

El modelado consciente de la geometría introduce perfiles de eficiencia distintos. Mientras que los baselines euclidianos son computacionalmente ligeros, los métodos adaptativos y de variedades pesadas (ej. GraphMoRE, HAT) incurren en costos sustancials de entrenamiento e inferencia. Notablemente, el costo de entrenamiento y el costo de inferencia no siempre se correlacionan (ej. HyboNet tiene un costo de entrenamiento moderado pero un bajo costo de inferencia, mientras que GraphMoRE es costoso en ambos).

4. Contribuciones

1. Desarrollo de Framework: Un marco estratificado por curvatura basado en la curvatura media y la asimetría para categorizar conjuntos de datos de grafos y tablas en regímenes geométicamente significativos.
2. Evidencia Empírica: Evaluación de 18 métodos que revelan que el rendimiento es fundamentalmente dependiente de la geometría y no universalmente transferible, con los rankings de los modelos invirtiéndose a través de los regímenes.
3. Formalización Metodológica: Una metodología estratificada por régimen que reemplaza los leaderboards planos con comparaciones conscientes de la geometría, ofreciendo conocimientos más fiables e interpretables para la selección de modelos.
4. Liberación de Recursos: Publicación de todo el código, divisiones de conjuntos de datos estratificadas por curvatura y herramientas de diagnóstico para apoyar la evaluación reproducible.

5. Significado y Reivindicaciones

El artículo afirma que reducir la capacidad de un modelo a una única puntuación agregada ya no es suficiente para el panorama de investigación actual. La importancia de este trabajo radica en el cambio del paradigma de evaluación de la identificación de un modelo "globalmente mejor" a la determinación de qué sesgos inductivos son más efectivos bajo condiciones geométricas específicas.

Los autores argumentan que:

• Fiabilidad: La evaluación fiable debe trascender la simple precisión para incorporar la elasticidad de las etiquetas, los compromisos entre especialista y robustez, y la factibilidad computacional.
• Trayectorias Futuras: El campo debe avanzar hacia diagnósticos estratificados y conscientes de la cobertura que revelen las condiciones específicas bajo las cuales un modelo tiene éxito. Además, los futuros sistemas de aprendizaje relacional deberían transicionar de sesgos inductivos fijos hacia arquitecturas adaptativas a la geometría capaces de inferir o componer los sesgos apropiados directamente de los datos.

Al hacer que el diseño de los benchmarks sea estructuralmente consciente, los autores pretenden caracterizar mejor las fortalezas y limitaciones fundamentales de la próxima generación de modelos de grafos y modelos fundacionales.