Resumen Técnico: OgBench – Un Marco para Evaluar Redes Neuronales de Grafos en Datos Ómicos

Enunciado del Problema

Las Redes Neuronales de Grafos (GNN) se han establecido como el marco dominante para el aprendizaje inductivo a nivel de grafo. Sin embargo, los puntos de referencia existentes (por ejemplo, OGB, TUDataset, LRGB) operan predominantemente en el régimen $n \gg p$, donde el número de grafos ($n$) excede significativamente al número de nodos por grafo ($p$). Esto contrasta marcadamente con el dominio biológico de la ómica (genómica, transcriptómica, proteómica, epigenómica), que opera en el régimen $n \ll p$. En la ómica, los conjuntos de datos se caracterizan por grafos masivos (decenas de miles de genes o proteínas por muestra) pero una escasez de muestras etiquetadas (pacientes o sujetos) debido a restricciones de costo, privacidad y clínicas.

La investigación actual en GNN corre el riesgo de estancamiento porque los puntos de referencia estándar no reflejan esta realidad de alta dimensionalidad y baja cantidad de muestras. En el aprendizaje estadístico, el régimen $n \ll p$ es propenso al sobreajuste y la inestabilidad. Aunque las GNN aprovechan priores estructurales que teóricamente podrían beneficiar este escenario, estudios recientes sugieren que a menudo no logran superar a las líneas base de aprendizaje automático más simples en tareas de ómica. Además, el campo carece de una pipeline estandarizada; las ganancias de rendimiento a menudo se ven confundidas por preprocesamiento aguas arriba heterogéneo (por ejemplo, agregación de sondas a genes, normalización, ajuste de covariables), lo que dificulta aislar si las mejoras provienen de la innovación arquitectónica o de artefactos del procesamiento de datos.

Metodología: El Marco OgBench

Para abordar estas brechas, los autores introducen OgBench, la primera plataforma de evaluación diseñada explícitamente para la predicción a nivel de grafo en el régimen de ómica $n \ll p$. OgBench proporciona una infraestructura modular y de extremo a extremo que desacopla el preprocesamiento de datos, la construcción de grafos y el entrenamiento de modelos.

1. Conjuntos de Datos Estandarizados

El marco integra cuatro conjuntos de datos limpios y listos para modelos que abarcan tres modalidades ómicas:

• HERITAGE (Proteómica): Clasificación binaria de respondedores al ejercicio ($n=654$, $p=4977$ proteínas).
• Parkinson (Transcriptómica): Clasificación binaria del estado cognitivo basada en puntuaciones MoCA ($n=535$, $p=21,755$ genes).
• AddNeuroMed (Transcriptómica): Diagnóstico clínico de tres clases (EA, DCL, Control) ($n=711$, $p=17,198$ genes).
• BRCA (Epigenómica): Clasificación de subtipos de cáncer de mama de cuatro clases ($n=640$, $p=19,049$ regiones de metilación mapeadas a genes).

Todos los conjuntos de datos pasan por una pipeline de preprocesamiento consistente que incluye agregación de sondas a genes, normalización y ajuste de covariables, con divisiones de datos fijas en 70/15/15 (entrenamiento/validación/prueba).

2. Construcción Modular de Grafos

OgBench trata la selección de nodos y la construcción de aristas como módulos intercambiables para permitir estudios de ablación controlados:

• Selección de Nodos: Las estrategias incluyen filtrado por varianza, correlación de Pearson, correlación de distancia (para dependencias no lineales) y muestreo aleatorio. Esto permite a los investigadores estudiar el impacto de los priores de selección de características en el rendimiento del modelo.
• Construcción de Aristas: Se admiten dos estrategias principales:
  • Basada en datos: Grafos de co-expresión construidos mediante correlación de Pearson par a par con umbralización suave para aproximar una topología libre de escala.
  • Prior Biológico: Redes de interacción proteína-proteína (PPI) derivadas de la base de datos STRING (interacciones de confianza media).
  • Crucialmente, la matriz de adyacencia es fija para todas las muestras (topología global), mientras que las características de los nodos (valores de expresión) permanecen específicas de la muestra.

3. Suite de Modelos y Líneas Base

El marco evalúa una diversa gama de modelos frente a líneas base clásicas:

• Líneas Base: Máquinas de Vectores de Soporte (SVM) y Elastic Net (modelos lineales regularizados), que a menudo son competitivos en configuraciones de alta dimensionalidad.
• Línea Base de Aprendizaje Profundo: Perceptrones Multicapa (MLP) para aislar la contribución de la topología del grafo de la transformación no lineal de características.
• GNN:
  • Clásicas: GCN, GraphSAGE, GATv2, GIN.
  • Escalables: SAGN (diseñada para grafos grandes).
  • Específicas de ómica: ChebNet (convoluciones espectrales), MLA-GNN (atención multinivel).
  • Transformers: GPS (Transformador de Grafo General).

4. Protocolo de Evaluación

Los experimentos involucran una optimización rigurosa de hiperparámetros (búsqueda en cuadrícula sobre tasas de aprendizaje, número de capas, etc.) y el uso de agregación de ensamble Top-K para mitigar la inestabilidad de la selección basada en validación en regímenes de pocas muestras. Las métricas incluyen F1 Macro, F1 Ponderado, Precisión y AUROC, junto con medidas de eficiencia computacional.

Resultados Clave

La evaluación experimental en los cuatro conjuntos de datos arroja varias ideas críticas:

1. Las GNN no superan consistentemente a las líneas base simples: En el régimen $n \ll p$, las GNN ampliamente utilizadas (GCN, GAT, GIN) a menudo no logran superar convincentemente a MLP simples o a modelos lineales regularizados clásicos (SVM, Elastic Net). En conjuntos de datos como Parkinson y BRCA, las líneas base lineales permanecen competitivas o superiores.
2. Utilidad dependiente de la tarea de la estructura: El valor de la estructura del grafo es altamente dependiente del conjunto de datos. En el conjunto de datos HERITAGE, los métodos basados en grafos mostraron ventajas, mientras que en otros no lo hicieron. Esto sugiere que los sesgos inductivos estructurales no son universalmente beneficiosos en la ómica.
3. Los mecanismos de lectura importan: En conjuntos de datos donde las GNN rinden menos que las líneas base (Parkinson, BRCA), el uso de una lectura MLP (aprendiendo pesos sobre incrustaciones de nodos sin paso de mensajes) supera significativamente a la agregación estándar (agregación media/suma). Esto implica que la integración global de características impulsa el rendimiento en lugar del paso de mensajes local, indicando que la topología del grafo añade señal limitada más allá de las características de los nodos mismos en estos casos.
4. La selección de nodos es crítica: La elección de la estrategia de selección de nodos interactúa complejamente con el rendimiento del modelo. Curiosamente, en HERITAGE, la selección aleatoria de nodos a veces produjo el mejor rendimiento basado en grafos, lo que sugiere que preservar la conectividad de la red (incluso con nodos menos predictivos) es crucial para los mecanismos de paso de mensajes, mientras que la selección basada en correlación (que elige nodos individualmente predictivos) puede alterar la estructura del grafo.
5. Sensibilidad a la fuente de aristas: Ninguna fuente de aristas única (PPI vs. Co-expresión) supera consistentemente a la otra. La elección óptima depende del modelo base GNN específico y del conjunto de datos, lo que sugiere que la interacción entre arquitectura y topología es más significativa que la fuente de aristas en sí misma.
6. Inestabilidad de la validación: En el régimen $n \ll p$, seleccionar un único mejor modelo basado en un conjunto de validación pequeño es poco fiable. La agregación de ensamble (promediando predicciones de las configuraciones Top-K) reduce la varianza y revela ventajas reales del modelo que la selección de una sola configuración a menudo oculta.

Significado y Afirmaciones

El artículo afirma que OgBench proporciona una "verificación de la realidad" necesaria para la aplicación de GNN en biomedicina. Al exponer que las GNN estándar a menudo luchan por superar métodos más simples en configuraciones de ómica de alta dimensionalidad y escasez de datos, el marco desafía la suposición predominante de que la estructura del grafo añade valor intrínseco.

Los autores argumentan que el campo debe ir más allá de las ganancias de rendimiento incrementales en puntos de referencia estándar y comprometerse en una reevaluación crítica de los paradigmas de aprendizaje. Los resultados sugieren que aplicar ciegamente métodos de grafos a datos biológicos sin cuestionar la validez de la estructura subyacente o la idoneidad de la arquitectura para el régimen $n \ll p$ puede conducir al estancamiento. OgBench tiene como objetivo fomentar el desarrollo de nuevas arquitecturas diseñadas explícitamente para grafos biológicos y proporcionar a la comunidad un ecosistema reproducible y de código abierto para validar tales innovaciones. El código y los conjuntos de datos se han liberado para facilitar esta transición.