Class-Support Mismatch Dominates Protocol-Driven Optimism in Spatial Transcriptomics, with a Larger Residual Penalty for Graph Neural Networks

Resumen Técnico: El desajuste de soporte de clases domina el optimismo impulsado por protocolos en la transcriptómica espacial

1. Planteamiento del problema

Los benchmarks de transcriptómica espacial (ST) reportan con frecuencia métricas de rendimiento infladas cuando se utiliza una validación cruzada (CV) de entrelazado aleatorio en comparación con la CV de bloques espaciales. La atribución prevalente para esta brecha de rendimiento "aleatorio-versus-bloque" es la fuga espacial (spatial leakage): la afirmación de que el paso de mensajes en las Redes Neuronales de Grafos (GNN) y la autocorrelación espacial permiten que la información de prueba contamine el entrenamiento.

Sin embargo, esta atribución nunca ha sido probada rigurosamente porque el cambio de CV aleatoria a la de bloques altera simultáneamente cinco ejes de diseño distintos:

1. Tamaño del conjunto de entrenamiento: Los protocolos de bloque descartan zonas de amortiguamiento (buffer zones), lo que reduce significativamente el número de puntos de entrenamiento.
2. Soporte de clases: Los bloques contiguos a menudo carecen de la diversidad completa de los dominios tisulares presentes en toda la sección, lo que genera desajustes entre los conjuntos de clases de entrenamiento y de prueba.
3. Paso de mensajes entre roles (cross-role message passing): Las particiones aleatorias crean muchos pares de vecinos entrenamiento-prueba; las particiones de bloque cortan el grafo en los límites.
4. Alcance del preprocesamiento: Preprocesamiento global (ej. selección de genes, escalado) frente a preprocesamiento local por pliegue (fold-local).
5. Extrapolación espacial: El desafío científico real de predecir regiones espaciales no vistas.

Una única estadística de la brecha de rendimiento conlata estos factores, haciendo imposible aislar la "fuga" de otros artefactos como el desajuste de soporte de clases.

2. Metodología

El autor llevó a cabo un estudio profundamente auditado utilizando datos de cáncer de mama humano de 10x Visium (3,798 puntos, 11 dominios de Leiden) y replicó los hallazgos en 12 secciones de DLPFC anotadas por expertos (47,280 puntos).

Poda y verificación de grafos:
Para eliminar la fuga de paso de mensajes, el autor construyó un grafo de "contaminación cero". Para cada pliegue, podó el grafo espacial para asegurar:

• Cero aristas entre roles: Ninguna arista conecta nodos de entrenamiento, validación o prueba.
• Distancia de salto infinito: La distancia mínima de saltos entre los nodos de entrenamiento y de prueba es infinita.
• Verificación: Dos implementaciones independientes verificaron estas propiedades, confirmando que las zonas de amortiguamiento por sí solas son insuficientes, ya que eliminan bloques pero no las aristas que los conectan.

La escalera de protocolos:
El estudio empleó una descomposición aditiva utilizando una escalera de protocolos de 11 brazos. Al cambiar un eje de diseño a la vez (ej. igualar el soporte de clases, el tamaño, el enmascaramiento del grafo o el alcance del preprocesamiento), el autor aisló la contribución de cada factor a la brecha total de rendimiento.

• Escalera base: Descompuso la brecha total (Aleatorio vs. Bloque) en: Tamaño del conjunto de entrenamiento, Soporte de clases, Espacial (residuo) y Alcance del preprocesamiento.
• Brazos enmascarados: Se utilizaron para deconfundir la penalización espacial para las GNN mediante el emparejamiento de las reglas de enmascaramiento de grafos y los alcances de preprocesamiento entre los protocolos aleatorio y de bloque.

Auditoría de homología persistente:
El autor reevaluó la utilidad de las características de la homología persistente (topología). Reemplazó la anterior computación de características de "grafo compartido" (que filtraba información de entrenamiento hacia las características de prueba) por una regla inductiva donde las características se computan estrictamente dentro del subgrafo inducido del rol de cada pliegue.

Marco estadístico:

• Unidades: El análisis se basó en $n=4$ bloques espaciales independientes (los pliegues 1 y 3 eran particiones idénticas).
• Intervalos: Intervalos de confianza del 95% mediante bootstrap jerárquico.
• Pruebas: Pruebas exactas de permutación de signos de dos colas (con un suelo de $p=0.125$ debido a $n=4$).

3. Resultados clave

A. Descomposición de la brecha Aleatorio-a-Bloque
La brecha total de macro-F1 de conjunto cerrado de +0.447 se descompone aditivamente de la siguiente manera:

• Desajuste de soporte de clases: +0.276 (El componente más grande, ~62% de la brecha). Esto surge porque los bloques contiguos no contienen todos los dominios tisulares, obligando a los modelos a predecir clases no vistas en el entrenamiento.
• Residuo de extrapolación espacial: +0.098 (~22%).
• Alcance del preprocesamiento: +0.051 (~11%).
• Tamaño del conjunto de entrenamiento: +0.022 (~5%).

B. La penalización de las GNN
Tras igualar el tamaño, el soporte de clases, el enmascaramiento del grafo y el alcance del preprocesamiento:

• Redes Neuronales de Grafos (GCN, GAT): Exhiben una penalización espacial residual sustancial de +0.214 (IC: +0.160, +0.273).
• Clasificadores no basados en grafos (SVM, XGBoost, kNN, MLP): Exhiben una penalización pequeña y no resuelta de +0.042 (IC: -0.039, +0.143), la cual incluye el cero.
• Brecha de familia: La diferencia entre las penalizaciones de grafos y no-grafos es +0.172, resoluble estadísticamente solo para las GNN.

C. Paso de mensajes y fuga

• El paso de mensajes entre roles contribuye con +0.050 (GCN) y +0.016 (GAT) a la brecha bajo protocolos de bloque.
• Para los métodos no basados en grafos, este valor es exactamente 0.000.
• El autor concluye que la fuga por paso de mensajes es un canal real pero menor, no el motor principal del optimismo observado.

D. Homología persistente
El beneficio topológico previamente reportado de +0.0154 en macro-F1 fue enteramente un artefacto de la fuga.

• Cuando las características se recomputan inductivamente dentro de cada pliegue, el beneficio desaparece.
• La estimación limpia es -0.0144 (DE 0.0269, $p=0.50$), lo que indica que no hay diferencia entre TopoSpatial y un GAT con topología emparejada.

E. Reversión del ranking de métodos (DLPFC)
En 12 secciones de DLPFC, el ranking de los métodos se invirtió según el protocolo:

• CV Aleatoria: XGBoost-PCA+XY (usando coordenadas puras) superó significativamente a SVM-PCA.
• CV de Bloque/Leave-One-Out: SVM-PCA superó a XGBoost-PCA+XY.
• Esto demuestra que los benchmarks que dependen únicamente de la CV aleatoria pueden seleccionar consistentemente métodos inferiores que explotan la autocorrelación espacial (vía coordenadas) en lugar de aprender características biológicas generalizables.

4. Significado y afirmaciones

El artículo afirma corregir la comprensión del campo sobre la "fuga espacial" en los benchmarks de ST. Sus principales contribuciones son:

1. Refutación del monolito de "Fuga": La brecha entre aleatorio y bloque no es una cantidad única impulsada por la fuga de paso de mensajes. El componente dominante es el desajuste de soporte de clases, un artefacto de cómo el bloqueo espacial reduce la diversidad de clases en el entrenamiento/prueba.
2. Penalización específica de GNN: La verdadera penalización de extrapolación espacial (la dificultad de predecir regiones espaciales no vistas) es sustancialmente mayor para las GNN que para los clasificadores no basados en grafos. Esto sugiere que las GNN son únicamente sensibles a la distribución del contexto de grafo local en regiones no vistas, no solo a la fuga de etiquetas.
3. Corrección metodológica:
   • Las zonas de amortiguamiento son insuficientes: Eliminan los bloques pero no las aristas. Se requiere poda de grafos y verificación explícita para eliminar la fuga de paso de mensajes.
   • Fuga de características: Las características de la homología persistente computadas en el grafo completo constituyen un canal de fuga; deben computarse inductivamente por pliegue.
   • Estándares de reporte: Los benchmarks deben reportar la descomposición de la brecha (tamaño, soporte de clases, preprocesamiento, espacial) en lugar de una única cifra de inflación. El soporte de clases debe igualarse antes de atribuir las caídas de rendimiento a la extrapolación espacial.
4. Resultado negativo sobre la topología: El estudio proporciona un resultado negativo limpio, mostrando que los beneficios reportados de la homología persistente en ST fueron enteramente debidos a la fuga de datos, no a la capacidad del modelo.

El autor establece explícitamente que no pretende haber creado un benchmark libre de fugas sin calificación (ya que las etiquetas objetivo son clusters de Leiden transductivos), pero afirma que sus protocolos están libres de fugas con respecto al paso de mensajes, las características de los nodos y el preprocesamiento. Enfatiza que la "penalización espacial" es un fenómeno real para las GNN, distinto de los artefactos del diseño del protocolo.