Class-Support Mismatch Dominates Protocol-Driven Optimism in Spatial Transcriptomics, with a Larger Residual Penalty for Graph Neural Networks

Résumé technique : Le décalage de support de classe domine l'optimisme induit par le protocole dans la transcriptomique spatiale

1. Énoncé du problème

Les évaluations de performance (benchmarks) en transcriptomique spatiale (ST) rapportent fréquemment des mesures de performance gonflées lorsqu'elles utilisent une validation croisée (CV) par entrelacement aléatoire par rapport à une CV par blocs spatiaux. L'attribution prédominante de cet écart de performance « aléatoire versus bloc » est la fuite spatiale (spatial leakage) : l'affirmation selon laquelle le passage de messages dans les réseaux de neurones sur graphes (GNN) et l'autocorrélation spatiale permettent à l'information de test de contaminer l'entraînement.

Cependant, cette attribution n'a jamais été rigoureusement testée car le passage d'une CV aléatoire à une CV par blocs modifie simultanément cinq axes de conception distincts :

1. Taille de l'ensemble d'entraînement : Les protocoles par blocs rejettent les zones tampons, réduisant considérablement le nombre de points d'entraînement.
2. Support de classe : Les blocs contigus manquent souvent de la diversité complète des domaines tissulaires présents dans l'ensemble de la coupe, entraînant des décalages entre les ensembles de classes d'entraînement et de test.
3. Passage de messages inter-rôles : Les partitions aléatoires créent de nombreuses paires de voisins entraînement-test ; les partitions par blocs coupent le graphe aux frontières.
4. Étendue du prétraitement : Prétraitement global (ex: sélection de gènes, mise à l'échelle) versus prétraitement local à chaque pli (fold).
5. Extrapolation spatiale : Le véritable défi scientifique consistant à prédire des régions spatiales inédites.

Une statistique unique de l'écart de performance confond ces facteurs, rendant impossible l'isolement de la « fuite » d'autres artefacts comme le décalage de support de classe.

2. Méthodologie

L'auteur a mené une étude auditée en profondeur utilisant des données de cancer du sein humain 10x Visium (3 798 points, 11 domaines Leiden) et a répliqué les conclusions sur 12 sections DLPFC annotées par des experts (47 280 points).

Élagage et vérification du graphe :
Pour éliminer la fuite de passage de messages, l'auteur a construit un graphe à « contamination zéro ». Pour chaque pli, il a élagué le graphe spatial pour garantir que :

• Zéro arête inter-rôles : Aucune arête ne connecte les nœuds d'entraînement, de validation ou de test.
• Distance de saut infinie : La distance de saut minimale entre les nœuds d'entraînement et de test est infinie.
• Vérification : Deux implémentations indépendantes ont vérifié ces propriétés, confirmant que les zones tampons seules sont insuffisantes car elles suppriment les blocs mais pas les arêtes qui les connectent.

L'échelle des protocoles :
L'étude a employé une décomposition additive à l'aide d'une échelle de protocoles à 11 bras. En changeant un axe de conception à la fois (ex: faire correspondre le support de classe, la taille, le masquage du graphe ou l'étendue du prétraitement), l'auteur a isolé la contribution de chaque facteur au total de l'écart de performance.

• Échelle de base : Décompose l'écart total (Aléatoire vs Bloc) en : Taille de l'ensemble d'entraînement, Support de classe, Spatial (résiduel) et Étendue du prétraitement.
• Bras masqués : Utilisés pour déconfondre la pénalité spatiale pour les GNN en faisant correspondre les règles de masquage du graphe et les étendues de prétraitement entre les protocoles aléatoires et par blocs.

Audit de l'homologie persistante :
L'auteur a réévalué l'utilité des caractéristiques de l'homologie persistante (topologie). Il a remplacé la précédente méthode de calcul de caractéristiques sur « graphe partagé » (qui laissait fuiter les informations d'entraînement dans les caractéristiques de test) par une règle inductive où les caractéristiques sont calculées strictement au sein du sous-graphe induit du rôle de chaque pli.

Cadre statistique :

• Unités : L'analyse est basée sur $n=4$ blocs spatiaux indépendants (les plis 1 et 3 étant des partitions identiques).
• Intervalles : Intervalles de confiance par bootstrap hiérarchique à 95 %.
• Tests : Tests exacts de permutation de signe à deux côtés (avec un plancher de $p=0,125$ dû à $n=4$).

3. Résultats clés

A. Décomposition de l'écart Aléatoire-vers-Bloc
Le total de l'écart de macro-F1 en régime de classe fermée de +0,447 se décompose de manière additive comme suit :

• Décalage de support de classe : +0,276 (Le composant le plus important, ~62 % de l'écart). Cela provient du fait que les blocs contigus ne contiennent pas tous les domaines tissulaires, forçant les modèles à prédire des classes absentes de l'entraînement.
• Extrapolation spatiale résiduelle : +0,098 (~22 %).
• Étendue du prétraitement : +0,051 (~11 %).
• Taille de l'ensemble d'entraînement : +0,022 (~5 %).

B. La pénalité GNN
Après avoir fait correspondre la taille, le support de classe, le masquage du graphe et l'étendue du prétraitement :

• Réseaux de neurones sur graphes (GCN, GAT) : Présentent une pénalité spatiale résiduelle substantielle de +0,214 (IC : +0,160, +0,273).
• Classifieurs non-graphes (SVM, XGBoost, kNN, MLP) : Présentent une faible pénalité non résolue de +0,042 (IC : -0,039, +0,143), qui inclut zéro.
• Écart de famille : La différence entre les pénalités des GNN et des non-graphes est de +0,172, seulement statistiquement résoluble pour les GNN.

C. Passage de messages et fuite

• Le passage de messages inter-rôles contribue à hauteur de +0,050 (GCN) et +0,016 (GAT) à l'écart sous les protocoles par blocs.
• Pour les méthodes non-graphes, cette valeur est exactement de 0,000.
• L'auteur conclut que la fuite par passage de messages est un canal réel mais mineur, et non le moteur principal de l'optimisme observé.

D. Homologie persistante
Le bénéfice précédemment rapporté de l'homologie persistante (topologie) de +0,0154 en macro-F1 était entièrement un artefact de fuite.

• Lorsque les caractéristiques sont recalculées de manière inductive au sein de chaque pli, le bénéfice disparaît.
• L'estimation propre est de -0,0144 (SD 0,0269, $p=0,50$), indiquant aucune différence entre TopoSpatial et un GAT apparié sans topologie.

E. Inversion du classement des méthodes (DLPFC)
Sur 12 sections DLPFC, le classement des méthodes s'est inversé selon le protocole :

• CV Aléatoire : XGBoost-PCA+XY (utilisant les coordonnées brutes) surpasse significativement SVM-PCA.
• CV par Blocs/Leave-One-Out : SVM-PCA surpasse XGBoost-PCA+XY.
• Cela démontre que les évaluations reposant uniquement sur la CV aléatoire peuvent systématiquement sélectionner des méthodes inférieures qui exploitent l'autocorrélation spatiale (via les coordonnées) plutôt que d'apprendre des caractéristiques biologiques généralisables.

4. Signification et affirmations

L'article prétend corriger la compréhension du domaine concernant la « fuite spatiale » dans les évaluations de ST. Ses principales contributions sont :

1. Réfutation du monolithe de la « Fuite » : L'écart entre l'aléatoire et le bloc n'est pas une quantité unique pilotée par la fuite de passage de messages. Le composant dominant est le décalage de support de classe, un artefact de la manière dont la segmentation spatiale réduit la diversité des classes dans l'entraînement et le test.
2. Pénalité spécifique aux GNN : La véritable pénalité d'extrapolation spatiale (la difficulté de prédire des régions spatiales inédites) est nettement plus élevée pour les GNN que pour les classifieurs non-graphes. Cela suggère que les GNN sont uniques par leur sensibilité à la distribution du contexte de graphe local dans les régions inédites, et pas seulement à la fuite d'étiquettes.
3. Correction méthodologique :
   • Les zones tampons sont insuffisantes : Elles suppriment les blocs mais pas les arêtes. Un élagage et une vérification explicites du graphe sont nécessaires pour éliminer la fuite de passage de messages.
   • Fuite de caractéristiques : Les caractéristiques d'homologie persistante calculées sur le graphe complet constituent un canal de fuite ; elles doivent être recalculées de manière inductive par pli.
   • Normes de rapport : Les évaluations doivent rapporter la décomposition de l'écart (taille, support de classe, prétraitement, espace) plutôt qu'un chiffre d'inflation unique. Le support de classe doit être apparié avant d'attribuer les chutes de performance à l'extrapolation spatiale.
4. Résultat négatif sur la topologie : L'étude fournit un résultat négatif clair, montrant que les bénéfices rapportés de l'homologie persistante dans la ST étaient entièrement dus à la fuite de données, et non à une capacité du modèle.

L'auteur déclare explicitement qu'il ne prétend pas avoir créé un benchmark exempt de toute qualification (car les étiquettes cibles sont des clusters Leiden transductifs) mais affirme que ses protocoles sont exempts de fuite concernant le passage de messages, les caractéristiques de nœuds et le prétraitement. Il souligne que la « pénalité spatiale » est un phénomène réel pour les GNN, distinct des artefacts de conception de protocole.