Class-Support Mismatch Dominates Protocol-Driven Optimism in Spatial Transcriptomics, with a Larger Residual Penalty for Graph Neural Networks

Technisches Resümee: Klassensupport-Mismatch dominiert protokollgetriebene Optimismus in der räumlichen Transkriptomik

1. Problemstellung

Benchmarks für die räumliche Transkriptomik (Spatial Transcriptomics, ST) berichten häufig über inflierte Leistungsmetriken, wenn eine zufällig durchmischte Kreuzvalidierung (Cross-Validation, CV) im Vergleich zu einer räumlichen Block-CV verwendet wird. Die vorherrschende Begründung für diese „Random-versus-Block“-Leistungsdifferenz ist räumliches Leakage (Spatial Leakage): die Behauptung, dass Message Passing in Graph Neural Networks (GNNs) und räumliche Autokorrelation dazu führen, dass Testinformationen das Training kontaminieren.

Diese Zuschreibung wurde jedoch nie rigoros getestet, da der Wechsel von Random zu Block-CV gleichzeitig fünf verschiedene Design-Achsen verändert:

1. Trainingsset-Größe: Block-Protokolle verwerfen Pufferzonen, was die Anzahl der Trainings-Spots signifikant reduziert.
2. Klassen-Support (Class Support): Kontinuierliche Blöcke weisen oft nicht die volle Diversität der Gewebedomänen des gesamten Schnitts auf, was zu Diskrepanzen zwischen den Trainings- und Test-Klassensätzen führt.
3. Cross-Role Message Passing: Random-Partitionen erzeugen viele Train-Test-Nachbarpaare; Block-Partitionen schneiden den Graphen an den Grenzen.
4. Vorverarbeitungsumfang (Preprocessing Scope): Globale Vorverarbeitung (z. B. Gen-Selektion, Skalierung) vs. faltenspezifische Vorverarbeitung.
5. Räumliche Extrapolation: Die eigentliche wissenschaftliche Herausforderung, ungesehene räumliche Regionen vorherzusagen.

Eine einzelne Leistungsdifferenz-Statistik konfundiert diese Faktoren, was es unmöglich macht, „Leakage“ von anderen Artefakten wie dem Klassen-Support-Mismatch zu isolieren.

2. Methodik

Der Autor führte eine tiefgehende Audit-Studie unter Verwendung von 10x Visium Human Breast Cancer Daten (3.798 Spots, 11 Leiden-Domänen) durch und replizierte die Ergebnisse auf 12 Experten-annotierten DLPFC-Schnitten (47.280 Spots).

Graph-Pruning und Verifizierung:
Um Message-Passing-Leakage zu eliminieren, konstruierte der Autor einen „Null-Kontamination“-Graphen. Für jede Falte (Fold) wurde der räumliche Graph so beschnitten, dass sichergestellt war:

• Null Cross-Role Edges: Keine Kanten verbinden Train-, Validierungs- oder Testknoten.
• Unendliche Hop-Distanz: Die minimale Hop-Distanz zwischen Train- und Testknoten ist unendlich.
• Verifizierung: Zwei unabhängige Implementierungen verifizierten diese Eigenschaften und bestätigten, dass Pufferzonen allein unzureichend sind, da sie zwar Blöcke entfernen, aber nicht die sie verbindenden Kanten.

Die Protokoll-Leiter (Protocol Ladder):
Die Studie verwendete eine additive Dekomposition mittels einer 11-armigen Protokoll-Leiter. Durch die schrittweise Änderung einer Design-Achse (z. B. Angleichung des Klassen-Supports, der Größe, des Graph-Masking oder des Vorverarbeitungsumfangs) isolierte der Autor den Beitrag jedes Faktors zur gesamten Leistungsdifferenz.

• Basis-Leiter: Dekomponierte die gesamte Differenz (Random vs. Block) in: Trainingsset-Größe, Klassen-Support, Räumlich (Residuum) und Vorverarbeitungsumfang.
• Maskierte Arme: Wurden verwendet, um den räumlichen Penalty für GNNs zu dekonfundieren, indem die Regeln für das Graph-Masking und die Vorverarbeitung zwischen Random- und Block-Protokollen angeglichen wurden.

Persistent Homology Audit:
Der Autor bewertete die Nützlichkeit von Persistent Homology (Topologie)-Features neu. Er ersetzte die vorherige „Shared-Graph“-Feature-Berechnung (welche Trainingsinformationen in die Test-Features leckte) durch eine induktive Regel, bei der die Features strikt innerhalb des induzierten Subgraphen der jeweiligen Rolle jeder Falte berechnet werden.

Statistischer Rahmen:

• Einheiten: Die Analyse basierte auf $n=4$ unabhängigen räumlichen Blöcken (Falte 1 und 3 waren identische Partitionen).
• Intervalle: Hierarchisches Bootstrap 95% Konfidenzintervall.
• Tests: Exakte zweiseitige Sign-Permutation-Tests (mit einem Floor von $p=0,125$ aufgrund von $n=4$).

3. Kernergebnisse

A. Dekomposition der Random-zu-Block-Differenz
Die gesamte Closed-Set Macro-F1-Differenz von +0,447 dekomponiert sich additiv wie folgt:

• Klassen-Support-Mismatch: +0,276 (Die größte Komponente, ~62% der Differenz). Dies entsteht, weil kontinuierliche Blöcke nicht alle Gewebedomänen enthalten, was Modelle dazu zwingt, Klassen vorherzusagen, die im Training ungesehen waren.
• Residueller räumlicher Extrapolationsfehler: +0,098 (~22%).
• Vorverarbeitungsumfang: +0,051 (~11%).
• Trainingsset-Größe: +0,022 (~5%).

B. Der GNN-Penalty
Nach Angleichung von Größe, Klassen-Support, Graph-Masking und Vorverarbeitungsumfang:

• Graph Neural Networks (GCN, GAT): Zeigen einen substanziellen residuellen räumlichen Penalty von +0,214 (KI: +0,160, +0,273).
• Nicht-Graph-Klassifikatoren (SVM, XGBoost, kNN, MLP): Zeigen einen kleinen, unaufgelösten Penalty von +0,042 (KI: -0,039, +0,143), welcher den Nullpunkt einschließt.
• Family Gap: Die Differenz zwischen GNN- und Nicht-Graph-Penalties beträgt +0,172 und ist nur für GNNs statistisch auflösbar.

C. Message Passing und Leakage

• Cross-Role Message Passing trägt unter Block-Protokollen +0,050 (GCN) und +0,016 (GAT) zur Differenz bei.
• Für Nicht-Graph-Methoden ist dieser Wert exakt 0,000.
• Der Autor kommt zu dem Schluss, dass Message-Passing-Leakage ein realer, aber geringfügiger Kanal ist und nicht der primäre Treiber des beobachteten Optimismus.

D. Persistent Homology
Der zuvor berichtete topologische Nutzen von +0,0154 Macro-F1 war vollständig ein Artefakt von Leakage.

• Wenn die Features induktiv innerhalb jeder Falte neu berechnet werden, verschwindet der Nutzen.
• Die bereinigte Schätzung ist -0,0144 (SD 0,0269, $p=0,50$), was darauf hindeutet, dass es keinen Unterschied zwischen TopoSpatial und einem gematchten GAT ohne Topologie gibt.

E. Ranking-Umkehr der Methoden (DLPFC)
Auf 12 DLPFC-Schnitten kehrte das Ranking der Methoden basierend auf dem Protokoll um:

• Random CV: XGBoost-PCA+XY (unter Verwendung roher Koordinaten) übertraf SVM-PCA signifikant.
• Block/Leave-One-Out CV: SVM-PCA übertraf XGBoost-PCA+XY.
• Dies zeigt, dass Benchmarks, die ausschließlich auf Random CV beruhen, konsistent unterlegene Methoden auswählen könnten, die räumliche Autokorrelation (via Koordinaten) ausnutzen, anstatt generalisierbare biologische Merkmale zu lernen.

4. Bedeutung und Ansprüche

Das Paper beansprucht, das Verständnis von „räumlichem Leakage“ in ST-Benchmarks zu korrigieren. Seine primären Beiträge sind:

1. Widerlegung des „Leakage“-Monolithen: Die Random-versus-Block-Differenz ist keine einzelne Größe, die durch Message-Passing-Leakage getrieben wird. Die dominante Komponente ist der Klassen-Support-Mismatch, ein Artefakt der Art und Weise, wie räumliches Blocking die Diversität der Klassen in Training und Test reduziert.
2. GNN-spezifischer Penalty: Der echte räumliche Extrapolations-Penalty (die Schwierigkeit, ungesehene räumliche Regionen vorherzusagen) ist für GNNs wesentlich größer als für Nicht-Graph-Klassifikatoren. Dies deutet darauf, dass GNNs besonders sensibel auf die Verteilung des lokalen Graph-Kontexts in ungesehenen Regionen reagieren, nicht nur auf Label-Leakage.
3. Methodische Korrektur:
   • Pufferzonen sind unzureichend: Sie entfernen zwar Blöcke, aber nicht die Kanten. Explizites Graph-Pruning und Verifizierung sind erforderlich, um Message-Passing-Leakage zu eliminieren.
   • Feature-Leakage: Persistent-Homology-Features, die auf dem vollen Graphen berechnet werden, stellen einen Leakage-Kanal dar; sie müssen induktiv pro Falte neu berechnet werden.
   • Berichtsstandards: Benchmarks müssen die Dekomposition der Differenz (Größe, Klassen-Support, Vorverarbeitung, räumlich) melden, anstatt nur eine einzige Inflationszahl anzugeben. Der Klassen-Support muss angeglichen werden, bevor ein Abfall der Leistung dem räumlichen Extrapolationsfehler zugeschrieben werden kann.
4. Negatives Ergebnis zu Topologie: Die Studie liefert ein klares negatives Ergebnis und zeigt, dass die berichteten Vorteile der Persistent Homology in der ST vollständig auf Data Leakage zurückzuführen waren, nicht auf die Modellkapazität.

Der Autor stellt explizit klar, dass er nicht behauptet, einen bedingungslos leak-freien Benchmark erstellt zu haben (da die Ziel-Labels transduktive Leiden-Cluster sind), behauptet aber, dass ihre Protokolle hinsichtlich Message Passing, Node-Features und Vorverarbeitung leak-frei sind. Er betont, dass der „räumliche Penalty“ ein reales Phänomen für GNNs ist, das sich von den Artefakten des Protokolldesigns unterscheidet.