Class-Support Mismatch Dominates Protocol-Driven Optimism in Spatial Transcriptomics, with a Larger Residual Penalty for Graph Neural Networks

Technische Samenvatting: Class-Support Mismatch Domineert Protocol-Gedreven Optimisme in Spatiële Transcriptomics

1. Probleemstelling

Benchmarks voor spatiële transcriptomics (ST) rapporteren vaak opgeblazen prestatiecijfers wanneer ze gebruikmaken van willekeurig geïnterleaverde cross-validatie (CV) vergeleken met spatiële blok-CV. De gangbare verklaring voor dit "random-versus-block" prestatieverschil is spatiële lekkage: de bewering dat message passing in Graph Neural Networks (GNN's) en spatiële autocorrelatie ervoor zorgen dat informatie uit de testset de trainingsset besmet.

Deze toeschrijving is echter nooit rigoureus getest, omdat het overstappen van random naar blok-CV gelijktijdig vijf verschillende ontwerpaspecten verandert:

1. Trainingsset-grootte: Blok-protocollen laten bufferzones weg, wat het aantal trainingsspots aanzienlijk vermindert.
2. Class support (klasse-ondersteuning): Aaneengesloten blokken missen vaak de volledige diversiteit van weefseldomeinen die aanwezig zijn in de gehele sectie, wat leidt tot mismatches tussen de klasse-sets van training en test.
3. Cross-role message passing: Random partities creëren veel train-test buurparen; blok-partities snijden de graaf bij de grenzen door.
4. Preprocessing scope (voorverwerkingsbereik): Globale preprocessing (bijv. genselectie, schaling) versus fold-lokale preprocessing.
5. Spatiële extrapolatie: De werkelijke wetenschappelijke uitdaging om ongeziene spatiële regio's te voorspellen.

Een enkel statistiekcijfer voor het prestatieverschil confondeert deze factoren, waardoor het onmogelijk is om "lekkage" te isoleren van andere artefacten zoals class-support mismatch.

2. Methodologie

De auteur heeft een diepgaand gecontroleerde studie uitgevoerd met 10x Visium menselijke borstkankerdata (3.798 spots, 11 Leiden-domeinen) en de bevindingen gereproduceerd op 12 expert-geannoteerde DLPFC-secties (47.280 spots).

Graph Pruning en Verificatie:
Om message-passing lekkage te elimineren, heeft de auteur een "zero-contamination" graaf geconstrueerd. Voor elke fold werd de spatiële graaf gepruned om te garanderen dat:

• Zero cross-role edges: Geen randen verbinden train-, validatie- en testnodes.
• Infinite hop distance: De minimale hop-afstand tussen train- en testnodes is oneindig.
• Verificatie: Twee onafhankelijke implementaties hebben deze eigenschappen geverifieerd en bevestigd dat bufferzones alleen onvoldoende zijn, omdat ze weliswaar blokken verwijderen maar niet de randen die hen verbinden.

De Protocol Ladder:
De studie maakte gebruik van een additieve decompositie met een 11-armige protocol ladder. Door één ontwerpaspect tegelijk te veranderen (bijv. het matchen van class support, grootte, graph masking of preprocessing scope), isoleerde de auteur de bijdrage van elke factor aan het totale prestatieverschil.

• Base Ladder: Deconstrueerde het totale gat (Random vs. Block) in: Trainingsset-grootte, Class support, Spatiële (residuele) factor en Preprocessing scope.
• Masked Arms: Gebruikt om de spatiële penalty voor GNN's te deconfunderen door graph masking regels en preprocessing scopes te matchen tussen random en blok-protocollen.

Persistent Homology Audit:
De auteur heeft de bruikbaarheid van persistent homology (topologie) features geëvalueerd. Ze vervingen de eerdere "shared-graph" feature-berekening (die trainingsinformatie in testfeatures lekte) door een inductieve regel waarbij features strikt binnen de geïnduceerde subgraaf van de rol van elke fold worden berekend.

Statistisch Framework:

• Units: De analyse is gebaseerd op $n=4$ onafhankelijke spatiële blokken (Fold 1 en 3 waren identieke partities).
• Intervals: Hiërarchische bootstrap 95% betrouwbaarheidsintervallen.
• Tests: Exacte twee zijde sign-permutatie tests (met een vloer van $p=0.125$ vanwege $n=4$).

3. Belangrijkste Resultaten

A. Decompositie van de Random-to-Block Gap
Het totale closed-set macro-F1 gat van +0.447 deconstrueert additief als volgt:

• Class-support mismatch: +0.276 (De grootste component, ~62% van het gat). Dit ontstaat doordat aaneengesloten blokken niet alle weefseldomeinen bevatten, waardoor modellen klassen moeten voorspellen die niet in de training aanwezig waren.
• Residuele spatiële extrapolatie: +0.098 (~22%).
• Preprocessing scope: +0.051 (~11%).
• Trainingsset-grootte: +0.022 (~5%).

B. De GNN Penalty
Nadat grootte, class support, graph masking en preprocessing scope werden gematcht:

• Graph Neural Networks (GCN, GAT): Vertonen een substantiële residuele spatiële penalty van +0.214 (CI: +0.160, +0.273).
• Non-graph Classifiers (SVM, XGBoost, kNN, MLP): Vertonen een kleine, onopgeloste penalty van +0.042 (CI: -0.039, +0.143), die nul bevat.
• Family Gap: Het verschil tussen de GNN en non-graph penalties is +0.172, wat alleen statistisch oplosbaar is voor GNN's.

C. Message Passing en Lekkage

• Cross-role message passing draagt +0.050 (GCN) en +0.016 (GAT) bij aan het gat onder blok-protocollen.
• Voor non-graph methoden is deze waarde exact 0.000.
• De auteur concludeert dat message-passing lekkage een echt maar klein kanaal is, en niet de primaire drijfveer achter de waargenomen optimisme.

D. Persistent Homology
De eerder gerapporteerde topologische voordeel van +0.0154 macro-F1 was volledig een artefact van lekkage.

• Wanneer features inductief binnen elke fold worden herberekend, verdwijnt het voordeel.
• De zuivere schatting is -0.0144 (SD 0.0269, $p=0.50$), wat aangeeft dat er geen verschil is tussen TopoSpatial en een gematchte GAT zonder topologie.

E. Methode Rangschikking Reversal (DLPFC)
Op 12 DLPFC-secties keerde de rangschikking van methoden om op basis van het protocol:

• Random CV: XGBoost-PCA+XY (gebruikmakend van ruwe coördinaten) presteerde significant beter dan SVM-PCA.
• Block/Leave-One-Out CV: SVM-PCA presteerde beter dan XGBoost-PCA+XY.
• Dit toont aan dat benchmarks die uitsluitend op random CV vertrouwen, consistent inferieure methoden kunnen selecteren die spatiële autocorrelatie exploiteren (via coördinaten) in plaats van algemene biologische kenmerken te leren.

4. Betekenis en Claims

Het artikel beweert het begrip van de sector over "spatiële lekkage" in ST-benchmarks te corrigeren. De belangrijkste bijdragen zijn:

1. Weerlegging van de "Lekkage" Monoliet: Het random-versus-block gat is niet één enkele hoeveelheid gedreven door message-passing lekkage. De dominante component is class-support mismatch, een artefact van hoe spatiële blokken de klasse-diversiteit in training/test sets verminderen.
2. GNN-Specifieke Penalty: De echte spatiële-extrapolatie penalty (de moeilijkheid van het voorspellen van ongeziene spatiële regio's) is aanzienlijk groter voor GNN's dan voor non-graph classifiers. Dit suggereert dat GNN's uniek gevoelig zijn voor de distributie van lokale graafcontext in ongeziene regio's, en niet alleen voor label-lekkage.
3. Methodologische Correctie:
   • Bufferzones zijn onvoldoende: Ze verwijderen blokken maar niet de randen. Expliciete graph pruning en verificatie zijn vereist om message-passing lekkage te elimineren.
   • Feature Lekkage: Persistent homology features berekend op de volledige graaf vormen een lekkagekanaal; ze moeten inductief per fold worden herberekend.
   • Rapportage-standaarden: Benchmarks moeten de decompositie van het gat rapporteren (grootte, class support, preprocessing, spatiële) in plaats van een enkel inflatiecijfer. Class support moet worden gematcht voordat prestatiedalingen aan spatiële extrapolatie worden toegeschreven.
4. Negatief Resultaat op Topologie: De studie biedt een zuiver negatief resultaat, waarbij wordt aangetoond dat de gerapporteerde voordelen van persistent homology in ST volledig te danken waren aan data-lekkage, en niet aan modelcapaciteit.

De auteur stelt expliciet dat hij niet claimt een zonder kwalificatie lek-vrije benchmark te hebben gecreëerd (omdat de doel-labels transductieve Leiden-clusters zijn), maar stelt wel dat hun protocollen lek-vrij zijn met betrekking tot message passing, node features en preprocessing. De auteur benadrukt dat de "spatiële penalty" een echt fenomeen is voor GNN's, onderscheidbaar van de artefacten van protocolontwerp.