Class-Support Mismatch Dominates Protocol-Driven Optimism in Spatial Transcriptomics, with a Larger Residual Penalty for Graph Neural Networks

Riepilogo Tecnico: Il disallineamento del supporto delle classi domina l'ottimismo guidato dal protocollo nella trascrittomica spaziale

1. Definizione del problema

I benchmark della trascrittomica spaziale (ST) riportano frequentemente metriche di performance gonfiate quando utilizzano una validazione incrociata (CV) con intercalazione casuale rispetto alla CV a blocchi spaziali. L'attribuzione prevalente per questo divario di performance "random-versus-block" è la leakage spaziale (perdita di informazioni): l'affermazione secondo cui il passaggio di messaggi nelle Graph Neural Networks (GNN) e l'autocorrelazione spaziale permettano alle informazioni di test di contaminare l'addestramento.

Tuttavia, questa attribuzione non è mai stata testata rigorosamente perché il passaggio dalla CV casuale alla CV a blocchi altera simultaneamente cinque distinti assi di progettazione:

1. Dimensione del set di addestramento: I protocolli a blocchi scartano le zone cuscinetto (buffer zones), riducendo significativamente il numero di spot di addestramento.
2. Supporto delle classi: I blocchi contigui spesso mancano dell'intera diversità dei domini tissutali presenti nell'intera sezione, portando a discrepanze tra i set di classi di addestramento e di test.
3. Passaggio di messaggi cross-role: Le partizioni casuali creano molti accoppiamenti vicino-vicino tra train e test; le partizioni a blocchi interrompono il grafo ai confini.
4. Ambito di pre-processing: Pre-processing globale (es. selezione dei geni, scaling) rispetto a pre-processing locale per ogni fold.
5. Estrapolazione spaziale: La reale sfida scientifica di predire regioni spaziali non viste.

Una singola statistica del divario di performance con nota, confondendo questi fattori, rende impossibile isolare la "leakage" da altri artefatti come il disallineamento del supporto delle classi.

2. Metodologia

L'autore ha condotto uno studio profondamente auditato utilizzando dati di cancro al seno umano 10x Visium (3.798 spot, 11 domini Leiden) e ha replicato i risultati su 12 sezioni DLPFC annotate da esperti (47.280 spot).

Potatura del grafo e verifica:
Per eliminare la leakage del passaggio di messaggi, l'autore ha costruito un grafo a "zero contaminazione". Per ogni fold, ha potato il grafo spaziale per garantire:

• Zero archi cross-role: Nessun arco collega nodi di train, validation o test.
• Distanza di hop infinita: La distanza minima di hop tra i nodi di train e di test è infinita.
• Verifica: Due implementazioni indipendenti hanno verificato queste proprietà, confermando che le zone cuscinetto da sole sono insufficienti poiché rimuovono i blocchi ma non gli archi che li connettono.

La scala dei protocolli (The Protocol Ladder):
Lo studio ha impiegato una decomposizione additiva utilizzando una scala di protocolli a 11 bracci. Cambiando un asse di progettazione alla volta (ad esempio, facendo corrispondere il supporto delle classi, la dimensione, il masking del grafo o l'ambito di pre-processing), l'autore ha isolato il contributo di ciascun fattore al gap totale di performance.

• Scala Base: Ha scomposto il gap totale (Random vs. Block) in: Dimensione del set di addestramento, Supporto delle classi, Spaziale (residuo) e Ambito di pre-processing.
• Bracci Mascherati: Utilizzati per de-confondere la penalità spaziale per le GNN, facendo corrispondere le regole di masking del grafo e gli ambiti di pre-processing tra i protocolli random e a blocchi.

Audit dell'omologia persistente:
L'autore ha rivalutato l'utilità delle caratteristiche di omologia persistente (topologia). Ha sostituito la precedente computazione delle feature su "grafo condiviso" (che causava leakage delle informazioni di addestramento nelle feature di test) con una regola induttiva in cui le feature sono computate strettamente nel sottografo indotto dal ruolo di ciascun fold.

Framework statistico:

• Unità: L'analisi si basa su $n=4$ blocchi spaziali indipendenti (i Fold 1 e 3 sono partizioni identiche).
• Intervalli: Bootstrap gerarchico con intervalli di confidenza al 95%.
• Test: Test esatti di permutazione del segno a due code (con un limite inferiore di $p=0.125$ dovuto a $n=4$).

3. Risultati Chiave

A. Decomposizione del gap Random-to-Block
Il gap totale del macro-F1 in set chiuso di +0,447 si decompone additivamente come segue:

• Disallineamento del supporto delle classi: +0,276 (Il componente principale, ~62% del gap). Ciò deriva dal fatto che i blocchi contigui non contengono tutti i domini tissutali, costringendo i modelli a predire classi non viste nell'addestramento.
• Estrapolazione spaziale residua: +0,098 (~22%).
• Ambito di pre-processing: +0,051 (~11%).
• Dimensione del set di addestramento: +0,022 (~5%).

B. La penalità GNN
Dopo aver fatto corrispondere dimensione, supporto delle classi, masking del grafo e ambito di pre-processing:

• Reti Neurali su Grafo (GCN, GAT): Mostrano una sostanziale penalità spaziale residua di +0,214 (CI: +0,160, +0,273).
• Classificatori non grafici (SVM, XGBoost, kNN, MLP): Mostrano una piccola penalità non risolta di +0,042 (CI: -0,039, +0,143), che include lo zero.
• Gap di famiglia: La differenza tra le penalità di GNN e non-grafiche è +0,172, statisticamente risolvibile solo per le GNN.

C. Passaggio di messaggi e Leakage

• Il passaggio di messaggi cross-role contribuisce con +0,050 (GCN) e +0,016 (GAT) al gap sotto i protocolli a blocchi.
• Per i metodi non grafici, questo valore è esattamente 0,000.
• L'autore conclude che la leakage del passaggio di messaggi è un canale reale ma minore, non il driver principale dell'ottimismo osservato.

D. Omologia Persistente
Il precedente beneficio topologico riportato di +0,0154 macro-F1 era interamente un artefatto di leakage.

• Quando le feature vengono ricalcolate induttivamente all'interno di ogni fold, il beneficio scompare.
• La stima pulita è -0,0144 (SD 0,0269, $p=0,50$), indicando che non vi è differenza tra TopoSpatial e una GAT con topologia abbinata.

E. Inversione della classifica dei metodi (DLPFC)
Sui 12 segmenti DLPFC, la classifica dei metodi si è invertita in base al protocollo:

• Random CV: XGBoost-PCA+XY (usando coordinate grezze) ha superato significativamente SVM-PCA.
• Block/Leave-One-Out CV: SVM-PCA ha superato XGBoost-PCA+XY.
• Ciò dimostra che i benchmark basati esclusivamente sulla CV casuale possono selezionare costantemente metodi inferiori che sfruttano l'autocorrelazione spaziale (tramite le coordinate) piuttosto che apprendere caratteristiche biologiche generalizzabili.

4. Significato e Rivendicazioni

Il documento sostiene di correggere la comprensione del campo riguardo alla "leakage spaziale" nei benchmark ST. I suoi contributi principali sono:

1. Confutazione del monolito "Leakage": Il divario random-versus-block non è una singola quantità guidata dalla leakage del passaggio di messaggi. La componente dominante è il disallineamento del supporto delle classi, un artefatto del modo in cui la partizione spaziale riduce la diversità delle classi nei set di addestramento e test.
2. Penalità specifica per le GNN: La reale penalità di estrapolazione spaziale (la difficoltà di predire regioni spaziali non viste) è sostanzialmente maggiore per le GNN rispetto ai classificatori non grafici. Ciò suggerisce che le GNN sono unicamente sensibili alla distribuzione del contesto del grafo locale nelle regioni non viste, non solo alla perdita di etichette.
3. Correzione metodologica:
   • Le zone cuscinetto sono insufficienti: Esse rimuovono i blocchi ma non gli archi. Sono necessari il pruning esplicito del grafo e la verifica per eliminare la leakage del passaggio di messaggi.
   • Leakage delle feature: Le feature di omologia persistente computate sull'intero grafo costituiscono un canale di leakage; devono essere ricalcolate induttivamente per ogni fold.
   • Standard di reporting: I benchmark devono riportare la decomposizione del gap (dimensione, supporto classi, pre-processing, spaziale) piuttosto che una singola cifra di inflazione. Il supporto delle classi deve essere fatto corrispondere prima di attribuire i cali di performance all'estrapolazione spaziale.
4. Risultato negativo sulla topologia: Lo studio fornisce un risultato negativo netto, mostrando che i benefici riportati dell'omologia persistente nella ST erano interamente dovuti alla leakage dei dati, non alla capacità del modello.

L'autore afferma esplicitamente di non pretendere di aver creato un benchmark privo di leakage senza qualifiche (poiché i target sono cluster Leiden transduttivi), ma asserisce che i suoi protocolli sono privi di leakage per quanto riguarda il passaggio di messaggi, le feature dei nodi e il pre-processing. Sottolineano che la "penalità spaziale" è un fenomeno reale per le GNN, distinto dagli artefatti del design del protocollo.