Class-Support Mismatch Dominates Protocol-Driven Optimism in Spatial Transcriptomics, with a Larger Residual Penalty for Graph Neural Networks

Resumo Técnico: O Desajuste de Suporte de Classe Domina o Otimismo Impulsionado por Protocolos em Transcriptômica Espacial

1. Declaração do Problema

Os benchmarks de transcriptômica espacial (ST) frequentemente relatam métricas de desempenho infladas quando utilizam validação cruzada (CV) entrelaçada aleatoriamente em comparação com a CV de blocos espaciais. A atribuição predominante para essa lacuna de desempenho "aleatório versus bloco" é a vazamento espacial (spatial leakage): a afirmação de que a passagem de mensagens em Redes Neurais de Grafos (GNNs) e a autocorrelação espacial permitem que informações de teste contaminem o treinamento.

No entanto, essa atribuição nunca foi rigorosamente testada porque a mudança de CV aleatória para a de blocos altera simultaneamente cinco eixos de design distintos:

1. Tamanho do conjunto de treinamento: Protocolos de bloco descartam zonas de amortecimento (buffer zones), reduzindo significavelmente o número de spots de treinamento.
2. Suporte de classe: Blocos contíguos frequentemente carecem da diversidade total de domínios teciduais presentes na seção completa, levando a desajustes entre os conjuntos de classes de treinamento e teste.
3. Passagem de mensagem cross-role: Partições aleatórias criam muitos pares de vizinhos treino-teste; partições de bloco cortam o grafo em suas fronteiras.
4. Escopo de pré-processamento: Pré-processamento global (ex: seleção de genes, escalonamento) vs. pré-processamento local da dobra (fold-local).
5. Extrapolação espacial: O desafio científico real de prever regiões espaciais não vistas.

Uma estatística única de lacuna de desempenho concatena esses fatores, tornando impossível isolar o "vazamento" de outros artefatos, como o desajuste de suporte de classe.

2. Metodologia

O autor conduziu um estudo profundamente auditado usando dados de câncer de mama 10x Visium (3.798 spots, 11 domínios de Leiden) e replicou os achados em 12 seções de DLPFC anotadas por especialistas (47.280 spots).

Poda de Grafo e Verificação:
Para eliminar o vazamento de passagem de mensagem, o autor construiu um grafo de "zero-contaminação". Para cada dobra, eles podaram o grafo espacial para garantir:

• Zero arestas cross-role: Nenhuma aresta conecta nós de treino, validação ou teste.
• Distância de salto infinita: A distância mínima de salto entre nós de treino e teste é infinita.
• Verificação: Duas implementações independentes verificaram essas propriedades, confirmando que zonas de amortecimento sozinhas são insuficientes, pois removem os blocos, mas não as arestas que os conectam.

A Escada de Protocolos (The Protocol Ladder):
O estudo empregou uma decomposição aditiva usando uma escada de protocolo de 11 braços. Ao alterar um eixo de design por vez (ex: igualando o suporte de classe, tamanho, mascaramento de grafo ou escopo de pré-processamento), o autor isolou a contribuição de cada fator para a lacuna total de desempenho.

• Escada Base: Decompôs a lacuna total (Aleatório vs. Bloco) em: Tamanho do conjunto de treinamento, Suporte de classe, Espacial (residual) e Escopo de pré-processamento.
• Braços Mascarados: Utilizados para desconfundir a penalidade espacial para GNNs, igualando as regras de mascaramento de grafo e escopos de pré-processamento entre os protocolos aleatórios e de bloco.

Auditoria de Homologia Persistente:
O autor reavaliou a utilidade das características de homologia persistente (topologia). Eles substituíram a computação anterior de características de "grafo compartilhado" (que vazava informações de treinamento para as características de teste) por uma regra indutiva onde as características são computadas estritamente dentro do subgrafo induzido do papel de cada dobra.

Estrutura Estatística:

• Unidades: A análise baseou-se em $n=4$ blocos espaciais independentes (as Dobras 1 e 3 eram partições idênticas).
• Intervalos: Intervalos de confiança de bootstrap hierárquico de 95%.
• Testes: Testes exatos de permutação de sinal de dois lados (com um piso de $p=0.125$ devido a $n=4$).

3. Resultados Principais

A. Decomposição da Lacuna Aleatório-para-Bloco
A lacuna total de macro-F1 em conjunto fechado de +0.447 decompõe-se aditivamente da seguinte forma:

• Desajuste de suporte de classe: +0.276 (O maior componente, ~62% da lacuna). Isso surge porque blocos contíguos não contêm todos os domínios teciduais, forçando os modelos a prever classes não vistas no treinamento.
• Extrapolação espacial residual: +0.098 (~22%).
• Escopo de pré-processamento: +0.051 (~11%).
• Tamanho do conjunto de treinamento: +0.022 (~5%).

B. A Penalidade da GNN
Após igualar tamanho, suporte de classe, mascaramento de grafo e escopo de pré-processamento:

• Redes Neurais de Grafos (GCN, GAT): Exibem uma penalidade espacial residual substancial de +0.214 (IC: +0.160, +0.273).
• Classificadores Não-Grafos (SVM, XGBoost, kNN, MLP): Exibem uma penalidade pequena e não resolvida de +0.042 (IC: -0.039, +0.143), que inclui o zero.
• Lacuna de Família: A diferença entre as penalidades de grafos e não-grafos é +0.172, estatisticamente resolvível apenas para GNNs.

C. Passagem de Mensagem e Vazamento

• A passagem de mensagem cross-role contribui com +0.050 (GCN) e +0.016 (GAT) para a lacuna sob protocolos de bloco.
• Para métodos não-grafo, este valor é exatamente 0.000.
• O autor conclui que o vazamento de passagem de mensagem é um canal real, porém menor, não sendo o principal motor do otimismo observado.

D. Homologia Persistente
O benefício topológico anteriormente relatado de +0.0154 macro-F1 foi inteiramente um artefato de vazamento.

• Quando as características são recomputadas indutivamente dentro de cada dobra, o benefício desaparece.
• A estimativa limpa é -0.0144 (DP 0.0269, $p=0.50$), indicando que não há diferença entre o TopoSpatial e um GAT com topologia pareada.

E. Reversão de Ranking de Métodos (DLPFC)
Nos 12 setores de DLPFC, o ranking dos métodos inverteu-se com base no protocolo:

• CV Aleatória: XGBoost-PCA+XY (usando coordenadas brutas) superou significativamente o SVM-PCA.
• CV de Bloco/Leave-One-Out: O SVM-PCA superou o XGBoost-PCA+XY.
• Isso demonstra que benchmarks que dependem exclusivamente de CV aleatória podem selecionar consistentemente métodos inferiores que exploram a autocorrelação espacial (via coordenadas) em vez de aprender características biológicas generalizáveis.

4. Significância e Alegações

O artigo afirma corrigir a compreensão do campo sobre o "vazamento espacial" em benchmarks de ST. Suas principais contribuições são:

1. Refutação do Monolito de "Vazamento": A lacuna entre aleatório e bloco não é uma quantidade única impulsionada pelo vazamento de passagem de mensagem. O componente dominante é o desajuste de suporte de classe, um artefato de como o bloqueio espacial reduz a diversidade de classes nos conjuntos de treinamento/teste.
2. Penalidade Específica de GNN: A verdadeira penalidade de extrapolação espacial (a dificuldade de prever regiões espaciais não vistas) é substancialmente maior para classificadores de grafos do que para classificadores não-grafos. Isso sugere que as GNNs são unicamente sensíveis à distribuição do contexto de grafo local em regiões não vistas, não apenas ao vazamento de rótulos.
3. Correção Metodológica:
   • Zonas de amortecimento são insuficientes: Elas removem blocos, mas não arestas. A poda de grafo e a verificação explícitas são necessárias para eliminar o vazamento de passagem de mensagem.
   • Vazamento de Características: Características de homologia persistente computadas no grafo completo constituem um canal de vazamento; elas devem ser recomputadas indutivamente por dobra.
   • Padrões de Relato: Os benchmarks devem relatar a decomposição da lacuna (tamanho, suporte de classe, pré-processamento, espacial) em vez de apenas uma figura de inflação única. O suporte de classe deve ser igualado antes de atribuir quedas de desempenho à extrapolação espacial.
4. Resultado Negativo sobre Topologia: O estudo fornece um resultado negativo limpo, mostrando que os benefícios relatados da homologia persistente foram inteiramente devidos ao vazamento de dados, não à capacidade do modelo.

O autor afirma explicitamente que não pretende ter criado um benchmark livre de vazamentos sem qualificações (pois os rótulos alvo são clusters de Leiden transdutivos), mas assegura que seus protocolos são livres de vazamentos em relação à passagem de mensagem, características de nós e pré-processamento. Ele enfatiza que a "penalidade espacial" é um fenôimento real para GNNs, distinto dos artefatos de design de protocolo.