Class-Support Mismatch Dominates Protocol-Driven Optimism in Spatial Transcriptomics, with a Larger Residual Penalty for Graph Neural Networks

기술 요약: 공간 전사체학에서 클래스 지원 불일치가 프로토콜 기반 낙관론을 압도함

1. 문제 정의

공간 전사체학(Spatial Transcriptomics, ST) 벤치마크는 공간 블록 교차 검증(spatial-block CV)을 사용할 때보다 무작위 인터리빙 교차 검증(randomly interleaved CV)을 사용할 때 성능 지표가 과장되어 보고되는 경향이 있다. 이러한 "무작위 대 블록" 성능 격차에 대한 기존의 설명은 **공간적 누출(spatial leakage)**이다. 즉, 그래프 신경망(GNN)의 메시지 패싱과 공간적 자기상관성으로 인해 훈련 정보가 테스트 데이터로 오염된다는 주장이다.

그러나 이러한 귀인은 다섯 가지 서로 다른 설계 축을 동시에 변화시키기 때문에 엄밀하게 검증된 적이 없다:

1. 훈련 세트 크기: 블록 프로토콜은 버퍼 존(buffer zones)을 제거함으로써 훈련 스팟(spots)의 수를 크게 줄인다.
2. 클래스 지원(Class support): 연속적인 블록은 전체 섹션에 존재하는 모든 조직 도메인의 다양성을 갖추지 못하는 경우가 많아, 훈련 및 테스트 클래스 집합 간의 불일치를 초래한다.
3. 교차 역할 메시지 패싱(Cross-role message passing): 무작위 분할은 많은 훈련-테스트 이웃 쌍을 생성하지만, 블록 분할은 경계에서 그래프를 절단한다.
4. 전처리 범위: 글로벌 전처리(예: 유전자 선택, 스케일링) 대 폴드별 로컬 전처리.
5. 공간 외삽(Spatial extrapolation): 보지 못한 공간 영역을 예측하는 실제 과학적 과제.

단일 성능 격차 통계치는 이러한 요인들을 혼재시키므로, 클래스 지원 불일치와 같은 다른 아티팩트로부터 "누출"을 분리해내는 것을 불가능하게 만든다.

2. 방법론

저자는 10x Visium 인간 유방암 데이터(3,798 스팟, 11 Leiden 도메인)를 사용하여 심층 감사 연구를 수행하였으며, 12개의 전문가 주석이 달린 DLPFC 섹션(47,280 스팟)에서 그 결과를 재현하였다.

그래프 프루닝 및 검증:
메시지 패싱 누출을 제거하기 위해, 저자는 "제로 오염(zero-contamination)" 그래프를 구축하였다. 각 폴드에 대해 다음을 보장하도록 공간 그래프를 프루닝하였다:

• 교차 역할 엣지 제로: 훈련, 검증, 또는 테스트 노드를 연결하는 엣지가 존재하지 않음.
• 무한 호프 거리(Infinite hop distance): 훈련 노드와 테스트 노드 사이의 최소 호프 거리가 무한대임.
• 검증: 두 개의 독립적인 구현을 통해 이러한 속성을 확인하였으며, 버퍼 존만으로는 블록은 제거할 수 있어도 이들을 연결하는 엣지는 제거하지 못한다는 점을 확인하였다.

프로토콜 사다리(The Protocol Ladder):
본 연구는 11개의 암(arm)으로 구성된 프로토콜 사다리를 사용하여 가산적 분해(additive decomposition)를 채택하였다. 한 번에 하나의 설계 축을 변경함으로써(예: 클래스 지원 일치, 크기, 그래프 마스킹 또는 전처리 범위), 저자는 전체 성능 격차에 대한 각 요인의 기여도를 분리하였다.

• 기본 사다리: 전체 격차(무작위 대 블록)를 훈련 세트 크기, 클래스 지원, 공간(잔차), 전처리 범위로 분해하였다.
• 마스크 암(Masked Arms): 무작위 및 블록 프로토콜 간에 그래프 마스킹 규칙과 전처리 범위를 일치시켜 GNN에 대한 공간적 페널티를 디컨파운딩(de-confound)하는 데 사용되었다.

지속성 호몰로지(Persistent Homology) 감사:
저자는 지속성 호몰로지(위상) 특징의 효용성을 재평가하였다. 이전의 "공유 그래프" 특징 계산 방식(훈련 정보를 테스트 특징으로 누출시키는 방식)을 대신하여, 각 폴드의 역할 내에 엄격히 국한된 서브그래프 내에서 특징이 계산되는 귀납적 규칙을 적용하였다.

통계적 프레임워크:

• 단위: 분석은 $n=4$개의 독립적인 공간 블록(폴드 1과 3은 동일한 분할임)을 기준으로 하였다.
• 구간: 계층적 부트스트랩 95% 신뢰 구간.
• 검정: $n=4$로 인한 하한선 $p=0.125$를 가진 정확한 양측 부호 치환 검정(sign-permutation test).

3. 주요 결과

A. 무작위 대 블록 격차의 분해
총 폐쇄 집합 매크로-F1(closed-set macro-F1) 격차인 +0.447은 다음과 같이 가산적으로 분해된다:

• 클래스 지원 불일치: +0.276 (가장 큰 구성 요소, 약 62%). 이는 연속적인 블록이 모든 조직 도메인을 포함하지 못하여, 모델이 훈련 시 보지 못한 클래스를 예측하도록 강제하기 때문에 발생한다.
• 잔여 공간 외삽: +0.098 (~22%).
• 전처리 범위: +0.051 (~11%).
• 훈련 세트 크기: +0.022 (~5%).

B. GNN 페널티
크기, 클래스 지원, 그래프 마스킹 및 전처리 범위를 일치시킨 후:

• 그래프 신경망 (GCN, GAT): 상당한 잔여 공간 페널티인 +0.214 (CI: +0.160, +0.273)를 나타낸다.
• 비그래프 분류기 (SVM, XGBoost, kNN, MLP): 0을 포함하는 작은 미해결 페널티인 +0.042 (CI: -0.039, +0.143)를 보인다.
• 가족 격차(Family Gap): GNN과 비그래프 페널티 간의 차이는 +0.172이며, GNN에 대해서만 통계적으로 식별 가능하다.

C. 메시지 패싱 및 누출

• 블록 프로토콜 하에서 교차 역할 메시지 패싱은 격차에 +0.050 (GCN) 및 +0.016 (GAT)을 기여한다.
• 비그래프 방법의 경우, 이 값은 정확히 0.000이다.
• 저자는 메시지 패싱 누출이 실재하는 미미한 채널이지만, 관찰된 낙관론의 주요 동인은 아니라고 결론짓는다.

D. 지속성 호몰로지
이전에 보고된 위상적 이점인 +0.0154 매크로-F1은 완전히 누출에 의한 아티팩트였다.

• 특징을 각 폴드의 유도된 서브그래프 내에서 귀납적으로 재계산했을 때, 그 이점은 사라졌다.
• 깨끗한 추정치는 -0.0144 (SD 0.0269, $p=0.50$)이며, 이는 TopoSpatial이 위상이 없는 매칭된 GAT와 차이가 없음을 나타낸다.

E. 방법론 순위 역전 (DLPFC)
12개 DLPFC 섹션에서, 프로토콜에 따라 방법론의 순위가 역전되었다:

• 무작위 CV: XGBoost-PCA+XY (원시 좌표 사용)가 SVM-PCA를 크게 앞질렀다.
• 블록/Leave-One-Out CV: SVM-PCA가 XGBoost-PCA+XY보다 우수했다.
• 이는 무작위 CV에만 의존하는 벤치마크가 일반화 가능한 생물학적 특징을 학습하기보다 공간적 자기상관성(좌표를 통해)을 이용하는 열등한 방법을 지속적으로 선택할 수 있음을 보여준다.

4. 의의 및 주장

본 논문은 ST 벤치마크에서 "공간적 누출"에 대한 학계의 이해를 바로잡는다고 주장한다. 주요 기여는 다음과 같다:

1. "누출"이라는 단일 개념의 반박: 무작위 대 블록 격차는 메시지 패싱 누출에 의해 구동되는 단일량이 아니다. 지배적인 구성 요소는 클래스 지원 불일치이며, 이는 공간 블록이 훈련/테스트 세트의 클래스 다양성을 감소시키는 방식에서 비롯되는 아티팩트이다.
2. GNN 특화 페널티: 진정한 공간 외삽 페널티(보지 못한 공간 영역을 예측하는 어려움)는 비그래프 분류기보다 GNN에서 상당히 더 크다. 이는 GNN이 단순히 라벨 누출뿐만 아니라, 보지 못한 영역의 국소적 그래프 컨텍스트 분포에 고유하게 민감함을 시사한다.
3. 방법론적 교정:
   • 버퍼 존은 불충분하다: 버퍼 존은 블록은 제거하지만 엣지는 제거하지 않는다. 메시지 패싱 누출을 제거하려면 명시적인 그래프 프루닝과 검증이 필요하다.
   • 특징 누출: 전체 그래프에서 계산된 지속성 호몰로지 특징은 누출 채널이 된다; 따라서 이를 각 폴드별로 귀납적으로 재계산해야 한다.
   • 보고 표준: 벤치마크는 단일한 성능 부풀리기 수치를 보고하는 대신, 격차(크기, 클래스 지원, 전처리, 공간)의 분해를 보고해야 한다. 공간 외삽에 따른 성능 저하를 귀인하기 전에 반드시 클래스 지원을 일치시켜야 한다.
4. 위상학에 대한 부정적 결과: 본 연구는 지속성 호몰로지의 보고된 이점이 데이터 누출에 의한 것이었음을 보여주는 깨끗한 부정적 결과를 제공하며, 이를 통해 모델의 능력보다는 누출에 의한 것임을 입증하였다.

저자는 자신이 자격 조건 없이 완벽한 누출 없는 벤치마크를 만들었다고 주장하는 것이 아니라, 메시지 패싱, 노드 특징, 전처리에 관한 프로토콜 측면에서 누출이 없음을 확언한다. 저자는 "공간적 페널티"가 GNN에 대한 실재하는 현상이며, 프로토콜 설계의 아티팩트와는 구별된다는 점을 강조한다.