Class-Support Mismatch Dominates Protocol-Driven Optimism in Spatial Transcriptomics, with a Larger Residual Penalty for Graph Neural Networks

तकनीकी सारांश: स्थानिक ट्रांसक्रिप्टोमिक्स में क्लास-सपोर्ट मिसमैच प्रोटोकॉल-संचालित आशावाद पर हावी है

1. समस्या विवरण

स्पेशियल ट्रांसक्रिप्टोमिक्स (ST) बेंचमार्क अक्सर रैंडम इंटरलीव्ड क्रॉस-वैलिडेशन (CV) का उपयोग करते समय स्पेशियल-ब्लॉक CV की तुलना में अत्यधिक बढ़े हुए प्रदर्शन मेट्रिक्स रिपोर्ट करते हैं। इस "रैंडम-बनाम-ब्लॉक" प्रदर्शन अंतर के लिए प्रचलित कारण स्पेशियल लीकेज (spatial leakage) है: यह दावा कि ग्राफ न्यूरल नेटवर्क (GNNs) में मैसेज पासिंग और स्पेशियल ऑटोकोरिलेशन के कारण टेस्ट जानकारी ट्रेनिंग डेटा को दूषित कर देती है।

हालाँकि, इस एट्रिब्यूशन (attribution) का कभी भी कठोरता से परीक्षण नहीं किया गया है क्योंकि रैंडम से ब्लॉक CV में स्विच करने से पांच अलग-अलग डिज़ाइन अक्ष (axes) एक साथ बदल जाते हैं:

1. ट्रेनिंग-सेट का आकार: ब्लॉक प्रोटोकॉल बफर ज़ोन को हटा देते हैं, जिससे ट्रेनिंग स्पॉट्स की संख्या काफी कम हो जाती है।
2. क्लास सपोर्ट (Class support): निरंतर ब्लॉक्स (contiguous blocks) अक्सर पूरे सेक्शन में मौजूद विविध टिश्यू डोमेन की कमी रखते हैं, जिससे ट्रेनिंग और टेस्ट क्लास सेट्स के बीच मिसमैच होता है।
3. क्रॉस-रोल मैसेज पासिंग: रैंडम पार्टिशन कई ट्रेन-टेस्ट पड़ोसी जोड़े बनाते हैं; ब्लॉक पार्टिशन ग्राफ को सीमाओं पर काट देते हैं।
4. प्रीप्रोसेसिंग स्कोप: ग्लोबल प्रीप्रोसेसिंग (जैसे जीन चयन, स्केलिंग) बनाम फोल्ड-लोकल प्रीप्रोसेसिंग।
5. स्पेशियल एक्सट्रैपोलेशन (Spatial extrapolation): अनदेखे स्थानिक क्षेत्रों की भविष्यवाणी करने की वास्तविक वैज्ञानिक चुनौती।

एक एकल प्रदर्शन अंतराल सांख्यिकी इन कारकों को मिला देती है, जिससे "लीकेज" को क्लास-सपोर्ट मिसमैच जैसे अन्य आर्टिफैक्ट्स से अलग करना असंभव हो जाता है।

2. कार्यप्रणाली

लेखक ने 10x Visium मानव स्तन कैंसर डेटा (3,798 स्पॉट्स, 11 Leiden डोमेन) का उपयोग करके एक गहन ऑडिट अध्ययन किया और 12 विशेषज्ञ-एनोटेटेड DLPFC सेक्शन (47,280 स्पॉट्स) पर निष्कर्षों को दोहराया।

ग्राफ प्रूनिंग और सत्यापन:
मैसेज-पासिंग लीकेज को समाप्त करने के लिए, लेखक ने एक "जीरो-कंटैमिनेशन" ग्राफ बनाया। प्रत्येक फोल्ड के लिए, उन्होंने स्पेशियल ग्राफ को इस प्रकार प्रून (छँटा) किया कि सुनिश्चित हो सके:

• जीरो क्रॉस-रोल एडजेस: कोई भी एज ट्रेन, वैलिडेशन या टेस्ट नोड्स को नहीं जोड़ती है।
• इनफिनिट हॉप डिस्टेंस: ट्रेन और टेस्ट नोड्स के बीच न्यूनतम हॉप डिस्टेंस अनंत है।
• सत्यापन: दो स्वतंत्र कार्यान्वयनों ने इन गुणों को सत्यापित किया, जिससे पुष्टि हुई कि बफर ज़ोन अकेले पर्याप्त नहीं हैं क्योंकि वे ब्लॉक्स को तो हटाते हैं लेकिन उन्हें जोड़ने वाले एडजेस को नहीं।

द प्रोटोकॉल लैडर (The Protocol Ladder):
अध्ययन ने 11-आर्म प्रोटोकॉल लैडर का उपयोग करके एक एडिटिव डिकंपोजिशन (additive decomposition) का उपयोग किया। एक समय में एक डिज़ाइन अक्ष को बदलकर (जैसे, क्लास सपोर्ट, साइज, ग्राफ मास्किंग, या प्रीप्रोसेसिंग स्कोप को मैच करना), लेखक ने कुल प्रदर्शन अंतर में प्रत्येक कारक के योगदान को अलग किया।

• बेस लैडर: कुल अंतर (Random vs. Block) को निम्नलिखित में विभाजित किया: ट्रेनिंग-सेट साइज, क्लास सपोर्ट, स्पेशियल (रेसिड्यूअल), और प्रीप्रोसेसिंग स्कोप।
• मास्क्ड आर्म्स: रैंडम और ब्लॉक प्रोटोकॉल के बीच ग्राफ मास्किंग नियमों और प्रीप्रोसेसिंग स्कोप को मैच करके ग्राफ पेनल्टी को डी-कॉन्फंड (de-confound) करने के लिए उपयोग किया गया।

परसिस्टेंट होमोलॉजी ऑडिट:
लेखक ने परसिस्टेंट होमोलॉजी (टोपोलॉजी) फीचर्स की उपयोगिता का पुनर्मूल्यांकन किया। उन्होंने पिछले "शेयर्ड-ग्राफ" फीचर कंप्यूटेशन (जिसने ट्रेनिंग जानकारी को टेस्ट फीचर्स में लीक किया था) को एक इंडक्टिव नियम से बदल दिया जहाँ फीचर्स को प्रत्येक फोल्ड के प्रेरित सबग्राफ (induced subgraph) के भीतर सख्ती से कंप्यूट किया जाता है।

सांख्यिकीय ढांचा:

• इकाइयाँ (Units): विश्लेषण $n=4$ स्वतंत्र स्पेशियल ब्लॉक्स पर आधारित था (फोल्ड 1 और 3 समान विभाजन थे)।
• अंतराल (Intervals): पदानुक्रमित बूटस्ट्रैप 95% कॉन्फिडेंस इंटरवल।
• परीक्षण: सटीक टू-साइडेड साइन-परम्यूटेशन टेस्ट (जो $n=4$ के कारण $p=0.125$ के फ्लोर के साथ है)।

3. मुख्य परिणाम

A. रैंडम-टू-ब्लॉक गैप का डिकंपोजिशन
कुल क्लोज्ड-सेट मैक्रो-F1 गैप +0.447 को निम्नानुसार एडिटिव रूप से विभाजित किया गया है:

• क्लास-सपोर्ट मिसमैच: +0.276 (सबसे बड़ा घटक, ~62% गैप)। यह इसलिए होता है क्योंकि निरंतर ब्लॉक्स में सभी टिश्यू डोमेन नहीं होते हैं, जिससे मॉडल को उन क्लासेस की भविष्यवाणी करने के लिए मजबूर होना पड़ता है जो ट्रेनिंग में नहीं देखी गई हैं।
• रेसिड्यूअल स्पेशियल एक्सट्रैपोलेशन: +0.098 (~22%)।
• प्रीप्रोसेसिंग स्कोप: +0.051 (~11%)।
• ट्रेनिंग-सेट साइज: +0.022 (~5%)।

B. GNN पेनल्टी
साइज, क्लास सपोर्ट, ग्राफ मास्किंग और प्रीप्रोसेसिंग स्कोप को मैच करने के बाद:

• ग्राफ न्यूरल नेटवर्क (GCN, GAT): एक पर्याप्त रेसिड्यूअल स्पेशियल पेनल्टी +0.214 (CI: +0.160, +0.273) प्रदर्शित करते हैं।
• नॉन-ग्राफ क्लासिफायर (SVM, XGBoost, kNN, MLP): एक छोटा, अनसुलझा पेनल्टी +0.042 (CI: -0.039, +0.143) प्रदर्शित करते हैं, जिसमें शून्य शामिल है।
• फैमिली गैप: GNN और नॉन-ग्राफ पेनल्टी के बीच का अंतर +0.172 है, जो केवल GNNs के लिए सांख्यिकीय रूप से resolvable है।

C. मैसेज पासिंग और लीकेज

• ब्लॉक प्रोटोकॉल के तहत क्रॉस-रोल मैसेज पासिंग गैप में +0.050 (GCN) और +0.016 (GAT) का योगदान देता है।
• नॉन-ग्राफ विधियों के लिए, यह मान ठीक 0.000 है।
• लेखक निष्कर्ष निकालते हैं कि मैसेज-पासिंग लीकेज एक वास्तविक लेकिन मामूली चैनल है, न कि देखे गए आशावाद का प्राथमिक चालक।

D. परसिस्टेंट होमोलॉजी
पहले रिपोर्ट किया गया टोपोलॉजिकल लाभ +0.0154 मैक्रो-F1 पूरी तरह से लीकेज का एक आर्टिफैक्ट था।

• जब फीचर्स को प्रत्येक फोल्ड के भीतर इंडक्टिव रूप से पुनर्गणना किया जाता है, तो लाभ गायब हो जाता है।
• स्वच्छ अनुमान -0.0144 (SD 0.0269, $p=0.50$) है, जो यह दर्शाता है कि टोपोलॉजी के बिना मैच किए गए GAT और TopoSpatial के बीच कोई अंतर नहीं है।

E. मेथड रैंकिंग रिवर्सल (DLPFC)
12 DLPFC सेक्शन पर, प्रोटोकॉल के आधार पर विधियों की रैंकिंग उलट गई:

• रैंडम CV: XGBoost-PCA+XY (रॉ कोऑर्डिनेट्स का उपयोग करके) SVM-PCA से काफी बेहतर प्रदर्शन करता है।
• ब्लॉक/लीव-वन-आउट CV: SVM-PCA, XGBoost-PCA+XY से बेहतर प्रदर्शन करता है।
• यह दर्शाता है कि केवल रैंडम CV पर निर्भर बेंचमार्क लगातार उन निम्न श्रेणी के तरीकों को चुन सकते हैं जो सामान्यीकरण योग्य जैविक विशेषताओं को सीखने के बजाय स्पेशियल ऑटोकोरिलेशन (कोऑर्डिनेट्स के माध्यम से) का फायदा उठाते हैं।

4. महत्व और दावे

यह पेपर ST बेंचमार्क में "स्पेशियल लीकेज" की समझ को सुधारने का दावा करता है। इसके प्राथमिक योगदान हैं:

1. "लीकेज" मोनोलिथ का खंडन: रैंडम-बनाम-ब्लॉक गैप एक एकल मात्रा नहीं है जो मैसेज-पासिंग लीकेज से संचालित होती है। प्रमुख घटक क्लास-सपोर्ट मिसमैच है, जो इस बात का आर्टिफैक्ट है कि कैसे स्पेशियल ब्लॉकिंग ट्रेनिंग/टेस्ट सेट्स में क्लास विविधता को कम करती है।
2. GNN-विशिष्ट पेनल्टी: वास्तविक स्पेशियल-एक्सट्रैपोलेशन पेनल्टी (अनदेखे स्थानिक क्षेत्रों की भविष्यवाणी करने की कठिनाई) नॉन-ग्राफ क्लासिफायर की तुलना में GNNs के लिए काफी अधिक है। यह सुझाव देता है कि GNNs केवल लेबल लीकेज के प्रति ही नहीं, बल्कि अनदेखे क्षेत्रों में स्थानीय ग्राफ संदर्भ के वितरण के प्रति भी विशिष्ट रूप से संवेदनशील हैं।
3. मेथोडोलॉजिकल सुधार:
   • बफर ज़ोन अपर्याप्त हैं: वे ब्लॉक्स को हटाते हैं लेकिन एडजेस को नहीं। मैसेज-पासिंग लीकेज को समाप्त करने के लिए स्पष्ट ग्राफ प्रूनिंग और सत्यापन आवश्यक है।
   • फीचर लीकेज: फुल ग्राफ पर कंप्यूट किए गए परसिस्टेंट होमोलॉजी फीचर्स लीकेज चैनल हैं; उन्हें प्रत्येक फोल्ड के लिए इंडक्टिव रूप से पुनर्गणना किया जाना चाहिए।
   • रिपोर्टिंग मानक: बेंचमार्क को एकल इन्फ्लेशन फिगर के बजाय गैप के डिकंपोजिशन (साइज, क्लास सपोर्ट, प्रीप्रोसेसिंग, स्पेशियल) को रिपोर्ट करना चाहिए। स्पेशियल एक्सट्रैपोलेशन के लिए प्रदर्शन गिरावट का श्रेय देने से पहले क्लास सपोर्ट को मैच किया जाना चाहिए।
4. टोपोलॉजी पर नकारात्मक परिणाम: अध्ययन एक स्वच्छ नकारात्मक परिणाम प्रदान करता है, जो दिखाता है कि ST में परसिस्टेंट होमोलॉजी के रिपोर्ट किए गए लाभ पूरी तरह से डेटा लीकेज के कारण थे, न कि मॉडल क्षमता के कारण।

लेखक स्पष्ट रूप से कहते हैं कि उनके पास बिना किसी योग्यता के लीक-फ्री बेंचमार्क बनाने का दावा नहीं है (क्योंकि लक्ष्य लेबल ट्रांसडक्टिव Leiden क्लस्टर हैं) लेकिन वे दावा करते हैं कि उनके प्रोटोकॉल मैसेज पासिंग, नोड फीचर्स और प्रीप्रोसेसिंग के संबंध में लीक-फ्री हैं। वे जोर देते हैं कि "स्पेशियल पेनल्टी" एक वास्तविक घटना है जो GNNs के लिए है, जो प्रोटोकॉल डिजाइन के आर्टिफैक्ट्स से अलग है।