🤖 machine learning

OgBench: A Framework for Evaluating Graph Neural Networks on Omics Data

यह शोध पत्र OgBench प्रस्तुत करता है, जो कम-नमूना, उच्च-नोड ( $n \ll p$ ) शासन में ओमिक्स डेटा पर ग्राफ न्यूरल नेटवर्क के मूल्यांकन के लिए पहला बेंचमार्किंग फ्रेमवर्क है, जो यह प्रकट करता है कि मानक GNN अक्सर सरल बेसलाइन से बेहतर प्रदर्शन करने में विफल रहते हैं और इस धारणा को चुनौती देते हैं कि जैविक डोमेन में ग्राफ संरचना स्वाभाविक रूप से प्रदर्शन में सुधार करती है।

मूल लेखक: Louisa Cornelis, Johan Mathe, Louis Van Langendonck, Guillermo Bernárdez, Nina Miolane

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Louisa Cornelis, Johan Mathe, Louis Van Langendonck, Guillermo Bernárdez, Nina Miolane

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ OgBench पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है:

बड़ी समस्या: गलत तरह का नक्शा

कल्पना कीजिए कि आप एक छात्र को शहर में रास्ता ढूँढना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (वर्तमान बेंचमार्क): अधिकांश AI शोधकर्ता छात्रों को हजारों छोटे नक्शों (जैसे कि एक सिंगल स्ट्रीट कॉर्नर का नक्शा) पर प्रशिक्षित कर रहे हैं, लेकिन प्रत्येक नक्शे में केवल कुछ ही लैंडमार्क्स (प्रमुख स्थल) होते हैं। छात्र कई अलग-अलग छोटे नक्शों को देखकर सीखता है।
वास्तविक दुनिया (ओमिक्स डेटा - Omics Data): जीव विज्ञान (जीन्स, प्रोटीन और बीमारियों का अध्ययन) में स्थिति इसके विपरीत है। आपके पास बहुत कम मरीज (शायद केवल कुछ सौ) होते हैं, लेकिन प्रत्येक मरीज के लिए, आपके पास एक विशाल नक्शा होता है जिसमें दसियों हजार लैंडमार्क्स (जीन्स और प्रोटीन) होते हैं।

पेपर का तर्क है कि "छात्रों" (ग्राफ न्यूरल नेटवर्क, या GNNs) को गलत तरह के नक्शों पर प्रशिक्षित किया गया है। वे कई छोटी गलियों में रास्ता खोजने में माहिर हैं, लेकिन जब उनसे एक विशाल, जटिल शहर में बहुत कम गाइडों के साथ रास्ता खोजने के लिए कहा जाता है, तो वे विफल हो जाते हैं।

OgBench क्या है?

लेखकों ने OgBench (ओमिक्स-ग्राफ बेंच) बनाया है। इसे विशेष रूप से "कुछ ड्राइवर, विशाल शहर" वाली स्थिति के लिए डिज़ाइन किया गया एक नया, विशिष्ट ड्राइविंग टेस्ट समझें।

इस टेस्ट से पहले, यह देखने का कोई मानक तरीका नहीं था कि क्या AI वास्तव में जैविक डेटा को संभाल सकता है। विभिन्न वैज्ञानिक अपने डेटा को तैयार करने के लिए अलग-अलग अव्यवस्थित तरीकों का उपयोग करते थे, जिससे यह जानना असंभव हो जाता था कि मॉडल स्मार्ट था या केवल भाग्यशाली। OgBench इसे निम्नलिखित तरीकों से ठीक करता है:

साफ, मानकीकृत नक्शे: उन्होंने कच्चे जैविक डेटा को लिया और सभी के लिए उसे एक ही तरह से प्रोसेस किया।
एक मॉड्यूलर टूलकिट: शोधकर्ता "नक्शा बनाने" की प्रक्रिया के विभिन्न हिस्सों (जैसे कि लैंडमार्क्स के बीच सड़कें कैसे खींची जाती हैं) को बदल सकते हैं ताकि यह देखा जा सके कि सबसे अच्छा क्या काम करता है।
एक निष्पक्ष लीडरबोर्ड: एक ऐसी जगह जहाँ यह देखा जा सके कि कौन से AI मॉडल इन विशिष्ट जैविक कार्यों पर वास्तव में अच्छा प्रदर्शन करते हैं।

चौंकाने वाली खोज: "सरल छात्र" की जीत

लेखकों ने एक बड़ा प्रयोग चलाया, जिसमें जटिल AI मॉडलों (GNNs) का परीक्षण पुराने-स्कूल के सरल गणितीय मॉडलों (जैसे MLP और SVM) के विरुद्ध किया गया।

परिणाम: जटिल "सुपर-इंटेलिजेंट" ग्राफ मॉडल लगातार सरल मॉडलों को नहीं हरा पाए। वास्तव में, कई डेटासेट्स पर, सरल मॉडलों ने या तो उतना ही अच्छा प्रदर्शन किया, या उनसे भी बेहतर किया।

उपमा (Analogy):
कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं।

जटिल मॉडल (GNN): आप हवा के पैटर्न, समुद्री धाराओं, सैटेलाइट छवियों और पक्षियों के प्रवास का विश्लेषण करने के लिए एक विशाल, महंगी मशीन बनाते हैं ताकि यह समझा जा सके कि हवा कैसे चलती है।
सरल मॉडल (MLP): आप सीधे तापमान और आर्द्रता (humidity) के नंबर देखते हैं।

पेपर ने पाया कि इन विशिष्ट जैविक "मौसम" समस्याओं के लिए, विशाल मशीन अक्सर केवल नंबरों को देखने की तुलना में बेहतर पूर्वानुमान नहीं दे पाई। नक्शे की "संरचना" (जीन्स को जोड़ने वाली सड़कें) ने व्यक्तिगत जीन्स को देखने के मुकाबले बहुत अधिक मूल्य नहीं जोड़ा।

ऐसा क्यों हुआ?

"कुछ ड्राइवर, विशाल शहर" की उपमा का उपयोग करते हुए पेपर कुछ कारणों का सुझाव देता है:

बहुत अधिक लैंडमार्क्स, बहुत कम ड्राइवर: हजारों जीन्स (लैंडमार्क्स) लेकिन केवल कुछ सौ मरीजों (ड्राइवर) के साथ, जटिल AI भ्रमित हो जाता है। यह वास्तविक नियमों को सीखने के बजाय 'शोर' (noise) को याद करने की कोशिश करता है।
नक्शा गलत हो सकता है: AI मान लेता है कि सड़कें (जीन्स के बीच संबंध) महत्वपूर्ण हैं। लेकिन यदि सड़कें एक अनुमान (जैसे कि "ये दो जीन्स अक्सर एक साथ सक्रिय होते हैं") के आधार पर बनाई गई थीं, तो AI एक नकली नक्शे से सीख रहा हो सकता है।
"रीडआउट" (Readout) का मुद्दा: पेपर ने पाया कि कभी-कभी AI नक्शा कनेक्शनों को देखने से पहले ही सारा भारी काम कर रहा होता है। वह केवल व्यक्तिगत जीन नंबरों को सीख रहा था, "ग्राफ" वाले हिस्से को पूरी तरह से अनदेखा कर रहा था।

अब हमें क्या करना चाहिए?

पेपर यह नहीं कह रहा है कि "जीव विज्ञान के लिए AI का उपयोग करना बंद करें।" इसके बजाय, यह ईमानदारी और बेहतर उपकरणों के लिए एक आह्वान है।

यह मान लेना बंद करें कि संरचना मदद करती है: सिर्फ इसलिए कि आप एक ग्राफ बना सकते हैं, इसका मतलब यह नहीं है कि ग्राफ उपयोगी है।
नए टेस्ट का उपयोग करें: यदि आप जीव विज्ञान के लिए एक नया AI बनाना चाहते हैं, तो आपको पुराने, आसान बेंचमार्क के बजाय OgBench पर परीक्षण करना चाहिए।
सही सवालों पर ध्यान दें: केवल बड़े, अधिक जटिल मॉडल बनाने के बजाय, हमें यह पता लगाने की जरूरत है कि जीन्स के बीच के संबंध वास्तव में हमें बीमारी को समझने में कब और कैसे मदद करते हैं।

सारांश

OgBench एक नया, निष्पक्ष परीक्षण मैदान है जो एक कड़वा सच उजागर करता है: जटिल AI मॉडल स्वचालित रूप से जीव विज्ञान को समझने में बेहतर नहीं होते हैं। "कुछ मरीज, कई जीन्स" की दुनिया में, सरल मॉडल अक्सर डटे रहते हैं, और हमें बिना यह जांचे कि वे वास्तव में काम करते हैं या नहीं, जटिल ग्राफ टूल्स को अंधाधुंध लागू करना बंद कर देना चाहिए। यह पेपर इन टूल्स को ठीक करने और उन मॉडलों को खोजने के लिए उपकरण प्रदान करता है जो वास्तव में जीव विज्ञान को समझते हैं।

तकनीकी सारांश: OgBench – ओमिक्स डेटा पर ग्राफ न्यूरल नेटवर्क के मूल्यांकन के लिए एक फ्रेमवर्क

समस्या विवरण

ग्राफ न्यूरल नेटवर्क (GNNs) इंडक्टिव ग्राफ-लेवल लर्निंग के लिए एक प्रमुख ढांचे के रूप में स्थापित हो गए हैं। हालांकि, मौजूदा बेंचमार्क (जैसे, OGB, TUDataset, LRGB) मुख्य रूप से $n \gg p$ शासन (regime) में संचालित होते हैं, जहाँ ग्राफों की संख्या ( $n$ ), प्रति ग्राफ नोड्स की संख्या ( $p$ ) से काफी अधिक होती है। यह जैविक डोमेन के ओमिक्स (जीनोमिक्स, ट्रांसक्रिप्टोमिक्स, प्रोटिओमिक्स, एपिजेनोमिक्स) के बिल्कुल विपरीत है, जो $n \ll p$ शासन में कार्य करता है। ओमिक्स में, डेटासेट विशाल ग्राफों (प्रति नमूना हजारों जीन या प्रोटीन) द्वारा विशेषता वाले होते हैं, लेकिन लागत, गोपनीयता और नैदानिक बाधाओं के कारण लेबल किए गए नमूनों (रोगियों या विषयों) की कमी होती है।

वर्तमान GNN अनुसंधान के ठहराव का जोखिम है क्योंकि मानक बेंचमार्क इस उच्च-आयामी, कम-नमूना वास्तविकता को प्रतिबिंबित नहीं करते हैं। सांख्यिकीय शिक्षण में, $n \ll p$ शासन ओवरफिटिंग और अस्थिरता के प्रति संवेदनशील होता है। जबकि GNNs संरचनात्मक पूर्वग्रहों (structural priors) का लाभ उठाते हैं जो सैद्धांतिक रूप से इस सेटिंग में लाभ पहुँचा सकते हैं, हाल के अध्ययन बताते हैं कि वे अक्सर ओमिक्स कार्यों में सरल मशीन लर्निंग बेसलाइनों से बेहतर प्रदर्शन करने में विफल रहते हैं। इसके अलावा, क्षेत्र में एक मानकीकृत पाइपलाइन का अभाव है; प्रदर्शन में सुधार अक्सर विषम अपस्ट्रीम प्रीप्रोसेसिंग (जैसे, प्रोब-टू-जीन एग्रीगेशन, नॉर्मलाइजेशन, कोवेरिएट एडजस्टमेंट) के कारण भ्रमित हो जाता है, जिससे यह अलग करना कठिन हो जाता है कि सुधार वास्तुशिल्प नवाचार (architectural innovation) से आया है या डेटा प्रोसेसिंग आर्टिफैक्ट्स से।

कार्यप्रणाली: OgBench फ्रेमवर्क

इन अंतराhets को संबोधित करने के लिए, लेखक OgBench पेश करते हैं, जो विशेष रूप से $n \ll p$ ओमिक्स शासन में ग्राफ-लेवल प्रेडिक्शन के लिए डिज़ाइन किया गया पहला बेंचमार्किंग प्लेटफॉर्म है। OgBench एक मॉड्यूलर, एंड-टू-एंड इंफ्रास्ट्रक्चर प्रदान करता है जो डेटा प्रीप्रोसेसिंग, ग्राफ निर्माण और मॉडल प्रशिक्षण को अलग करता है।

1. मानकीकृत डेटासेट

फ्रेमवर्क तीन ओमिक्स मोडैलिटीज में फैले चार स्वच्छ, मॉडल-रेडी डेटासेट को एकीकृत करता है:

HERITAGE (प्रोटिओमिक्स): व्यायाम प्रतिक्रियाकर्ताओं का बाइनरी वर्गीकरण ( $n=654$ , $p=4977$ प्रोटीन)।
Parkinson's (ट्रांसक्रिप्टोमिक्स): MoCA स्कोर के आधार पर संज्ञानात्मक स्थिति का बाइनरी वर्गीकरण ( $n=535$ , $p=21,755$ जीन)।
AddNeuroMed (ट्रांसक्रिप्टोमिक्स): तीन-वर्ग नैदानिक निदान (AD, MCI, Control) ( $n=711$ , $p=17,198$ जीन)।
BRCA (एपिजेनोमिक्स): चार-वर्ग स्तन कैंसर सबटाइप वर्गीकरण ( $n=640$ , $p=19,049$ जीन से जुड़े मिथाइलेशन क्षेत्र)।

सभी डेटासेट एक सुसंगत प्रीप्रोसेसिंग पाइपलाइन से गुजरते हैं जिसमें प्रोब-टू-जीन एग्रीगेशन, नॉर्मलाइजेशन और कोवेरिएट एडजस्टमेंट शामिल है, जिसमें डेटा स्प्लिट्स 70/15/15 (ट्रेन/वैली/टेस्ट) पर फिक्स्ड हैं।

2. मॉड्यूलर ग्राफ निर्माण

OgBench नोड चयन और एज निर्माण को नियंत्रित एब्लेशन अध्ययनों की अनुमति देने के लिए विनिमेय (interchangeable) मॉड्यूल के रूप में मानता है:

नोड चयन (Node Selection): रणनीतियों में वेरिएंस फ़िल्टरिंग, पियर्सन कोरिलेशन, डिस्टेंस कोरिलेशन (गैर-रेखीय निर्भरता के लिए), और रैंडम सबसैंपलिंग शामिल हैं। यह शोधकर्ताओं को मॉडल प्रदर्शन पर फीचर सिलेक्शन प्रायर के प्रभाव का अध्ययन करने की अनुमति देता है।
एज निर्माण (Edge Construction): दो प्राथमिक रणनीतियों का समर्थन किया जाता है:
- डेटा-संचालित (Data-driven): को-एक्सप्रेशन ग्राफ जो स्केल-फ्री टोपोलॉजी को अनुमानित करने के लिए सॉफ्ट-थ्रेशोल्डिंग के साथ पेयरवाइज पियर्सन कोरिलेशन के माध्यम से बनाए गए हैं।
- जैविक पूर्वग्रह (Biological Prior): STRING डेटाबेस (मिडियम-कॉन्फिडेंस इंटरैक्शन) से प्राप्त प्रोटीन-प्रोटीन इंटरेक्शन (PPI) नेटवर्क।
- महत्वपूर्ण रूप से, एडजेसेंसी मैट्रिक्स सभी नमूनों के लिए स्थिर (ग्लोबल टोपोलॉजी) है, जबकि नोड फीचर्स (एक्सप्रेशन वैल्यूज) नमूना-विशिष्ट रहते हैं।

3. मॉडल सूट और बेसलाइन्स

फ्रेमवर्क शास्त्रीय बेसलाइनों के विरुद्ध विविध मॉडलों का बेंचमार्क करता है:

बेसलाइन्स: सपोर्ट वेक्टर मशीन (SVM) और इलास्टिक नेट (रेगुलराइज्ड लीनियर मॉडल), जो उच्च-आयामी सेटिंग्स में अक्सर प्रतिस्पर्धी होते हैं।
डीप लर्निंग बेसलाइन: मल्टी-लेयर पर्सपेप्ट्रॉन्स (MLPs) ताकि ग्राफ टोपोलॉजी के योगदान को नॉन-लीनियर फीचर ट्रांसफॉर्मेशन से अलग किया जा सके।
GNNs:
- क्लासिकल: GCN, GraphSAGE, GATv2, GIN।
- स्केलेबल: SAGN (बड़े ग्राफ के लिए डिज़ाइन किया गया)।
- ओमिक्स-विशिष्ट: ChebNet (स्पेक्ट्रल कनवल्शन), MLA-GNN (मल्टी-लेवल अटेंशन)।
- ट्रांसफॉर्मर्स: GPS (जनरल ग्राफ ट्रांसफार्मर)।

4. मूल्यांकन प्रोटोकॉल

प्रयोगों में कठोर हाइपरपैरामीटर ऑप्टिमाइजेशन (लर्निंग रेट, लेयर काउंट आदि पर ग्रिड सर्च) और $n \ll p$ शासन में वैलिडेशन-आधारित चयन की अस्थिरता को कम करने के लिए Top-K एन्सेम्बल एग्रीगेशन का उपयोग शामिल है। मेट्रिक्स में मैक्रो F1, वेटेड F1, एक्यूरेसी और AUROC के साथ-साथ कंप्यूटेशनल एफिशिएंसी माप शामिल हैं।

मुख्य परिणाम

चार डेटासेट्स पर प्रयोगात्मक मूल्यांकन कई महत्वपूर्ण अंतर्दृष्टि प्रदान करता है:

GNNs लगातार सरल बेसलाइनों से बेहतर प्रदर्शन नहीं करते हैं: $n \ll p$ शासन में, व्यापक रूप से उपयोग किए जाने वाले GNNs (GCN, GAT, GIN) अक्सर सरल MLPs या शास्त्रीय रेगुलराइज्ड लीनियर मॉडल्स (SVM, Elastic Net) से स्पष्ट रूप से बेहतर प्रदर्शन करने में विफल रहते हैं। Parkinson's और BRCA जैसे डेटासेट्स पर, लीनियर बेसलाइन्स प्रतिस्पर्धी या श्रेष्ठ बने रहते हैं।
संरचना की कार्य-निर्भर उपयोगिता (Task-Dependent Utility of Structure): ग्राफ संरचना का मूल्य अत्यधिक डेटासेट-निर्भर है। HERITAGE डेटासेट पर, ग्राफ-आधारित तरीकों ने लाभ दिखाया, जबकि अन्य पर ऐसा नहीं था। यह सुझाव देता है कि स्ट्रक्चरल इंडक्टिव बायस ओमिक्स में सार्वभौमिक रूप से लाभकारी नहीं हैं।
रीडआउट मैकेनिज्म मायने रखते हैं: उन डेटासेट्स में जहाँ GNNs बेसलाइन्स से कम प्रदर्शन करते हैं (Parkinson's, BRCA), एक MLP रीडआउट (मैसेज पासिंग के बिना नोड एम्बेडिंग्स पर वेट्स सीखना) वैनिला पूलिंग (मीन/सम एग्रीगेशन) की तुलना में काफी बेहतर प्रदर्शन करता है। यह इंग‌تر करता है कि ग्लोबल फीचर इंटीग्रेशन प्रदर्शन को संचालित करता है न कि लोकल मैसेज पासिंग, जिसका अर्थ है कि इन मामलों में ग्राफ टोपोलॉजी नोड फीचर्स के अलावा सीमित सिग्नल जोड़ती है।
नोड चयन महत्वपूर्ण है: नोड चयन रणनीति का चुनाव मॉडल प्रदर्शन के साथ जटिल रूप से इंटरैक्ट करता है। दिलचस्प बात यह है कि HERITAGE पर, रैंडम नोड सिलेक्शन ने कभी-कभी सबसे अच्छा ग्राफ-आधारित प्रदर्शन दिया, जो बताता है कि नेटवर्क कनेक्टिविटी (भले ही कम प्रेडिक्टिव नोड्स हों) को बनाए रखना मैसेज-पासिंग मैकेनिज्म के लिए महत्वपूर्ण है, जबकि कोरिलेशन-आधारित चयन (जो व्यक्तिगत रूप से प्रेडिक्टिव नोड्स चुनता है) ग्राफ संरचना को बाधित कर सकता है।
एज सोर्स संवेदनशीलता: कोई भी एकल एज सोर्स (PPI बनाम को-एक्सप्रेशन) लगातार दूसरे से बेहतर प्रदर्शन नहीं करता है। इष्टतम विकल्प विशिष्ट GNN बैकबोन और डेटासेट पर निर्भर करता है, जो बताता है कि एज सोर्स की तुलना में आर्किटेक्चर और टोपोलॉजी के बीच की परस्पर क्रिया अधिक महत्वपूर्ण है।
वैलिडेशन अस्थिरता: $n \ll p$ शासन में, एक छोटे वैलिडेशन सेट के आधार पर एक एकल सर्वश्रेष्ठ मॉडल चुनना अविश्वसनीय है। एन्सेम्बल एग्रीगेशन (टॉप-K कॉन्फ़िगरेशन से भविष्यवाणियों का औसत लेना) वेरिएंस को कम करता है और उन वास्तविक मॉडल लाभों को प्रकट करता है जिन्हें सिंगल-कॉन्फ़िगरेशन चयन अक्सर छिपा देता है।

महत्व और दावे

पेपर का दावा है कि OgBench बायोमेडिसिन में GNNs के अनुप्रयोग के लिए एक आवश्यक "रियलिटी चेक" प्रदान करता है। यह उजागर करके कि मानक GNNs अक्सर सरल तरीकों की तुलना में संघर्ष करते हैं, OgBench इस धारणा को चुनौती देता कि ग्राफ संरचना स्वाभाविक रूप से मूल्य जोड़ती है।

लेखक तर्क देते हैं कि क्षेत्र को मानक बेंचमार्क पर वृद्धिशील प्रदर्शन लाभों से आगे बढ़ना चाहिए और लर्निंग प्रतिमानों के आलोचनात्मक पुनर्मूल्यांकन में संलग्न होना चाहिए। परिणाम बताते हैं कि जैविक डेटा पर ग्राफ विधियों को बिना यह सवाल किए लागू करना कि क्या अंतर्निहित संरचना वैध है या $n \ll p$ शासन के लिए आर्किटेक्चर उपयुक्त है, स्थिरता की ओर ले जा सकता है। OgBench का लक्ष्य ऐसे नए आर्किटेक्चर के विकास को बढ़ावा देना है जो विशेष रूप से जैविक ग्राफों के लिए तैयार किए गए हों और ऐसे नवाचारों को मान्य करने के लिए समुदाय को एक पुनरुत्पादक (reproducible), ओपन-सोर्स इकोसिस्टम प्रदान करना है। कोड और डेटासेट को इस संक्रमण को सुगम बनाने के लिए रिलीज़ किया गया है।