GENEB: Why Genomic Models Are Hard to Compare
विखंडित बेंचमार्क और असंगत प्रोटोकॉल के कारण जीनोमिक फाउंडेशन मॉडल्स की तुलना करने की कठिनाई को दूर करने के लिए, यह शोध पत्र GENEB पेश करता है, जो एक एकीकृत बड़े पैमाने का नैदानिक बेंचमार्क है जो 100 कार्यों में 40 मॉडल्स का मूल्यांकन करता है ताकि समग्र रैंकिंग की अस्थिरता को प्रकट किया जा सके और यह प्रदर्शित किया जा सके कि आर्किटेक्चरल और प्रीट्रेनिंग संरेखण अक्सर मॉडल स्केल से अधिक महत्वपूर्ण होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को जीवन की गुप्त निर्देश पुस्तिका (instruction manual) पढ़ना सिखाने की कोशिश कर रहे हैं। यह पुस्तिका केवल चार अक्षरों से बनी एक भाषा में लिखी गई है: A, C, G और T। ये अक्षर DNA कोड बनाते हैं जो हर जीवित चीज़ को—एक छोटे बैक्टीरिया से लेकर एक विशाल ओक के पेड़ तक—यह बताता है कि खुद को कैसे बनाना है और कैसे कार्य करना है। हाल के वर्षों में, वैज्ञानिकों ने "फाउंडेशन मॉडल्स" बनाए हैं, जो उन सुपर-स्मार्ट छात्रों की तरह हैं जिन्होंने DNA की इस निर्देश पुस्तिका के अरबों पन्नों को पढ़ा है। उन्हें इस भाषा के नियमों को इतनी अच्छी तरह सीखने के लिए बनाया गया है कि वे यह अनुमान लगा सकें कि एक जीन कैसे व्यवहार करेगा या क्या कोई विशिष्ट अनुक्रम (sequence) बीमारी का कारण बनता है।
लेकिन यहाँ एक समस्या है: कल्पना कीजिए कि यदि एक कक्षा के प्रत्येक छात्र ने एक अलग टेस्ट दिया, एक अलग डिक्शनरी का उपयोग किया, और एक अलग शिक्षक द्वारा ग्रेड किया गया। एक छात्र वर्तनी (spelling) में बहुत अच्छा हो सकता है लेकिन व्याकरण (grammar) में बहुत बुरा, जबकि दूसरा व्याकरण का जादूगर हो सकता है लेकिन वर्तनी में कमजोर। यदि आप केवल उनके अंतिम ग्रेड देखते हैं, तो आपको वास्तव में पता नहीं चलेगा कि कौन सा छात्र समग्र रूप से सबसे अच्छा है। आप यह नहीं जान पाएंगे कि "व्याकरण का जादूगर" वर्तनी के टेस्ट में इसलिए फेल हुआ क्योंकि वह इसमें बुरा था, या इसलिए क्योंकि टेस्ट अनुचित था। DNA AI की दुनिया में बिल्कुल यही हो रहा है। विभिन्न शोध दल अपने स्वयं के अनूठे कार्यों पर अपने मॉडल बनाते हैं, उन्हें परीक्षण करते हैं, और दावा करते हैं कि उनका मॉडल "सर्वश्रेष्ठ" है। लेकिन क्योंकि वे एक ही टेस्ट नहीं ले रहे हैं, इसलिए कोई भी उनकी निष्पक्ष तुलना नहीं कर सकता। यह एक एथलीट को दुनिया का सर्वश्रेष्ठ खिलाड़ी घोषित करने की कोशिश करने जैसा है, जिसमें एक तैराक के पूल में समय की तुलना एक धावक के ट्रैक पर समय से की जाती है, बिना किसी एकीकृत मानक के।
यहीं पर GENEB नामक एक नया अध्ययन इस गड़बड़ी को ठीक करने के लिए कदम बढ़ाता है। शोधकर्ताओं, डारिया लेडनेवा, मिखाइल नूरिडिनोव और डेनिस कुज़नेटसोव ने DNA मॉडल्स के लिए एक विशाल, एकीकृत "ओलंपिक्स" बनाने का निर्णय लिया। उन्होंने 40 अलग-अलग जीनोमिक फाउंडेशन मॉडल्स को इकट्ठा किया—कुछ बहुत बड़े, कुछ छोटे, कुछ मानव DNA पर प्रशिक्षित, अन्य बैक्टीरिया या पौधों पर—और उन सभी को ठीक एक ही 100 अलग-अलग चुनौतियों से गुजारा। ये चुनौतियाँ 13 अलग-अलग प्रकार के जैविक कार्यों को कवर करती थीं, जैसे DNA में विशिष्ट स्विच (प्रमोटर) खोजना, यह पहचानना कि जीन कैसे चालू या बंद होते हैं (हिस्टोन संशोधन), या वायरस का पता लगाना। उन्होंने एक सख्त, निष्पक्ष स्कोरिंग प्रणाली का उपयोग किया यह देखने के लिए कि प्रत्येक मॉडल कैसा प्रदर्शन करता है जब उसे एक ही स्थान पर स्थिर (frozen) कर दिया जाता है, जिसका अर्थ है कि वे परीक्षण के दौरान कुछ भी नया नहीं सीख सकते थे; उन्हें पूरी तरह से उसी पर निर्भर रहना था जो उन्होंने पहले ही सीख लिया था।
इस भव्य प्रयोग के परिणाम आश्चर्यजनक थे और उन्होंने कुछ सामान्य धारणाओं को हिलाकर रख दिया। पहला, अध्ययन ने पाया कि बड़ा होना हमेशा बेहतर नहीं होता। AI की दुनिया में, एक लोकप्रिय विचार है कि यदि आप बस मॉडल को बड़ा (अधिक "मस्तिष्क शक्ति" या पैरामीटर्स देना) बना देते हैं, तो वह स्वतः ही अधिक स्मार्ट हो जाएगा। लेकिन GENEB ने दिखाया कि यह कोई जादुई समाधान नहीं है। उन्होंने पाया कि केवल 86 मिलियन "पैरामीटर्स" (आकार का एक माप) वाला एक छोटा मॉडल वास्तव में 7 बिलियन पैरामीटर्स वाले एक विशाल मॉडल को बड़े अंतर से हरा सकता है। वास्तव में, विशाल मॉडल कुछ कार्यों में इतना खराब था कि उसने रैंडम अनुमान लगाने से भी खराब प्रदर्शन किया, क्योंकि उसे गलत प्रकार के DNA (बैक्टीरिया) पर प्रशिक्षित किया गया था जबकि टेस्ट मानव DNA के बारे में था। यह एक ऐसे शेफ को इतालवी खाना बनाने में माहिर बताने जैसा है जिसे पारंपरिक जापानी भोजन बनाने के लिए कहा गया हो; चाहे वह शेफ कितना भी प्रसिद्ध या महंगा क्यों न हो, अगर उसे सामग्री का ज्ञान नहीं है, तो वह संघर्ष करेगा।
दूसला, अध्ययन ने खोजा कि मॉडल को किस पर प्रशिक्षित किया गया है, यह उसके आकार से अधिक महत्वपूर्ण है। मानव DNA पर या कई विभिन्न प्रजातियों के मिश्रण पर विशेष रूप से प्रशिक्षित मॉडल, केवल बैक्टीरिया पर प्रशिक्षित एक विशाल मॉडल की तुलना में मानव कार्यों पर बहुत बेहतर प्रदर्शन करते हैं। शोधकर्ताओं ने दिखाया कि यदि मॉडल का "आहार" (वह डेटा जिसे उसने प्रशिक्षण के दौरान खाया) उस "भोजन" से मेल नहीं खाता जिसे उसे बाद में खाने के लिए पूछा जा रहा है (जिस कार्य के लिए उसका परीक्षण किया जा रहा है), तो वह विफल हो जाता है। उदाहरण के लिए, मानव डेटा पर प्रशिक्षित मॉडल पौधों के जीन की पहचान करने में बहुत खराब थे, और बैक्टीरिया पर प्रशिक्षित मॉडल यह नहीं समझ सके कि मानव जीन कैसे स्प्लिस (splice) होते हैं। पेपर सुझाव देता है कि इन मॉडल्स के वास्तव में उपयोगी होने के लिए, उन्हें काम के लिए सही प्रकार के डेटा से खिलाया जाना चाहिए, न कि केवल उन्हें बड़ा बनाया जाना चाहिए।
अंत में, पेपर तर्क देता है कि कोई एक एकल "चैंपियन" मॉडल नहीं है। खेलों की तरह ही, एक मॉडल दौड़ने में सर्वश्रेष्ठ हो सकता है लेकिन तैराकी में बहुत बुरा। अध्ययन में पाया गया कि एक मॉडल जो एक कार्य पर शीर्ष प्रदर्शन करने वाला था, वह दूसरे कार्य पर निचले स्तर पर हो सकता है। इसका मतलब है कि एक "सर्वश्रेष्ठ" मॉडल खोजने के बजाय जो सब पर शासन करे, वैज्ञानिकों और डॉक्टरों को विशिष्ट कार्य के लिए सही उपकरण चुनने की आवश्यकता है। यदि आपको यह भविष्यवाणी करने की आवश्यकता है कि एक मानव जीन कैसे विनियमित (regulated) होता है, तो आपको उस मॉडल को चुनना चाहिए जो मानव एपिजेनेटिक डेटा पर प्रशिक्षित है। यदि आपको पौधों के जीन की पहचान करने की आवश्यकता है, तो आपको पौधों पर प्रशिक्षित मॉडल की आवश्यकता है। पेपर निष्कर्ष निकालता है कि इन मॉडल्स को एक एकल लीडरबोर्ड के साथ रैंक करने का वर्तमान तरीका भ्रामक है और हमें सही जैविक प्रश्न के लिए सही AI चुनने हेतु अधिक सावधानीपूर्ण, श्रेणी-दर-दर श्रेणी (category-by-category) दृष्टिकोण की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।