Entropy, Disagreement, and the Limits of Foundation Models in Genomics
यह शोध पत्र तर्क देता है कि जीनोमिक अनुक्रमों की उच्च एंट्रॉपी (entropy) अर्थपूर्ण निरूपण (representations) सीखने की फाउंडेशन मॉडल्स की क्षमता को मौलिक रूप से सीमित करती है, जिससे अस्थिर भविष्यवाणियां और इंटर-टोकन संबंधों को पकड़ने में विफलता होती है, जो यह सुझाव देता है कि वर्तमान स्व-पर्यवेक्षित (self-supervised) प्रशिक्षण पद्धतियां जीनोमिक डेटा के लिए अनुपयुक्त हो सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके पेपर की व्याख्या दी गई है।
मुख्य विचार: AI पढ़ने में तो महान है, लेकिन DNA में बुरा क्यों है?
कल्पना कीजिए कि आपके पास दो छात्र हैं जो एक नई भाषा सीखने की कोशिश कर रहे हैं।
- छात्र A अंग्रेजी सीख रहा है। वह लाखों किताबें पढ़ता है, और सीखता है कि "The cat sat on the..." के बाद लगभग हमेशा "mat" आता है। वह बहुत आत्मविश्वासी हो जाता है, और यदि आप पाँच अलग-अलग छात्रों से उस वाक्य को पूरा करने के लिए कहें, तो वे सभी "mat" ही कहेंगे।
- छात्र B DNA सीख रहा है। वह लाखों जेनेटिक सीक्वेंस पढ़ता है। लेकिन DNA अजीब है। यह एक ऐसी भाषा की तरह है जहाँ लगभग कुछ भी अगला आ सकता है। यदि आप पाँच अलग-अलग छात्रों से DNA का वाक्य पूरा करने के लिए कहें, तो कोई "A" कहेगा, कोई "T", कोई "G" और कोई "C"। वे सभी अलग-अलग अनुमान लगाते हैं।
यह पेपर तर्क देता है कि फाउंडेशन मॉडल्स (वे सुपर-स्मार्ट AI दिमाग जिनका हम जीव विज्ञान के लिए उपयोग करते हैं) DNA में विफल हो रहे हैं क्योंकि AI खराब नहीं है, बल्कि DNA मौलिक रूप से बहुत अराजक (chaotic) है, जिससे ये मॉडल उसी तरह नहीं सीख पाते जैसे वे मानव भाषा सीखते हैं।
तीन मुख्य समस्याएँ जो पेपर में मिलीं
शोधकर्ताओं ने AI मॉडल्स के समूहों (जिन्हें "एन्सेम्बल्स" कहा जाता है) को अंग्रेजी टेक्स्ट और DNA दोनों पर प्रशिक्षित किया। उन्होंने बाकी सब कुछ बिल्कुल समान रखा (एक ही मस्तिष्क आकार, प्रशिक्षण का समान समय) यह देखने के लिए कि क्या होता है। यहाँ उनकी खोज है:
1. "भ्रमित भीड़" की समस्या (High Entropy)
सूचना की दुनिया में, एंट्रॉपी (Entropy) अराजकता या आश्चर्य का एक माप है।
- अंग्रेजी में कम एंट्रॉपी है: यदि मैं कहता हूँ "I drink coffee in the morning," तो आप 99% सुनिश्चित हैं कि अगला शब्द "with" या "sugar" होगा। AI आत्मविश्वासी है।
- DNA में उच्च एंट्रॉपी है: यदि मैं आपको एक DNA सीक्वेंस दूँ, तो अगला अक्षर लगभग एक सिक्का उछालने (coin toss) जैसा है। वहाँ कोई मजबूत पैटर्न नहीं है।
उपमा: "टेलीफोन" (Telephone) के खेल की कल्पना करें।
- अंग्रेजी वाले संस्करण में, हर कोई एक ही स्पष्ट संदेश फुसफुसाता है।
- DNA वाले संस्करण में, हर कोई यादृच्छिक (random) अक्षर चिल्ला रहा है। क्योंकि DNA के "नियम" इतने ढीले हैं, AI मॉडल इस बात पर सहमत नहीं हो पाते कि आगे क्या आएगा। भले ही आप 5 अलग-अलग मॉडल्स को ठीक उसी डेटा पर प्रशिक्षित करें, वे आपको अलग-अलग उत्तर देंगे। वे तूफान में मौसम का अनुमान लगाने वाली लोगों की भीड़ की तरह हैं; हर कोई बस अंदाज़ा लगा रहा है।
2. "टूटी हुई डिक्शनरी" की समस्या (Unstable Embeddings)
AI मॉडल एक "डिक्शनरी" (जिसे एम्बेडिंग्स कहा जाता है) बनाते हैं जहाँ समान अर्थ वाले शब्दों को उनके दिमाग में पास-पास रखा जाता है।
- अंग्रेजी में, AI सीखता है कि "King" और "Queen" पास-पास हैं, और "Cat" और "Dog" पास-पास हैं। यह एक स्थिर, उपयोगी मानचित्र है।
- DNA में, क्योंकि मॉडल यादृच्छिकता (randomness) से इतने भ्रमित हैं, उनकी "डिक्शनरी" अस्त-व्यस्त है। एक मॉडल "A" को "T" के पास रख सकता है, जबकि दूसरा "A" को "G" के पास रख सकता है।
उपमा: कल्पना कीजिए कि दो मानचित्रकार (cartographers) एक शहर का नक्शा बनाने की कोशिश कर रहे हैं।
- अंग्रेजी के मानचित्रकार एक ही नक्शा बनाते हैं: लाइब्रेरी पार्क के बगल में है।
- DNA के मानचित्रकार पूरी तरह से अलग नक्शे बनाते हैं। एक लाइब्रेरी को समुद्र में रखता है; दूसरा उसे आकाश में। क्योंकि डेटा इतना शोर भरा (noisy) है, AI यह विश्वसनीय मानचित्र नहीं बना पाता कि DNA के टुकड़े एक-दूसरे से कैसे संबंधित हैं। यह AI के "ज्ञान" को वास्तविक दुनिया के कार्यों के लिए अविश्वसनीय बनाता है।
3. "रट लेने वाला" (Rote Memorizer) की समस्या (Fisher Information)
शोधकर्ताओं ने देखा कि AI अपना ज्ञान कहाँ संग्रहीत कर रहा था।
- English AI: यह शब्दों के बीच संबंध समझने के लिए अपने "सोचने वाले परतों" (मस्तिष्क के जटिल मध्य भाग) का उपयोग करता है। यह व्याकरण सीखता है।
- DNA AI: यह अपना सारा ज्ञान "मेमोरी लेयर" (सबसे पहले भाग) में डाल देता है। ऐसा लगता है कि यह केवल विशिष्ट अक्षरों को रट रहा है बजाय इसके कि अक्षरों के बीच के संबंधों को समझे।
उपमा:
- English छात्र एक जासूस की तरह है जो सुरागों और तर्क को समझता है। वह जानता है कि संदिग्ध दोषी क्यों है।
- DNA छात्र एक तोते की तरह है। वह अक्षरों के क्रम को पूरी तरह से दोहरा सकता है, लेकिन वह कहानी या अक्षरों के बीच के संबंध को नहीं समझता। वह बस ध्वनि को रट रहा है, उसका अर्थ नहीं।
निष्कर्ष: इसका क्या अर्थ है?
पेपर निष्कर्ष निकालता है कि DNA पर AI को प्रशिक्षित करने का वर्तमान तरीका (बस सीक्वेंस खिलाना और अगले अक्षर का अनुमान लगाने के लिए कहना) एक मृत अंत (dead end) हो सकता है।
- समस्या: DNA बहुत यादृच्छिक (high entropy) है, जिससे AI मानव भाषा की तरह "व्याकरण" या "संबंधों" को नहीं सीख पाता।
- परिणाम: AI केवल डेटा को रटने लगता है, खुद से असहमत होने लगता है, और जैविक ज्ञान का एक उपयोगी "आधार" बनाने में विफल रहता है।
- भविष्य: हमें शायद DNA को अंग्रेजी टेक्स्ट की तरह बिल्कुल वैसे ही न treating करने की आवश्यकता है। हमें जैव विज्ञान के बारे में AI को सिखाने के नए तरीकों की आवश्यकता है जो इस तथ्य को ध्यान में रखें कि DNA मौलिक रूप से भिन्न, अराजक और शोर से भरा है।
संक्षेप में: आप एक कुत्ते को केवल फ्रेंच किताबें पढ़ाकर फ्रेंच बोलना नहीं सिखा सकते; उसे एक अलग दृष्टिकोण की आवश्यकता है। इसी तरह, आप एक AI को केवल DNA को उपन्यास की तरह पढ़ाकर जीव विज्ञान समझने के लिए नहीं सिखा सकते। जीवन की "भाषा" मनुष्यों की भाषा से बहुत अलग है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।