In Search of Manifolds Inside Protein Language Models: A Largely Negative Report
यह शोध पत्र ज्यामितीय और टोपोलॉजिकल निदानों के एक व्यापक समूह का उपयोग करते हुए प्रोटीन लैंग्वेज मॉडल्स (pLMs) में मैनिफोल्ड हाइपोथीसिस (manifold hypothesis) की व्यवस्थित रूप से जांच करता है, और यह निष्कर्ष निकालता है कि सिंगल-सेल फाउंडेशन मॉडल्स के विपरीत, pLM रिप्रजेंटेशन्स कम-आयामी मैनिफोल्ड्स के आसपास संगठित होने के बजाय मुख्य रूप से उच्च-आयामी और रैखिक होते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय को समझने की कोशिश कर रहे हैं। इस पुस्तकालय में, हर एक किताब एक प्रोटीन है, जो वे सूक्ष्म आणविक मशीनें हैं जो सभी जीवित चीजों का निर्माण और संचालन करती हैं। लंबे समय से, वैज्ञानिक "प्रोटीन लैंग्वेज मॉडल्स" नामक अति-बुद्धिमान कंप्यूटर प्रोग्रामों का उपयोग करके इन किताबों को पढ़ रहे हैं। ये प्रोग्राम डिजिटल जासूसों की तरह हैं जिन्होंने अरबों प्रोटीन अनुक्रमों (sequences) को पढ़ा है और यह अनुमान लगाना सीख लिया है कि वे कैसे मुड़ते (fold) हैं, वे क्या करते हैं, और वे कैसे बदल सकते हैं।
लेकिन यहाँ बड़ा सवाल यह है कि कंप्यूटर वास्तव में इन प्रोटीनों के बारे में कैसे "सोचता" है? जब कंप्यूटर एक प्रोटीन को देखता है, तो क्या वह डेटा का एक बिखरा हुआ ढेर देखता है, या वह एक छिपा हुआ, चिकना आकार देखता है? वैज्ञानिकों के पास एक पसंदीदा विचार है जिसे "मैनिफ़ोल्ड हाइपोथेसिस" (manifold hypothesis) कहा जाता है। इसे ऐसे सोचिए: कल्पना कीजिए कि एक विशाल 3D कमरे में तैरता हुआ कागज का एक बड़ा, मुड़ा हुआ टुकड़ा है। भले ही वह कागज 3D स्थान में तैर रहा हो, लेकिन यदि आप उस पर चलने वाली एक चींटी होते, तो दुनिया आपको सपाट और द्वि-आयामी (two-dimensional) महसूस होती। "मैनिफ़ोल्ड हाइपोथेसिस" यह सुझाव देता है कि भले ही कंप्यूटर का मस्तिष्क विशाल और जटिल (high-dimensional) हो, प्रोटीनों के बारे में महत्वपूर्ण जानकारी वास्तव में एक चिकनी, कम-आयामी सतह पर छिपी हो सकती है, जैसे कि वह सपाट कागज का टुकड़ा। यह विचार अन्य क्षेत्रों में भी हिट रहा है, जैसे कि कोशिकाओं के बढ़ने और बदलने के अध्ययन में, जहाँ वैज्ञानिकों ने उन चिकने, कम-आयामी "रास्तों" को पाया था जिन पर कोशिकाएं यात्रा करती हैं। तो, बड़ा सवाल यह है: क्या इन प्रोटीन-पहचानने वाले कंप्यूटरों के भीतर भी ये चिकने, छिपे हुए रास्ते मौजूद हैं?
ओलिविया डेनविज़ नामक एक शोधकर्ता ने इन प्रोटीन मॉडल्स के भीतर इन छिपे हुए रास्तों को खोजने के लिए एक खजाने की खोज करने का निर्णय लिया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक विशाल "डिटेक्शन बैटरी" बनाई, जो एक अत्यंत उन्नत मेटल डिटेक्टर और मानचित्र-निर्माता के मेल जैसी है। उन्होंने इस उपकरण का परीक्षण कई अलग-अलग प्रोटीन मॉडल्स पर किया, जिसमें प्रसिद्ध ESM-2 परिवार (जो 8 मिलियन पैरामीटर्स से लेकर विशाल 3 बिलियन तक आता है) और ProtBERT तथा ProtT5 जैसे अन्य मॉडल शामिल थे। उन्होंने यह देखने के लिए कई चतुर तरकीबों का उपयोग किया कि क्या डेटा वास्तव में एक चिकनी, कम-आयामी सतह पर बैठा है। उन्होंने जांचा कि क्या डेटा का एक विशिष्ट "इंट्रिन्सिक डायमेंशन" (intrinsic dimension) है (यह पूछने का एक फैंसी तरीका है कि: हमें वास्तव में कितने दिशाओं की आवश्यकता है?), उन्होंने डेटा को 2D मानचित्रों पर चपटा करने की कोशिश की ताकि पैटर्न उभर सकें, और उन्होंने टोपोलॉजिकल लूप्स (जैसे डोनट में छेद) की भी तलाश की जो यह साबित कर सके कि डेटा किसी विशिष्ट वस्तु के आकार में है।
इस खोज का परिणाम क्या रहा? एक काफी नकारात्मक रिपोर्ट। खजाने की खोज खाली हाथ रही।
डेनविज़ ने पाया कि इन प्रोटीन मॉडल्स के भीतर एक चिकने, कम-आयामी रास्ते का विचार शायद गलत है। एक 3D कमरे में तैरते हुए कागज के सपाट टुकड़े को खोजने के बजाय, उन्होंने पाया कि डेटा वास्तव में एक विशाल, उच्च-आयामी (high-dimensional) स्थान में फैला हुआ है। जब उन्होंने "इंट्रिन्सिक डायमेंशन" (डेटा का वर्णन करने के लिए आवश्यक दिशाओं की संख्या) को मापा, तो यह 2 या 3 जैसी छोटी, प्रबंधनीय संख्या नहीं थी। मध्यम आकार के मॉडल (ESM-2 650M) के लिए, यह आयाम लगभग 63 था, और विशाल 3-बिलियन-पैरामीटर वाले मॉडल के लिए, यह उछलकर 88 हो गया। और भी अधिक स्पष्ट रूप से, जैसे-जैसे उन्होंने मॉडल्स को बड़ा और स्मार्ट बनाया, आयाम बढ़ता गया, घटता नहीं। यदि वहां कोई एक, चिकना रास्ता होता, तो मॉडल बेहतर होने के साथ आयाम स्थिर रहता या सरल हो जाता। इसके बजाय, मॉडल सूचना संग्रहीत करने के लिए अधिक से अधिक दिशाओं का उपयोग करते दिख रहे थे, जिससे पता चलता कि संरचना जटिल और "उच्च-आयामी" है, न कि एक सरल वक्र।
उन्होंने डेटा को 2D में चपटा करने के लिए कंप्यूटर के "मैप-मेकिंग" उपकरणों का भी उपयोग किया, ठीक वैसे ही जैसे हम सिंगल-सेल डेटा के साथ करते हैं। लेकिन जब उन्होंने ऐसा किया, तो उपयोगी जानकारी नष्ट हो गई। यह एक जटिल, बहु-स्तरीय केक को पैनकेक में बदलने जैसा था; स्वाद (जैविक जानकारी) खो गया। जब उन्होंने इन चपटे मानचित्रों का उपयोग प्रोटीन स्थिरता या संरचना जैसी चीजों की भविष्यवाणी करने के लिए किया, तो वे बहुत खराब प्रदर्शन करते रहे। वास्तव में, सबसे सरल विधि—एक सीधी रेखा के साथ कच्चे, उच्च-आयामी डेटा को देखना (एक लीनियर प्रोब)—सबसे अच्छा काम करती थी। कंप्यूटर को एक घुमावदार, कम-आयामी सड़क की आवश्यकता नहीं थी; उसे दर्जनों लेन वाले एक चौड़े, सपाट राजमार्ग की आवश्यकता थी।
इसके अलावा, उन्होंने डेटा में "लूप्स" या छेदों की तलाश की, जो किसी विशिष्ट आकार जैसे डोनट या वृत्त का संकेत देते। उन्हें कोई नहीं मिला। डेटा टोपोलॉजिकल रूप से "ट्रिवियल" (trivial) था, जिसका अर्थ है कि यह बस एक बड़ा, ठोस गोला था जिसमें कोई दिलचस्प आकार नहीं था। उन्होंने यह भी पाया कि प्रोटीनों के वे समूह जो 2D मानचित्रों पर व्यवस्थित समूहों के रूप में दिखाई देते थे, वास्तव में एक भ्रम थे। जब उन्होंने प्रोटीन की लंबाई या उनके बुनियादी तत्वों (अमीनो एसिड) के प्रभाव को हटा दिया, तो वे समूह बिखर गए। जिसे लोग "मैनिफ़ोल्ड" समझ रहे थे, वह वास्तव में इन बुनियादी, उबाऊ तथ्यों का प्रतिबिंब मात्र था, न कि कोई गहरा, छिपा हुआ ढांचा।
यह सुनिश्चित करने के लिए कि उनके उपकरण खराब नहीं थे, उन्होंने अपने उपकरणों का परीक्षण उन चीजों पर किया जिन्हें वे जानते थे कि उनमें ये चिकने रास्ते हैं, जैसे कि एक कृत्रिम "स्विस रोल" (Swiss roll) आकार और एकल कोशिकाओं से वास्तविक डेटा। उनके उपकरण वहां पूरी तरह से काम कर रहे थे, कम आयाम और लूप्स को ढूंढ रहे थे। इससे सिद्ध हुआ कि उनके तरीके सही थे; समस्या उनके तरीकों में नहीं, बल्कि स्वयं प्रोटीन डेटा में थी।
तो, इसका क्या अर्थ है? पता चलता है कि प्रोटीन लैंग्वेज मॉडल्स सेल डेवलपमेंट के चिकने, निरंतर मानचित्रों की तरह नहीं हैं। इसके बजाय, वे एक विशाल, उच्च-आयामी पुस्तकालय की तरह हैं जहाँ प्रत्येक पुस्तक लंबाई, संरचना और पारिवारिक इतिहास के एक जटिल मिश्रण द्वारा व्यवस्थित है। जानकारी वहां है, और यह अविश्वसनीय रूप से उपयोगी है, लेकिन यह एक सरल, कम-आयामी सतह पर नहीं छिपी है। यह एक उच्च-आयामी स्थान में फैली हुई है, और इसे एक सरल 2D मानचित्र में जबरदस्ती फिट करने की कोशिश वास्तव में सबसे महत्वपूर्ण विवरणों को फेंक देती है। शोध पत्र यह निष्कर्ष निकालता है कि प्रोटीन मॉडल्स के लिए, हमें चिकने, घुमावदार रास्तों की तलाश करना बंद करना चाहिए और वास्तव में उन चौड़े, उच्च-आयामी राजमार्गों की सराहना करनी चाहिए जिन पर वे चलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।