🤖 machine learning

Towards Understanding the Shape of Representations in Protein Language Models

यह शोध पत्र स्क्वायर-रूट वेलोसिटी और ग्राफ फिल्ट्रेशन का उपयोग करके प्रोटीन लैंग्वेज मॉडल रिप्रेजेंटेशन्स की ज्यामितीय संरचना की जांच करता है, जो यह प्रकट करता है कि मॉडल परतों के माध्यम से गैर-रेखीय रूप से संरचनात्मक विशेषताओं को एनकोड करते हैं जहाँ अंतिम परत से ठीक पहले इष्टतम फिडेलिटी प्राप्त होती है, जबकि वे दीर्घ-रेंज संदर्भात्मक संबंधों को बनाए रखने में संघर्ष करते हैं।

मूल लेखक: Kosio Beshkov, Anders Malthe-Sørenssen

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kosio Beshkov, Anders Malthe-Sørenssen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास प्रोटीन की "कहानियों" का एक विशाल पुस्तकालय है। वास्तविक दुनिया में, ये कहानियाँ 3D में लिखी गई हैं, जो जटिल आकारों में मुड़ी हुई (folded) होती हैं जो यह निर्धारित करती हैं कि प्रोटीन क्या करता है। लेकिन वैज्ञानिकों ने हाल ही में "लैंग्वेज मॉडल्स" (प्रोटीन अनुक्रमों पर प्रशिक्षित AI) का उपयोग करके इन कहानियों को पढ़ना शुरू कर दिया है। समस्या यह है कि हमें पूरी तरह से समझ नहीं आता कि AI अपनी गुप्त भाषा में इन कहानियों को कैसे फिर से लिख रहा है।

यह शोध पत्र एक जासूस की तरह है जो AI की गुप्त भाषा के आकार को समझने की कोशिश कर रहा है। लेखक पूछते हैं: "जब AI किसी प्रोटीन को देखता है, तो क्या वह उसे शब्दों की एक सपाट सूची के रूप में देखता है, या वह उसे एक 3D मूर्ति के रूप में देखता है? और जैसे-जैसे AI गहराई से 'सोचता' है, वह मूर्ति कैसे बदलती है?"

यहाँ सरल उपमाओं का उपयोग करके उनके अन्वेषण का विवरण दिया गया है:

1. दो उपकरण: आकार को मापना और शोर को फ़िल्टर करना

AI के "मन" को समझने के लिए, लेखकों ने दो विशेष उपकरणों का उपयोग किया:

"शेप शिफ्टर" (SRV रिप्रजेंटेशन):
कल्पना कीजिए कि आपके पास मिट्टी का एक टुकड़ा (एक प्रोटीन) है। आप इसे खींच सकते हैं, घुमा सकते हैं, या इधर-उधर ले जा सकते हैं, लेकिन यह अभी भी मिट्टी का वही टुकड़ा है। लेखकों ने हर प्रोटीन को एक चिकने, लचीले वक्र (curve) में बदलने के लिए स्क्वायर-रूट वेलोसिटी (SRV) नामक एक गणितीय ट्रिक का उपयोग किया।
- उपमा: इसे हर प्रोटीन को एक अद्वितीय, खिंचने वाले रबर बैंड में बदलने के रूप में सोचें। AI का काम यह पता लगाना है कि दो रबर बैंड "समान" हैं, भले ही एक मुड़ा हुआ या घुमाया हुआ हो। लेखकों ने इन रबर बैंडों को एक विशेष "शेप स्पेस" में मैप किया जहाँ वे माप सकते हैं कि विभिन्न प्रोटीन एक-दूसरे से कितनी दूर हैं।
"छलनी" (ग्राफ फिल्ट्रेशन):
कल्पना कीजिए कि आप एक प्रोटीन को अलग-अलग आकार के छेदों वाली छलनियों की एक श्रृंखला के माध्यम से देख रहे हैं। एक छोटी छलनी केवल आपको निकटतम पड़ोसियों (वे अमीनो एसिड जो ठीक बगल में हैं) को देखने देती है। एक बड़ी छलनी आपको दूर के दोस्तों को देखने देती है।
- उपमा: लेखकों ने इसका उपयोग यह परीक्षण करने के लिए किया कि AI प्रोटीन की संरचना को समझने के लिए कितनी दूर तक "देख" सकता है। क्या AI केवल अपने निकटतम पड़ोसियों को जानता है, या वह पूरी तस्वीर देख सकता है?

2. उन्होंने क्या पाया: "विस्तार और संकुचन" का नृत्य

लेखकों ने AI की आंतरिक परतों (जैसे एक गगनचुंबी इमारत की विभिन्न मंजिलों) को देखा और पाया कि "शेप स्पेस" कैसे बदलता है, इसमें एक आश्चर्यजनक पैटर्न है:

शुरुआती मंजिलें (विस्तार - Expansion): शुरुआत में, AI प्रोटीन को लेता है और उसे एक विशाल, जटिल, उच्च-आयामी (high-dimensional) स्थान में फैला देता है। यह एक छोटे स्केच को लेकर उसे एक विशाल, विस्तृत 3D मॉडल में फूंक देने जैसा है जिसमें अनंत संभावनाएं हैं। यहाँ डेटा का "आकार" बहुत चौड़ा और विविध हो जाता है।
अंतिम मंजिलें (संकुचन - Contraction): जैसे-जैसे डेटा गगनचुंबी इमारत की ऊपरी मंजिलों की ओर बढ़ता है, AI उस विशाल स्थान को वापस सिकोड़ने लगता है। वह डेटा को एक बहुत छोटे, तंग स्थान में दबा देता है।
- परिणाम: जब तक डेटा शीर्ष तक पहुँचता है, विभिन्न प्रोटीनों के "आकार" एक-दूसरे के बहुत समान हो जाते हैं। AI ने शोर को हटा दिया है और कुछ मुख्य "आकारों" को खोज लिया है जो लगभग सब कुछ वर्णित करते हैं।

मुख्य निष्कर्ष: AI केवल ऊपर की ओर "स्मार्ट" नहीं होता; यह वास्तव में प्रोटीन की ज्यामिति को सरल बनाता है, इसे कुछ कुशल आकारों में संकुचित कर देता है।

3. AI कितनी दूर तक "देख" सकता है? (कॉन्टेक्स्ट लेंथ)

अपने "छलनी" उपकरण का उपयोग करके, लेखकों ने परीक्षण किया कि प्रोटीन की 3D संरचना को समझने के लिए AI को कितने पड़ोसियों को देखने की आवश्यकता है। उन्होंने एक दो-चरणीय पैटर्न पाया:

निकटतम पड़ोसी (2 स्टेप्स): AI अपने ठीक बगल वाले अमीनो एसिड को देखने में बहुत अच्छा है। यह समझ में आता है; यह अपने सबसे अच्छे दोस्त का नाम जानने जैसा है।
"स्वीट स्पॉट" (8 स्टेप्स): आश्चर्यजनक रूप से, AI लगभग 8 पड़ोसियों के समूह को देखने में भी बहुत अच्छा है।
- उपमा: यह ऐसा है जैसे AI प्रोटीन को सबसे अच्छी तरह तब समझता है जब वह दोस्तों के एक छोटे समूह (2 लोग) या एक छोटे मोहल्ले (8 लोग) को देखता है।
- सीमा: यदि AI पूरी प्रोटीन को एक साथ देखने की कोशिश करता है (बहुत लंबी दूरियां), तो उसकी 3D आकार की समझ धुंधली होने लगती है और खराब होने लगती है।

4. फोल्डिंग के लिए "स्वीट स्पॉट"

सबसे व्यावहारिक खोज यह है कि AI के मस्तिष्क में कहाँ 3D संरचना सबसे अच्छी तरह संरक्षित रहती है।

लेखकों ने पाया कि शीर्ष परत (गगनचुंबी इमारत की बिल्कुल अंतिम मंजिल) वास्तव में 3D आकार खोजने के लिए सबसे अच्छी जगह नहीं है।
इसके बजाय, अंतिम परत से ठीक पहले वाली परत प्रोटीन के 3D संरचना का सबसे सटीक "मानचित्र" रखती है।
उपमा: कल्पना कीजिए कि एक शेफ भोजन बना रहा है। अंतिम व्यंजन (अंतिम परत) तैयार उत्पाद है, लेकिन जिस क्षण स्वाद सबसे अधिक संतुलित और विशिष्ट होता है, वह अंतिम सजावट जोड़ने से ठीक पहले का होता है। यदि आप नए प्रोटीन बनाने (फोल्डिंग) में मदद के लिए AI का उपयोग करना चाहते हैं, तो आपको उस "अंत से ठीक पहले वाली" परत को देखना चाहिए, न कि अंतिम आउटपुट को।

सारांश

यह शोध पत्र एक मानचित्र है कि AI प्रोटीन को कैसे "देखता" है। यह दिखाता है कि AI प्रोटीन डेटा को एक विशाल, जटिल आकार में फैलाकर शुरू करता है, और फिर उसे एक सरल, कुशल रूप में वापस मोड़ देता है। वह छोटे समूहों के पड़ोसियों को देखकर 3D संरचना को सबसे अच्छी तरह समझता है, और अपनी अंतिम गणना पूरी करने से ठीक पहले उसके पास प्रोटीन के आकार की सबसे स्पष्ट तस्वीर होती है। यह सुझाव देता है कि यदि हम नए प्रोटीन डिजाइन करने के लिए AI का उपयोग करना चाहते हैं, तो हमें उस परत की बात सुननी चाहिए जो अपना अंतिम उत्तर देने से ठीक पहले आती है।

तकनीकी सारांश: प्रोटीन लैंग्वेज मॉडल्स के रिप्रजेंटेशन के आकार को समझने की दिशा में

समस्या विवरण (Problem Statement)

प्रोटीन लैंग्वेज मॉडल्स (PLMs), जैसे कि इवोल्यूशनरी स्केल मॉडलिंग (ESM) परिवार, de novo प्रोटीन डिज़ाइन, संरचना भविष्यवाणी और कार्यात्मक एनोटेशन में महत्वपूर्ण क्षमता प्रदर्शित कर चुके हैं। जबकि यह अनुभवजन्य रूप से समझा जाता है कि PLM रिप्रजेंटेशन, फोल्डिंग मॉडल्स के लिए प्रभावी इनिशियलाइजेशन के रूप में कार्य करते हैं, इन हिडन रिप्रजेंटेशन्स के भीतर मौजूद जानकारी की सटीक प्रकृति अभी भी कम समझ में आती है। मौजूदा व्याख्यात्मक (interpretability) प्रयास मुख्य रूप से इस बात पर केंद्रित रहे हैं कि व्यक्तिगत अनुक्रमों (sequences) को लेटेंट वेक्टर्स में कैसे बदला जाता है या एकल अनुक्रमों के भीतर विशिष्ट विशेषताओं (जैसे, बाइंडिंग मोटिफ्स, सह-विकास सांख्यिकी) की पहचान कैसे की जाती है। हालाँकि, ये दृष्टिकोण प्रोटीन रिप्रजेंटेशन के संपूर्ण स्थान की ज्यामितीय संरचना और इस लेटेंट स्पेस के भीतर विभिन्न प्रोटीन एक-दूसरे से कैसे संबंधित हैं, इसकी उपेक्षा करते हैं। इसके अतिरिक्त, मानक अभ्यास अक्सर अनुक्रम आयाम (sequence dimension) को कोलैप्स कर देते हैं (जैसे, औसत निकालकर), जिससे पूर्ण टेंसर रिप्रजेंटेशन में निहित "आकार" (shape) की जानकारी नष्ट हो जाती है। यह शोध पत्र PLM रिप्रजेंटेशन स्पेस की वैश्विक मीट्रिक ज्यामिति और उन विशिष्ट संदर्भ लंबाई (context lengths) के बारे में समझने के अंतराल को संबोधित करता है जहाँ संरचनात्मक विशेषताएं एनकोडेड होती हैं।

कार्यप्रणाली (Methodology)

लेखक प्रोटीन रिजेंटेशन के "आकार" का विश्लेषण करने के लिए दो प्राथमिक गणितीय दृष्टिकोणों का उपयोग करके उन्हें मीट्रिक स्पेस में मैप करने हेतु एक ढांचा प्रस्तावित करते हैं:

1. स्क्वायर-रूट वेलोसिटी (SRV) रिप्रजेंटेशन

प्रोटीन रिप्रजेंटेशन स्पेस की वैश्विक ज्यामिति का विश्लेषण करने के लिए, लेखक प्रोटीन अनुक्रमों और उनके PLM एम्बेडिंग्स को क्रमबद्ध पॉइंट क्लाउड्स (ordered point clouds) के रूप में मानते हैं।

कर्व इंटरपोलेशन (Curve Interpolation): पॉइंट क्लाउड्स (जो या तो 3D संरचनाओं या PLM एम्बेडिंग्स का प्रतिनिधित्व करते हैं) को $\mathbb{R}^m$ में निरंतर कर्व्स $\gamma(t)$ बनाने के लिए क्वाड्रेटिक स्प्लाइन्स का उपयोग करके इंटरपोलेट किया जाता है।
SRV ट्रांसफॉर्मेशन: इन कर्व्स को स्क्वायर-रूट वेलोसिटी (SRV) रिप्रजेंटेशन, $q(t) = \dot{\gamma}(t)/\sqrt{\|\dot{\gamma}(t)\|^2}$ में परिवर्तित किया जाता है, जो उन्हें एक अनंत-आयामी गोले $S^\infty$ पर प्रोजेक्ट करता है।
क्वोटिएंटिंग (Quotienting): ट्रांसलेशन और रोटेशन (isometries of $SE(m)$) के प्रति अपरिवर्तनीयता (invariance) लागू करने के लिए, लेखक दो कर्व्स को संरेखित करने वाली इष्टतम रोटेशन खोजने के लिए सिंगुलर वैल्यू डिकम्पोजिशन (SVD) का उपयोग करके रोटेशन ग्रुप $SO(m)$ को क्वोटिएंट आउट करते हैं।
मीट्रिक स्पेस: यह प्रक्रिया एक रीमानियन शेप स्पेस (Riemannian shape space) बनाती है जहाँ प्रोटीनों के बीच की दूरी की गणना की जा सकती है। लेखक इस स्पेस का उपयोग निम्नलिखित की गणना के लिए करते हैं:
- फ्रेच रेडियस (Fréchet Radius): सभी रिप्रजेंटेशन्स की उनके फ्रेच मीन (Fréchet mean) से औसत दूरी, जो आकारों के प्रसार (spread) के माप के रूप में कार्य करती है।
- प्रभावी आयाम (Effective Dimension): शेप स्पेस मैनिफोल्ड पर टेंगेंट प्रिंसिपल कंपोनेंट एनालिसिस (Tangent PCA) के माध्यम से गणना की गई, जो आकार के विविधताओं की आंतरिक विमा (intrinsic dimensionality) को मापती है।

2. ग्राफ फिल्ट्रेशन (Graph Filtrations)

यह जांचने के लिए कि PLMs में कॉन्टेक्स्ट लेंथ सेंसिटिविटी कैसी है, लेखक टोपोलॉजिकल डेटा एनालिसिस से एक ग्राफ फिल्ट्रेशन दृष्टिकोण अपनाते हैं।

ग्राफ निर्माण: एक दिए गए प्रोटीन और उसके PLM रिप्रजेंटेशन के लिए, अवशेषों (residues) के बीच यूक्लिडियन दूरियों के आधार पर $k$ -निकटतम पड़ोसी (nearest neighbor) ग्राफ बनाए जाते हैं।
फिल्ट्रेशन: पड़ोसियों की संख्या $k$ (या दूरी थ्रेशोल्ड $t$ ) को बदलकर, ग्राफ का एक फिल्ट्रेशन जनरेट किया जाता है।
मीट्रिक तुलना: लेखक वास्तविक 3D प्रोटीन संरचना ग्राफ के एडजेसेंसी मैट्रिसेस (adjacency matrices) की तुलना PLM रिप्रजेंटेशन ग्राफ के एडजेसेंसी मैट्रिसेस से करते हैं।
ग्राफ फिल्ट्रेशन मोमेंट: एक सामान्यीकृत मीट्रिक को प्रोटीन संरचना और उसके PLM एम्बेडिंग के बीच की दूरी और प्रोटीन संरचना तथा रैंडम पॉइंट क्लाउड्स के बीच की दूरी के अनुपात के रूप में परिभाषित किया गया है। यह मात्रा निर्धारित करता है कि PLM विभिन्न पैमानों पर संरचनात्मक निकटता को कितनी अच्छी तरह संरक्षित करता है (कॉन्टेक्स्ट लेंथ के संदर्भ में)।

यह विश्लेषण SCOPe डेटासेट से लिए गए 1,377 प्रोटीनों पर किया गया था, जिन्हें विभिन्न आकारों के ESM2 मॉडल्स और Ankh मॉडल के माध्यम से प्रोसेस किया गया था।

मुख्य परिणाम (Key Results)

1. PLM शेप स्पेस की ज्यामिति

डायमेंशन एक्सपेंशन और कॉन्ट्रैक्शन: प्रभावी आयाम (effective dimension) का शेप स्पेस परतों (layers) के माध्यम से एक गैर-रैखिक पैटर्न का पालन करता है। प्रारंभिक परतें, विशेष रूप से बड़े मॉडल्स में, आयाम में महत्वपूर्ण विस्तार दिखाती हैं, जिसके बाद गहरी परतों में संकुचन (contraction) होता है।
लो-डायमेंशनल सबस्पेस: अंतिम परतों में, प्रभावी आयाम बहुत कम हो जाता है, जो एम्बेडिंग के एम्बिएंट डायमेंशन से काफी कम है। यह सुझाव देता है कि हालांकि PLMs एक उच्च-आयामी स्थान घेरते हैं, प्रोटीन के आकारों के विविधताओं को कुछ विशिष्ट आकार डिस्क्रिप्टर्स द्वारा वर्णित किया जा सकता है।
फ्रेच रेडियस: फ्रेच रेडियस आमतौर पर गहराई के साथ घटता है, जो यह दर्शाता है कि रिप्रजेंटेशन्स शेप स्पेस में अधिक क्लस्टर (clustered) होते जा रहे हैं। उल्लेखनीय रूप से, सभी मॉडल्स में आकारों के बीच परिवर्तनशीलता कम है, और रेडियस मॉडल के आकार के साथ महत्वपूर्ण रूप से नहीं बदलता है।
सामान्यीकरण (Generalizability): यह एक्सपेंशन-कॉन्ट्रैक्शन पैटर्न ESM2 मॉडल्स और Ankh मॉडल दोनों में देखा गया, जो यह सुझाव देता है कि यह PLM आर्किटेक्चर का एक मौलिक गुण है।

2. कॉन्टेक्स्ट लेंथ सेंसिटिविटी

बाइमोडल एनकोडिंग: ग्राफ फिल्ट्रेशन विश्लेषण संरचनात्मक एनकोडिंग में एक बाइमोडल पैटर्न प्रकट करता है। PLMs दो अलग-अलग पैमानों पर 3D संरचनात्मक विशेषताओं को इष्टतम रूप से एनकोड करते हैं:
1. तत्काल पड़ोसी (Immediate Neighbors): बहुत छोटी कॉन्टेक्स्ट लंबाई (लगभग 2 अवशेष) पर।
2. स्थानीय पड़ोस (Local Neighborhoods): थोड़ी लंबी कॉन्टेक्स लंबाई (लगभग 8 अवशेष) पर।
लेयर डिपेंडेंस: संरचनात्मक एनकोडिंग नेटवर्क में मौजूद है लेकिन अंतिम परत में इष्टतम नहीं है। सर्वोत्तम संरचनात्मक निष्ठा (structural fidelity) अंतिम परत से ठीक पहले वाली परतों में पाई जाती है।
क्लास वेरिएशंस: विभिन्न प्रोटीन वर्ग संरचनात्मक निष्ठा के अलग-अलग स्तर प्रदर्शित करते हैं। अल्फा/बीटा प्रोटीन अपने PLM रिप्रजेंटेशन और 3D संरचना के बीच उच्चतम समानता दिखाते हैं, जबकि छोटे और डिज़ाइन किए गए प्रोटीन अधिक विशिष्ट आकार दिखाते हैं।
लंबाई से स्वतंत्रता: गहरी परतों में, स्थानीय कॉन्टेक्स्ट संरचना का एनकोडिंग कुल प्रोटीन लंबाई से स्वतंत्र प्रतीत होता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह व्यक्तिगत अनुक्रम विश्लेषण से आगे बढ़कर, रिप्रजेंटेशन स्पेस की सामूहिक संरचना को समझने के लिए एक नया ज्यामितीय दृष्टिकोण प्रदान करता है।

व्याख्यात्मकता (Interpretability): यह कार्य सिद्ध करता है कि PLMs संरचना को स्पष्ट संरचनात्मक पर्यवेक्षण (explicit structural supervision) के बिना भी आंतरिक रूप से एनकोड करते हैं। यह तथ्य कि संरचना विशिष्ट कॉन्टेक्स्ट लेंथ (2 और 8 अवशेष) पर एनकोड की जाती है, यह सुझाव देता है कि मॉडल अनुक्रम भविष्यवाणी के उपोत्पाद (byproduct) के रूप में स्थानीय और अर्ध-स्थानीय ज्यामितीय बाधाओं को सीखता है।
मॉडल आर्किटेक्चर अंतर्दृष्टि: प्रभावी आयाम का देखा गया एक्सपेंशन-कॉन्ट्रैक्शन पैटर्न प्रारंभिक परतों में हाई-एब्स्ट्रैक्शन रेजिम्स और बाद की परतों में विशिष्ट, सिमेंटिकली रिच रेजिम्स के सिद्धांतों के अनुरूप है। गहरी परतों में कम प्रभावी आयाम यह संकेत देता है कि प्रोटीन फोल्डिंग के जटिल कार्य को कुछ विशिष्ट आकार परिवर्तनों के माध्यम से नेविगेट किया जा सकता है।
फोल्डिंग के लिए व्यावहारिक निहितार्थ: लेखक अंतिम परत में सबऑप्टिमल स्ट्रक्चरल एनकोडिंग, जो पिछली परतों में उच्च निष्ठा के विपरीत है, प्रोटीन फोल्डिंग मॉडल्स को बेहतर बनाने के लिए एक संभावित मार्ग का सुझाव देते हैं। विशेष रूप से, फोल्डिंग मॉडल्स को अंतिम परत के बजाय उससे ठीक पहले वाली परतों के रिप्रजेंटेशन से इनिशियलाइज करना बेहतर प्रदर्शन दे सकता है। हालाँकि, लेखकों ने नोट किया कि लीनियर मॉडल्स या छोटे नेटवर्क्स के साथ सत्यापन के शुरुआती प्रयास सामान्यीकृत (generalize) नहीं हुए, जो इंग इसने संकेत दिया कि बड़े मॉडल्स के साथ और अधिक शोध की आवश्यकता है।

संक्षेप में, यह शोध पत्र स्थापित करता है कि PLM रिप्रजेंटेशन स्पेस में एक विशिष्ट ज्यामितीय संरचना होती है जो आयाम विस्तार के बाद संकुचन द्वारा चिह्नित होती है, और ये रिप्रजेंटेशन प्रोटीन संरचनात्मक विशेषताओं को विशेष रूप से संक्षिप्त-से-मध्यम कॉन्टेक्स लेंथ पर, विशेष रूप से अंतिम आउटपुट से ठीक पहले की परतों में सबसे प्रभावी ढंग से कैप्चर करते हैं।