🤖 machine learning

PairSAE: Mechanistic Interpretability from Pair Representations in Protein Co-Folding

यह शोध पत्र PairSAE को प्रस्तुत करता है, जो एक नवीन स्पार्स ऑटोएनकोडर फ्रेमवर्क है जो N-mode SVD के माध्यम से पेयरवाइज टेंसरों को सारांशित करके व्याख्या योग्य, साझा टोकन-स्तरीय विशेषताओं को निकालने के लिए Pairformer आर्किटेक्चर पर मानक SAEs को लागू करने की सीमाओं को दूर करता है, जो जैविक एनोटेशन के साथ संरेखित होते हैं और मॉडल एफिनिटी मानों की भविष्यवाणी करते हैं।

मूल लेखक: Giosue Migliorini, Aristofanis Rontogiannis, Grigori Guitchounts, Nicholas Franklin, Axel Elaldi, Olivia Viessmann

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Giosue Migliorini, Aristofanis Rontogiannis, Grigori Guitchounts, Nicholas Franklin, Axel Elaldi, Olivia Viessmann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो प्रोटीन (एक सूक्ष्म जैविक मशीन) की तस्वीर देखकर यह सटीक भविष्यवाणी कर सकता है कि वह कैसे मुड़ेगा (fold होगा), या वह किसी दवा के अणु को कैसे पकड़ेगा। यह रोबोट, जिसे Boltz-2 कहा जाता है, अविश्वसनीय रूप से सटीक है। लेकिन एक समस्या है: यह एक "ब्लैक बॉक्स" है। हम जानते हैं कि यह क्या भविष्यवाणी करता है, लेकिन हमें यह नहीं पता कि यह कैसे सोचता है। यह एक जादूगर को टोपी से खरगोश निकालते हुए देखने जैसा है, लेकिन आपको यह नहीं पता कि खरगोश कहाँ छिपा था या कौन सा जादू इस्तेमाल किया गया था।

इस समस्या को ठीक करने के लिए, वैज्ञानिक आमतौर पर एक उपकरण का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है। एक SAE को एक अनुवादक (translator) के रूप में सोचें जो रोबोट के उलझे हुए, जटिल आंतरिक विचारों को सरल, स्पष्ट अवधारणाओं (जैसे, "यह हिस्सा चिपचिपा है," या "यह हिस्सा एक जोड़/हिंज है") की एक सूची में अनुवाद करने की कोशिश करता है।

समस्या: "पेयर" पहेली (The "Pair" Puzzle)

रोबोट (Boltz-2) प्रोटीन के बारे में केवल मोतियों की एक एकल रेखा (एक अनुक्रम/sequence) के रूप में नहीं सोचता है। बल्कि, यह यह भी सोचता है कि हर एक मोती दूसरे हर एक मोती से एक साथ कैसे संबंधित है। इसके पास एक "पेयर" (जोड़े का) दृष्टिकोण है।

यदि आप इस "पेयर" दृष्टिकोण पर एक मानक अनुवादक (SAE) का उपयोग करने का प्रयास करते हैं, तो आप एक बहुत बड़ी समस्या का सामना करेंगे:

विस्फोट (The Explosion): यदि प्रोटीन में 1,000 मोती हैं, तो "पेयर" दृश्य में 1,000 x 1,000 = 1,000,000 कनेक्शन होंगे। उन सभी को व्यक्तिगत रूप से अनुवाद करने के लिए एक इतनी विशाल डिक्शनरी की आवश्यकता होगी जो कंप्यूटर को क्रैश कर दे।
भ्रम (The Confusion): रोबोट अपने "अनुक्रम" (sequence) वाले विचारों और "पेयर" वाले विचारों को आपस में मिला देता है। एक मानक अनुवादक इनके बीच अंतर करने की कोशिश करता है, लेकिन यह एक ऐसा उलझा हुआ मिश्रण बना देता है जहाँ अवधारणाएँ समझने में कठिन होती हैं।

समाधान: PairSAE

लेखकों ने एक नया उपकरण बनाया जिसे PairSAE कहा जाता है। यह कैसे काम करता है, इसके लिए एक सरल उपमा (analogy) देखें:

1. "समरी शीट" (N-mode SVD)
कल्पना कीजिए कि आपके पास एक विशाल स्प्रेडशीट है जो दिखाती है कि एक कंपनी में प्रत्येक कर्मचारी अन्य प्रत्येक कर्मचारी के साथ कैसे बातचीत करता है। यह पढ़ने के लिए बहुत बड़ी है।
हर सेल को पढ़ने के बजाय, PairSAE एक कदम पीछे हटता है। यह प्रत्येक कर्मचारी के लिए एक "समरी शीट" बनाने के लिए एक गणितीय ट्रिक (जिसे N-mode SVD कहा जाता है) का उपयोग करता है। यह शीट यह नहीं बताती कि प्रत्येक बातचीत क्या है, बल्कि यह पकड़ती है कि वह कर्मचारी समूह में क्या भूमिका निभाता है (जैसे, "यह व्यक्ति एक कनेक्टर है," या "यह व्यक्ति एक लीडर है")।
यह उस विशाल 1,000,000-सेल वाली स्प्रेडशीट को 1,000 भूमिकाओं की एक प्रबंधनीय सूची में बदल देता है।

2. साझा अनुवादक (The Shared Translator)
अब, PairSAE रोबोट के मूल "अनुक्रम" विचारों को लेता है और इन नई "भूमिका" सारांशों को जोड़ देता है। यह इस संयुक्त जानकारी को एक ही, साझा अनुवादक में फीड करता है।
यह अनुवादक "फीचर्स" (विशेषताओं/अवधारणाओं) का एक सेट सीखता है जो अनुक्रम और पेयर इंटरैक्शन दोनों को एक ही समय में समझा सकते हैं। यह एक ही डिक्शनरी होने जैसा है जो वाक्य के शब्दों और उन्हें जोड़ने वाले व्याकरण के नियमों दोनों की व्याख्या करती है, बजाय दो अलग-अलग, भ्रमित करने वाली डिक्शनरी के।

उन्होंने क्या पाया

शोधकर्ताओं ने प्रोटीन और दवाओं के एक डेटासेट (जिसे PLINDER कहा जाता है) पर इसका परीक्षण किया। उन्होंने पूछा: "क्या ये नए फीचर्स यह समझा सकते हैं कि रोबोट क्या जानता है?"

यह जीव विज्ञान की भाषा बोलता है: जिस तरह से इस टूल ने फीचर्स खोजे, वे वास्तविक जैविक लेबल के साथ पूरी तरह मेल खाते थे। उदाहरण के लिए, एक फीचर विशेष रूप से तब सक्रिय हुआ जब रोबोट "डाइसल्फाइड बॉन्ड्स" (प्रोटीन को जोड़ने वाला रासायनिक गोंद) को देख रहा था, और दूसरा "ट्रांसमेम्ब्रेन प्रोटीन" (वे प्रोटीन जो कोशिका की दीवारों में स्थित होते हैं) के लिए सक्रिय हुआ। यह ऐसा है जैसे अनुवादक ने सफलतापूर्वक रोबोट की गुप्त भाषा को सरल अंग्रेजी जीव विज्ञान में डिकोड कर दिया हो।
यह एफिनिटी (Affinity) की भविष्यवाणी करता है: रोबोट भविष्यवाणी करता है कि एक दवा प्रोटीन से कितनी मजबूती से चिपकती है (एफिनिटी)। शोधकर्ताओं ने पाया कि PairSAE द्वारा खोजे गए विशिष्ट फीचर्स इन भविष्यवाणियों से मजबूती से जुड़े हुए थे। उदाहरण के लिए, उन्होंने एक ऐसा फीचर पाया जो केवल तभी "चालू" होता था जब रोबोट एक ऐसे प्रोटीन-ड्रग जोड़े को देख रहा होता था जो एक-दूसरे से बहुत मजबूती से जुड़े होते हैं।

मुख्य निष्कर्ष (The Bottom Line)

पेपर का दावा है कि PairSAE उन्नत प्रोटीन-फोल्डिंग रोबोट के मस्तिष्क के भीतर झांकने का एक नया तरीका है। जटिल "पेयर" संबंधों को सरल "भूमिकाओं" में संक्षेपित करके और एक साझा अनुवादक का उपयोग करके, वे स्पष्ट, समझने योग्य अवधारणाएं निकाल सकते हैं जो वास्तविक दुनिया के जीव विज्ञान से मेल खाती हैं।

उन्होंने यह दावा नहीं किया कि यह टूल तुरंत बीमारियों को ठीक कर सकता है या अस्पताल के माहौल में नई दवाएं डिजाइन कर सकता है। उन्होंने केवल यह प्रदर्शित किया कि यह सफलतापूर्वक यह प्रकट करता है कि मॉडल प्रोटीन संरचनाओं और बाइंडिंग के बारे में क्या सीख रहा है, जिससे "ब्लैक बॉक्स" थोड़ा अधिक पारदर्शी हो गया है।

तकनीकी सारांश: PairSAE – प्रोटीन को-फोल्डिंग में पेयर रिप्रेजेंटेशन से मैकेनिस्टिक इंटरप्रिटेबिलिटी

समस्या विवरण
स्ट्रक्चरल बायोलॉजी के लिए फाउंडेशन मॉडल्स, जैसे कि अल्फाफोल्ड (AlphaFold) और बोल्ज़ (Boltz) मॉडल्स ने बायोमॉलिकुलर संरचनाओं और कॉम्प्लेक्स के सटीक पूर्वानुमान में उल्लेखनीय सटीकता हासिल की है। हालाँकि, इनके आउटपुट को संचालित करने वाले आंतरिक फीचर्स को समझना एक बड़ी चुनौती बनी हुई है। जबकि स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders - SAEs) ने ट्रांसफॉर्मर-आधारित लैंग्वेज मॉडल्स (LLMs) और प्रोटीन लैंग्वेज मॉडल्स (pLMs) में "सुपरपोज्ड" (superposed) फीचर्स को मोनोसेमेंटिक कॉन्सेप्ट्स में मैप करके सफलतापूर्वक अलग किया है, वे स्ट्रक्चर प्रेडिक्शन मॉडल्स पर सीधे तौर पर लागू नहीं होते हैं।

मानक LLMs के विपरीत, स्ट्रक्चर प्रेडिक्शन मॉडल्स पेयरफॉर्मर (pairformer) आर्किटेक्चर का उपयोग करते हैं जो सीक्वेंस एम्बेडिंग्स और पेयरवाइज़ इंटरेक्शन टेंसर दोनों को बनाए रखते हैं। SAEs को इन मॉडल्स पर सहजता से लागू करने से दो गंभीर समस्याएँ उत्पन्न होती हैं:

क्वाड्रेटिक ब्लो-अप (Quadratic Blow-up): पेयरवाइज़ रिप्रेजेंटेशन्स के लिए अलग-अलग डिक्शनरी सीखना सीक्वेंस की लंबाई के साथ क्वाड्रेटिक रूप से बढ़ता है, जिससे विश्लेषण कम्प्यूटेशनल रूप से अत्यधिक कठिन हो जाता है।
ओब्स्क्योर्ड कॉन्सेप्ट्स (Obscured Concepts): फीचर्स सीक्वेंस और पेयर स्पेस में संयुक्त रूप से सुपरपोज्ड हो सकते हैं। उन्हें अलग-अलग मानने से उन कॉन्सेप्ट्स को पकड़ने में विफलता मिलती है जो दोनों रिप्रेजेंटेशन्स में वितरित हैं, जबकि उन्हें स्वतंत्र रूप से देखने से उनके संयुक्त स्वभाव का बोध बाधित होता है।

कार्यप्रणाली: PairSAE
लेखक PairSAE पेश करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे सीक्वेंस और पेयर रिप्रेजेंटेशन्स दोनों को संयुक्त रूप से पुनर्गठित करने के लिए साझा टोकन-लेवल फीचर्स सीखने हेतु डिज़ाइन किया गया है। इस पद्धति में तीन प्राथमिक चरण शामिल हैं:

N-mode SVD के माध्यम से पेयरवाइज़ इंटरेक्शन का सारांश बनाना:
पेयरवाइज़ टेंसर ( $Z \in \mathbb{R}^{N_{tok} \times N_{tok} \times n_z}$ ) के क्वाड्रेटिक स्केलिंग से बचने के लिए, लेखक N-mode सिंगुलर वैल्यू डीकंपोजिशन (SVD) करते हैं। वे लेफ्ट सिंगुलर वेक्टर्स के मोड-1 और मोड-2 मैट्रिसेस ( $U^{(1)}$ और $U^{(2)}$ ) को निकालते हैं, जो प्रत्येक टोकन के रो (row) और कॉलम (column) इंटरेक्शन रोल को एनकोड करते हैं। इन्हें शीर्ष $r$ सिंगुलर वेक्टर्स तक ट्रंकेट किया जाता है और एक टोकन-वाइज समरी एम्बेडिंग $m_i$ बनाने के लिए संयोजित किया जाता है। यह चरण क्वाड्रेटिक जटिलता के बिना इंटरेक्शन रोल्स को संरक्षित करते हुए पेयरवाइज़ जानकारी को टोकन-लेवल रिप्रेजेंटेशन में संकुचित करता है।
साझा ऑटोएनकोडर आर्किटेक्चर (Shared Autoencoder Architecture):
PairSAE एनकोडर मूल सीक्वेंस एम्बेडिंग ( $s_i$ ) और SVD-व्युत्पन्न इंटरेक्शन समरी ( $m_i$ ) के संयोजन को इनपुट के रूप में लेता है। यह एक स्पर्सिटी-इंड्यूसिंग नॉन-लीनियैरिटी (BatchTopK और ReLU का संयोजन) का उपयोग करके एक स्पार्स लेटेंट फीचर वेक्टर $h_i$ उत्पन्न करता है।
महत्वपूर्ण रूप से, डिकोडर इस साझा फीचर सेट $h$ का उपयोग करके दोनों को पुनर्गठित करता है:

सीक्वेंस एम्बेडिंग: $\hat{s}_i = D_s h_i + b_{dec}^s$
पेयरवाइज़ एम्बेडिंग: $\hat{z}_{i,j} = D_z^{row} h_i + D_z^{col} h_j + b_{dec}^z$
यह मॉडल को एक एकीकृत फीचर बेसिस सीखने के लिए मजबूर करता है जो स्थानीय सीक्वेंस कॉन्टेक्स्ट और पेयरवाइज़ इंटरेक्शन दोनों की व्याख्या करता है।

लॉस फंक्शन और ट्रेनिंग:
मॉडल को मात्रोष्का (Matryoshka) SAE लॉस का उपयोग करके प्रशिक्षित किया जाता है, जो नेस्टेड विड्थ्स ( $c_1 < c_2 < c_3 = D$ ) के माध्यम से डिकोडर और फीचर वेक्टर्स को स्लाइस करता है ताकि डिक्शनरी साइज के प्रति मजबूती सुनिश्चित हो सके। कुल लॉस में दोनों सीक्वेंस और पेयर रिप्रेजेंटेशन्स के लिए रिकंस्ट्रक्शन टर्म्स शामिल हैं, जिन्हें समान रूप से वेट किया गया है, साथ ही "डेड" फीचर्स को रोकने के लिए एक ऑक्सिलरी लॉस भी है। ट्रेनिंग को पेयरवाइज़ लॉस टर्म के लिए मोंटे कार्लो एप्रोक्सिमेशन (Monte Carlo approximation) का उपयोग करके त्वरित किया जाता है, जहाँ प्रत्येक $i$ के लिए एक एकल $j$ को सैंपल किया जाता है।

मुख्य योगदान

PairSAE आर्किटेक्चर: एक नवीन विधि जो N-mode SVD के माध्यम से पेयरवाइज़ टेंसर को सारांशित करके और एक साझा फीचर सेट से सीक्वेंस और पेयर स्पेस दोनों में डिकोड करके, पेयरफॉर्मर-आधारित मॉडल्स पर स्पार्स डिक्शनरी लर्निंग लागू करती है।
इंटरप्रिटेबल फीचर डिस्कवरी: यह पद्धति सफलतापूर्वक उन फीचर्स को रिकवर करती है जो बायोफिजिकल कॉन्सेप्ट्स के साथ संरेखित होते हैं, और स्ट्रक्चरल बायोलॉजी मॉडल्स पर पारंपरिक SAEs की कमियों से बचती है।
बाइंडिंग एफिनिटी पर अनुप्रयोग: फ्रेमवर्क को प्रोटीन-लिगैंड कॉम्प्लेक्स (PLINDER डेटासेट) पर बोल्ज़-2 एक्टिवेशन्स पर लागू किया गया है ताकि बाइंडिंग एफिनिटी प्रेडिक्शन को लेटेंट रिप्रेजेंटेशन्स से जोड़ा जा सके।

परिणाम
लेखकों ने बोल्ज़-2 रिप्रेजेंटेशन्स पर PairSAE का मूल्यांकन किया:

लीनियर प्रोबिंग (Linear Probing): PairSAE फीचर्स ने UniProt रेजिड्यू एनोटेशन के लिए उच्च प्रेडिक्टिव पावर प्रदर्शित की। लेयर 33 और 64 (तीसरे रिसाइक्लिंग स्टेप) के फीचर्स ने टोकन लेवल पर 29.1% और 24.0% का F1 स्कोर प्राप्त किया, और कॉम्प्लेक्स लेवल पर 53.2% और 49.6% प्राप्त किया, जो ESM2-650M न्यूरॉन्स (जिन्होंने क्रमशः 0.8% और 19.7% प्राप्त किया) पर आधारित क्लासिफायर से काफी बेहतर प्रदर्शन करते हैं।
कॉन्सेप्ट एलाइनमेंट: विज़ुअलाइज़ेशन ने विशिष्ट स्ट्रक्चरल मोटिफ्स, जैसे कि ट्रांसमेम्ब्रेन रीजन्स, डाइसल्फाइड बॉन्ड्स और प्रोटीज एक्टिव साइट्स पर सक्रिय होने वाले विशिष्ट फीचर्स दिखाए, जो UniProt ग्राउंड ट्रुथ के विरुद्ध उच्च F1 स्कोर रखते हैं।
एफिनिटी प्रेडिक्शन: मैक्स-पूल्ड PairSAE फीचर्स पर LASSO रिग्रेशन का उपयोग करके, लेखकों ने टेस्ट सेट (PoseBusters) पर बोल्ज़-2 एफिनिटी वैल्यूज के साथ $R^2 = 0.528$ का अनुमान लगाया। विशिष्ट फीचर्स (जैसे कि फीचर 2299) की पहचान की गई जो उच्च-एफिनिटी कॉम्प्लेक्स के साथ दृढ़ता से सह-संबंधित हैं, जो विशेष रूप से लिगेंड्स पर सक्रिय होते हैं और निष्क्रिय कॉम्प्लेक्स की तुलना में महत्वपूर्ण ग्रुप डिफरेंस दिखाते हैं।

महत्व और दावे
पेपर का दावा है कि PairSAE स्ट्रक्चरल बायोलॉजी के फाउंडेशन मॉडल्स के लेटेंट स्पेस को व्याख्या योग्य स्ट्रक्चरल कॉन्सेप्ट्स से सफलतापूर्वक जोड़ता है। पेयरफॉर्मर मॉडल्स की विशिष्ट आर्किटेक्चरल बाधाओं को संबोधित करके, PairSAE यह स्पष्ट करता है कि मॉडल फोल्डिंग और बाइंडिंग के संबंध में "क्या जानता है", बिना उस क्वाड्रेटिक जटिलता या फीचर सुपरपोजिशन की समस्याओं के जो पारंपरिक SAEs को सीमित करती हैं।

लेखक इस कार्य को स्ट्रक्चरल बायोलॉजी में मौलिक मूल्यांकन और खोज की दिशा में एक कदम के रूप में देखते हैं, जो शोधकर्ताओं को भविष्यवाणी की विश्वसनीयता और बायोफिजिकल प्लासिबिलिटी (biophysical plausibility) का आकलन करने में सक्षम बनाता है। वे नोट करते हैं कि हालांकि विधि प्रभावी रूप से सीक्वेंस और पेयर फीचर्स को ज्ञात एनोटेशन के साथ मैप करती है, लेकिन विस्तृत लिगेंड एनोटेशन की कमी के कारण लिगेंड-एक्टिवेटिंग फीचर्स को विशिष्ट कॉन्सेप्ट्स के साथ मैप करने में एक सीमा बनी हुई है। भविष्य के कार्यों के लिए अध्ययन को अधिक लेयर्स तक स्केल करने, इन फीचर्स को स्वचालित पाइपलाइनों में एकीकृत करने और व्याख्या योग्य प्रोटीन डिज़ाइन के लिए स्टीयरिंग विधियों को विकसित करने का प्रस्ताव दिया गया है।

समस्या: "पेयर" पहेली (The "Pair" Puzzle)

समाधान: PairSAE

उन्होंने क्या पाया

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर