🧬 biology

Controlling Repetition in Protein Language Models

यह शोध पत्र UCCS प्रस्तुत करता है, जो एक नवीन इन्फरेंस-टाइम स्टीयरिंग विधि है जो यूटिलिटी-नियंत्रित कंट्रास्टिव डेटासेट का निर्माण करके प्रोटीन लैंग्वेज मॉडल्स में पैथोलॉजिकल रिपिटिशन (रोगजनक पुनरावृत्ति) को प्रभावी ढंग से कम करती है, जिससे संरचनात्मक फोल्डेबिलिटी (structural foldability) से समझौता किए बिना या मॉडल को पुन: प्रशिक्षित किए बिना जनरेशन विश्वसनीयता में सुधार होता है।

मूल लेखक: Jiahao Zhang, Zeqing Zhang, Di Wang, Lijie Hu

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiahao Zhang, Zeqing Zhang, Di Wang, Lijie Hu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली शेफ है (एक प्रोटीन लैंग्वेज मॉडल) जिसने दुनिया की हर कुकबुक पढ़ ली है। यह शेफ नए व्यंजन (नए प्रोटीन डिजाइन करना) बनाने में माहिर है जो संभावित रूप से बीमारियों को ठीक कर सकते हैं या नई सामग्रियां बना सकते हैं।

हालाँकि, एक गड़बड़ी है। कभी-कभी, जब आप शेफ से एक नई रेसिपी लिखने के लिए कहते हैं, तो वे एक लूप में फंस जाते हैं। एक जटिल व्यंजन बनाने के बजाय, वे बस एक ही वाक्य को बार-बार दोहराने लगते हैं: "नमक डालें, नमक डालें, नमक डालें, नमक डालें..." या "प्याज काटें, प्याज काटें, प्याज काटें, प्याज काटें..."

एक सामान्य टेक्स्ट कहानी में, यह केवल कष्टदायक और पढ़ने में कठिन होता है। लेकिन प्रोटीन की दुनिया में, यह एक आपदा है। प्रोटीन छोटे, मुड़े हुए ओरिगामी मशीनों की तरह होते हैं। यदि रेसिपी केवल एक ही सामग्री की लंबी श्रृंखला है, तो मशीन सही ढंग से फोल्ड (fold) नहीं हो पाएगी। वह एक बेकार, चिपचिपे ढेर (blob) में बदल जाएगी जो काम नहीं करेगा।

यह शोध पत्र, जिसका शीर्षक "Controlling Repetition in Protein Language Models" है, इसी समस्या का समाधान करता है। यहाँ उनके समाधान का सरल शब्दों में विवरण दिया गया है:

समस्या: "टूटे हुए रिकॉर्ड" का प्रभाव (The "Broken Record" Effect)

लेखकों ने देखा कि ये AI शेफ अक्सर "पैथोलॉजिकल रिपिटिशन" (बीमारी जैसी पुनरावृत्ति) का शिकार होते हैं। वे दो बुरी आदतों में फंस जाते हैं:

लूप (The Loop): "ABC-ABC-ABC" जैसे छोटे वाक्यांशों को दोहराना।
मोनोटोन (The Monotone): एक ही अक्षर को अनंत काल तक दोहराना, जैसे "AAAAAA।"

शोध पत्र का तर्क है कि AI को केवल "अधिक रैंडम (यादृच्छिक) होने" के लिए कहना (टेक्स्ट जनरेशन के लिए एक सामान्य ट्रिक) यहाँ अच्छी तरह काम नहीं करता है। यदि आप AI को रैंडम होने के लिए मजबूर करते हैं, तो यह दोहराव को रोक सकता है, लेकिन यह ऐसी बकवास (gibberish) भी लिख सकता है जो किसी आकार में फोल्ड ही न हो सके। यह शेफ को यह कहने जैसा है कि "नमक का उपयोग करना बंद करें," लेकिन फिर वे गलती से कोई भी मसाला डालना बंद कर देते हैं, जिससे भोजन का स्वाद खराब हो जाता है।

समाधान: UCCS (द "स्मार्ट एडिटर")

टीम ने एक नया तरीका बनाया जिसे UCCS (Utility-Controlled Contrastive Steering) कहा जाता है। इसे शेफ को दिए गए नियम के रूप में नहीं, बल्कि रसोई के काउंटर पर लगाए गए एक गाइड रेल (मार्गदर्शक पटरी) के रूप में सोचें।

उन्होंने इस गाइड रेल को इस प्रकार बनाया:

ट्रेनिंग कैंप (The Training Camp): उन्होंने रेसिपी के दो समूह एकत्र किए।
- समूह A (अच्छे वाले): प्राकृतिक प्रोटीन जो विविध हैं और पूरी तरह से फोल्ड होते हैं।
- समूह B (बुरे वाले): AI द्वारा निर्मित प्रोटीन जो लूप में फंस गए थे।
"यूटिलिटी" फ़िल्टर (The "Utility" Filter): यह सबसे चतुर हिस्सा है। आमतौर पर, खराब रेसिपी (लूप) फोल्ड होने में भी खराब होती हैं। टीम ने अपने समूहों को सावधानीपूर्वक फ़िल्टर किया ताकि "बुरे" समूह में भी फोल्ड होने की कुछ क्षमता बनी रहे, ठीक "अच्छे" समूह की तरह। उन्होंने सुनिश्चित किया कि दोनों समूहों के बीच एकमात्र बड़ा अंतर दोहराव (repetition) था, न कि फोल्ड होने की क्षमता।
"रिपिटिशन वेक्टर" खोजना (Finding the "Repetition Vector"): उन्होंने AI के मस्तिष्क (इसके आंतरिक गणित) के अंदर देखा ताकि यह पता लगाया जा सके कि "दोहराव" कहाँ रहता है। क्योंकि उन्होंने समूहों को बहुत सावधानी से मिलाया था, इसलिए उन्हें एक शुद्ध "दोहराव सिग्नल" मिला जो "खराब फोल्डिंग" के साथ मिश्रित नहीं था।
स्टीयरिंग (The Steering): जब AI एक नया प्रोटीन बनाने की कोशिश करता है, तो यह विधि उसके आंतरिक विचारों को उस "दोहराव दिशा" से दूर धकेलती है। यह एक सूक्ष्म संकेत की तरह है जो कहता है, "हे, तुम फिर से 'AAAA' बोलने वाले हो; चलो इसके बजाय कुछ और आजमाते हैं।"

परिणाम: एक बेहतर शेफ

लेखकों ने विभिन्न प्रकार के AI शेफ (ESM-3 और ProtGPT2 जैसे मॉडल) और विभिन्न रेसिपी बुक्स (डेटासेट) पर इसका परीक्षण किया।

पहले: AI अक्सर चिपचिपे, दोहराव वाले ढेर बनाता था जो फोल्ड नहीं हो पाते थे।
बाद में (UCCS के साथ): AI ने विविध, जटिल अनुक्रम (sequences) बनाए जो अभी भी पूरी तरह से फोल्ड होते थे।

महत्वपूर्ण रूप से, उनकी विधि पुराने तरीकों (जैसे केवल "रैंडमनेस" के नॉब को बढ़ाने) की तुलना में बेहतर थी। पुराने तरीके या तो दोहराव को रोकने में विफल रहे या प्रोटीनों को फोल्ड होने के लिए असंभव बना दिया। UCCS ने दोहराव को रोकने में सफलता प्राप्त की बिना प्रोटीन की काम करने की क्षमता को बिगाड़े।

बड़ी तस्वीर (The Big Picture)

यह शोध पत्र व्यवस्थित रूप से यह कहने वाला पहला पेपर है कि, "हे, दोहराव प्रोटीन AI के लिए एक प्रमुख विफलता मोड है, और यहाँ बताया गया है कि इसे कैसे मापा और ठीक किया जाए।"

उन्होंने केवल "दोहराना बंद करो" नहीं कहा। उन्होंने यह पता लगाया कि कैसे AI के मस्तिष्क के भीतर "दोहराव" की अवधारणा को "संरचनात्मक गुणवत्ता" से अलग किया जाए, जिससे एक को दूसरे को बिगाड़े बिना ठीक किया जा सके। यह इन शक्तिशाली उपकरणों को निर्देशित करने का एक नया तरीका है ताकि वे केवल लूपिंग टेक्स्ट के बजाय वास्तविक, काम करने वाली जैविक मशीनें डिजाइन कर सकें।

तकनीकी सारांश: प्रोटीन लैंग्वेज मॉडल्स में पुनरावृत्ति (Repetition) का नियंत्रण

1. समस्या की परिभाषा

प्रोटीन लैंग्वेज मॉडल्स (PLMs) ने संरचना भविष्यवाणी (structure prediction) और de novo प्रोटीन डिजाइन में प्रगति की है, लेकिन वे एक विशिष्ट विफलता मोड से ग्रस्त हैं: पैथोलॉजिकल रिपिटिशन (pathological repetition)। प्राकृतिक भाषा (natural language) के विपरीत, जहाँ पुनरावृत्ति मुख्य रूप से पठनीयता को कम करती है, प्रोटीन में यह कम संरचनात्मक विविधता, अस्थिर फोल्ड्स और गैर-कार्यात्मक जैविक गुणों वाले अनुक्रमों (sequences) की ओर ले जाती है।

पेपर इस विफलता के दो मानक रूपों की पहचान करता है:

मोटिफ-स्तरीय पुनरावृत्ति (Motif-level repetition): छोटे $n$ -gram खंड (जैसे, डाइपेप्टाइड्स या ट्राइपेप्टाइड्स) चक्रीय रूप से दोहराए जाते हैं (जैसे, AGAGAG)।
होमोपॉलिमर पुनरावृत्ति (Homopolymer repetition): एकल अमीनो एसिड अवशेष लंबे रन में विस्तारित होते हैं (जैसे, AAAAAA)।

प्राकृतिक भाषा प्रसंस्करण (NLP) से मौजूदा समाधान, जैसे कि डिकोडिंग ह्यूरिस्टिक्स (तापमान स्केलिंग, टॉप- $p$ सैंपलिंग, रिपिटिशन पेनल्टी), अक्सर प्रोटीन डोमेन में विफल रहते हैं। ये विधियाँ, पुनरावृत्ति को कम करने के लिए संरचनात्मक उपयोगिता (structural utility) के साथ समझौता करती हैं, जिससे अक्सर अल्फाफोल्ड (AlphaFold) कॉन्फिडेंस स्कोर (pLDDT, pTM) कम हो जाता है और उत्पन्न प्रोटीन जैविक रूप से अव्यवहारिक हो जाते हैं। इसके अतिरिक्त, पुनरावृत्ति और संरचनात्मक उपयोगिता PLMs में आपस में गहराई से जुड़े हुए हैं, जिससे बिना रिट्रेनिंग के उन्हें अलग करना कठिन हो जाता है।

2. कार्यप्रणाली: यूटिलिटी-कंट्रोल्ड कॉन्ट्रास्टिव स्टीयरिंग (UCCS)

लेखक UCCS का प्रस्ताव करते हैं, जो एक रिप्रेजेंटेशन-लेवल हस्तक्षेप (intervention) है जो बिना रिट्रेनिंग या डिकोडिंग ह्यूरिस्टिक्स को संशोधित किए जनरेशन को निर्देशित (steer) करता है। यह विधि इस धारणा पर कार्य करती है कि पुनरावृत्ति को विशिष्ट स्टीयरिंग वेक्टर्स को हिडन स्टेट्स में इंजेक्ट करके नियंत्रित किया जा सकता है, बशर्ते कि ये वेक्टर्स ऐसे डेटा से प्राप्त हों जहाँ पुनरावृत्ति को संरचनात्मक उपयोगिता से अलग (disentangle) किया गया हो।

2.1 पुनरावृत्ति और उपयोगिता का परिमाणीकरण (Quantifying Repetition and Utility)

समस्या को औपचारिक रूप देने के लिए, पेपर दो पूरक मेट्रिक्स पेश करता है:

रिपिटिशन स्कोर ( $R(x)$ ): एक एकीकृत मेट्रिक जो निम्नलिखित को एकत्रित करता है:
- टोकन-लेवल एंट्रॉपी ( $H_{norm}$ ): वैश्विक अमीनो एसिड असंतुलन को मापता है।
- डिंक्ट- $n$ ( $n=2,3$ ): स्थानीय मोटिफ विविधता को मापता है।
- होमोपॉलिमर विविधता ( $R_{hpoly}$ ): समान अवशेषों के $k=4$ (डिफ़ॉल्ट) से लंबे रन को दंडित करता है।
यूटिलिटी स्कोर ( $U(x)$ ): संरचनात्मक प्रॉक्सी से प्राप्त, विशेष रूप से अल्फाफोल्ड के pLDDT (स्थानीय विश्वास) और pTM (वैश्विक टोपोलॉजी विश्वास) का औसत।

2.2 कॉन्ट्रास्टिव डेटासेट निर्माण

एक मुख्य चुनौती यह है कि उच्च-पुनरावृत्ति वाले अनुक्रम स्वाभाविक रूप से कम संरचनात्मक उपयोगिता के साथ सह-संबंधित होते हैं। इसे संबोधित करने के लिए, UCCS कॉन्ट्रास्टिव डेटासेट्स ( $D^+$ और $D^-$ ) का निर्माण करता है जो पुनरावृत्ति ( $\Delta R$ ) में अंतर को अधिकतम करते हैं जबकि उपयोगिता अंतर ( $\Delta U \le \epsilon$ ) को सख्ती से सीमित करते हैं।

पॉजिटिव सेट ( $D^+$ ): कम-पुनरावृत्ति वाले अनुक्रम (प्राकृतिक प्रोटीन या उच्च-गुणवत्ता वाले PLM जनरेशन)।
नेगेटिव सेट ( $D^-$ ): उच्च-पुनरावृत्ति वाले अनुक्रम (पैथोलॉजिकल PLM जनरेशन)।
चयन रणनीति: लेखक यह सुनिश्चित करने के लिए कि चयनित अनुक्रमों में भिन्न पुनरावृत्ति स्तरों के बावजूद तुलनीय संरचनात्मक प्लासिबिलिटी (plausibility) हो, पारेटो-आधारित फ्रंटियर चयन या कम्पोजिट स्कोरिंग का उपयोग करते हैं।

2.3 स्टीयरिंग वेक्टर इंजेक्शन

एक बार कॉन्ट्रास्टिव सेट्स स्थापित हो जाने के बाद, एक विशिष्ट ट्रांसफार्मर लेयर $L$ पर एक स्टीयरिंग वेक्टर ( $v_L$ ) की गणना की जाती है:
$v_L = \mathbb{E}_{x \in D^+}[\phi_L(x)] - \mathbb{E}_{x \in D^-}[\phi_L(x)]$
जहाँ $\phi_L(x)$ अनुक्रम-स्तरीय सारांश प्रतिनिधित्व (मास्क्ड लैंग्वेज मॉडल्स के लिए मीन-पूलिंग, ऑटोरिग्रेसिव मॉडल्स के लिए लास्ट-टोकन) है।

इन्फरेंस के दौरान, इस वेक्टर को हिडन स्टेट्स में इंजेक्ट किया जाता है:
$\tilde{h}_t^L(x) = h_t^L(x) + \alpha \cdot v_L$
जहाँ $\alpha$ एक स्केलर है जो स्टीयरिंग स्ट्रेंथ को नियंत्रित करता है। यह ऑपरेशन संरचनात्मक विशेषताओं को संरक्षित करते हुए पैथोलॉजिकल रिपिटिशन पैटर्न को दबा देता है जो उपयोगिता-मैच्ड डेटासेट में एनकोडेड होती हैं।

3. प्रमुख योगदान

व्यवस्थित लक्षण वर्णन: PLMs में पैथोलॉजिकल रिपिटिशन को एक महत्वपूर्ण विफलता मोड के रूप में पहचानने वाला पहला व्यवस्थित अध्ययन, जिसे मोटिफ-स्तरीय और होमोपॉलिमर पुनरावृत्ति में वर्गीकृत किया गया है।
मेट्रिक विकास: विविधता और फोल्डेबिलिटी के बीच ट्रेड-ऑफ का मूल्यांकन करने के लिए एक एकीकृत रिपिटेशन स्कोर ( $R(x)$ ) और एक यूटिलिटी स्कोर ( $U(x)$ ) का परिचय।
UCCS विधि: एक डेटासेट-निर्देशित स्टीयरिंग विधि जो मॉडल रिट्रेनिंग की आवश्यकता के बिना पुनरावृत्ति नियंत्रण को जैविक उपयोगिता से अलग करती है।
व्यापक मूल्यांकन: दो मॉडल प्रतिमानों (मास्क्ड LM: ESM-3; ऑटोरिग्रेसिव LM: ProtGPT2), तीन डेटासेट्स (CATH, UniRef50, SCOP), और दो जनरेशन सेटिंग्स (अनकंडीशनल और कंडीशनल) में व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम

पेपर का मूल्यांकन मूल मॉडल्स, डिकोडिंग ह्यूरिस्टिक्स (तापमान, टॉप- $p$ , रिपिटिशन पेनल्टी), और मैकेनिज्म-लेवल इंटरवेंशन (न्यूरॉन डीएक्टिवेशन, प्रोब स्टीयरिंग) सहित बेसलाइन्स के विरुद्ध किया गया है।

प्रदर्शन: UCCS लगातार सबसे अच्छा ट्रेड-ऑफ प्राप्त करता है, जो उपयोगिता स्कोर ( $U(x)$ $U (x)$ ) को बनाए रखते हुए या थोड़ा सुधारते हुए रिपिटेशन स्कोर $R(x)$ $R (x)$ में महत्वपूर्ण सुधार करता है।
- ESM-3 पर, UCCS ने CATH पर अनकंडीशनल जनरेशन में उपयोगिता को सुरक्षित रखते हुए $R(x)$ में 55% तक सुधार किया।
- ProtGPT2 पर, UCCS ने उपयोगिता बाधाओं का उल्लंघन किए बिना तापमान सैंपलिंग की तुलना में पुनरावृत्ति को 20% तक कम किया।
बेसलाइन्स के साथ तुलना:
- डिकोडिंग ह्यूरिस्टिक्स: सतह-स्तर की विविधता बढ़ाने में प्रभावी होने के बावजूद, वे लगातार संरचनात्मक विश्वास (कम pLDDT/pTM) को कम करते हैं।
- मैकेनिज्म-लेवल बेसलाइन्स: न्यूरॉन डीएक्टिवेशन और प्रोब स्टीयरिंग अस्थिर प्रदर्शन दिखाते हैं, जो अक्सर दोनों मेट्रिक्स को एक साथ सुधारने में विफल रहते हैं या उपयोगिता को कम कर देते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- डेटासेट निर्माण: स्ट्रक्चर्ड सिलेक्शन (Pareito/Composite) ने रैंडम सैंपलिंग की तुलना में बेहतर प्रदर्शन किया, विशेष रूप से वेरिएंस को कम करने में।
- स्टीयरिंग स्ट्रेंथ ( $\alpha$ ): इष्टतम प्रदर्शन $\alpha \approx 1.0 \sim 2.0$ पर पाया गया।
- लेयर इंजेक्शन: प्रभावी स्टीयरिंग नेटवर्क की बाद की लेयर्स में हुई (ESM-3 के लिए अंतिम कुछ लेयर्स; ProtGPT2 के लिए अंतिम एक-तिहाई)।
सामान्यीकरण (Generalization): विधि को ProGen2 (ऑटोरिग्रेसिव) और DPLM (डिफ्यूजन-आधारित) पर भी मान्य किया गया, जो विभिन्न जनरेशन आर्किटेक्चर में मजबूती प्रदर्शित करता है।

5. महत्व और दावे

पेपर दावा करता है कि यह पुनरावृत्ति नियंत्रण को PLMs के लिए एक केंद्रीय चुनौती के रूप में स्थापित करता है, जो संरचनात्मक व्यवहार्यता के प्रत्यक्ष प्रभाव के कारण टेक्स्ट-आधारित पुनरावृत्ति समस्या से भिन्न है।

सिद्धांतिक दृष्टिकोण: लेखक तर्क देते हैं कि डेटासेट-निर्देशित कॉन्ट्रास्टिव स्टीयरिंग, पुनरावृत्ति और उपयोगिता के जुड़ाव (entanglement) को संबोधित करने का एक सिद्धांतिक तरीका प्रदान करता है, जिसे डिकोडिंग ह्यूरिस्टिक्स हल नहीं कर सकते।
मैकेनिस्टिक अंतर्दृष्टि: लेयर-वाइज प्रोबिंग और न्यूरॉन-लेवल कोरिलेशन विश्लेषण के माध्यम से, पेपर प्रकट करता है कि पुनरावृत्ति एक वितरित रिप्रेजेंटेशनल घटना है जो जल्दी उभरती है, मध्य-लेयर्स में उलझ जाती है, और अंतिम लेयर्स में लॉजिट-अलाइन्ड अट्रैक्टर स्टेट (logit-aligned attractor state) के रूप में तीक्ष्ण हो जाती है। ESM-3 में ProtGPT2 की तुलना में अधिक ध्रुवीकृत (polarized) रिपिटिशन-संबंधित सबस्पेस दिखाया गया है, जो इसके अधिक गंभीर क्षरण की व्याख्या करता है।
विश्वसनीयता: यह कार्य रेखांकित करता है कि विश्वसनीय प्रोटीन जनरेशन के लिए ऐसे हस्तक्षेपों की आवश्यकता है जो फोल्डेबिलिटी को सुरक्षित रखें, जिससे UCCS को एक प्लग-एंड-प्ले मैकेनिज्म के रूप में स्थापित किया गया है जो बिना रिट्रेनिंग लागत के इसे प्राप्त करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि पैथोलॉजिकल रिपिटिशन प्रोटीन मॉडलिंग में एक नई पहचानी गई समस्या है, लेकिन इसे रिप्रेजेंटेशन स्टीयरिंग के माध्यम से नियंत्रित करना जैविक रूप से व्यवहार्य de novo प्रोटीन उत्पन्न करने की दिशा में एक आवश्यक कदम है।