🧬 biology

Pushing Biomolecular Utility-Diversity Frontiers with Supergroup Relative Policy Optimization

यह शोध पत्र सुपरग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (SGRPO) को पेश करता है, जो एक लचीला ढांचा है जो विभिन्न आणविक और प्रोटीन डिज़ाइन बेंचमार्क में उपयोगिता-विविधता पारेटो फ्रंटियर (utility-diversity Pareto frontier) का विस्तार करने के लिए, बायोमॉलिक्यूलर जनरेशन कार्यों में उपयोगिता और विविधता दोनों को प्रभावी ढंग से अलग करने और एक साथ अनुकूलित करने हेतु कैंडिडेट सुपरग्रुप्स से सेट-स्तरीय विविधता पुरस्कारों का निर्माण करता है।

मूल लेखक: Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए व्यंजन का आविष्कार करने की कोशिश कर रहे एक मास्टर शेफ हैं। आपके दो मुख्य लक्ष्य हैं:

स्वाद (उपयोगिता/Utility): व्यंजन स्वादिष्ट होना चाहिए और विशिष्ट मानदंडों को पूरा करना चाहिए (जैसे, "कम कैलोरी वाला," "तीखा," या "ग्लूटेन-मुक्त")।
विविधता (Variety/Diversity): आप एक ही तरह के तीखे पास्ता के 100 संस्करण नहीं बनाना चाहते। आप एक ऐसा मेनू चाहते हैं जिसमें कई अलग-अलग, अनूठे विकल्प हों।

समस्या:
दवाओं (ड्रग्स) के लिए AI-जनरेटेड अणुओं (molecules) या प्रोटीनों (biology) की दुनिया में, वर्तमान AI शेफ एक "परफेक्ट डिश" बनाने में माहिर हैं। लेकिन यदि आप उनसे 100 व्यंजन बनाने के लिए कहते हैं जो सभी "स्वादिष्ट" हों, तो वे एक ही ढर्रे में फंस जाते हैं। वे विविधता खो देते हैं क्योंकि वे "परफेक्ट स्वाद" बनाने पर बहुत अधिक केंद्रित होते हैं।

मौजूदा तरीके इस समस्या को ठीक करने की कोशिश करते हैं, जैसे कि AI को यह बताना कि, "कुछ भी ऐसा मत बनाओ जो तुमने पहले बनाया हो।" लेकिन यह एक शेफ को यह बताने जैसा है, "नमक का उपयोग मत करो क्योंकि तुमने कल इसका उपयोग किया था।" यह एक अप्रत्यक्ष समाधान है जो कभी-कभी खाने का स्वाद बिगाड़ सकता है या शेफ को ऐसी चीज़ें बनाने की ओर ले जा सकता है जो खाने योग्य भी न हों।

समाधान: SGRPO (Supergroup Relative Policy Optimization)
यह पेपर एक नया प्रशिक्षण तरीका पेश करता है जिसे SGRPO कहा जाता है। इसे एक "ग्रुप टेस्ट-टेस्ट" रणनीति के रूप में समझें।

हर व्यंजन का एक-एक करके मूल्यांकन करने के बजाय, SGRPO AI के प्रयासों को समूहों (जैसे 100 व्यंजनों का एक "सुपरग्रुप") में व्यवस्थित करता है।

यह कैसे काम करता है, हमारे रसोई के उदाहरण का उपयोग करते हुए, यहाँ चरण-दर-चरण विवरण दिया गया है:

ग्रुप चैलेंज (The Group Challenge): AI को एक विशिष्ट अनुरोध के लिए 100 व्यंजनों का बैच बनाने के लिए कहा जाता है (जैसे, "एक तीखा, कम कैलोरी वाला भोजन बनाएं")।
ग्रुप स्कोर (The Group Score): सिस्टम पूरे बैच को देखता है और पूछता है: "ये 100 व्यंजन एक-दूसरे से कितने अलग हैं?"
- यदि बैच में 100 अनूठे व्यंजन हैं (एक सलाद, एक करी, एक सूप, एक टैको, आदि), तो समूह को उच्च विविधता स्कोर (high diversity score) मिलता है।
- यदि बैच में एक ही पास्ता के 100 संस्करण हैं, तो समूह को कम विविधता स्कोर (low diversity score) मिलता है।
तुलना (The Comparison): AI कई ऐसे बैच बनाता है। वह उनकी तुलना करता है। "बैच A बहुत विविध था; बैच B उबाऊ था।"
"लीव-वन-आउट" ट्रिक (The "Leave-One-Out" Trick - असली सीक्रेट सॉस): यह सबसे चतुर हिस्सा है। सिस्टम केवल पूरे समूह को पुरस्कृत नहीं करता; यह पता लगाता है कि कौन से विशिष्ट व्यंजनों ने समूह को विविध बनाया।
- यह पूछता है: "यदि हम समूह से इस विशेष टैको को हटा दें, तो क्या समूह अभी भी विविध रहेगा?"
- यदि टैको को हटाने से समूह उबाऊ हो जाता है, तो उस टैको को अनूठा होने के लिए बड़ा बोनस मिलता है।
- यदि टैको को हटाने से कोई खास फर्क नहीं पड़ता (क्योंकि वहां 10 अन्य टैको मौजूद हैं), तो उसे छोटा बोनस मिलता है।
पुरस्कार (The Reward): AI सीखता है कि सर्वश्रेष्ठ स्कोर पाने के लिए, उसे ऐसे व्यंजन बनाने होंगे जो स्वादिष्ट भी हों और समूह की विविधता में वास्तव में अनूठे योगदानकर्ता भी हों।

यह बेहतर क्यों है?

"इको चैंबर" से मुक्ति: पुराने तरीकों में अक्सर AI को केवल अलग दिखने के लिए मजबूर किया जाता था, जिससे खराब परिणाम मिलते थे। SGRPO उपयोगी विविधता को पुरस्कृत करता है।
"पारेटो फ्रंटियर" (The Pareto Frontier): गणितीय शब्दों में, यह पेपर दावा करता है कि SGRPO "फ्रंटियर" को बाहर की ओर धकेलता है। कल्पना करें कि एक ग्राफ है जहाँ X-अक्ष "स्वाद" है और Y-अक्ष "विविधता" है।
- पुराना AI उच्च स्वाद लेकिन कम विविधता, या उच्च विविधता लेकिन कम स्वाद प्राप्त कर सकता था।
- SGRPO को एक ही समय में उच्च स्वाद और उच्च विविधता प्राप्त करने की अनुमति देता है। यह संभावित विकल्पों के मेनू का विस्तार करता है।

उन्होंने इसका परीक्षण कहाँ किया?
लेखकों ने इस "ग्रुप टेस्ट-टेस्ट" का परीक्षण तीन वास्तविक दुनिया की कुकिंग चुनौतियों पर किया:

नए छोटे अणुओं का आविष्कार करना (जैसे शून्य से नई रासायनिक संरचनाएं बनाना)।
ऐसे अणुओं को डिजाइन करना जो एक विशिष्ट पॉकेट में फिट बैठते हों (जैसे एक चाबी डिजाइन करना जो एक विशिष्ट ताले में फिट हो सके, जैसे कि प्रोटीन बाइंडिंग साइट)।
नए प्रोटीनों को डिजाइन करना (नए जैविक अनुक्रम बनाना)।

परिणाम:
इन तीनों मामलों में, SGRPO ने पिछले तरीकों की तुलना में उच्च-गुणवत्ता वाले विकल्पों की एक विस्तृत श्रृंखला प्रदान की। इसने AI को केवल "रैंडम" नहीं बनाया; इसने इसे एक विशिष्ट कार्य और रचनात्मक विविधता के बीच संतुलन बनाने में स्मार्ट बनाया।

संक्षेप में:
SGRPO एक प्रशिक्षण विधि है जो AI को खुद की नकल करने से रोकने के लिए सिखाती है। हर प्रयास का अलग-अलग मूल्यांकन करने के बजाय, यह प्रयासों के समूहों का मूल्यांकन करता है, AI को ऐसे बैच बनाने के लिए पुरस्कृत करता है जहाँ प्रत्येक वस्तु कुछ नया और मूल्यवान जोड़ती है। इससे वैज्ञानिक खोजों की एक व्यापक और अधिक उपयोगी चयन प्रक्रिया सामने आती है।

तकनीकी सारांश: सुपरग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन के साथ बायोमॉलिक्यूलर यूटिलिटी-डाइवर्सिटी फ्रंटियर्स को आगे बढ़ाना

1. समस्या विवरण (Problem Statement)

बायोमोलेक्युलर जनरेशन का लक्ष्य ऐसे उम्मीदवारों (छोटे अणु या प्रोटीन) का उत्पादन करना है जो विशिष्ट रासायनिक या जैविक उद्देश्यों को पूरा करते हों। जबकि सुदृढीकरण लर्निंग (Reinforcement Learning - RL) प्री-ट्रेन्ड जनरेटर्स को यूटिलिटी (जैसे, ड्रग-लाइकनेस, डॉकिंग स्कोर, स्थिरता) को अधिकतम करने के लिए पोस्ट-ट्रेनिंग के रूप में एक मानक ढांचा है, केवल यूटिलिटी के लिए अनुकूलन करने से मोड कोलैप्स (mode collapse) हो सकता है, जहाँ जनरेटर उच्च-स्कोरिंग उम्मीदवारों के एक संकीर्ण परिवार पर अपनी संभाव्यता द्रव्यमान (probability mass) केंद्रित कर देता है। इसके विपरीत, विविधता (diversity) बनाए रखना चुनौतीपूर्ण है क्योंकि विविधता एक सेट-स्तरीय गुण (set-level property) है (जो नमूनों के संग्रह पर परिभाषित होती है), जबकि मानक पॉलिसी ऑप्टिमाइज़ेशन व्यक्तिगत रोलआउट्स को अपडेट करता है।

मौजूदा विविधता-बढ़ाने वाली RL विधियाँ अक्सर अप्रत्यक्ष प्रॉक्सी पर निर्भर करती हैं, जैसे कि ऐतिहासिक नमूनों के सापेक्ष नवीनता दंड (novelty penalties) या मेमोरी-आधारित फिल्टर। ये दृष्टिकोण उपयोगी उच्च-घनत्व वाले मोड्स को अत्यधिक दंडित कर सकते हैं या वितरण विचलन (distributional drift) उत्पन्न कर सकते हैं। इस शोध पत्र द्वारा संबोधित केंद्रीय चुनौती यह है: हम एक प्राथमिक उद्देश्य के रूप में सीधे सेट-स्तरीय विविधता को कैसे अनुकूलित कर सकते हैं और साथ ही साथ व्यक्तिगत रूप से उत्पन्न किए गए उम्मीदवारों को उपयोगी क्रेडिट कैसे दे सकते हैं?

2. कार्यप्रणाली: सुपरग्रूप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (SGRPO)

लेखक सुपरग्रूप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (SGRPO) का प्रस्ताव करते हैं, जो ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) से प्रेरित एक लचीला ढांचा है जो रोलआउट-स्तरीय यूटिलिटी और सेट-स्तरीय विविधता के बीच के ट्रेड-ऑफ को सीधे अनुकूलित करता है।

मुख्य तंत्र (Core Mechanism)

SGRPO एक ही स्थिति के तहत कई उम्मीदवार सेटों (ग्रुप्स) को नमूना लेने और विविधता पुरस्कारों को पुनर्वितरित करने के लिए उनकी तुलना करने के माध्यम से कार्य करता है। इस प्रक्रिया में चार प्रमुख चरण शामिल हैं:

सेम-कंडीशन सुपरग्रूप सैंपलिंग (Same-Condition Supergroup Sampling):
एक दिए गए कंडिशन $C$ (जैसे, एक विशिष्ट प्रोटीन पॉकेट या बिना किसी कंडिशन के) के लिए, पॉलिसी $M$ ग्रुप्स का नमूना लेती है, जिनमें से प्रत्येक में $K$ स्वतंत्र रूप से उत्पन्न रोलआउट होते हैं। यह संग्रह $S(C) = \{G_1, \dots, G_M\}$ एक "सुपरग्रूप" के रूप में $N=MK$ उम्मीदवारों का निर्माण करता है। विभिन्न स्थितियों की अंतर्निहित कठिनाई के साथ पॉलिसी की गुणवत्ता को भ्रमित करने से बचने के लिए तुलनाएं इसी सुपरग्रूप तक सीमित हैं।
ग्रुप-लेवल डाइवर्सिटी स्कोरिंग (Group-Level Diversity Scoring):
प्रत्येक ग्रुप $G_m$ को एक उपयोगकर्ता-निर्दिष्ट मेट्रिक (जैसे, अणुओं के लिए आंतरिक टैनिमोटो दूरी, प्रोटीनों के लिए लेवेनश्टीन समानता) के आधार पर एक विविधता स्कोर $R_m = D(G_m)$ दिया जाता है। ग्रुप-सापेक्ष विविधता सिग्नल को सुपरग्रूप के अन्य ग्रुप्स के विरुद्ध लीव-वन-आउट (leave-one-out) तुलना के माध्यम से कंप्यूट किया जाता है:
$A_m^{grp} = R_m - \frac{1}{M-1}\sum_{h \neq m} R_h$
एक सकारात्मक $A_m^{grp}$ इंगित करता है कि ग्रुप अपने विकल्पों की तुलना में अधिक विविध है।
सेट-अवेयर रिडिस्ट्रीब्यूशन (सेट-स्तरीय सिग्नल और व्यक्तिगत योगदान के बीच का अंतर पाटना):
सेट-स्तरीय सिग्नल्स और व्यक्तिगत पॉलिसी अपडेट के बीच के अंतर को पाटने के लिए, SGRPO समूह की विविधता में योगदान के आधार पर व्यक्तिगत रोलआउट्स को विविधता पुरस्कार को पुनर्वितरित करता है।
- प्रत्येक रोलआउट $x_{m,i}$ के लिए, एक लीव-वन-आउट योगदान की गणना की जाती है: $c_{m,i} = D(G_m) - D(G_m \setminus \{x_{m,i}\}$ ।
- इन योगदानों को मानकीकृत किया जाता है और साइन-अवेयर सॉफ्टमैक्स वेट्स (sign-aware softmax weights) बनाने के लिए उपयोग किया जाता है।
- यदि कोई ग्रुप अत्यधिक विविध है ( $A_m^{grp} > 0$ ), तो सकारात्मक सिग्नल उन उम्मीदवारों पर केंद्रित होता है जिनका विविधता योगदान अधिक है। यदि कोई ग्रुप कम विविध है ( $A_m^{grp} < 0$ ), तो नकारात्मक सिग्नल उन उम्मीदवारों पर केंद्रित होता है जिनका योगदान कम है।
- यह सुनिश्चित करता है कि औसत ग्रुप रिवॉर्ड सुरक्षित रहे जबकि विविधता को चलाने वाले विशिष्ट अणुओं को क्रेडिट दिया जाए।
सुपरग्रूप-रिलेटिव पॉलिसी अपडेट (Supergroup-Relative Policy Update):
एक रोलआउट के लिए अंतिम रिवॉर्ड इसके व्यक्तिगत यूटिलिटी $r_{m,i}$ और पुनर्वितरित विविधता रिवॉर्ड $\tilde{R}_{m,i}$ को जोड़ता है:
$\bar{r}_{m,i} = (1-\lambda)r_{m,i} + \lambda \tilde{R}_{m,i}$
जहाँ $\lambda$ यूटिलिटी-डाइवर्सिटी ट्रेड-ऑफ को नियंत्रित करता है। एडवांटेज फंक्शन को सुपरग्रूप के सभी रोलआउट्स पर एक लीव-वन-आउट बेसलाइन के रूप में कंप्यूट किया जाता है, और पॉलिसी को KL रेगुलराइजेशन के साथ एक क्लिप्ड PPO-शैली के ऑब्जेक्टिव का उपयोग करके अपडेट किया जाता है।

3. प्रमुख योगदान (Key Contributions)

डायरेक्ट सेट-लेवल ऑप्टिमाइज़ेशन: SGRPO बायोमॉलिक्यूलर जनरेशन में अप्रत्यक्ष नवीनता प्रॉक्सी या इतिहास-निर्भर दंड पर निर्भर रहने के बजाय, सीधे सेट-स्तरीय विविधता को प्राथमिक उद्देश्य के रूप में अनुकूलित करने वाला पहला ढांचा है।
डिकपल्ड डिज़ाइन (Decoupled Design): यह विधि विशिष्ट जनरेटर आर्किटेक्चर (ऑटोरेग्रेसिव या डिफ्यूजन), यूटिलिटी रिवॉर्ड्स, या डाइवर्सिटी मेट्रिक्स से स्वतंत्र है, जिससे इसे विभिन्न GRPO-शैली के ऑप्टिमाइज़र (जैसे, ऑटोरेग्रेसिव मॉडल के लिए मानक GRPO, डिस्क्रीट डिफ्यूजन के लिए कप्ल्ड-GRPO) के साथ लागू किया जा सकता है।
क्रेडिट असाइनमेंट मैकेनिज्म: लीव-वन-आउट डाइवर्सिटी कंट्रीब्यूशन मैकेनिज्म की शुरूआत सिस्टम को उन व्यक्तिगत उम्मीदवारों को क्रेडिट देने की अनुमति देती है जो वास्तव में सेट विविधता का समर्थन करते हैं, जिससे व्यक्तिगत अपडेट के साथ एक सेट प्रॉपर्टी को अनुकूलित करने की समस्या हल होती है।
ग्रुप साइज के प्रति मजबूती: यह विधि छोटे ग्रुप साइज के साथ भी प्रभावी रहती है, जिससे यह बड़े पैमाने पर बायोमॉलिक्यूलर डिज़ाइन के लिए कम्प्यूटेशनल रूप से व्यवहार्य बन जाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन अलग-अलग बायोमॉलिक्यूलर जनरेशन सेटिंग्स में SGRPO का मूल्यांकन किया:

डी नोवो स्मॉल-मॉलिक्यूल डिज़ाइन: GenMol (डिस्क्रीट डिफ्यूजन) का उपयोग करके।
पॉकेट-बेस्ड स्मॉल-मॉलिक्यूल डिज़ाइन: GenMol-P (पॉकेट-कंडीशन्ड डिफ्यूजन) का उपयोग करके।
डी नोवो प्रोटीन डिज़ाइन: ProGen2 (ऑटोरेग्रेसिव) का उपयोग करके।

प्रदर्शन मेट्रिक्स (Performance Metrics):
मूल्यांकन यूटिलिटी-डाइवर्सिटी पारेटो फ्रंटियर (Utility-Diversity Pareto Frontier) पर केंद्रित था, जिसे निम्नलिखित द्वारा मापा गया:

हाइपरवॉल्यूम (Hypervolume - HV): गैर-प्रभावी ऑपरेटिंग पॉइंट्स द्वारा डोमिनेटेड क्षेत्र।
डिस्टेंस टू आइडियल पॉइंट (Distance to Ideal Point - DIP): सैद्धांतिक सर्वोत्तम यूटिलिटी और विविधता के बीच की दूरी।
R2 इंडिकेटर: औसत भारित सबसे खराब स्थिति का शॉर्टफॉल।

निष्कर्ष:

फ्रंटियर विस्तार (Frontier Expansion): सभी कार्यों और डिकोडिंग स्वीप्स में, SGRPO ने प्री-ट्रेन्ड जनरेटर्स, मानक GRPO और मेमोरी-असिस्टेड GRPO की तुलना में उपलब्ध यूटिलिटी-डाइवर्सिटी पारेटो फ्रंटियर को लगातार विस्तारित किया।
विविधता का संरक्षण (Preservation of Diversity): उच्च-यूटिलिटी रेजीम्स में जहाँ बेसलाइन्स (विशेष रूप से GRPO) गंभीर विविधता पतन (diversity collapse) से जूझ रहे थे, SGRकी SGRPO ने काफी अधिक विविधता बनाए रखी। उदाहरण के लिए, पॉकेट-आधारित डिज़ाइन में, SGRPO ने ऑपरेटिंग-पॉइंट प्रक्षेपवक्र (trajectory) को बाहर की ओर धकेला, जिससे तुलनीय यूटिलिटी स्तरों पर काफी अधिक विविधता बनी रही।
एब्लेशन अध्ययन (Ablation Studies): विविधता रिवॉर्ड को हटाने से प्रदर्शन वापस मानक GRPO के स्तर पर आ गया। लीव-वन-आउट क्रेडिट असाइनमेंट को हटाने से प्रदर्शन कमजोर हुआ, जो विशिष्ट योगदानकर्ताओं को विविधता सिग्नल को पुनर्वितरित करने के महत्व की पुष्टि करता है।
वितरण गतिशीलता (Distribution Dynamics): सीक्वेंस डिस्ट्रीब्यूशन के विज़ुअलाइज़ेशन ने दिखाया कि जबकि GRPO और मेमोरी-असिस्टेड GRPO संकीर्ण क्षेत्रों में सिमट गए या विचलित हो गए, SGRPO ने कई क्लस्टर्स का पता लगाया और उन्हें संरक्षित किया, जो सीक्वेंस स्पेस के व्यापक कवरेज का संकेत देता है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि SGRPO बायोमॉलिक्यूलर जनरेशन के लिए उपलब्ध ऑपरेटिंग पॉइंट्स को विस्तारित करने के लिए एक व्यापक रूप से लागू होने वाला पोस्ट-ट्रेनिंग सिद्धांत प्रदान करता है। सीधे विविध जनरेटेड सेट्स को पुरस्कृत करके, यह विधि यूटिलिटी-डाइवर्सिटी पारेटो फ्रंटियर को बाहर की ओर धकेलती है, जिससे मॉडल को कवरेज से समझौता किए बिना निश्चित विविधता स्तरों पर बेहतर यूटिलिटी प्राप्त करने में सक्षम बनाया जाता है (और इसके विपरीत)।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण बायोमॉलिक्यूलर डिज़ाइन में वर्तमान RL-आधारित डिज़ाइन की एक मौलिक सीमा को संबोधित करता है: पॉलिसी ऑप्टिमाइज़ेशन के दौरान विविधता को एक प्रथम श्रेणी के उद्देश्य के रूप में मानने में असमर्थता। परिणाम बताते हैं कि सीधे सेट-स्तरीय विविधता को अनुकूलित करना स्मॉल-मॉलिक्यूल और प्रोटीन जनरेशन दोनों कार्यों में मोड कोलैप्स को कम करने के लिए एक व्यावहारिक और मजबूत रणनीति है। कोड को आगे के अनुसंधान और विभिन्न डोमेन में इंस्टांसिएशन की सुविधा के लिए उपलब्ध कराया गया है।