Preference-based Antibody Expression Ranking: Scaling with Large-scale Weak Supervision

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक ऐसा नया व्यंजन बनाने की कोशिश कर रहे हैं जिसे हर कोई पसंद करता है। चिकित्सा की दुनिया में, यह "व्यंजन" एक एंटीबॉडी है—एक छोटा, Y-आकार का प्रोटीन जो हमारे इम्यून सिस्टम के लिए एक सुपरहीरो की तरह काम करता है, जो वायरस और बैक्टीरिया का शिकार करता है। वैज्ञानिक लगातार बीमारियों से लड़ने के लिए नए, कस्टम-मेड एंटीबॉडी डिजाइन करने की कोशिश कर रहे हैं, लेकिन एक बहुत बड़ी समस्या है—सिर्फ इसलिए कि कोई रेसिपी कागज पर अच्छी दिखती है, इसका मतलब यह नहीं है कि वह वास्तव में रसोई में पक जाएगी। कुछ डिज़ाइन स्वादिष्ट, उच्च-उपज (high-yield) वाला भोजन बनते हैं, जबकि कुछ पूरी तरह से फ्लॉप हो जाते हैं, जिससे कुछ भी नहीं बनता।

समस्या यह है कि यह पता लगाना कि कौन सी रेसिपी काम करती है, अविश्वसनीय रूप से महंगा और धीमा है। यह एक केक बनाने जैसा है यह देखने के लिए कि क्या सामग्री सही से मिल रही है, लेकिन आप साल में केवल कुछ ही केक बनाने का खर्च उठा सकते हैं। वैज्ञानिकों के पास "शायद" वाली रेसिपीओं का एक पहाड़ है (लाखों में) लेकिन बहुत कम "निश्चित रूप से काम करने वाली" रेसिपी हैं (केवल कुछ ही)। यह पेपर ठीक इसी बाधा को दूर करता है। यह एक चतुर तरीका पेश करता है जिससे कंप्यूटर को यह सिखाया जा सके कि इन रेसिपीज़ को कैसे रैंक किया जाए, हर एक को पकाकर नहीं, बल्कि कुछ ज्ञात विजेताओं और "शायद ठीक होने वाले" अनुमानों के विशाल ढेर से सीखकर। लक्ष्य अच्छे व्यंजनों को बुरे व्यंजनों से अलग करना है ताकि वैज्ञानिक केवल सबसे आशाजनक व्यंजनों पर ध्यान केंद्रित कर सकें, जिससे समय और पैसा दोनों बच सकें।

---

बेहतर एंटीबॉडी की रेसिपी

एक एंटीबॉडी को डिजाइन करना वैसा ही है जैसे किसी ऐसी भाषा में वाक्य लिखने की कोशिश करना जिसे आपने अभी तक पूरी तरह से महारत हासिल नहीं की है। आपके पास 20 अमीनो एसिड (अक्षर) का एक शब्दकोश है, और आपको उन्हें एक वाक्य (प्रोटीन) बनाने के लिए जोड़ना होगा जो वास्तव में कुछ उपयोगी करे। समस्या यह है कि आपके द्वारा लिखे गए अधिकांश वाक्य या तो निरर्थक हो सकते हैं या, इससे भी बदतर, वे एक वाक्य की तरह दिख सकते हैं लेकिन जब आप उन्हें बोलने की कोशिश करते हैं तो उनका कोई अर्थ नहीं निकलता। लैब में, इस "अर्थ निकालने" वाले हिस्से को एक्सप्रेशन (expression) कहा जाता है। यदि कोई एंटीबॉडी अच्छी तरह से एक्सप्रेस नहीं होती है, तो यह एक ऐसी रेसिपी की तरह है जिसमें "एक चुटकी जादुई धूल" डालने को कहा गया हो—यह वास्तविक दुनिया में काम नहीं करेगी।

लंबे समय से, वैज्ञानिक एक छोटी कुकबुक के साथ फंसे हुए हैं। उनके पास कुछ सौ रेसिपी हैं जहाँ वे जानते हैं कि उस एंटीबॉडी ने कितना "भोजन" (यील्ड/उपज) पैदा किया। लेकिन उन्हें हजारों नए विचारों का परीक्षण करने की आवश्यकता है। पेपर एक शानदार समाधान सुझाता है: क्यों न कंप्यूटर को सिखाने के लिए "शायद" वाली रेसिपी की एक विशाल लाइब्रेरी का उपयोग किया जाए?

दो-चरणीय जादू का खेल

लेखकों, जोश क्विक्सन सन और उनकी टीम ने कंप्यूटर को एक बेहतर रेसिपी जज बनने के तरीके को सिखाने के लिए एक दो-चरणीय रणनीति बनाई।

चरण 1: "इमर्शन" (तल्लीनता) चरण
सबसे पहले, उन्होंने एक स्मार्ट कंप्यूटर मॉडल (एक "प्रोटीन लैंग्वेज मॉडल") लिया जो पहले से ही जानता है कि प्रोटीन सामान्य रूप से कैसे काम करते हैं। फिर, उन्होंने इसे 4.2 मिलियन एंटीबॉडी अनुक्रमों (sequences) की एक विशाल लाइब्रेरी खिलाई जो प्रकृति में पाई जाती हैं (विशेष रूप से ऊंटों और लामाओं से)। ये अनुक्रम "शायद ठीक" रेसिपीओं के एक बड़े ढेर की तरह हैं। हमें यह ठीक से नहीं पता कि वे कितनी अच्छी तरह पकते हैं, लेकिन हम जानते हैं कि वे प्रकृति में मौजूद हैं, इसलिए वे संभवतः सुरक्षित और स्थिर हैं। कंप्यूटर उन सभी 4.2 मिलियन को पढ़ता है, बिना यह जाने कि सटीक यील्ड क्या है, एक अच्छे एंटीबॉडी का "वाइब" (भाव) सीखता है। यह एक छात्र की तरह है जो अपना खुद का लिखने की कोशिश करने से पहले शैली को समझने के लिए दस लाख रहस्यमय उपन्यास पढ़ता है।

चरण 2: "टेस्ट टेस्ट" (स्वाद परीक्षण) चरण
इसके बाद, टीम ने एक छोटी, उच्च-गुणवत्ता वाली कुकबुक पेश की जिसे Exp-1K कहा जाता है। इस किताब में केवल 1,254 रेसिपी हैं, लेकिन प्रत्येक के लिए, वे सटीक स्कोर जानते हैं: उस प्रोटीन ने कितनी मात्रा बनाई। कुछ ने बहुत अधिक बनाया (उच्च यील्ड), कुछ ने थोड़ा बनाया, और लगभग 27% ने बिल्कुल कुछ भी नहीं बनाया (शून्य यील्ड)।

यहीं पर जादू होता है। केवल कंप्यूटर से यह पूछने के बजाय कि, "यह रेसिपी कितनी अच्छी है?" (जिसे इतने कम डेटा के साथ सही करना कठिन है), उन्होंने एक अलग सवाल पूछा: "यदि आपको रेसिपी A और रेसिपी B के बीच चुनना हो, तो कौन सी बेहतर है?"

उन्होंने डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) नामक तकनीक का उपयोग किया। कल्पना कीजिए कि आप एक कुत्ते को प्रशिक्षित कर रहे हैं। आप केवल "अच्छा कुत्ता" या "बुरा कुत्ता" नहीं कहते। आप दो ट्रीट (इनाम) पकड़ते हैं और कहते हैं, "मुझे यह वाला उस वाले से ज्यादा पसंद है।" कंप्यूटर एंटीबॉडी को रैंक करना सीखता है।

• स्ट्रॉन्ग सुपरविज़न (मजबूत पर्यवेक्षण): यदि रेसिपी A ने 100 मिलीग्राम प्रोटीन बनाया और रेसिपी B ने 10 मिलीग्राम बनाया, तो कंप्यूटर सीखता है: "A, B से बेहतर है।"
• वीक सुपरविज़न (कमजोर पर्यवेक्षण): यदि रेसिपी C उस बड़े ढेर (4.2 मिलियन) से है (हमें इसका स्कोर नहीं पता, लेकिन यह प्रकृति में मौजूद है) और रेसिपी D ने शून्य प्रोटीन बनाया, तो कंप्यूटर सीखता है: "C शायद D से बेहतर है।"

इन दोनों प्रकार के पाठों को मिलाकर, कंप्यूटर हजारों नए डिजाइनों को रैंक करना सीखता है, जिससे सबसे आशाजनक चीज़ें सूची में सबसे ऊपर आ जाती हैं।

उन्होंने क्या पाया

टीम ने डेटा के एक विविध सेट पर अपने तरीके का परीक्षण किया। उन्होंने अपने नए "प्रेफरेंस" (पसंद) तरीके की तुलना पुराने तरीकों से की, जैसे सरल रिग्रेशन (एक संख्या का अनुमान लगाना) या बिना किसी विशेष प्रशिक्षण के केवल डेटा को देखना।

परिणाम स्पष्ट थे:

• दो-चरणीय टीम की जीत: जिस पद्धति ने विशाल "शायद" लाइब्रेरी (चरण 1) और "टेस्ट टेस्ट" रैंकिंग (चरण 2) दोनों का उपयोग किया, उसने लगातार अन्य सभी को पीछे छोड़ दिया। यह भविष्यवाणी करने में बेहतर था कि कौन से एंटीबॉडी वास्तव में काम करेंगे और उन्हें सबसे अच्छे से सबसे खराब के क्रम में रैंक करने में भी बेहतर था।
• जीरो-शॉट (Zero-Shot) कमजोर है: यदि उन्होंने इस विशेष प्रशिक्षण के बिना केवल कंप्यूटर का उपयोग किया (जीरो-शॉट), तो इसने बहुत खराब प्रदर्शन किया। यह एक अच्छी रेसिपी और एक बुरी रेसिपी के बीच अंतर नहीं कर सका। यह सुझाव देता है कि केवल प्रोटीन के "वर्णमाला" को जानना पर्याप्त नहीं है; आपको एंटीबॉडी एक्सप्रेशन की विशिष्ट "बोली" सीखने की आवश्यकता है।
• अधिक डेटा बेहतर है: उन्होंने परीक्षण किया कि क्या होता है जब वे कंप्यूटर को अधिक से अधिक 4.2 मिलियन "शायद" वाली रेसिपी खिलाते हैं। जैसे-जैसे उन्होंने अधिक डेटा जोड़ा, कंप्यूटर और भी स्मार्ट होता गया। वह भ्रमित नहीं हुआ; वह और बुद्धिमान हो गया। यह बताता है कि बड़ी लाइब्रेरी से प्राप्त "कमजोर" डेटा एक सुरक्षा जाल (safety net) की तरह कार्य करता है, जो कंप्यूटर को बहुत कम सटीक डेटा के आधार पर गलत अनुमान लगाने से रोकता है।

उन्होंने किसे खारिज किया

पेपर ने कुछ ऐसे विचारों का भी परीक्षण किया जो असफल साबित हुए:

• केवल बड़ी लाइब्रेरी को पढ़ना पर्याप्त नहीं है: यदि उन्होंने केवल चरण 1 किया (4.2 मिलियन अनुक्रमों को पढ़ना) और फिर छोटी कुकबुक पर एक मानक "संख्या का अनुमान लगाने" वाले तरीके का उपयोग किया, तो यह अच्छा काम नहीं कर पाया। कंप्यूटर ने भाषा तो सीख ली लेकिन वह रेसिपी को रैंक करना नहीं सीख पाया।
• बहुत अधिक "कमजोर" डेटा "मजबूत" डेटा को दबा सकता है: उन्होंने पाया कि यदि वे प्रशिक्षण को सावधानीपूर्वक संतुलित नहीं करते हैं, तो 4.2 मिलियन "शायद" वाली रेसिपी का विशाल ढेर छोटे "निश्चित" रेसिपी के ढेर पर हावी हो सकता है। उन्हें एक डायल (जिसे $\alpha$ कहा जाता है) को ट्यून करना पड़ा ताकि यह सुनिश्चित हो सके कि कंप्यूटर उच्च-गुणवत्ता वाले डेटा पर पर्याप्त ध्यान दे, जबकि वह विशाल लाइब्रेरी से भी सीख रहा हो।

मुख्य निष्कर्ष

यह पेपर सुझाव देता है कि बेहतर एंटीबॉडी डिजाइन करने के लिए हमें लाखों पूर्ण लैब प्रयोगों की प्रतीक्षा करने की आवश्यकता नहीं है। इसके बजाय, हम कुछ उच्च-गुणवत्ता वाले प्रयोगों और "शायद ठीक" प्राकृतिक डेटा के एक विशाल ढेर के मिश्रण का उपयोग करके कंप्यूटर को डिजाइनों को रैंक करना सिखा सकते हैं।

लेखक दिखाते हैं कि यह दृष्टिकोण कम डेटा की समस्या को हल करने का एक व्यावहारिक और मजबूत तरीका है। यह कोई जादुई छड़ी नहीं है जो सब कुछ तुरंत हल कर देती है, लेकिन यह सुझाव देता है कि कंप्यूटर को यह सिखाने के तरीके को बदलकर (केवल संख्याओं के बजाय पसंद/प्राथमिकता पर ध्यान केंद्रित करके), हम एंटीबॉडी डिजाइन को तेज़, सस्ता और अधिक विश्वसनीय बना सकते हैं। एक जिज्ञासु किशोर के लिए, इसे एक ऐसे शेफ के अपग्रेड के रूप में सोचें जो हर व्यंजन को चखने के बजाय, एक सुपर-इंटेलिजेंट 'सू-शेफ' (सहायक शेफ) रखता है जो एक साथ हजारों व्यंजनों का स्वाद ले सकता है और आपको बता सकता है कि आपको कौन से परोसने चाहिए।