JURY: A Comprehensive Training-Free to Fully-Supervised Framework for Evaluating Chemical Language Models

नई दवाओं की खोज की दौड़ में, वैज्ञानिक एक ऐसी बाधा का सामना करते हैं जो हर सफलता को धीमा कर देती है: एक नया रासायनिक यौगिक दवा बनने से पहले, उसे सुरक्षा की एक कठोर श्रृंखला से गुजरना पड़ता है। शोधकर्ताओं को यह जानने की आवश्यकता होती है कि क्या शरीर इसे अवशोषित करेगा, यह रक्त के माध्यम से कैसे यात्रा करेगा, लिवर इसे कैसे तोड़ेगा, और क्या यह विषाक्त हो सकता है। ये जांच, जिन्हें अवशोषण (absorption), वितरण (distribution), चयापचय (metabolism), उत्सर्जन (excretion) और विषाक्तता (toxicity) के रूप में जाना जाता है, प्रयोगशाला में करने के लिए महंगी और धीमी होती हैं। चीजों को तेज करने के लिए, वैज्ञानिक कंप्यूटर की ओर मुड़े हैं, जो केवल एक अणु की संरचना को देखकर इन गुणों की भविष्यवाणी करने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करते हैं। वर्षों से, सबसे सफल उपकरण वे "भाषा मॉडल" (language models) रहे हैं जिन्हें टेक्स्ट स्ट्रिंग्स के रूप में लिखे गए लाखों रासायनिक सूत्रों पर प्रशिक्षित किया गया है। ये मॉडल एक जटिल अणु को संख्याओं की एक एकल, निश्चित सूची में संकुचित करना सीखते हैं, जो एक डिजिटल फिंगरप्रिंट है जो उसके रासायनिक सार को पकड़ लेता है। इन मॉडलों के कितने अच्छे होने का निर्णय करने का मानक तरीका उन्हें एक सरल भविष्यवाणी उपकरण से जोड़ना रहा है, उस उपकरण को प्रयोगात्मक डेटा के एक छोटे सेट पर प्रशिक्षित करना, और यह देखना कि वह उत्तर का कितनी अच्छी तरह अनुमान लगाता है। यदि अनुमान अच्छा है, तो मॉडल को उच्च स्कोर मिलता है।

हालाँकि, एक नया अध्ययन बताता है कि इस मानक पद्धति ने एक महत्वपूर्ण सत्य को छिपा रखा है। शोधकर्ताओं ने पाया कि भविष्यवाणी करने वाला उपकरण स्वयं अक्सर इतना अधिक काम कर रहा होता है कि वह उस चीज़ को ढक देता है जो अंतर्नि는 मॉडल वास्तव में सीखता है। एक शक्तिशाली उपकरण केवल उन उत्तरों से बहुत कुछ सीख सकता है जो उसे दिए जाते हैं, भले ही वह डिजिटल फिंगरप्रिंट जिसे वह पढ़ रहा है, कमजोर या अनुपयोगी हो। इसे हल करने के लिए, जर्मनी के शोधकर्ताओं की एक टीम ने इन मॉडलों का परीक्षण करने का एक नया तरीका विकसित किया, जिसे JURY कहा जाता है। मॉडलों के डिजिटल फिंगरप्रिंट को पढ़ने के लिए चार अलग-अलग तरीकों का उपयोग करने के बजाय, उन्होंने चार विधियों का उपयोग किया। इन दो विधियों में बिना किसी प्रशिक्षण के, केवल यह देखना शामिल था कि डिजिटल स्थान में अणु एक-दूसरे के कितने करीब स्थित हैं। अन्य दो विधियों ने सरल प्रशिक्षण का उपयोग किया, जो एक बुनियादी सीधी रेखा गणना से लेकर एक छोटे, लचीले नेटवर्क तक विस्तृत था। दस अलग-अलग रासायनिक मॉडलों पर और बहत्तर विभिन्न सुरक्षा परीक्षणों पर इन चार विधियों को लागू करके, टीम ने पाया कि मॉडल एक-दूसरे के बहुत समान हैं जितना कि कोई सोच भी नहीं सकता था। कोई भी एकल मॉडल हर चीज़ में सर्वश्रेष्ठ नहीं था। वास्तव में, दशकों पुराना, हाथ से बनाया गया (hand-crafted) तरीका जो अणुओं का वर्णन करता है, कई मामलों में सबसे उन्नत आधुनिक एआई के समान ही प्रदर्शन करता था।

सबसे आश्चर्यजनक खोज यह थी कि मॉडल इस बात में भिन्न नहीं होते हैं कि उनके पास कितना रासायनिक ज्ञान है, बल्कि इस बात में कि वे उस ज्ञान को कैसे व्यवस्थित करते हैं। कुछ मॉडल अपने डिजिटल फिंगरप्रिंट को इस तरह व्यवस्थित करते हैं कि समान गुणों वाले अणु स्वाभाविक रूप से एक-दूसरे के करीब बैठते हैं, जिससे उन्हें बिना किसी अतिरिक्त प्रशिक्षण के खोजना आसान हो जाता है। अन्य मॉडल उसी रासायनिक ज्ञान को इस तरह छिपा देते हैं जो केवल तभी दिखाई देता है जब डेटा को पुनर्व्यवस्थित करने के लिए एक प्रेडिक्टर (predictor) को प्रशिक्षित किया जाता है। यह एक पुस्तकालय को देखने जैसा है जहाँ एक लाइब्रेरियन ने किताबों को पहले से ही शैली (genre) के अनुसार छाँट दिया है, जबकि दूसरा उन्हें बेतरतीब ढंग से ढेर कर देता है लेकिन यदि आप सही सवाल पूछते हैं तो उसे पता होता है कि विशिष्ट पुस्तक कहाँ मिलेगी। अध्ययन ने दिखाया कि एक मॉडल जो पहले दृष्टिकोण में उत्कृष्ट है, वह दूसरे में विफल हो सकता है, और इसके विपरीत भी। इसका मतलब है कि एक एकल स्कोर आपको यह नहीं बता सकता कि एक मॉडल अच्छा है; आपको यह समझने के लिए विभिन्न परीक्षण विधियों के माध्यम से उसकी प्रोफाइल देखनी होगी कि उसकी ताकत कहाँ निहित है।

शोधकर्ताओं ने दस अलग-अलग रासायनिक भाषा मॉडलों का परीक्षण किया, जिनमें तीन अलग-अलग ट्रांसफॉर्मर परिवारों का उपयोग करने वाले कई मॉडल और एक पारंपरिक, हाथ से बनाया गया तरीका (extended-connectivity fingerprint) शामिल है। उन्होंने बहत्तर अलग-अलग कार्यों को कवर करते हुए, जो इस बात से लेकर कि एक दवा कैसे अवशोषित होती है, लेकर यह कि वह कितनी विषाक्त हो सकती है, अपनी चार परीक्षण विधियों को लागू किया। जब उन्होंने परिणामों को देखा, तो पाया कि मॉडलों की रैंकिंग परीक्षण विधि के आधार पर पूरी तरह से बदल गई। एक मॉडल जो बिना प्रशिक्षण वाले तरीके के साथ परीक्षण किए जाने पर पहले स्थान पर आया, वह अक्सर सूची में सबसे नीचे गिर जाता था जब उसका परीक्षण उस तरीके के साथ किया गया जिसमें एक प्रेडिक्टर को प्रशिक्षित करना शामिल था। इसके विपरीत, एक मॉडल जो बिना प्रशिक्षण के संघर्ष करता था, एक सरल प्रेडिक्टर जोड़े जाने के बाद शीर्ष पर पहुँच गया। इस विसंगति ने साबित कर दिया कि मॉडल केवल "बेहतर" या "बदतर" नहीं थे, बल्कि वे मौलिक रूप से अलग तरीकों से अपने रासायनिक ज्ञान को संग्रहीत करते थे।

MoLFormer-XL नामक एक मॉडल ने प्रदर्शित किया कि उसने अपने डिजिटल स्थान को इतनी स्पष्टता से व्यवस्थित किया था कि समान व्यवहार वाले अणु पहले से ही एक साथ समूहबद्ध थे। इसने असाधारण रूप से अच्छा प्रदर्शन किया जब शोधकर्ताओं ने बिना किसी अतिरिक्त टूल को प्रशिक्षित किए, केवल डिजिटल स्थान में निकटतम पड़ोसियों को देखा। इसके विपरीत, MolEncoder ने खराब प्रदर्शन किया जब शोधकर्ताओं ने स्थान की कच्ची व्यवस्था को देखा। हालाँकि, एक बार जब एक सरल प्रेडिक्टर को इसके डेटा पर प्रशिक्षित किया गया, तो MolEncoder रैंकिंग में ऊपर कूद गया। इसने दिखाया कि MolEncoder के पास समान रासायनिक ज्ञान था, लेकिन यह एक ऐसे प्रारूप में छिपा हुआ था जिसे अनलॉक करने के लिए एक प्रशिक्षित टूल की आवश्यकता थी। अध्ययन में यह भी पाया गया कि पारंपरिक, हाथ से बनाया गया फिंगरप्रिंट तरीका, जो आधुनिक एआई से पहले का है, अक्सर सबसे उन्नत मॉडलों से बेहतर प्रदर्शन करता है जब कोई प्रशिक्षण नहीं दिया जाता है, विशेष रूप से यह भविष्यवाणी करने में कि रसायन शरीर में कैसे व्यवहार करते हैं। यह सुझाव देता है कि कुछ कार्यों के लिए, रासायनिक डेटा को व्यवस्थित करने का पुराना तरीका अभी भी अत्यधिक प्रभावी है।

टीम ने निष्कर्ष निकाला कि क्षेत्र एक जटिल प्रणाली को आंकने के लिए एक एकल संख्या पर निर्भर रहा है, जो एक संगीतकार को केवल एक गाने से आंकने जैसा है। एक मॉडल एक प्रकार की भविष्यवाणी के लिए उत्कृष्ट हो सकता है लेकिन दूसरे के लिए बहुत बुरा, यह इस पर निर्भर करता है कि उसका आंतरिक डेटा कैसे संरचित है। नया ढांचा, JURY, उस एकल स्कोर को एक विस्तृत प्रोफाइल से बदल देता है जो दिखाता है कि एक मॉडल विभिन्न स्तरों के पर्यवेक्षण (supervision) के तहत कैसा प्रदर्शन करता है। यह वैज्ञानिकों को सही काम के लिए सही उपकरण चुनने की अनुमति देता है। यदि किसी शोधकर्ता को एक नया टूल प्रशिक्षित करने में समय खर्च किए बिना रसायनों की एक लाइब्रेरी की तेजी से स्क्रीनिंग करने की आवश्यकता है, तो उन्हें उस मॉडल को चुनना चाहिए जो बिना प्रशिक्षित परीक्षणों पर अच्छा प्रदर्शन करता है। यदि उनके पास पर्याप्त डेटा है और वे उच्च-दांव वाले कार्य के लिए एक विशिष्ट प्रेडिक्टर को प्रशिक्षित करना चाहते हैं, तो वे उस मॉडल को चुन सकते हैं जो प्रशिक्षण के बाद ही उत्कृष्ट प्रदर्शन करता है। यह समझकर कि एक मॉडल का ज्ञान कहाँ स्थित है और वह कैसे व्यवस्थित है, वैज्ञानिक सरल रैंकिंग से आगे बढ़कर यह समझने में बेहतर निर्णय ले सकते हैं कि इन कृत्रिम बुद्धिमत्ताओं ने वास्तव में क्या सीखा है।