A heterogeneous LLM-augmented ensemble for robust drug-induced autoimmunity prediction

द ग्रेट ड्रग डिटेक्टिव गेम (दवाओं का महान जासूसी खेल)

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ वैज्ञानिक "अंतर पहचानने" के एक बहुत ही पेचीदा खेल की भविष्यवाणी करने की कोशिश कर रहे हैं। इस खेल में, खिलाड़ी दवाएं हैं, और लक्ष्य यह पता लगाना है कि कौन सी दवाएं गलती से शरीर की प्रतिरक्षा प्रणाली (इम्यून सिस्टम) को खुद पर हमला करने के लिए झांसा दे सकती हैं। यह डरावनी प्रतिक्रिया ड्रग-इंड्यूस्ड ऑटोइम्युनिटी (drug-induced autoimmunity) कहलाती है। यह पहचान के भ्रम के एक मामले जैसा है: एक दवा शरीर में प्रवेश करती है, और अपना काम करने के बजाय, वह गलती से एक ऐसा भेष धारण कर लेती है जिससे शरीर के सुरक्षा गार्डों (प्रतिरक्षा प्रणाली) को लगता है, "अरे, यह तो कोई हमलावर है! हमला करो!"

समस्या यह है कि यह खेल खेलना अविश्वसनीय रूप से कठिन है। पहला, "बुरे विलेन" (वे दवाएं जो इस प्रतिक्रिया का कारण बनती हैं) दुर्लभ हैं, इसलिए वैज्ञानिकों के पास अध्ययन करने के लिए बहुत कम उदाहरण हैं। दूसरा, परेशानी पैदा करने वाली दवाएं रासायनिक रूप से एक-दूसरे से बहुत अलग दिखती हैं, जैसे साइकिलों, टोस्टरों और कांच से बनी साइकिलों का मिश्रण। अंत में, डेटा अस्त-व्यस्त है, जिसमें "सुरक्षित" दवाओं की संख्या "असुरक्षित" दवाओं की तुलना में बहुत अधिक है, जो नियमों को सीखने की कोशिश कर रहे कंप्यूटर प्रोग्रामों को भ्रमित कर देता है।

इसे हल करने के लिए, वैज्ञानिक मशीन लर्निंग (Machine Learning) का उपयोग करते हैं, जो मूल रूप से कंप्यूटर को डेटा में पैटर्न खोजने के लिए सिखाना है, ठीक वैसे ही जैसे एक कुत्ता पट्टे की आवाज़ को पहचानना सीखता है। वे एन्सेम्बल लर्निंग (Ensemble Learning) का भी उपयोग करते हैं, जो "विशेषज्ञों की एक टीम" के लिए एक फैंसी शब्द है। केवल एक स्मार्ट कंप्यूटर पर भरोसा करने के बजाय, आप विशेषज्ञों के एक पूरे समूह से एक ही समस्या को देखने और उत्तर पर वोट देने के लिए कहते हैं। विचार यह है कि यदि एक विशेषज्ञ गलती करता है, तो अन्य उसे पकड़ सकते हैं। यह पेपर इस रहस्य को सुलझाने के लिए डिजिटल जासूसों की एक परम टीम बनाने के बारे में है कि कौन सी दवाएं इस ऑटोइम्यून परेशानी का कारण बन सकती हैं।

डिजिटल जासूसों की सुपर-टीम

इस शोध के वैज्ञानिकों ने यह तय किया कि किसी दवा को देखने के केवल एक तरीके पर भरोसा करना पर्याप्त नहीं था। उन्होंने एक "हेटरोजीनियस एन्सेम्बल" (heterogeneous ensemble) बनाया, जो छह बहुत ही अलग प्रकार के डिजिटल जासूसों से बनी एक टीम के लिए एक कठिन शब्द है। कल्पना कीजिए कि आप भीड़ में एक संदिग्ध की पहचान करने की कोशिश कर रहे हैं। एक जासूस उसकी लंबाई देखता है, दूसरा उसके जूते का आकार, तीसरा उसकी आवाज़, और चौथा उसके डीएनए को। यदि आप केवल लंबाई वाले जासूस से पूछते हैं, तो आप उस व्यक्ति को पहचान करने में चूक सकते हैं यदि उसने टोपी पहनी हो। लेकिन यदि आप सभी से पूछते हैं, तो आपको एक बहुत स्पष्ट तस्वीर मिलती है।

इस अध्ययन में, छह जासूस ये थे:

1. द क्लासिक केमिस्ट (The Classic Chemist): एक कंप्यूटर जो मानक रासायनिक नंबरों (जैसे वजन और आकार) को देखता है।
2. द पैटर्न स्पॉटर (The Pattern Spotter): एक कंप्यूटर जो सूक्ष्म, दोहराते रहने वाले रासायनिक पैटर्न को खोजता है (जैसे विशिष्ट लेगो ब्रिक्स को खोजना)।
3. द हाइब्रिड (The Hybrid): पहले दो का मिश्रण।
4. द लैंग्वेज रीडर 1 (The Language Reader 1): एक कंप्यूटर जिसे लाखों रासायनिक "वाक्यों" पर प्रशिक्षित किया गया है ताकि यह समझ सके कि शब्द (रासायनिक संरचनाएं) कैसे संबंधित हैं।
5. द लैंग्वेज रीडर 2 (The Language Reader 2): एक अलग कंप्यूटर, जिसे रासायनिक वाक्यों के एक विशाल पुस्तकालय पर प्रशिक्षित किया गया है, लेकिन सीखने की एक अलग शैली के साथ।
6. द बिग ब्रेन (The Big Brain): एक विशाल आर्टिफिशियल इंटेलिजेंस (एक लार्ज लैंग्वेज मॉडल) जिसे विशेष रूप से इस प्रश्न का "हाँ" या "नहीं" में उत्तर देने के लिए सिखाया गया था: "क्या यह दवा ऑटोइम्युनिटी का कारण बनती है?"

टीम ने इन जासूसों को अकेले काम करने के लिए नहीं छोड़ा; उन्होंने उन्हें वोट देने के लिए बनाया। उन्होंने अंतिम भविष्यवाणी प्राप्त करने के लिए सभी छह से उत्तर लिए और उनका औसत निकाला।

उन्होंने क्या पाया: विविधता की शक्ति

परिणाम रोमांचक थे, लेकिन एक बहुत ही महत्वपूर्ण मोड़ के साथ। जब टीम ने अपने नए "सुपर-टीम" का परीक्षण उन दवाओं पर किया जिन्हें वे पहले देख चुके थे, तो इसने एक शानदार काम किया, जिसने 0.9324 का AUC स्कोर प्राप्त किया (एक ऐसा स्कोर जहाँ 1.0 पूर्ण है और 0.5 एक कॉइन फ्लिप यानी अनुमान लगाने जैसा है)। यह पिछले सर्वश्रेष्ठ तरीके से बेहतर था, जिसका स्कोर केवल 0.8930 था।

हालाँकि, असली जादू तब हुआ जब उन्होंने टीम का परीक्षण उन दवाओं पर किया जिन्हें उन्होंने कभी नहीं देखा था—पूरी तरह से नई आकृतियों और संरचनाओं वाली दवाएं। इसे आउट-ऑफ-डिस्ट्रीब्यूशन (out-of-distribution) परीक्षण कहा जाता है। कल्पना कीजिए कि जासूस लाल टोपी पहने संदिग्धों को पहचानने के आदी हैं। अचानक, एक संदिग्ध नीली टोपी (सोम्ब्रेरो) पहनकर आता है। एकल जासूस (वे जो केवल लंबाई या केवल जूते के आकार को देखते हैं) भ्रमित हो गए और उनके स्कोर में काफी गिरावट आई, कभी-कभी 0.10 से 0.20 तक।

लेकिन सुपर-टीम? वे लगभग अडिग रहे। उनका स्कोर केवल 0.054 गिरा। शोधकर्ताओं ने पाया कि टीम किसी भी एकल जासूस की तुलना में 2.5 से 4.5 गुना अधिक मजबूत (robust) थी। सबक यह है कि एक अकेले सुपर-स्मार्ट विशेषज्ञ होने से बेहतर एक विविध टीम होना है। जब स्थिति अजीब और अपरिचित हो जाती है, तो टीम के विभिन्न दृष्टिकोण एक-दूसरे की गलतियों को काट देते हैं, जिससे भविष्यवाणी सटीक बनी रहती है।

"हलुसिनेशन" की चेतावनी और कॉन्फिडेंस मीटर

शोधकर्ताओं ने यह भी आज़माया कि "बिग ब्रेन" जासूस यह समझा सके कि उसने अपना चुनाव क्यों किया, जिसके लिए "चेन-ऑफ-थॉट" (chain-of-thought) नामक विधि का उपयोग किया गया। उन्हें उम्मीद थी कि एआई कहेगा, "मुझे लगता है कि यह दवा खतरनाक है क्योंकि इसमें एक विशिष्ट रासायनिक समूह है।" लेकिन उन्होंने एक समस्या पाई: एआई कभी-कभी चीजें बनाता था। वह आत्मविश्वास के साथ एक ऐसे रासायनिक समूह का वर्णन करता था जो वहां मौजूद ही नहीं था, जिसे हलुसिनेशन (hallucination) नामक गलती कहा जाता है। इस कारण से, शोधकर्ताओं ने निर्णय लिया कि हालांकि एआई अनुमान लगाने में अच्छा है, लेकिन इसके स्पष्टीकरण पर अभी आँख बंद करके भरोसा नहीं किया जा सकता है। उन्होंने स्पष्ट रूप से इन एआई स्पष्टीकरणों को मानवीय समीक्षा के बिना अंतिम निर्णय लेने वाले के रूप में उपयोग करने से मना कर दिया।

वास्तविक दुनिया में उपयोग के लिए भविष्यवाणियों को सुरक्षित बनाने के लिए, टीम ने एक "कॉन्फिडेंस मीटर" जोड़ा जिसे कॉन्फॉर्मल प्रेडिक्शन (conformal prediction) कहा जाता है। यह एक ट्रैफिक लाइट की तरह कार्य करता है। लगभग 88.3% दवाओं के लिए, टीम अपने उत्तर के बारे में इतनी आश्वस्त थी कि उन्होंने उच्च विश्वास के साथ एक एकल "हाँ" या "नहीं" दिया। शेष 11.7% के लिए, टीम ने कहा, "हम निश्चित नहीं हैं; एक मानव विशेषज्ञ को इसकी जांच करने की आवश्यकता है।" यह प्रणाली अच्छी तरह से काम करती थी, जिसने उन मामलों में 91.7% सफलता दर हासिल की जिनके बारे में वह आश्वस्त थी, यह सुनिश्चित करते हुए कि अनिश्चित मामलों को आवश्यक अतिरिक्त ध्यान मिले।

निष्कर्ष

यह पेपर यह दावा नहीं करता है कि इसने दवा सुरक्षा की समस्या को हमेशा के लिए हल कर दिया है। वास्तव में, शोधकर्ता अपनी सीमाओं के बारे में बहुत ईमानदार थे। जब उन्होंने टीम का परीक्षण दवाओं के एक अलग सेट (लीवर इंजरी वाली दवाएं) पर किया जो रासायनिक रूप से उन दवाओं से बहुत भिन्न थीं जिन पर उन्हें प्रशिक्षित किया गया था, तो टीम का प्रदर्शन गिर गया, जिससे पता चला कि कोई भी मॉडल सब कुछ संभालने में पूर्ण नहीं है।

मुख्य निष्कर्ष यह है कि ड्रग-इंड्यूस्ड ऑटोइम्युनिटी जैसी कठिन और दुर्लभ समस्याओं के लिए, सुरक्षा की कुंजी विविधता है। एक दवा को देखने के छह अलग-अलग तरीकों को जोड़कर, टीम ने एक ऐसी प्रणाली बनाई है जो न केवल थोड़ी स्मार्ट है, बल्कि नई, अज्ञात रसायनों का सामना करने पर बहुत अधिक विश्वसनीय भी है। उन्होंने दिखाया कि जबकि एक एकल "सुपर-मॉडल" वह सब याद करने में महान हो सकता है जो वह जानता है, विभिन्न मॉडलों की एक टीम वास्तविक दुनिया के आश्चर्यों को संभालने में बहुत बेहतर होती है। और शायद सबसे महत्वपूर्ण बात यह है कि उन्होंने साबित कर दिया कि जब एआई सुनिश्चित नहीं होता है तो "मुझे नहीं पता" कहना ठीक है, जिससे इंसानों को सुरक्षित रखने के लिए आगे आने का मौका मिलता है।