Assessing the Reliability of LLM-Generated Phenotype-Genotype Associations Through External Validation

आधुनिक चिकित्सा की दुनिया में, एक मरीज के स्वास्थ्य की कहानी अक्सर दो अलग-अलग भाषाओं में लिखी जाती है। एक भाषा वह है जो डॉक्टर देखते हैं: जैसे कि तेज़ बुखार, हृदय की एक विशिष्ट लय, या किसी हड्डी का एक विशेष आकार। वैज्ञानिक इन दृश्य लक्षणों को 'फेनोटाइप' (phenotypes) कहते हैं। दूसरी भाषा शरीर की कोशिकाओं के भीतर छिपी होती है, जो डीएनए के कोड में लिखी होती है। यह कोड जीन और जेनेटिक स्क्रिप्ट में सूक्ष्म विविधताओं को समाहित करता है, जो यह समझा सकते हैं कि किसी व्यक्ति में एक विशेष लक्षण क्यों है या क्यों उसमें कोई विशिष्ट बीमारी विकसित हो सकती है। इन दो भाषाओं को जोड़ना—एक दृश्य लक्षण को उसके अदृश्य आनुवंशिक कारण से मिलाना—प्रिसिजन मेडिसिन (precision medicine) की नींव है। यह डॉक्टरों को दुर्लभ स्थितियों का निदान करने, जोखिमों का पूर्वानुमान लगाने और किसी व्यक्ति की अद्वितीय जीव विज्ञान के अनुकूल उपचार चुनने में सक्षम बनाता है। हालांकि, लक्षणों और जीनों के बीच ज्ञात संबंधों का पुस्तकालय इतनी तेज़ी से बढ़ रहा है कि मानव विशेषज्ञ हर नए वैज्ञानिक शोध पत्र को पढ़कर अपने रिकॉर्ड को अपडेट नहीं कर सकते। प्रकाशित जानकारी और आधिकारिक तौर पर दर्ज जानकारी के बीच का अंतर बढ़ता जा रहा है, जिससे डॉक्टर बिना नवीनतम उत्तरों के रह जाते हैं।

इस अंतर को पाटने के लिए, शोधकर्ता कृत्रिम बुद्धिमत्ता (artificial intelligence) की ओर मुड़ रहे हैं, विशेष रूप से एक प्रकार के कंप्यूटर प्रोग्राम की जिसे 'लार्ज लैंग्वेज मॉडल' (large language model) कहा जाता है। इन कार्यक्रमों ने विशाल मात्रा में टेक्स्ट पढ़ा है और वे ऐसे नए वाक्य बना सकते हैं जो मानवीय लेखन की तरह दिखते और सुनाई देते हैं। विचार यह है कि यदि इन कार्यक्रमों ने पर्याप्त चिकित्सा साहित्य पढ़ लिया है, तो वे तुरंत सुझाव दे सकते हैं कि कौन से जीन या आनुवंशिक विविधताएं मरीज के लक्षणों से जुड़ी हैं, जिससे वे एक सुपर-फास्ट रिसर्च असिस्टेंट के रूप में कार्य कर सकें। लेकिन एक गंभीर चिंता है: ये प्रोग्राम कभी-कभी तथ्य गढ़ने के लिए जाने जाते हैं। वे एक ऐसा जीन नाम बना सकते हैं जो सुनने में वास्तविक लगे लेकिन वास्तव में अस्तित्व में ही न हो, या एक वास्तविक जीन को ऐसी बीमारी से जोड़ सकते हैं जिसका उससे कोई संबंध नहीं है। यदि कोई डॉक्टर ऐसी गलती पर भरोसा करता है, तो यह गलत निदान का कारण बन सकता है। महत्वपूर्ण प्रश्न यह है कि क्या ये कृत्रिम बुद्धिमत्ता उपकरण वास्तव में लक्षणों और जीनों के बीच वास्तविक, सत्यापित संबंध खोज सकते हैं, या वे केवल अनुमान लगा रहे हैं।

वैंडरबिल्ट यूनिवर्सिटी के शोधकर्ताओं के एक दल ने इस प्रश्न का परीक्षण करने के लिए एक कठोर प्रयोग किया। उन्होंने कंप्यूटर को केवल अनुमान लगाने के लिए नहीं कहा; बल्कि उन्होंने एक ऐसा सिस्टम बनाया जो दुनिया के सबसे विश्वसनीय डेटाबेस के विरुद्ध प्रत्येक उत्तर की जांच कर सके। उन्होंने चार सबसे उन्नत उपलब्ध भाषा मॉडलों को चुना और उन्हें छह अलग-अलग प्रकार के कार्य करने के लिए कहा। कुछ कार्यों में, कंप्यूटर को लक्षणों की एक सूची दी गई और उनसे उन जीनों या आनुवंशिक विविधताओं का नाम बताने को कहा गया जो उन्हें उत्पन्न करते हैं। अन्य कार्यों में, कंप्यूटर को एक जीन या एक आनुवंशिक विविधता दी गई और उससे होने वाले लक्षणों का वर्णन करने को कहा गया। उन्होंने इन मॉडलों का परीक्षण सामान्य स्थितियों, जैसे उच्च रक्तचाप या मधुमेह, और बहुत ही दुर्लभ बीमारियों पर किया जो केवल कुछ ही लोगों को प्रभावित करती हैं। इसके बाद शोधकर्ताओं ने मॉडलों द्वारा उत्पन्न प्रत्येक जुड़ाव को एक वेरिफिकेशन पाइपलाइन (verification pipeline) के माध्यम से चलाया। उन्होंने जांचा कि क्या जीन के नाम वास्तविक थे, क्या आनुवंशिक विविधताएं मानक रिकॉर्ड में मौजूद थीं, और सबसे महत्वपूर्ण बात यह कि क्या लक्षण और जीन के बीच का लिंक प्रमुख वैज्ञानिक कैटलॉग में साक्ष्य द्वारा समर्थित था।

परिणामों ने एक जटिल तस्वीर पेश की कि ये उपकरण क्या कर सकते हैं और क्या नहीं। कुल मिलाकर, कृत्रिम बुद्धिमत्ता मॉडल वास्तविक नाम उत्पन्न करने में आश्चर्यजनक रूप से अच्छे थे। लगभग सभी सुझाए गए जीन और आनुवंशिक विविधताएं वास्तव में जैविक दुनिया में मौजूद थीं; कंप्यूटर ने शायद ही कभी फर्जी नाम बनाए। हालांकि, असली परीक्षा यह थी कि लक्षण और जीन के बीच का संबंध सत्य है या नहीं। जब शोधकर्ताओं ने साक्ष्य की जांच की, तो उन्होंने पाया कि मॉडलों द्वारा उत्पन्न लगभग 74 प्रतिशत जुड़ाव कम से कम एक स्थापित वैज्ञानिक डेटाबेस से मेल खा सकते थे। इसका अर्थ है कि प्रत्येक चार सुझावों में से लगभग तीन के लिए, साहित्य में उसका समर्थन करने वाला कुछ प्रमाण मौजूद था। उनमें से, लगभग 9 प्रतिशत को बहुत मजबूत समर्थन प्राप्त था, जबकि लगभग 54 प्रतिशत को मध्यम समर्थन प्राप्त था। यह सुझाव देता है कि ये उपकरण वास्तव में डॉक्टरों और वैज्ञानिकों के लिए जांच हेतु संभावित विचारों के शक्तिशाली जनरेटर के रूप में कार्य कर सकते हैं।

फिर भी, प्रदर्शन सभी प्रकार के प्रश्नों के लिए एक समान नहीं था। जब मॉडलों से जीनों के बारे में पूछा गया, तो उन्होंने विशिष्ट आनुवंशिक विविधताओं (जिन्हें सिंगल न्यूक्लियोटाइड पॉलीमॉर्फिज्म या SNPs कहा जाता है) के बारे में पूछे जाने की तुलना में बहुत बेहतर प्रदर्शन किया। जब कार्य एक लक्षण को जीन से जोड़ने का था, तो मॉडल अपने लगभग दो-तिहाई उत्तरों के लिए मजबूत या मध्यम साक्ष्य खोजने में सक्षम थे। लेकिन जब कार्य एक लक्षण को एक विशिष्ट आनुवंशिक विविधता से जोड़ने में बदला, तो सफलता दर काफी गिर गई। मॉडल दुर्लभ बीमारियों के मामले में सबसे अधिक संघर्ष करते दिखे। जहाँ वे हृदय रोग या मधुमेह जैसी सामान्य स्थितियों के लिए संबंध खोज सकते थे, वहीं वे अत्यंत दुर्लभ विकारों के लिए सत्यापित लिंक खोजने में अक्सर विफल रहे। यह न केवल कृत्रिम बुद्धिमत्ता में, बल्कि डेटाबेस में भी एक सीमा को उजागर करता है। दुर्लभ बीमारियों के लिए वैज्ञानिक रिकॉर्ड अक्सर अधूरे या बिखरे हुए होते हैं, जिससे कंप्यूटर के लिए मिलान खोजना कठिन हो जाता है, भले ही वह मौजूद हो।

अध्ययन ने यह देखने के लिए चार अलग-अलग मॉडलों की तुलना भी की कि क्या कोई मॉडल स्पष्ट रूप से श्रेष्ठ है। एक मॉडल, 'क्लोड सोनेट' (Claude Sonnet), समग्र रूप रूप से सर्वश्रेष्ठ प्रदर्शन करने वाला रहा, जिसने लगभग 69 प्रतिशत समय साक्ष्य द्वारा समर्थित जुड़ाव सफलतापूर्वक उत्पन्न किए। दूसरा मॉडल, 'जीपीटी-5.5' (GPT-5.5), लगभग 65 प्रतिशत के साथ दूसरे स्थान पर रहा। अन्य दो मॉडल पीछे रहे, जिनकी सफलता दर लगभग 61 प्रतिशत और 57 प्रतिशत थी। दिलचस्प बात यह है कि जीन कनेक्शन खोजने में जो मॉडल सबसे अच्छे थे, वे हमेशा आनुवंशिक विविधता कनेक्शन खोजने में सबसे अच्छे नहीं थे। यह सुझाव देता है कि प्रत्येक मॉडल ने उस विशाल टेक्स्ट से अलग-अलग पैटर्न सीखे हैं जिस पर उसे प्रशिक्षित किया गया था। शोधकर्ताओं ने यह भी देखा कि विभिन्न मॉडलों के बीच कितनी बार सहमति थी। उन्होंने पाया कि मॉडल, एक ही प्रश्न दिए जाने पर भी, अपने उत्तरों की बिल्कुल सटीक सूची शायद ही कभी प्रदान करते थे। कभी-कभी वे प्रसिद्ध तथ्यों पर सहमत होते थे, लेकिन कई अन्य प्रश्नों के लिए, उन्होंने पूरी तरह से अलग सुझाव दिए। सहमति की यह कमी बताती है कि केवल एक मॉडल पर भरोसा करना जोखिम भरा है; यदि एक मॉडल किसी लिंक का सुझाव देता है, तो यह गारंटी नहीं है कि वह सही है, और यदि दो मॉडल असहमत हैं, तो इसका मतलब यह नहीं है कि दोनों गलत हैं।

शायद सबसे महत्वपूर्ण निष्कर्ष उन त्रुटियों की प्रकृति थी जो मॉडलों ने की थीं। जब शोधकर्ताओं ने उन सुझावों की मैन्युअल समीक्षा की जिन्हें किसी भी डेटाबेस में नहीं पाया जा सका, तो उन्होंने पाया कि अधिकांश मामले केवल रैंडम अनुमान नहीं थे। विफल मैचों में से लगभग 60 प्रतिशत ऐसे मामले थे जहाँ मॉडल ने एक वास्तविक जीन या विविधता को गलत बीमारी से जोड़ दिया था। अन्य विफलताएं अक्सर इस तथ्य के कारण थीं कि वैज्ञानिक डेटाबेस में अभी तक वह जानकारी उपलब्ध नहीं थी। यह अंतर महत्वपूर्ण है। इसका अर्थ है कि जबकि मॉडल आमतौर पर फर्जी नाम नहीं बना रहे हैं, वे अक्सर गलत कनेक्शनों के बारे में पूरी तरह आश्वस्त होते हैं। यह नैदानिक उपयोग के लिए एक विशिष्ट खतरा पैदा करता है: एक डॉक्टर केवल आउटपुट को देखकर एक सही, सत्यापित लिंक और एक आत्मविश्वासपूर्ण भ्रम (hallucination) के बीच अंतर नहीं कर सकता है।

शोधकर्ताओं ने निष्कर्ष निकाला कि ये कृत्रिम बुद्धिमत्ता उपकरण उपयोगी हैं, लेकिन उन्हें सावधानी के साथ उपयोग किया जाना चाहिए। वे संभावनाओं की एक लंबी सूची उत्पन्न करने में उत्कृष्ट हैं, जो मानव विशेषज्ञों के लिए एक शुरुआती बिंदु के रूप में कार्य करती है। हालांकि, वे अंतिम उत्तर प्रदान करने के लिए भरोसेमंद नहीं हैं। उनके द्वारा किए गए प्रत्येक सुझाव को चिकित्सा सेटिंग में उपयोग करने से पहले स्थापित रिकॉर्ड के विरुद्ध जांचा जाना आवश्यक है। अध्ययन ने दिखाया कि आउटपुट की विश्वसनीयता पूछे गए प्रश्न के प्रकार पर बहुत अधिक निर्भर करती है। सामान्य बीमारियों और जीन-स्तरीय प्रश्नों के लिए, ये उपकरण काफी विश्वसनीय हैं। दुर्लभ बीमारियों और विशिष्ट आनुवंशिक विविधताओं के लिए, वे बहुत कम निश्चित हैं, जो हमारे सामूहिक वैज्ञानिक ज्ञान के वर्तमान अंतराल को दर्शाता है। आगे का मार्ग इन मॉडलों का उपयोग खोज प्रक्रिया को तेज करने के लिए करने में निहित है, लेकिन हमेशा उनके आउटपुट को एक सख्त सत्यापन चरण के साथ जोड़कर। इस प्रकार, कृत्रिम बुद्धिमत्ता की गति को मानव-क्यूरेटेड विज्ञान की सटीकता के साथ जोड़ा जा सकता है, जिससे यह सुनिश्चित होता है कि मरीज के लक्षणों और उनके जीनों के बीच बनाए गए संबंध तेज़ और सत्य दोनों हों।