Frequency-Stratified Benchmarking Reveals Strong Long-Tail Limitations of Large Language Models in Diagnosis of Monogenic Diseases
यह शोधपत्र मेंन्डेलियनबेंच-5के (MendelianBench-5K) को प्रस्तुत करता है, जो 5,000 मामलों का एक आवृत्ति-स्तरीकृत (frequency-stratified) बेंचमार्क है, यह प्रदर्शित करने के लिए कि बड़े भाषा मॉडल (large language models) मोनोजेनिक रोगों के निदान में महत्वपूर्ण प्रदर्शन पूर्वाग्रह प्रदर्शित करते हैं, जिसमें वे अच्छी तरह से अध्ययन किए गए जीनों के लिए उच्च सटीकता प्राप्त करते हैं जबकि दुर्लभ, हाल ही में अभिलक्षित (recently characterized) जीनों के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि दुर्लभ आनुवंशिक रोगों (rare genetic diseases) की दुनिया एक विशाल पुस्तकालय है। इस पुस्तकालय में, कुछ प्रसिद्ध पुस्तकें (सामान्य रोग) सामने के डेस्क पर रखी हैं, जिन्हें हर कोई पढ़ता है और जिनके बारे में लगातार चर्चा होती है। लेकिन अधिकांश पुस्तकें पीछे के धूल भरे, कठिन पहुँच वाले कोनों में छिपी हुई हैं। ये "लॉन्ग-टेल" (long-tail) दुर्लभ रोग हैं—जो नए खोजे गए हैं, शायद ही कभी रिपोर्ट किए जाते हैं, और जिन्हें बहुत कम लोग जानते हैं।
यह शोध पत्र एक नए प्रकार के सुपर-स्मार्ट लाइब्रेरियन (पुस्तकालयाध्यक्ष) की रिपोर्ट कार्ड की तरह है: लार्ज लैंग्वेज मॉडल (LLM)। ये वे AI सिस्टम हैं जिन्हें सवालों के जवाब देने के लिए भारी मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है। शोधकर्ताओं ने यह देखना चाहा कि क्या ये AI लाइब्रेरियन डॉक्टरों को मरीजों के लक्षणों को देखकर और सही आनुवंशिक "पुस्तक" (जीन) का अनुमान लगाकर निदान करने में मदद कर सकते हैं।
यहाँ उन्होंने क्या पाया, सरल उपमाओं का उपयोग करते हुए:
1. परीक्षण: एक संतुलित पुस्तकालय दौरा
शोधकर्ताओं ने MendelianBench-5K नामक एक विशेष परीक्षण बनाया। केवल सामने के डेस्क वाली प्रसिद्ध पुस्तकों पर AI का परीक्षण करने के बजाय, उन्होंने एक निष्पक्ष परीक्षण बनाया जिसमें 5,000 रोगी मामले शामिल थे। उन्होंने यह सुनिश्चित किया कि वे "प्रसिद्ध" खंड (सामान्य जीन) और "धूल भरे कोने" वाले खंड (दुर्लभ, नए जीन) से समान संख्या में मामले चुनें।
2. परिणाम: AI एक "प्रसिद्ध पुस्तक" का दीवाना है
जब AI ने इन रोगियों का निदान करने की कोशिश की, तो वह प्रसिद्ध पुस्तकों पर तो ठीक था, लेकिन दुर्लभ पुस्तकों के मामले में बुरी तरह संघर्ष कर गया।
- प्रसिद्ध पुस्तकें: जब कोई बीमारी अच्छी तरह से जानी जाती थी और चिकित्सा साहित्य में बहुत चर्चा में होती थी, तो AI सही जीन का अनुमान लगाने में काफी सक्षम था।
- धूल भरे कोने: जब कोई बीमारी दुर्लभ या हाल ही में खोजी गई थी, तो AI का प्रदर्शन तेजी से गिर गया।
उपमा: कल्पना कीजिए कि एक छात्र इतिहास की परीक्षा दे रहा है। यदि परीक्षा में द्वितीय विश्व युद्ध (एक प्रसिद्ध विषय) के बारे में पूछा जाता है, तो छात्र को 'A' ग्रेड मिलता है। लेकिन यदि परीक्षा में पिछले सप्ताह के एक छोटे, अज्ञात गाँव के विद्रोह के बारे में पूछा जाता है जिसका उल्लेख केवल एक समाचार पत्र में हुआ था, तो वह बुरी तरह विफल हो जाता है। AI "सोच" नहीं रहा है जैसा कि एक डॉक्टर सोचता है; वह बस वही याद कर रहा है जो उसने सबसे अधिक पढ़ा है।
3. "स्टार" पूर्वाग्रह: लोकप्रिय नामों का अनुमान लगाना
शोधकर्ताओं ने AI की गलतियों में एक दिलचस्प पैटर्न देखा। जब AI को उत्तर नहीं पता होता था, तो वह रैंडम अंदाजे नहीं लगाता था। इसके बजाय, वह बार-बार उन्हीं कुछ "प्रसिद्ध" जीनों का अनुमान लगाता रहता था, भले ही वे गलत हों।
- रूपक: यह एक जासूस की तरह है जो, जब वे किसी विशिष्ट अपराध को सुलझाने में असमर्थ होते हैं, तो वे सबूतों की परवाह किए बिना शहर के सबसे प्रसिद्ध अपराधी (जैसे शरलॉक होम्स का मोरियार्टी) पर हर बार आरोप लगाते हैं। AI बार-बार उन्हीं प्रसिद्ध जीनों (जैसे MECP2 या FMR1) की ओर इशारा करता रहा क्योंकि उसके प्रशिक्षण डेटा में वे नाम सबसे अधिक बार आए थे।
4. "नई पुस्तक" की समस्या
AI हाल ही में प्रकाशित मामलों के साथ भी संघर्ष करता है।
- उपमा: यदि कल एक नई पुस्तक प्रकाशित हुई है, तो AI लाइब्रेरियन के पास उसे पढ़ने का समय नहीं होगा। अध्ययन में पाया गया कि AI उन बीमारियों के निदान में बहुत बेहतर था जिनका विवरण पुराने रिपोर्टों (2004 या उससे पहले के) में दिया गया था, तुलनात्मक रूप से उन रिपोर्टों के जो पिछले कुछ वर्षों की हैं। AI का ज्ञान अतीत में फंसा हुआ है।
5. बहुत अधिक जानकारी?
शोधकर्ताओं ने यह भी परीक्षण किया कि AI को कितनी जानकारी की आवश्यकता होती है।
- सही संतुलन (Sweet Spot): AI को थोड़े से लक्षण की जानकारी देने से उसे बेहतर अनुमान लगाने में मदद मिली।
- ओवरलोड: हालाँकि, AI को बहुत अधिक लक्षण (एक लंबी, अव्यवस्थित सूची) देने से कोई मदद नहीं मिली। वास्तव में, इसने AI को और खराब कर दिया। यह एक पहेली सुलझाने की कोशिश करने जैसा है जबकि कोई एक साथ आप पर 50 अलग-अलग सुराग चिल्ला रहा हो; AI भ्रमित हो जाता है और उसका प्रदर्शन गिर जाता है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि वर्तमान AI को अकेले दुर्लभ आनुवंशिक रोगों का निदान करने के लिए भरोसेमंद नहीं माना जा सकता है।
- यह लोकप्रिय और अच्छी तरह से प्रलेखित चीजों की ओर पक्षपाती है।
- यह तब विफल हो जाता है जब बीमारी दुर्लभ, नई या कम अध्ययन की गई होती है।
- जब वह अनिश्चित होता है, तो वह सबसे प्रसिद्ध जीनों का अनुमान लगाकर "भ्रमित" (hallucinate) होने लगता है।
लेखकों का कहना है कि यह परीक्षण करने के लिए कि क्या ये AI उपकरण डॉक्टरों के उपयोग के लिए सुरक्षित हैं, हमें केवल सामान्य बीमारियों पर उनका परीक्षण करना बंद करना होगा। हमें उन्हें दुर्लभ बीमारियों के "लॉन्ग टेल" पर भी परखना होगा, जैसा कि उन्होंने इस अध्ययन में किया है। तब तक, ये AI उपकरण उस छात्र की तरह हैं जिसने सबसे लोकप्रिय पाठ्यपुस्तकों को रट लिया है लेकिन अज्ञात स्थितियों को संभालना नहीं सीखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।