MentalBench: A DSM-Grounded Benchmark for Evaluating Psychiatric Diagnostic Capability of Large Language Models
यह शोधपत्र मेंन्टलबेंच (MentalBench) का परिचय देता है, जो बड़े भाषा मॉडलों (LLMs) की नैदानिक क्षमताओं का मूल्यांकन करने के लिए एक मनोचिकित्सक द्वारा सत्यापित ज्ञान ग्राफ का उपयोग करने वाला एक DSM-5-आधारित बेंचमार्क है, जो यह प्रकट करता है कि जहाँ मॉडल ज्ञान पुनर्प्राप्ति (knowledge retrieval) में उत्कृष्ट हैं, वहीं वे जटिल और संदिग्ध नैदानिक परिदृश्यों में आत्मविश्वास अंशांकन (confidence calibration) में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ MENTALBENCH पेपर का विवरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में विभाजित किया गया है।
मुख्य विचार: AI डॉक्टरों के लिए एक "ड्राइविंग लाइसेंस" टेस्ट
कल्पना कीजिए कि आप जानना चाहते हैं कि क्या एक सेल्फ-ड्राइविंग कार सड़क पर उतरने के लिए तैयार है। आप उससे सिर्फ यह नहीं पूछेंगे, "क्या तुम जानते हो कि स्टॉप साइन कैसा दिखता है?" बल्कि आप उसे एक जटिल ट्रैफिक जाम में, कोहरे, भ्रमित करने वाले संकेतों और अचानक सामने आते पैदल यात्रियों के बीच डालेंगे, यह देखने के लिए कि क्या वह वास्तव में सुरक्षित रूप से ड्राइव कर सकती है।
यह पेपर बिल्कुल यही काम उन 'लार्ज लैंग्वेज मॉडल्स' (LLMs) के लिए करता है जो मनोरोग सहायक (psychiatric assistants) के रूप में कार्य करने की कोशिश कर रहे हैं। लेखकों ने, जो शोधकर्ताओं और मनोचिकित्सकों की एक टीम है, एक नया टेस्ट बनाया जिसे MENTALBENCH कहा जाता है। उनका लक्ष्य यह देखना नहीं था कि क्या AI मानसिक बीमारियों की परिभाषाएं जानता है, बल्कि यह देखना था कि क्या वह वास्तविक, जटिल स्थितियों में उनका निदान (diagnose) कर सकता है।
समस्या: AI पाठ्यपुस्तकों में अच्छा है, वास्तविकता में बुरा
वर्तमान में, मानसिक स्वास्थ्य के लिए AI के अधिकांश परीक्षण एक छात्र को पाठ्यपुस्तक का अध्याय सुनाने के लिए कहने जैसे हैं।
- पुराना तरीका: AI को एक मरीज के लक्षणों का एक साफ, सटीक सारांश दिया जाता है (जैसे, "मरीज को उदासी, नींद की समस्या और कम ऊर्जा है जो 3 सप्ताह से चल रही है")। AI कहता है, "यह डिप्रेशन है।"
- वास्तविकता: असली मरीज पाठ्यपुस्तकों की भाषा नहीं बोलते। वे कह सकते हैं, "मैं बस खालीपन महसूस करता हूँ, मैं बिस्तर से उठ ही नहीं पाता, और मेरा बॉस मुझे पागल कर रहा है, लेकिन मुझे नहीं पता क्यों।" वे किसी प्रमुख लक्षण का उल्लेख करना भूल सकते हैं, या वे किसी लक्षण को इस तरह से वर्णित कर सकते हैं जो दो अलग-अलग बीमारियों जैसा लगे।
पेपर का तर्क है कि पिछले AI टेस्ट बहुत आसान थे क्योंकि उन्होंने AI को इस "अव्यवस्थित स्थिति" (messiness) या उन पेचीदा नियमों को संभालने के लिए मजबूर नहीं किया जिनका उपयोग डॉक्टर समान दिखने वाली बीमारियों के बीच अंतर करने के लिए करते हैं (जैसे बाइपोलर डिसऑर्डर और डिप्रेशन के बीच अंतर करना)।
समाधान: "मेंटल नॉलेज ग्राफ" (MENTALKG)
एक निष्पक्ष टेस्ट बनाने के लिए, शोधकर्ताओं को केवल यह अनुमान नहीं लगाना था कि उन्हें क्या सवाल पूछने चाहिए। उन्हें एक मास्टर ब्लूप्रिंट की आवश्यकता थी।
- उपमा (Analogy): कल्पना कीजिए कि DSM-5 (वह बड़ी मेडिकल किताब जिसका उपयोग डॉक्टर करते हैं) जटिल कानूनी भाषा में लिखे गए नियमों का एक विशाल, सघन पुस्तकालय है। कंप्यूटर के लिए इसे समझना कठिन है।
- नवाचार (Innovation): टीम ने विशेषज्ञों को उस पुस्तकालय को एक MENTALKG (नॉलेज ग्राफ) में बदलने के लिए नियुक्त किया। इसे एक विशाल, इंटरैक्टिव फ्लोचार्ट या "चूज़ योर ओन एडवेंचर" मैप की तरह समझें।
- यह 23 अलग-अलग मानसिक विकारों को जोड़ता है।
- यह मानचित्रित करता है कि कौन से लक्षण किस बीमारी से संबंधित हैं।
- सबसे महत्वपूर्ण बात यह है कि यह विभेदन के नियमों (rules for differentiation) को भी मानचित्रित करता है: "यदि मरीज में लक्षण X है, तो यह बीमारी A है। लेकिन यदि उनके पास लक्षण Y भी दो सप्ताह से अधिक समय तक रहता है, तो यह वास्तव में बीमारी B है।"
यह ग्राफ पूरे प्रयोग के लिए "सत्य" या "उत्तर कुंजी" के रूप में कार्य करता है।
टेस्ट: 24,750 परिदृश्य (Scenarios)
इस मानचित्र का उपयोग करते हुए, शोधकर्ताओं ने 24,750 सिंथेटिक पेशेंट केस तैयार किए। उन्होंने केवल रैंडम कहानियाँ नहीं बनाईं; उन्होंने ग्राफ का उपयोग यह सुनिश्चित करने के लिए किया कि हर कहानी चिकित्सकीय रूप से सटीक हो लेकिन कठिनाई के स्तर में भिन्न हो। उन्होंने चार प्रकार की चुनौतियाँ बनाईं:
- "परफेक्ट रिपोर्ट" (टाइप 1): एक साफ, पेशेवर मेडिकल सारांश। (AI के लिए आसान)।
- "भ्रमित मरीज" (टाइप 2): एक अव्यवस्थित, प्रथम-पुरुष (first-person) कहानी जहाँ मरीज विवरण भूल जाता है या बोलचाल की भाषा (slang) का उपयोग करता है। (AI के लिए कठिन)।
- "ग्रे एरिया" (टाइप 3): एक ऐसा मामला जहाँ लक्षण दो अलग-अलग बीमारियों के लिए समान रूप से फिट बैठते हैं क्योंकि एक महत्वपूर्ण सबूत गायब है। सही उत्तर है "यह दोनों में से कोई भी हो सकता है।"
- "टाई-ब्रेकर" (टाइप 4): एक ऐसा मामला जहाँ लक्षण दो बीमारियों से मेल खाते हैं, लेकिन एक छोटा सा विवरण (जैसे किसी लक्षण की अवधि) यह साबित करता है कि यह केवल एक विशिष्ट बीमारी है।
परिणाम: AI अति-आत्मविश्वासी और भ्रमित है
जब उन्होंने उपलब्ध सबसे स्मार्ट AI मॉडल्स (GPT-4o, Claude और ओपन-सोर्स मॉडल्स सहित) पर यह टेस्ट चलाया, तो परिणाम चौंकाने वाले थे:
- "टेक्स्टबुक" सफलता: जब AI को साफ, पेशेवर सारांश (टाइप 1) दिए गए, तो इसने शानदार प्रदर्शन किया। यह परिभाषाओं को जानता था।
- "रियल वर्ल्ड" क्रैश: जब AI को एक अव्यवस्थित, अपूर्ण पेशेंट स्टोरी (टाइप 2) पढ़नी पड़ी, तो इसके प्रदर्शन में भारी गिरावट आई। इसे मानवीय भाषा को चिकित्सा नियमों में अनुवाद करने में संघर्ष करना पड़ा।
- "डिफरेंशियल डायग्नोसिस" की विफलता: यह सबसे बड़ी समस्या थी। जब दो बीमारियाँ समान दिख रही थीं (टाइप 3 और 4):
- ओपन-सोर्स मॉडल्स अक्सर ओवर-डायग्नोस्टिक (अति-निदान करने वाले) होते थे। वे कहते थे, "यह A, B और C हो सकता है!" भले ही नियमों ने स्पष्ट रूप से B और C को खारिज कर दिया हो। वे "ना" नहीं कह सके।
- क्लोज्ड-सोर्स (प्रोपराइटरी) मॉडल्स अक्सर अंडर-डायग्नोस्टिक (कम-निदान करने वाले) होते थे। अस्पष्ट स्थितियों में, वे एक ही उत्तर थोपने की कोशिश करते थे, जैसे "यह निश्चित रूप से A है," भले ही सबूत इतने मजबूत न हों कि पक्का कहा जा सके। वे "मुझे नहीं पता" नहीं कह सके।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI ने मनोरोग विज्ञान की शब्दावली को याद कर लिया है, लेकिन उसने निदान के तर्क (logic) को नहीं सीखा है। इसे जटिलता और अनिश्चितता को संभालने में कठिनाई होती है, जो मानव मानसिक स्वास्थ्य की पहचान है।
महत्वपूर्ण रूप से, पेपर कहता है:
- यह बेंचमार्क वास्तविक नैदानिक निदान (clinical diagnosis) के लिए उपकरण नहीं है।
- डेटा सिंथेटिक (विशेषज्ञ नियमों के आधार पर AI द्वारा बनाया गया) है, वास्तविक पेशेंट रिकॉर्ड नहीं।
- निष्कर्ष बताते हैं कि वर्तमान AI एक वास्तविक डॉक्टर के कार्यालय में निर्णय-सहायता उपकरण (decision-support tool) के रूप में उपयोग किए जाने के लिए पर्याप्त विश्वसनीय नहीं है, खासकर जब मामला जटिल हो या मरीज की कहानी अधूरी हो।
संक्षेप में: AI खेल के नियमों को जानता है, लेकिन जब खिलाड़ी नियमों को तोड़ना शुरू करते हैं या पहेलियों में बात करते हैं, तो वह खेल हार जाता है। इससे पहले कि हम मानसिक स्वास्थ्य के लिए AI पर भरोसा करें, इसे एक डिक्शनरी की तरह नहीं, बल्कि एक डॉक्टर की तरह सोचना सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।