Ask Before You Diagnose: Safe-Psych, a Sequential Evaluation Benchmark for LLMs in Psychiatry
यह शोध पत्र Safe-Psych को प्रस्तुत करता है, जो 1,000 से अधिक वास्तविक मनोरोग संबंधी नोट्स का उपयोग करने वाला एक अनुक्रमिक बेंचमार्क है, जो यह प्रकट करता है कि अत्याधुनिक लार्ज लैंग्वेज मॉडल्स भी अपूर्ण नैदानिक जानकारी को पहचानने में संघर्ष करते हैं, और सुरक्षा-जागरूक प्रॉम्प्टिंग के बावजूद अक्सर समयपूर्व निदान करते हैं या स्पष्टीकरण मांगने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, सुपर-स्मार्ट कंप्यूटर प्रोग्राम होते हैं जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है। इन्हें ऐसे समझें जैसे वे अविश्वसनीय रूप से पढ़े-लिखे जासूस हैं जिन्होंने अब तक लिखी गई लगभग हर किताब, लेख और नोट पढ़ डाले हैं। जब उनके सामने सारे तथ्य सही ढंग से मौजूद हों, तो वे सवाल पूछने में माहिर होते हैं। लेकिन वास्तविक दुनिया में, विशेष रूप से अस्पतालों जैसी जगहों पर, जासूसों को शायद ही कभी पूरी कहानी एक साथ मिलती है। उन्हें यहाँ एक सुराग मिलता है, वहाँ एक गवाह का बयान मिलता है, और शायद एक ऐसा सबूत मिलता है जो अभी पूरी तरह फिट नहीं बैठता।
बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या ये AI जासूस यह जान सकते हैं कि उनके पास केस सुलझाने के लिए पर्याप्त सुराग नहीं हैं? एक वास्तव में बुद्धिमान जासूस को केवल इसलिए अपराधी का अनुमान नहीं लगाना चाहिए क्योंकि वह आश्वस्त है; उसे कहना चाहिए, "रुको, मुझे एक और सवाल पूछना चाहिए," या "मैं इसे अभी हल नहीं कर सकता।" इसे "कैलिब्रेशन" (calibration) कहा जाता है—यह जानना कि आप क्या जानते हैं और, इससे भी महत्वपूर्ण यह कि आप क्या नहीं जानते हैं। यदि कोई AI बहुत जल्दी चिकित्सा निदान (diagnosis) का अनुमान लगा लेता है, तो इससे गंभीर गलतियाँ हो सकती हैं। लेकिन यदि वह तब भी उत्तर देने से मना कर देता है जब वह इसे हल कर सकता था, तो वह बेकार हो जाता है। AI को सुरक्षित बनाने के लिए सही संतुलन ढूँढना एक अत्यंत महत्वपूर्ण लक्ष्य है।
यहाँ Safe-Psych आता है, एक नया प्रयोग जिसे ठीक इसी कौशल का परीक्षण करने के लिए डिज़ाइन किया गया है, जो मनोरोग विज्ञान (psychiatry) की जटिल दुनिया में काम करता है। शोधकर्ताओं ने एक विशेष खेल बनाया जहाँ उन्होंने AI को एक बार में पूरा पेशेंट फाइल नहीं दिया। इसके बजाय, उन्होंने एक वास्तविक डॉक्टर की तरह व्यवहार किया, रोगी की कहानी को टुकड़ों में प्रकट किया: पहले केवल लक्षण, फिर इतिहास, फिर जांच के परिणाम, इत्यादि। प्रत्येक चरण में, AI को निर्णय लेना था: "क्या मेरे पास निदान करने के लिए पर्याप्त जानकारी है?" "क्या मुझे और जानकारी मांगनी चाहिए?" या "क्या मुझे यह स्वीकार करना चाहिए कि मैं अटक गया हूँ?"
परिणाम थोड़े चौंकाने वाले थे। पेपर में पाया गया कि यहाँ तक कि सबसे उन्नत AI मॉडल, जो तकनीकी दुनिया के "सुपर-डिटेक्टिव" हैं, यह जानने में बहुत खराब हैं कि कब रुकना है और मदद मांगनी है। जब जानकारी अधूरी थी, तब भी इन मॉडल्स ने अनुमान लगाना जारी रखा। वास्तव में, परीक्षण किए गए अधिकांश मॉडल्स के लिए, उन्होंने उन मामलों का निदान करने की कोशिश की जहाँ उनके पास पर्याप्त सबूत नहीं थे, और ऐसा उन्होंने 60% से अधिक समय तक किया। यह एक जासूस की तरह है जो केवल सामने का दरवाजा खुलने के बाद ही चिल्ला उठता है, "यह बटलर था!" बिना कभी लिविंग रूम की जाँच किए।
शोधकर्ताओं ने AI को अधिक सावधान रहने के लिए सिखाने की भी कोशिश की, उसे एक विशेष निर्देश दिया: "केवल तभी अनुमान लगाएं जब आप सुनिश्चित हों, अन्यथा कहें 'मुझे नहीं पता'।" इससे थोड़ी मदद मिली, लेकिन इसने एक नई समस्या पैदा कर दी। AI पूरी तरह से दूसरी दिशा में झुक गया। अनुमान बहुत अधिक लगाने के बजाय, उसने अनुमान लगाने से मना करना शुरू कर दिया, भले ही वह सही हो सकता था। यह ऐसा है जैसे एक जासूस, गलती करने के डर से, तय करता है कि वह कभी भी कोई केस हल नहीं करेगा। अध्ययन बताता है कि केवल AI को "सुरक्षित रहने" के लिए कहना वास्तव में उसे यह नहीं सिखाता कि जानकारी कब गायब है; यह केवल त्रुटियों को "गलत अनुमान लगाने" से बदलकर "अनुमान लगाने से इनकार करने" में बदल देता है।
शायद सबसे दिलचस्प निष्कर्ष समय (timing) के बारे में था। जब AI ने कॉल करने से पहले सभी सुराग देखने तक इंतजार किया, तो उसके उत्तर बहुत बेहतर थे। लेकिन जब उसने केवल पहले कुछ वाक्यों को देखकर ही निदान करने की जल्दबाजी की, तो उसकी सटीकता काफी गिर गई। पेपर दिखाता है कि क्षमता (capability) का अर्थ सुरक्षा (safety) नहीं है: सिर्फ इसलिए कि एक मॉडल पूरी कहानी होने पर सही उत्तर पाने के लिए पर्याप्त स्मार्ट है, इसका मतलब यह नहीं है कि वह जानता है कि उसके पास पूरी कहानी कब है।
संक्षेप में, Safe-Psych प्रकट करता है कि हमारे वर्तमान AI जासूस अभी भी रहस्य सुलझाने के लिए बहुत अधिक उत्सुक हैं। उन्हें सबसे कठिन सबक सीखने की आवश्यकता है: कभी-कभी, एक जासूस के लिए सबसे महत्वपूर्ण काम यह स्वीकार करना होता है कि उंगली उठाने से पहले उन्हें और अधिक सुरागों की आवश्यकता है। जब तक वे यह नहीं सीख जाते, हम पूरी तरह से उन पर भरोसा नहीं कर सकते कि वे डॉक्टरों को जीवन-मृत्यु के निर्णय लेने में मदद करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।