AnchorSIPS: A Synthetic Dataset and Evaluation Resource for Evidence-Supported Psychosis-Risk Symptom Measurement
यह शोधपत्र AnchorSIPS को प्रस्तुत करता है, जो 10,000 संरचित साइकोसिस-जोखिम साक्षात्कारों का एक सिंथेटिक डेटासेट है जिसमें ट्रांसक्रिप्ट-आधारित मापन लक्ष्य दिए गए हैं, जिसे डेटा-पहुंच की बाधाओं को दूर करने और साक्ष्य-समर्थित लक्षण मूल्यांकन एवं निदान करने की एआई (AI) मॉडलों की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जासूसी की दुविधा: क्यों एआई को केवल एक अनुमान नहीं, बल्कि एक सुराग की आवश्यकता है
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन अपराध स्थल के बजाय, आप किसी के मन को देख रहे हैं। मानसिक स्वास्थ्य की दुनिया में, एक विशिष्ट प्रकार का रहस्य है जिसे "साइकोसिस-रिस्क" (मनोविकृति-जोखिम) कहा जाता है। यह तब होता है जब कोई व्यक्ति ऐसे विचार रखने लगता है या ऐसी चीजें देखने लगता है जो उन्हें बहुत वास्तविक लगती हैं, लेकिन वे बाकी दुनिया की साझा वास्तविकता से मेल नहीं खातीं—जैसे कि वहां किसी के न होने पर भी फुसफुसाहट सुनना या टीवी से गुप्त संदेशों में विश्वास करना। डॉक्टर यह पता लगाने के लिए विशेष साक्षात्कार (इंटरव्यू) का उपयोग करते हैं कि ये अनुभव केवल शुरुआती चेतावनी संकेत हैं या कुछ अधिक गंभीर।
समस्या यह है कि ये साक्षात्कार "टॉप-सीक्रेट" फाइलों की तरह होते हैं। क्योंकि इनमें बेहद व्यक्तिगत और निजी कहानियाँ होती हैं, इसलिए डॉक्टर और शोधकर्ता इन्हें सीखने के लिए कंप्यूटर के साथ साझा नहीं कर सकते। यह एक जासूस को वास्तविक केस फाइल देखे बिना अपराध सुलझाना सिखाने की कोशिश करने जैसा है। इससे बचने के लिए, वैज्ञानिकों ने "सिंथेटिक" डेटा बनाना शुरू कर दिया है—नकली लेकिन वास्तविक दिखने वाली कहानियाँ जो वास्तविक साक्षात्कारों की तरह लगती हैं और महसूस होती हैं, लेकिन वे किसी वास्तविक व्यक्ति की नहीं होतीं। हालाँकि, इनमें से अधिकांश नकली कहानियाँ केवल सारांश या साधारण बातचीत हैं। वे कंप्यूटर को यह नहीं सिखाते कि एक जासूस की तरह कैसे सोचना है; वे बस उसे अंतिम उत्तर का अनुमान लगाने के लिए कहते हैं। यह शोध पत्र AnchorSIPS नामक एक नया टूल पेश करता है, जिसे एआई को केवल उत्तर ही नहीं, बल्कि यह भी सिखाने के लिए डिज़ाइन किया गया है कि उस उत्तर का स्रोत कहानी में कहाँ है।
नया जासूसी प्रशिक्षण मैनुअल: AnchorSIPS
AnchorSIPS से मिलिए। इसे एआई जासूसों के लिए एक विशाल, 10,000 पन्नों के प्रशिक्षण मैनुअल के रूप में समझें, लेकिन वास्तविक अपराधों के बजाय, इसमें उन लोगों के बारे में सावधानीपूर्वक तैयार किए गए नकली साक्षात्कार हैं जो साइकोसिस विकसित कर रहे हो सकते हैं। लक्ष्य केवल यह देखना नहीं है कि क्या एआई अंतिम निदान (जैसे, "हाँ, उनमें जोखिम है" या "नहीं, उनमें नहीं है") का अनुमान लगा सकता है। असली लक्ष्य यह देखना है कि क्या एआई उस सटीक वाक्य की ओर अपनी उंगली उठा सकता है जो उसके अनुमान को सिद्ध करता है।
वास्तविक दुनिया में, जब एक डॉक्टर किसी का साक्षात्कार लेता है, तो वह सीधे निष्कर्ष पर नहीं कूदता। वह 24 विशिष्ट प्रश्नों की एक श्रृंखला पूछता है। यदि व्यक्ति किसी प्रश्न का उत्तर "हाँ" में देता है, तो डॉक्टर अनुवर्ती प्रश्न पूछता है: "यह कितनी बार होता है?" "क्या यह आपको परेशान करता है?" "क्या यह आपकी पढ़ाई में बाधा डालता है?" अंत में, डॉक्टर उन उत्तरों के आधार पर निष्कर्ष तक पहुँचने के लिए निर्णयों की एक श्रृंखला बनाता है। इस शोध पत्र ने एक ऐसा डेटासेट बनाया है जहाँ उन सभी चरणों को मैप किया गया है। यह एक पटकथा (स्क्रिप्ट) होने जैसा है जहाँ रोगी के जीवन का "छिपा हुआ सत्य" पहले लिखा जाता है, और फिर उस सत्य के इर्द-गिर्द बातचीत बनाई जाती है, जिससे यह सुनिश्चित होता है कि सुराग हमेशा मौजूद रहें, भले ही रोगी अस्पष्ट या शर्मीला हो।
शोधकर्ताओं ने इस डेटासेट को एक चतुर "प्लान-देन-रियलाइज" (योजना बनाएँ-फिर साकार करें) पद्धति का उपयोग करके बनाया है। कल्पना कीजिए कि एक नाटककार पहले कथानक की एक सख्त रूपरेखा (प्लान) लिखता है, यह तय करता है कि पात्र क्या स्वीकार करेगा और क्या छिपाएगा। फिर, एक प्रतिभाशाली अभिनेता (एआई) को उस रूपरेखा के आधार पर संवाद बोलने (इम्प्रोवाइज करने) के लिए काम पर रखा जाता है। अभिनेता यह चुन सकता है कि वह पंक्तियाँ कैसे बोलेगा—शायद वह हकलाए, शायद वह डरा हुआ लगे, शायद वह सच छिपाने की कोशिश करे—लेकिन वह कथानक को नहीं बदल सकता। यह सुनिश्चित करता है कि "सुराग" (मेडिकल लेबल) हमेशा सही हों और उन विशिष्ट शब्दों से जुड़े हों जो रोगी ने कहे थे, जिससे एआई द्वारा तथ्य गढ़ने या भ्रमित होने की संभावना खत्म हो जाती है।
बड़ी हैरानी: एआई अनुमान लगाने में अच्छा है, लेकिन प्रमाण देने में बुरा
शोधकर्ताओं ने इस नए डेटासेट पर सात अलग-अलग सुपर-स्मार्ट एआई मॉडल्स का परीक्षण किया ताकि यह देखा जा सके कि वे एक डॉक्टर की तरह कितनी अच्छी तरह काम कर सकते हैं। उन्होंने एआई से दो काम करने के लिए कहा: अंतिम निदान का अनुमान लगाना और, अधिक महत्वपूर्ण रूप से, उस बातचीत के सटीक हिस्सों का उल्लेख करना जिन्होंने उनके अनुमान का समर्थन किया।
यहाँ मोड़ आता है: एआई आसान कामों में आश्चर्यजनक रूप से अच्छे थे। वे उच्च सटीकता के साथ अंतिम निदान का अनुमान लगा सकते थे, अक्सर सही होते थे। यह ऐसा था जैसे वे एक बिखरे हुए कमरे को देखकर अनुमान लगा सकें कि, "कोई यहाँ था," बिना पैरों के निशान देखे। लेकिन जब शोधकर्ताओं ने उन्हें पैरों के निशान (ट्रांसक्रिप्ट के विशिष्ट वाक्य) दिखाने के लिए कहा, तो एआई लड़खड़ा गए।
परिणामों ने एक बड़ा अंतर दिखाया। जबकि मॉडल "कोर्स" (सामान्य) निर्णय लेने में सक्षम थे (जैसे, "हाँ, यह एक जोखिम है"), वे "ग्राउंडेड" (तथ्यात्मक) कार्य करने में विफल रहे। उन्हें विशिष्ट विवरण निकालने में कठिनाई हुई, जैसे कि कोई लक्षण कितनी बार हुआ या उससे कितना कष्ट हुआ। इससे भी बदतर यह था कि जब उन्होंने सबूतों का हवाला देने की कोशिश की, तो वे अक्सर गलत साबित हुए। एक मॉडल अंतिम उत्तर तो सही दे सकता है लेकिन प्रमाण के रूप में गलत वाक्य का उल्लेख कर सकता है, या वह ऐसा कारण बना सकता है जो वास्तव में टेक्स्ट में था ही नहीं।
यह शोध पत्र सुझाव देता है कि यह एक बड़ी समस्या है। यदि कोई एआई सही उत्तर का अनुमान तो लगा सकता है लेकिन वह अपना काम दिखा नहीं सकता, तो हम वास्तविक अस्पताल में उस पर भरोसा नहीं कर सकते। यह एक ऐसे छात्र जैसा है जो गणित के टेस्ट में सही उत्तर तो लिख देता है लेकिन गलत फॉर्मूला लिख देता है; वे एक बार किस्मत से सही हो सकते हैं, लेकिन वे वास्तव में गणित को नहीं समझते। अध्ययन से पता चला कि वर्तमान एआई मॉडल अपने अंतिम अनुमानों में "अति-आत्मविश्वासी" (overconfident) हैं लेकिन सबूतों को खोजने और उनका समर्थन करने की क्षमता में "अल्प-योग्य" (under-qualified) हैं।
यह क्यों महत्वपूर्ण है
यह केवल बेहतर चैटबॉट्स बनाने के बारे में नहीं है; यह सुरक्षा के बारे में है। मानसिक स्वास्थ्य में, विशेष रूप से साइकोसिस जैसी गंभीर स्थिति में, आप ऐसी मशीन पर भरोसा नहीं कर सकते जो केवल "महसूस" करती है कि वह सही है। आपको एक ऐसी मशीन की आवश्यकता है जो कह सके, "मुझे लगता है कि इस व्यक्ति में जोखिम है, और यहाँ वे तीन वाक्य हैं जो इसे सिद्ध करते हैं।"
इस शोध पत्र के लेखक स्पष्ट हैं: AnchorSIPS एक अनुसंधान उपकरण है, कोई चिकित्सा उपकरण नहीं। यह एक सिंथेटिक डेटासेट है, जिसका अर्थ है कि रोगी और कहानियाँ कंप्यूटर द्वारा बनाई गई हैं, वास्तविक लोगों द्वारा नहीं। इसे एआई सिस्टमों का परीक्षण करने के लिए बनाया गया है, यह देखने के लिए कि वे कहाँ विफल होते हैं, और उन्हें यह सिखाने के लिए कि वे जो जानते हैं और जो नहीं जानते, उसके बारे में कितने ईमानदार रहें। अध्ययन बताता है कि हालांकि एआई बात करने में बेहतर हो रहा है, लेकिन मानसिक स्वास्थ्य की उच्च-दांव वाली दुनिया में विश्वास करने के लिए उसे अभी भी एक लंबा रास्ता तय करना है। जब तक एआई अपने उत्तरों को साक्ष्य से जोड़ना (anchor) नहीं सीख जाता, ठीक एक अच्छे जासूस की तरह, वह केवल एक अनुमान लगाने वाला है, उपचार करने वाला नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।