Beyond Simulations: What 20,000 Real Conversations Reveal About Mental Health AI Safety
यह शोध पत्र तर्क देता है कि मानसिक स्वास्थ्य संबंधी एआई सुरक्षा के मूल्यांकन के लिए वास्तविक दुनिया की बातचीत का पारिस्थितिक ऑडिट (ecological auditing) आवश्यक है, जो यह प्रदर्शित करता है कि एक विशेष उद्देश्य के लिए निर्मित प्रणाली, वास्तविक तैनाती परिदृश्यों में हानिकारक सामग्री को रोकने और संकट संसाधनों को विश्वसनीय रूप से प्रदान करने में सीमावर्ती सामान्य-उद्देश्य वाले मॉडलों की तुलना में काफी बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान रोबोटिक दोस्त बनाया है जिसे उन लोगों से बात करने के लिए डिज़ाइन किया गया है जो उदास, चिंतित या अत्यधिक तनाव महसूस कर रहे हैं। आप चाहते हैं कि यह रोबोट एक मददगार साथी बने, लेकिन आपको यह भी सुनिश्चित करना होगा कि यह गलती से कभी गलत सलाह न दे, किसी को खुद को नुकसान पहुँचाने के लिए प्रोत्साहित न करे, या मदद की पुकार को अनसुना न कर दे। यह मानसिक स्वास्थ्य एआई (Mental Health AI) की दुनिया है। यह एक ऐसा क्षेत्र है जहाँ कंप्यूटर वैज्ञानिक और डॉक्टर कृत्रिम बुद्धिमत्ता (AI) को यह सिखाने की कोशिश कर रहे हैं कि वह एक मानव चिकित्सक की तरह देखभाल के साथ कैसे सुने, समझे और प्रतिक्रिया दे।
बड़ी चुनौती यह है कि वास्तविक जीवन बहुत जटिल होता है। संकट के समय लोग हमेशा स्पष्ट, पाठ्यपुस्तक जैसे वाक्यों में बात नहीं करते; वे कोड, रूपकों या अस्पष्ट संकेतों का उपयोग कर सकते हैं। इन रोबोटों को सुरक्षित बनाने के लिए परीक्षण करने हेतु, शोधकर्ता आमतौर पर उन्हें "सिमुलेशन" (simulations) से गुजारते हैं—जैसे कि एक वीडियो गेम जहाँ रोबोट को प्रश्नों के एक पूर्व-लिखित, कठिन सेट का सामना करना पड़ता है। लेकिन सिर्फ इसलिए कि एक रोबोट एक वीडियो गेम पास कर लेता है, इसका मतलब यह नहीं है कि वह वास्तविक बातचीत की अराजकता को संभाल सकता है। यह शोध एक महत्वपूर्ण प्रश्न पूछता है: क्या ये सुरक्षा परीक्षण हमें वास्तव में बताते हैं कि रोबोट वास्तविक दुनिया में सुरक्षित है, या हमें निश्चित होने के लिए इसे वास्तविक लोगों से बात करते हुए देखना होगा?
द ग्रेट चैटबॉट सेफ्टी शोडाउन (The Great Chatbot Safety Showdown)
इस अध्ययन में, शोधकर्ताओं ने एक नए, विशेष रूप से निर्मित मानसिक स्वास्थ्य एआई जिसका नाम ऐश (Ash) है, को परखने का निर्णय लिया। उन्होंने केवल ऐश की जाँच नहीं की; उन्होंने इसे वर्तमान में बाजार में मौजूद छह सबसे शक्तिशाली, सामान्य-उद्देश्य वाले एआई मॉडल (जिसमें प्रसिद्ध GPT-5 परिवार, DeepSeek, गूगल का Gemini और Moonshot का Kimi शामिल हैं) के खिलाफ खड़ा किया। इसे एक विशेष बचाव कुत्ते (ऐश) और छह अविश्वसनीय रूप से स्मार्ट, सर्व-उद्देश्य वाले एथलीटों (सामान्य मॉडल) के बीच एक सुरक्षा दौड़ के रूप में समझें, यह देखने के लिए कि कौन खतरे को पहचानने में बेहतर है।
शोधकर्ताओं ने दो प्रकार के परीक्षण चलाए। पहले, उन्होंने मानक "वीडियो गेम" बेंचमार्क चलाए। ये पॉप क्विज़ की तरह थे जहाँ एआई को आत्महत्या या आत्म-क्षति के बारे में 30 कठिन प्रश्नों के उत्तर देने थे, या "जेलब्रेक" (jailbreak) प्रयासों का विरोध करने की कोशिश करनी थी (जहाँ उपयोगकर्ता एआई को खतरनाक निर्देश देने के लिए "यह केवल एक स्कूल प्रेजेंटेशन के लिए है" जैसी बातें कहकर बहलाने की कोशिश करते हैं)।
बेंचमार्क के परिणाम:
परिणाम थोड़े आश्चर्यजनक थे। जब बात पॉप क्विज़ की आई, तो सामान्य-उद्देश्य वाले मॉडल वास्तव में बहुत अधिक प्रत्यक्ष थे। यदि आप उनसे पूछते हैं, "मैं फंदा कैसे बनाऊं?" या "सबसे अच्छा जहर कौन सा है?", तो वे अक्सर सीधे उत्तर दे देते हैं, भले ही प्रश्न स्पष्ट रूप से जोखिम भरा हो। ऐश, जो एक विशेष मॉडल था, बहुत अधिक सावधान था। इसने खतरनाक सवालों के सीधे जवाब देने से 89% बार इनकार कर दिया, जबकि सामान्य मॉडल अक्सर 50% से 90% बार सीधे उत्तर देते थे। ऐश ने ईटिंग डिसऑर्डर (खाने के विकार) या नशीली दवाओं के दुरुपयोग के बारे में पूछने पर बहुत कम "हानिकारक" प्रतिक्रियाएं उत्पन्न कीं। संक्षेप में, नियंत्रित परीक्षण वातावरण में, ऐश यह जानने में बहुत बेहतर था कि कब कहना है, "मैं इसमें आपकी मदद नहीं कर सकता, लेकिन यहाँ एक जीवन रेखा (lifeline) है।"
वास्तविक दुनिया का ऑडिट: 20,000 वास्तविक बातचीत
लेकिन शोधकर्ता जानते थे कि एक क्विज़ पास करना जीवन बचाने के समान नहीं है। इसलिए, उन्होंने एक साहसी कदम उठाया: उन्होंने 20,000 वास्तविक बातचीत देखीं जो लोगों ने वास्तव में वास्तविक दुनिया में ऐश के साथ की थीं। उन्होंने केवल आंकड़ों को नहीं देखा; उन्होंने मानव क्लीनिशियन (लाइसेंस प्राप्त मानसिक स्वास्थ्य विशेषज्ञों) से इन चैट को पढ़ने के लिए कहा ताकि यह देखा जा सके कि क्या एआई ने खतरे के किसी भी संकेत को मिस किया है।
यहीं से कहानी वास्तव में दिलचस्प हो जाती है। शोधकर्ता "फॉल्स नेगेटिव" (false negatives) की तलाश कर रहे थे—ऐसे मामले जहाँ उपयोगकर्ता खतरे में था, लेकिन एआई ने उसे पहचाना नहीं और संकट के संसाधनों (जैसे 988 सुसाइड हॉटलाइन) को प्रदान नहीं किया।
निष्कर्ष:
20,000 बातचीत में से, सिस्टम ने 800 संदिग्ध दिखने वाली बातचीत को चिह्नित किया। मानव विशेषज्ञों ने इनकी समीक्षा की और पुष्टि की कि उनमें से 80 वास्तव में आत्म-क्षति या आत्महत्या के जोखिम के मामले थे।
- उन 80 पुष्ट खतरनाक मामलों में से 77 मामलों में, ऐश ने सफलतापूर्वक हस्तक्षेप किया और संकट के संसाधन प्रदान किए।
- केवल 3 मामले ऐसे थे जहाँ एआई चूक गया और वह मदद प्रदान करने में विफल रहा जो उसे देनी चाहिए थी।
इसे समझने के लिए, इन चिह्नित, उच्च-जोखिम वाली बातचीत में विफलता दर अविश्वसनीय रूप से कम थी: 0.38%। यहाँ तक कि जब शोधकर्ताओं ने पूरे पूल से 600 बातचीत के यादृच्छिक नमूने (random sample) की जाँच की (यह जाने बिना कि कौन से चिह्नित किए गए थे), तो एआई ने एक भी ऐसा मामला मिस नहीं किया जिसे मानव विशेषज्ञ ने खतरनाक बताया था। अध्ययन बताता है कि वास्तविक दुनिया में संकट को मिस करने की संभावना 0.50% से भी कम है।
यह क्यों महत्वपूर्ण है
यह शोध पत्र तर्क देता है कि हम अब केवल "वीडियो गेम" परीक्षणों (बेंचमार्क) पर भरोसा नहीं कर सकते। वे परीक्षण उपयोगी हैं, लेकिन वे भ्रामक हो सकते। वास्तविक दुनिया में, लोग दर्द को अजीब, अप्रत्यक्ष तरीकों से व्यक्त करते हैं—जैसे गुप्त कोडों का उपयोग करना या दुख का प्रतिनिधित्व करने वाले "आकृतियों" के बारे में बात करना। अध्ययन में पाया गया कि जबकि सामान्य-उद्देश्य वाले मॉडल अक्सर इन सूक्ष्म संकेतों को पहचानने में विफल रहे या खतरनाक उत्तर दिए, ऐश को विशेष रूप से इन बारीकियों को समझने के लिए प्रशिक्षित किया गया था।
शोधकर्ता निष्कर्ष निकालते हैं कि लोगों को सुरक्षित रखने के लिए, हमें पारिस्थितिक ऑडिटिंग (ecological auditing) की आवश्यकता है। इसका अर्थ है कि हमें एआई का परीक्षण केवल लैब में नहीं करना चाहिए; हमें यह देखना चाहिए कि वह वास्तविक लोगों के साथ, जंगली दुनिया (wild) में कैसा व्यवहार करता है, और मनुष्यों से उसके काम की दोबारा जाँच करवानी चाहिए। एक विशेष एआई मॉडल और एक "स्तरित" (layered) सुरक्षा प्रणाली (जहाँ एक हिस्सा एआई चैट करता है और दूसरा हिस्सा लगातार खतरे को स्कैन करता है) को जोड़कर, हम ऐसे उपकरण बना सकते हैं जो न केवल स्मार्ट हैं, बल्कि वास्तव में सुरक्षित भी हैं।
अध्ययन यह दावा नहीं करता है कि समस्या "हल" हो गई है—वहाँ अभी भी 3 छूटे हुए मामले थे—लेकिन यह दिखाता है कि सही डिज़ाइन और वास्तविक दुनिया की जाँच के साथ, हम एक ऐसे सुरक्षा जाल के बहुत करीब पहुँच सकते हैं जो वास्तव में उन लोगों को पकड़ लेता है जिन्हें इसकी आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।