VERA-MH: Validation of Ethical and Responsible AI in Mental Health
यह शोध पत्र VERA-MH को प्रस्तुत करता है, जो एक नैदानिक रूप से प्रमाणित ढांचा है जो रोल-प्लेइंग एजेंटों के साथ विविध उपयोगकर्ता इंटरैक्शन का अनुकरण करके और एक संरचित, नैदानिक रूब्रिक का उपयोग करके मानसिक स्वास्थ्य के संदर्भों में—विशेष रूप से आत्महत्या के विचारों के संबंध में—AI चैटबॉट्स की सुरक्षा का मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप भावनात्मक संकट में फंसे लोगों के लिए एक डिजिटल "फर्स्ट रिस्पॉन्डर" (प्रथम प्रत्युत्तरकर्ता) बना रहे हैं। आप यह सुनिश्चित करना चाहते हैं कि आपका रोबोट गलती से कुछ गलत न कह दे और स्थिति को और खराब न कर दे। VERA-MH पेपर बिल्कुल इसी बारे में है।
यहाँ उनके काम का एक सरल विवरण दिया गया है, जिसमें कुछ रोज़मर्रा के उदाहरणों (analogies) का उपयोग किया गया है।
समस्या: मानसिक स्वास्थ्य बॉट्स का "वाइल्ड वेस्ट" (अराजक क्षेत्र)
आजकल चैटबॉट्स हर जगह हैं, जैसे कि एक नया प्रकार का स्विस आर्मी नाइफ। लेकिन लोग अब उनका उपयोग उन चीज़ों के लिए करने लगे हैं जिनके लिए वे डिज़ाइन नहीं किए गए थे, जैसे कि मानसिक स्वास्थ्य सहायता। पेपर एक डरावनी वास्तविकता की ओर इशारा करता है: कभी-कभी, ये बॉट्स अनजाने में किसी को खुद को नुकसान पहुँचाने के लिए प्रोत्साहित कर सकते हैं या आत्महत्या के विचार से जूझ रहे व्यक्ति को गलत सलाह दे सकते हैं।
इसे ऐसे समझें जैसे किसी अजनबी को भरी हुई बंदूक थमा देना और उनसे एक रोते हुए बच्चे की मदद करने के लिए कहना। हमें यह जांचने का एक तरीका चाहिए कि क्या वह अजनबी स्थिति के करीब जाने से पहले यह जानता है कि इसे सुरक्षित रूप से कैसे संभालना है।
समाधान: VERA-MH (द "सेफ्टी ड्रिल")
लेखकों ने VERA-MH (वैलिडेशन ऑफ एथिकल एंड रिस्पॉन्सिबल एआई इन मेंटल हेल्थ) नामक एक सिस्टम बनाया है। केवल यह पूछने के बजाय कि "क्या आप सुरक्षित हैं?", वे इसे एक कठोर सेफ्टी ड्रिल (सुरक्षा अभ्यास) से गुजारते हैं।
इस ड्रिल के तीन मुख्य भाग हैं, जैसे कि थिएटर में एक नाटक:
1. अभिनेता (द पर्सोनाज़)
आप बॉट से सिर्फ यह नहीं पूछ सकते कि "अगर कोई दुखी है तो क्या होगा?" क्योंकि वास्तविक जीवन बहुत जटिल होता है। इसलिए, शोधकर्ताओं ने 100 अलग-अलग "अभिनेता" (जिन्हें पर्सोना कहा जाता है) बनाए।
- उदाहरण: कल्पना कीजिए कि एक ड्रामा स्कूल है जहाँ 100 छात्र हैं। प्रत्येक छात्र की एक अनूठी पृष्ठभूमि है: एक किशोर जिसके पास पैसे नहीं हैं, दूसरा एक बुजुर्ग व्यक्ति जो अकेलापन महसूस कर रहा है, तीसरा वह व्यक्ति जिसने पहले खुद को नुकसान पहुँचाने की कोशिश की है।
- ट्विस्ट: ये "अभिनेता" वास्तव में अन्य AI बॉट्स हैं। उन्हें इन विशिष्ट लोगों की भूमिका निभाने और परीक्षण किए जा रहे चैटबॉट से बात करने के लिए प्रोग्राम किया गया है। उन्हें यथार्थवादी बनाया गया है—कभी संक्षिप्त, कभी हताश, तो कभी बहुत संवेदनशील।
2. सीन जज (दृश्य निर्णायक)
एक बार जब 'अभिनेता' टेस्ट बॉट से बात करना शुरू कर देते हैं, तो किसी को प्रत्येक व्यक्तिगत दृश्य को देखना होगा और केवल उस दृश्य को ग्रेड देना होगा—पूरे मूल्यांकन का संचालन नहीं, बल्कि केवल उस एक बातचीत को स्कोर करना।
- उदाहरण: 100 मानव डॉक्टरों को हर एक बातचीत देखने के लिए नियुक्त करने के बजाय (जिसमें बहुत समय और पैसा लगेगा), वे एक सुपर-स्मार्ट AI जज का उपयोग करते हैं जो पूरी तरह से एक चेकलिस्ट के आधार पर प्रत्येक बातचीत को स्कोर करने पर ध्यान केंद्रित करता है—यह पूरे मूल्यांकन का संचालक नहीं, बल्कि मूल्यांकन का एक घटक है।
- स्क्रिप्ट: यह जज केवल अनुमान नहीं लगाता। यह वास्तविक मानसिक स्वास्थ्य विशेषज्ञों द्वारा बनाई गई एक बहुत ही विशिष्ट चेकलिस्ट (जिसे रूब्रिक कहा जाता है) का पालन करता है। यह सवाल पूछता है जैसे:
- क्या बॉट ने देखा कि व्यक्ति खतरे में था?
- क्या बॉट ने स्पष्टीकरण के लिए प्रश्न पूछे?
- क्या बॉट ने उसे एक वास्तविक इंसान से मदद लेने के लिए कहा?
- क्या बॉट अपनी सीमा में रहा (उपयोगकर्ता को याद दिलाते हुए कि वह एक AI है, डॉक्टर नहीं)?
- प्रवाह: जज एक "चूज़ योर ओन एडवेंचर" (अपनी पसंद का रोमांच चुनें) वाली किताब की तरह काम करता है। यदि बॉट कोई गलती करता है, तो जज उस विशिष्ट पूछताछ को रोक देता है और त्रुटि को चिह्नित कर देता है। इससे यह पता लगाने में मदद मिलती है कि बॉट ठीक कहाँ विफल हुआ।
3. स्कोरकार्ड (रेटिंग)
बातचीत समाप्त होने के बाद, परिणामों को गिना जाता है।
- उदाहरण: एक रिपोर्ट कार्ड की कल्पना करें। केवल एक ग्रेड जैसे "B+" देने के बजाय, बॉट को एक विस्तृत विवरण मिलता है। "जोखिम को पहचानने में बेहतरीन, लेकिन मानव सहायता का सुझाव देने में बहुत खराब।"
- पेपर ने चार प्रमुख AI कंपनियों (जैसे क्लॉड, GPT, जेमिनी और ग्रोक के निर्माता) का परीक्षण किया और दिखाया कि उन्होंने इस विशिष्ट सुरक्षा ड्रिल पर कैसा प्रदर्शन किया।
यह दृष्टिकोण अलग क्यों है?
पेपर का तर्क है कि पिछले परीक्षण बहुविकल्पीय प्रश्नोत्तरी (सिंगल-टर्न) की तरह थे। आप एक प्रश्न पूछते हैं, एक उत्तर प्राप्त करते हैं, और आगे बढ़ जाते हैं। लेकिन वास्तविक जीवन कोई क्विज़ नहीं है; यह एक बातचीत है।
- "लॉन्ग गेम" का उदाहरण: संकट में फंसा व्यक्ति पहली पंक्ति में ही यह नहीं कहेगा कि "मैं मरना चाहता हूँ।" वे संकेत दे सकते हैं, हताश हो सकते हैं, फिर से कोशिश कर सकते हैं, या किसी और चीज़ के बारे में बात कर सकते हैं। VERA-MH पूरी फिल्म देखता है, न कि केवल उसका ट्रेलर।
खेल के नियम (डिज़ाइन सिद्धांत)
लेखकों ने यह सुनिश्चित करने के लिए कि उनका परीक्षण निष्पक्ष और उपयोगी हो, कुछ नियमों का पालन किया:
- कोई जादू का खेल नहीं: उन्होंने केवल बॉट द्वारा लिखे गए टेक्स्ट का परीक्षण किया, स्क्रीन पर दिखने वाले फैंसी बटन या पॉप-अप का नहीं।
- यथार्थवाद: उन्होंने 100 अलग-अलग "अभिनेताओं" का उपयोग किया ताकि बॉट केवल एक स्क्रिप्ट को रट न सके।
- ओपन सोर्स: उन्होंने अपना सारा कोड और नियम प्रकाशित किए। यह ऐसा है जैसे सुरक्षा ड्रिल की रेसिपी सबको दे दी जाए ताकि कोई भी काम की जाँच कर सके।
- सुरक्षा पर ध्यान, इलाज पर नहीं: वे यह परीक्षण नहीं कर रहे हैं कि बॉट एक अच्छा थेरेपिस्ट है या नहीं (जो कि कठिन है)। वे केवल यह परीक्षण कर रहे हैं कि क्या बॉट सुरक्षित है। लक्ष्य है "सबसे पहले, कोई नुकसान न पहुँचाना।"
कमी (सीमाएँ)
पेपर ईमानदार है कि वह क्या नहीं कर सकता:
- "नकली" लोग: भले ही "अभिनेता" बहुत अच्छे हैं, वे अभी भी AI हैं। वे शायद वास्तविक दर्द में फंसे एक इंसान की जटिलता को पूरी तरह से पकड़ न पाएं।
- भाषा: यह परीक्षण फिलहाल केवल अंग्रेजी में है।
- लागत: इस परीक्षण को चलाना महंगा है क्योंकि इसके लिए बहुत अधिक कंप्यूटिंग पावर की आवश्यकता होती है (जैसे कि एक बड़े सिमुलेशन को चलाना)।
निचोड़ (बॉटम लाइन)
VERA-MH मानसिक स्वास्थ्य चैटबॉट्स का परीक्षण करने का एक नया, कठोर तरीका है। यह वास्तविक संकटों को सिम्युलेट करने के लिए AI अभिनेताओं का उपयोग करता है और विशेषज्ञ नियमों के विरुद्ध प्रतिक्रियाओं को ग्रेड करने के लिए AI जजों का उपयोग करता है। लक्ष्य सरल है: इन बॉट्स को संवेदनशील लोगों से बात करने देने से पहले, हमें यह सुनिश्चित करना होगा कि वे अनजाने में उन्हें खाई में नहीं धकेल देंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।