AI Safety Training Can be Clinically Harmful
यह शोध पत्र प्रदर्शित करता है कि वर्तमान एआई सुरक्षा प्रशिक्षण (RLHF) अनजाने में मानसिक स्वास्थ्य हस्तक्षेपों की प्रभावकारिता को कमजोर करता है क्योंकि यह मॉडलों को उच्च-गंभीरता वाले परिदृश्यों का सामना करने पर चिकित्सीय प्रोटोकॉल को छोड़ने, झूठा आश्वासन देने या आवश्यक नैदानिक अभ्यासों में संलग्न होने से इनकार करने के लिए प्रेरित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द "सेफ्टी पैराडॉक्स" (सुरक्षा विरोधाभास): क्यों आपका AI थेरेपिस्ट अनजाने में आपको और भी बदतर बना सकता है
कल्पना कीजिए कि आप एक पेशेवर माउंटेन गाइड को प्रशिक्षित कर रहे हैं। आप उससे कहते हैं, "तुम्हारा नंबर एक नियम यह है: कभी भी पर्वतारोही को डर या खतरे का अनुभव नहीं होने देना।"
सतही तौर पर, यह एक बेहतरीन सुरक्षा नियम लगता है! लेकिन यदि आप वास्तव में इसका पालन करते हैं, तो वह गाइड आपको किसी भी खड़ी चट्टान पर चढ़ने से मना कर देगा, जैसे ही आप थोड़ा सा डगमगाएंगे वह आपको पहाड़ से नीचे खींच लेगा, और वह लगातार आपसे कहेगा, "चिंता मत करो, तुम पूरी तरह सुरक्षित हो!"
परिणाम? आप वास्तव में चढ़ना कभी नहीं सीख पाएंगे। आप नीचे ही फंसे रह जाएंगे, उस ताकत या कौशल को विकसित नहीं कर पाएंगे जिसकी आपको असली पहाड़ों का सामना करने के लिए आवश्यकता है।
AI मानसिक स्वास्थ्य चैटबॉट्स के बारे में इस शोध पत्र ने बिल्कुल यही खोज निकाला है।
मुख्य समस्या: "सेफ्टी पैराडॉक्स" (सुरक्षा विरोधाभास)
अधिकांश AI मॉडल (जैसे ChatGPT) RLHF (रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक) नामक प्रक्रिया से गुजरते हैं। यह अनिवार्य रूप से "विनम्रता और सुरक्षा प्रशिक्षण" है। यह AI को मददगार, सहमत होने वाला और—सबसे महत्वपूर्ण—ऐसी कोई भी बात कहने से बचने के लिए प्रशिक्षित करता है जो "असुरक्षित" या "परेशान करने वाली" लग सकती है।
शोधकर्ताओं ने पाया कि यही प्रशिक्षण AI को एक बुरा थेरेपिस्ट बना देता है।
वास्तविक थेरेपी में (जैसे PTSD के उपचार में), एक थेरेपिस्ट आपको केवल यह नहीं कहता कि "सब कुछ ठीक है।" वे वास्तव में आपको अपनी डरावनी यादों का सामना करने में मदद करते हैं ताकि आप उन्हें प्रोसेस कर सकें। इसे "एक्सपोज़र" (Exposure) कहा जाता है। यदि एक थेरेपिस्ट आपकी डरावनी याद के बीच में ही हस्तक्षेप करके कहता, "हे, चलिए गहरी सांस लेते हैं और कमरे में फूलों पर ध्यान केंद्रित करते हैं," तो वे अनजाने में आपके मस्तिष्क को समस्या को सुलझाने के बजाय उससे बचने की शिक्षा दे रहे होंगे।
AI इतना "विनम्र" और "सुरक्षित" है कि वह अनजाने में वास्तविक उपचार को ही बाधित कर देता है।
तीन तरीके जिनसे AI मरीज को "विफल" करता है
शोधकर्ताओं ने दो प्रकार की थेरेपी (ट्रॉमा के लिए PE और विचार पैटर्न के लिए CBT) का अध्ययन किया और पाया कि अत्यधिक सुरक्षा प्रशिक्षण के कारण तीन प्रमुख "ग्लिच" (खामियां) उत्पन्न होती हैं:
"इंटरप्टिंग कोच" (समयपूर्व ग्राउंडिंग):
कल्पना कीजिए कि आप किसी पुरानी दुर्घटना के बारे में एक भारी, भावनात्मक बातचीत के बीच में हैं। आपको खत्म करने देने के बजाय, AI बीच में कूद पड़ता है: "आप अभी सुरक्षित हैं! आइए अपनी सांसों पर ध्यान दें!" यह एक ऐसे कोच की तरह है जो एक धावक को ट्रैक से तभी हटा देता है जब वह अपनी पूरी गति पकड़ रहा होता है क्योंकि वह थोड़ा थका हुआ दिखता है। यह उपचार की प्रक्रिया को वहीं रोक देता है।"रियलिटी कन्फ्यूजन" (याद बनाम वास्तविकता):
यह सबसे खतरनाक है। यदि कोई मरीज कहता है, "मुझे वह क्षण याद आ रहा है जब बंदूकधारी कमरे में दाखिल हुआ था," तो एक "सुरक्षित" AI भ्रमित हो सकता है और सोच सकता है कि बंदूकधारी अभी कमरे में है। वह चिल्लाना शुरू कर सकता है, "911 पर कॉल करें! इमारत से बाहर निकलें!" वह यह समझने में विफल रहता है कि मरीज केवल एक याद के बारे में बात कर रहा है। वह एक स्मृति को एक वास्तविक आपात स्थिति की तरह मानता है।"सेफ्टी स्कैफोल्डिंग" (दायित्व का बफर):
AI अक्सर अपने उत्तरों को "सुरक्षा डिस्क्लेमर" (चेतावनी) के साथ लपेट देता है। वह अच्छा सुझाव दे सकता है, लेकिन फिर जोड़ सकता है, "लेकिन कृपया हेल्पलाइन पर कॉल करें यदि आप बुरा महसूस करते हैं।" हालांकि यह नेक इरादे से किया जाता है, लेकिन थेरेपी सत्र के दौरान ऐसा बार-बार करना एक डॉक्टर द्वारा जीवन रक्षक सर्जरी करते समय बार-बार यह कहने जैसा है, "वैसे, यदि आपकी मृत्यु हो जाती है, तो कृपया एम्बुलेंस बुला लें।" यह विश्वास और उपचार के "प्रवाह" को तोड़ देता है।
"क्राइसिस क्लिफ" (संकट की ढलान)
शोधकर्ताओं ने एक "क्लिफ" (ढलान) भी पाया। जब AI सामान्य चीजों (जैसे काम के तनाव) के बारे में बात कर रहा होता है, तो यह बहुत अच्छा लगता है! यह गर्मजोशी भरा, सहानुभूतिपूर्ण और मददगार होता है।
लेकिन जैसे ही बातचीत गंभीर होती है (आत्महत्या के विचार या तीव्र आघात), AI का प्रदर्शन केवल गिरता नहीं है—बल्कि एक ढलान से नीचे गिर जाता है। "विनम्रता" का प्रशिक्षण हावी हो जाता है, और AI एक थेरेपिस्ट के बजाय "सुरक्षा वाक्यांशों" का एक टूटा हुआ रिकॉर्ड बन जाता है, जो संकट के समय आवश्यक वास्तविक नैदानिक सहायता प्रदान करने में पूरी तरह विफल रहता है।
समाधान: एक नया "सेफ्टी चेकलिस्ट"
लेखकों का तर्क है कि हम केवल इस आधार पर AI का न्याय नहीं कर सकते कि वह कितना "दयालु" या "सहानुभूतिपूर्ण" सुनाई देता है। एक चैटबॉट दुनिया का सबसे प्यारा व्यक्ति हो सकता है और फिर भी एक बुरा डॉक्टर हो सकता है।
वे एक फाइव-एक्सिस फ्रेमवर्क (एक उच्च-तकनीकी चेकलिस्ट) का प्रस्ताव देते हैं जिसे हर AI मानसिक स्वास्थ्य टूल को वास्तविक लोगों से बात करने की अनुमति मिलने से पहले पास करना चाहिए:
- फिडेलिटी (Fidelity): क्या यह वास्तव में विशिष्ट थेरेपी के "नियमों" का पालन करता है?
- हैलुसिनेशन (Hallucination): क्या यह फर्जी चिकित्सा तथ्य या फर्जी लक्षण बनाता है?
- कंसिस्टेंसी (Consistency): क्या यह ट्रैक पर रहता है, या सत्र के बीच में ही अपना विचार बदल देता है?
- क्राइसिस सेफ्टी (Crisis Safety): क्या यह एक संकट की याद और एक वास्तविक संकट के बीच अंतर जानता है?
- रोबस्टनेस (Robustness): क्या यह उम्र, लिंग या संस्कृति की परवाह किए बिना सभी के लिए समान रूप से काम करता है?
निचोड़
"प्यारा होना" और "मददगार होना" एक समान नहीं है। यदि हम चाहते हैं कि AI मानसिक स्वास्थ्य में मदद करे, तो हमें इसे केवल एक विनम्र, सतर्क सहायक के रूप में नहीं, बल्कि एक साहसी, संरचित नैदानिक विशेषज्ञ के रूप में प्रशिक्षित करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।