Risk Governance for Generative AI Mental Health Support: A Multi-Turn Safety Architecture
यह शोध पत्र एक मॉडल-अज्ञेय (model-agnostic), मल्टी-टर्न सुरक्षा शासन संरचना प्रस्तुत करता है जो संवादात्मक तालमेल बनाए रखते हुए, एलएलएम (LLM)-संचालित मानसिक स्वास्थ्य सहायता में जोखिम प्रबंधन और नैदानिक-पसंदीदा एस्केलेशन (escalation) में महत्वपूर्ण सुधार करने के लिए प्रासंगिक जोखिम पहचान, तर्क-आधारित सत्यापन और प्रोटोकॉल-निर्देशित प्रतिक्रिया पीढ़ी को एकीकृत करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आप एक ऐसे रोबोट से बात कर सकते हैं जो आपकी चिंताओं को सुनता है, आपको सांत्वना देता है, और कभी थकता नहीं है। यह मानसिक स्वास्थ्य में आर्टिफिशियल इंटेलिजेंस (AI) का वादा है: एक 24/7 साथी जो आपके उदास होने पर चैट करने के लिए तैयार है। लेकिन यहाँ एक पेंच है: ये रोबोट बहुत बुद्धिमान लेकिन अनुभवहीन इंटर्न की तरह हैं। वे बातचीत करने में तो माहिर हैं, लेकिन वे कभी-कभी उन सूक्ष्म संकेतों को चूक जाते हैं जब कोई गहरी मुसीबत में होता है, या वे घबराकर केवल एक बुरे दिन के बारे में भड़ास निकालने वाले व्यक्ति पर "911 कॉल करें!" चिल्ला सकते हैं। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हम इन AI दोस्तों को वास्तविक खतरे को पहचानने के लिए कैसे सिखाएं बिना बातचीत को खराब किए? हमें एक ऐसी प्रणाली की आवश्यकता है जो एक बुद्धिमान, अनुभवी संरक्षक की तरह कार्य करे—कोई ऐसा जो पूरी कहानी सुन सके, न कि केवल एक वाक्य, और जानता हो कि ठीक कब सही तरह की मदद के साथ हस्तक्षेप करना है।
यह शोध पत्र AI मानसिक स्वास्थ्य चैट के लिए एक नया "सुरक्षा जाल" (safety net) पेश करता है। AI को बातचीत की घुमावदार सड़क पर चलती एक कार की तरह समझें। कभी-कभी, सड़क धुंधली हो जाती है, और ड्राइवर (AI) खाई के किनारे को तब तक नहीं देख पाता जब तक कि बहुत देर न हो जाए (एक मानसिक स्वास्थ्य संकट)। शोधकर्ताओं ने एक विशेष "को-पायलट" प्रणाली बनाई है जो AI के साथ सवारी करती है। इस को-पायलट के तीन काम हैं: पहला, यह उपयोगकर्ता द्वारा लिखे गए हर वाक्य को स्कैन करता है ताकि खतरे का पता लगाया जा सके; दूसरा, यह उन डरावने संकेतों की दोबारा जांच करता है ताकि यह सुनिश्चित हो सके कि वे केवल रूपक (metaphor) या मजाक नहीं हैं; और तीसरा, यदि यह किसी वास्तविक जोखिम की पुष्टि करता है, तो यह ड्राइवर को सुरक्षित रूप से प्रतिक्रिया देने के लिए एक विशिष्ट, पूर्व-लिखित मानचित्र (map) सौंप देता है। टीम ने इस प्रणाली का परीक्षण दो अलग-अलग AI दिमागों पर किया—एक बड़ी टेक कंपनी का और एक जो सभी के लिए खुला है—हजारों नकली लेकिन वास्तविक मानवीय कहानियों पर आधारित यथार्थवादी बातचीत का उपयोग करके।
परिणाम दिखाते हैं कि यह को-पायलट प्रणाली जादू की तरह काम करती है। जब AI अकेला गाड़ी चला रहा था, तो वह अक्सर खतरे को चूक जाता था या अनाड़ी ढंग से प्रतिक्रिया देता था। लेकिन सुरक्षा प्रणाली चालू होने के बाद, AI वास्तविक जोखिमों को पहचानने में बहुत बेहतर हो गया, उसने लगभग 92% जोखिमों को पकड़ा जबकि 85% बार सुरक्षित बातचीत को सही ढंग से अनदेखा किया। सबसे महत्वपूर्ण बात यह है कि AI के जवाब देने का तरीका बेहतर हुआ। सुरक्षा प्रणाली से पहले, एक मॉडल के साथ AI केवल 28% बार "सही" प्रकार की गंभीर प्रतिक्रिया दे पाता था और दूसरे के साथ 63% बार। सुरक्षा परत जोड़ने के बाद, वे संख्या क्रमशः 87% और 88% तक बढ़ गई। AI केवल एक रोबोटिक अलार्म बेल नहीं बना; इसने सीखा कि कैसे गर्मजोशी और मित्रता बनाए रखते हुए भी सही लोगों तक मदद पहुँचाई जाए। शोधकर्ताओं ने पाया कि यह प्रणाली तब भी अच्छी तरह काम करती है जब बातचीत लंबी और जटिल हो जाती है, और यह महंगे, शानदार AI मॉडल और मुफ्त, ओपन-सोर्स मॉडलों दोनों की मदद करती है।
सुरक्षा को-पायलट की कहानी
तो, यह वास्तव में कैसे काम करता है? शोधकर्ताओं ने केवल AI को यह नहीं बताया कि "सावधान रहो!" इसके बजाय, उन्होंने एक तीन-चरणीय सुरक्षा आर्किटेक्चर बनाया है जो मुख्य AI मस्तिष्क के बाहर स्थित है। यह एक विशेषज्ञ सुरक्षा टीम की तरह है जो ड्राइवर के ठीक बगल में खड़ी है।
चरण 1: सतर्क आँख (द क्लासिफायर)
सबसे पहले, एक हल्का और सुपर-फास्ट स्कैनर है। एक कॉन्सर्ट में सुरक्षा गार्ड की कल्पना करें जो हर आने वाले व्यक्ति पर नज़र रखता है। यह गार्ड उपयोगकर्ता के संदेश को देखता है और यह भी याद रखता है कि उसने बातचीत के पिछले दौरों में क्या कहा था। यह केवल "आत्महत्या" जैसे शब्द को नहीं ढूंढ रहा है; यह खतरे के अहसास (vibe) को ढूंढ रहा है। क्या व्यक्ति खुद को चोट पहुँचाने की बात कर रहा है? क्या वे दूसरों को धमकी दे रहे हैं? यह गार्ड बहुत संवेदनशील होने के लिए डिज़ाइन किया गया है, जिसका अर्थ है कि यह एक हानिरहित टिप्पणी को "शायद जोखिम भरा" के रूप में चिह्नित करने के लिए तैयार रहता है बजाय इसके कि वह वास्तविक खतरे को मिस कर दे।
चरण 2: बुद्धिमान न्यायाधीश (द पास-गेट)
यहीं जादू होता है। यदि गार्ड किसी चीज़ को फ्लैग करता है, तो संदेश तुरंत अलार्म नहीं बजाता है। इसके बजाय, यह एक "पास-गेट" के पास जाता है। इसे एक बुद्धिमान, अनुभवी न्यायाधीश के रूप में सोचें जो पूरी कहानी पढ़ता है। न्यायाधीश पूछता है: "क्या यह व्यक्ति वास्तव में अभी खतरे में है, या वे केवल एक रूपक का उपयोग कर रहे हैं? क्या वे किसी पिछली घटना के बारेм बात कर रहे हैं, या यह आज हो रहा है?" यह चरण महत्वपूर्ण है क्योंकि यह AI को मजाक या काव्य भाषा पर अतिरंजित प्रतिक्रिया देने से रोकता है। यह "गलत अलार्म" को "वास्तविक आपात स्थिति" से अलग करता है।
चरण 3: कार्य योजना (प्रोटोकॉल इंजेक्शन)
यदि न्यायाधीश पुष्टि करता है कि वास्तविक जोखिम है, तो सिस्टम केवल "मदद!" चिल्लाता नहीं है। यह AI के मस्तिष्क में निर्देशों का एक विशिष्ट सेट इंजेक्ट करता है। यह ड्राइवर को एक पूर्व-निर्मित मानचित्र देने जैसा है जो कहता है, "ठीक है, स्थिति गंभीर है। अब, ये विशिष्ट सांत्वना देने वाले शब्द कहें, ये विशिष्ट प्रश्न पूछें, और ये विशिष्ट संसाधन प्रदान करें।" यह सुनिश्चित करता है कि AI अनुमान लगाने के बजाय गंभीरता और देखभाल के सही स्तर के साथ प्रतिक्रिया दे।
बड़ा परीक्षण: वास्तविक बातचीत, वास्तविक परिणाम
यह देखने के लिए कि क्या यह प्रणाली वास्तव में काम करती है, शोधकर्ताओं ने केवल AI को खुद से चैट करने के लिए नहीं कहा। उन्होंने 662 बहु-चरणीय बातचीत का एक विशाल पुस्तकालय बनाया (यानी 9,000 से अधिक व्यक्तिगत संदेश!)। उन्होंने एक "पेशेंट सिम्युलेटर" का उपयोग किया—एक अन्य AI जिसे उन लोगों के यथार्थवादी प्रोफाइल के साथ प्रोग्राम किया गया था जो संघर्ष कर रहे हो सकते हैं। ये प्रोफाइल चिंता, अवसाद, या स्वयं को या दूसरों को नुकसान पहुँचाने के विचारों से जूझ रहे लोगों की वास्तविक कहानियों पर आधारित थे। टीम ने सुनिश्चित किया कि ये प्रोफाइल विविध हों, जो विभिन्न आयु, पृष्ठभूमि और स्थानों का प्रतिनिधित्व करते हों, ठीक वास्तविक दुनिया की तरह।
फिर, उन्होंने एक बड़ा प्रयोग चलाया। उन्होंने AI को इन सिम्युलेटेड रोगियों के साथ दो तरीकों से चैट करने दिया:
- सुरक्षा बंद (Safety OFF): AI बिना किसी सुरक्षा को-पायलट के अकेला था।
- सुरक्षा चालू (Safety ON): AI बैकग्राउंड में पूर्ण तीन-चरणीय सुरक्षा प्रणाली के साथ था।
पाँच अत्यधिक प्रशिक्षित मनोवैज्ञानिकों की एक टीम (PhD और दशकों के अनुभव वाले विशेषज्ञ) ने हर एक बातचीत को सुना। उन्होंने अंतिम निर्णायक के रूप में कार्य किया, यह तय करते हुए: "क्या AI ने खतरे को पहचाना? क्या इसने उस तरह से प्रतिक्रिया दी जैसा एक मानव चिकित्सक पसंद करेगा? क्या यह मैत्रीपूर्ण और सहायक बना रहा?"
उन्हें क्या मिला
परिणाम प्रभावशाली थे। सुरक्षा प्रणाली ने न केवल AI को खतरा पहचानने में मदद की; इसने संकट को संभालने के तरीके को पूरी तरह से बदल दिया।
- खतरे को पहचानना: प्रणाली एक तेज जासूस की तरह थी। इसने 92% बार जोखिम भरी बातचीत को सही ढंग से पहचाना (संवेदनशीलता) और 85% बार सुरक्षित बातचीत को सही ढंग से पहचाना (विशिष्टता)। यह उतना ही अच्छा काम करता था चाहे बातचीत छोटी हो या बहुत लंबी, जिससे सिद्ध हुआ कि बातचीत के दौरान AI "थका" या भ्रमित नहीं हुआ।
- "सही" प्रतिक्रिया: यह सबसे बड़ी जीत है। जब सुरक्षा प्रणाली बंद थी, तो AI अक्सर उचित रूप से स्थिति को आगे बढ़ाने (escalate) में विफल रहा। ओपन-सोर्स मॉडल (Qwen3.5-27B) के लिए, यह केवल 28.3% बार "उचित एस्केलेशन" वाली प्रतिक्रिया (वह प्रकार जो एक चिकित्सक चाहता है) दे पाया। जब सुरक्षा प्रणाली चालू थी, तो यह संख्या बढ़कर 87.5% हो गई। यह 59.2 प्रतिशत अंक की भारी वृद्धि है! प्रोप्राइटरी मॉडल (GPT-5-chat) के लिए, यह 62.9% से बढ़कर 88.5% हो गया, जो 25.6 प्रतिशत अंक की बढ़त है।
- मैत्रीपूर्ण बने रहना: एक आम डर यह है कि सुरक्षा प्रणालियाँ रोबोट को ठंडे, रोबोटिक पुलिस अधिकारियों जैसा बना देती हैं। शोधकर्ताओं ने इसकी भी जाँच की। उन्होंने पाया कि सुरक्षा प्रणाली ने संबंध को खराब नहीं किया। वास्तव में, ओपन-सोर्स मॉडल के लिए, AI ने सुरक्षा प्रणाली चालू होने पर "तालमेल और जुड़ाव" (rapport and connection) को और भी बेहतर तरीके से बनाए रखा। AI ने गंभीर और दयालु दोनों होना सीख लिया।
यह क्यों मायने रखता है
यह शोध पत्र सुझाव देता है कि केवल AI को "सुरक्षित रहने" के लिए कहना पर्याप्त नहीं है। AI को एक संरचित, बहु-चरणीय प्रक्रिया की आवश्यकता है जो बातचीत के संदर्भ को समझती हो। उसे यह जानने की आवश्यकता है कि बातचीत एक कहानी है, न कि केवल वाक्यों की एक सूची। इस "को-पायलट" परत को जोड़कर, शोधकर्ताओं ने दिखाया कि हम पूरे AI को फिर से बनाए बिना मानसिक स्वास्थ्य उपकरणों को बहुत अधिक सुरक्षित बना सकते हैं।
यह विशेष रूप से ओपन-सोर्स मॉडल (मुफ्त, अनुकूलन योग्य मॉडल) के लिए अच्छी खबर है। अध्ययन में पाया गया कि इन मॉडलों को सबसे अधिक लाभ हुआ, जिससे पता चलता है कि एक मॉड्यूलर सुरक्षा प्रणाली समानता का स्तर बढ़ा सकती है, जिससे सुरक्षित मानसिक स्वास्थ्य सहायता उन जगहों पर भी उपलब्ध हो सकती है जहाँ महंगे, हाई-टेक AI का विकल्प नहीं है।
शोधकर्ता सावधानी बरतते हुए कहते हैं कि यह सिंथेटिक डेटा (नकली लेकिन यथार्थवादी बातचीत) पर आधारित एक सिमुलेशन है, इसलिए अगला कदम यह देखना है कि यह वास्तविक दुनिया में वास्तविक लोगों के साथ कैसे काम करता है। लेकिन निष्कर्ष एक मजबूत संकेत हैं: सही सुरक्षा आर्किटेक्चर के साथ, AI एक अनाड़ी चैटबॉट से विकसित होकर मानसिक स्वास्थ्य के लिए एक विश्वसनीय, दयालु और सुरक्षित प्रथम प्रतिक्रियाकर्ता बन सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।