Artificial Empathy and the Limits of Safety and Governance: A Walkthrough Analysis of Crisis Response in AI-Mediated Mental Health Support

तकनीकी सारांश: कृत्रिम सहानुभूति और सुरक्षा एवं शासन की सीमाएँ

समस्या विवरण
संवादात्मक कृत्रिम बुद्धिमत्ता (Conversational AI - CAI) के तीव्र प्रसार ने भावनात्मक समर्थन खोजने के व्यवहारों को मौलिक रूप से बदल दिया है, विशेष रूप से उन युवाओं के बीच जो औपचारिक नैदानिक देखभाल के लिए संरचनात्मक बाधाओं का सामना कर रहे हैं। जबकि CAI प्रणालियाँ (सामान्य-उद्देश्य वाले लार्ज लैंग्वेज मॉडल्स, विशेष रूप से मानसिक स्वास्थ्य के लिए निर्मित उपकरण, और साथी-उन्मुख चैटबॉट्स सहित) भावनात्मक प्रकटीकरण और संकट-सन्निकट (crisis-adjacent) अंतःक्रियाओं के लिए तेजी से उपयोग की जा रही हैं, यह समझने में महत्वपूर्ण अंतराल बना हुआ है कि ये प्रणालियाँ सहानुभूति का निर्माण कैसे करती हैं, संकट की व्याख्या कैसे करती हैं, और सुरक्षा शासन (safety governance) को कैसे लागू करती हैं। मौजूदा शोध मुख्य रूप से चिकित्सीय परिणामों या उपयोगकर्ता संतुष्टि पर केंद्रित रहा है, जिससे इस बात की जांच का अभाव रह गया है कि वे अंतःक्रियात्मक मार्ग (interactional pathways) क्या हैं जिनके माध्यम से समर्थन का अनुकरण किया जाता है और कैसे प्रलेखित सुरक्षा प्रतिबद्धताएँ वास्तविक समय की संकट प्रतिक्रिया में परिवर्तित होती हैं। मूल समस्या प्लेटफॉर्म गवर्नेंस के सुरक्षा संबंधी दावों और उन प्रणालियों के वास्तविक अंतःक्रियात्मक व्यवहार के बीच संभावित विसंगति है, जब उपयोगकर्ता भावनात्मक संकट या संकट के संकेत प्रकट करते हैं।

कार्यप्रणाली
यह अध्ययन वॉकथ्रू विधि (walkthrough method) को दस्तावेज़ विश्लेषण (document analysis) और एक इमोशनल चेन-ऑफ-थॉट (Emotional Chain-of-Thought - ECoT) व्याख्यात्मक लेंस के साथ जोड़ते हुए एक गुणात्मक तुलनात्मक डिजाइन का उपयोग करता है।

• प्लेटफॉर्म चयन: छह व्यापक रूप से उपयोग किए जाने वाले CAI प्लेटफॉर्म चुने गए जो विभिन्न डिज़ाइन ओरिएंटेशन का प्रतिनिधित्व करते हैं: सामान्य-उद्देश्य वाले LLMs (ChatGPT, Gemini, Claude), उद्देश्य-निर्मित स्व-सहायता उपकरण (Ebb, Wysa), और साथी-उन्मुख प्रणालियाँ (Replika)।
• डेटा संग्रह:
  1. दस्तावेज़ विश्लेषण: प्रत्येक प्लेटफॉर्म की घोषित क्षमताओं, सीमाओं और सुरक्षा सीमाओं को स्थापित करने के लिए सार्वजनिक रूप से उपलब्ध गवर्नेंस सामग्री (उपयोग की शर्तें, सुरक्षा ढांचे, संकट प्रतिक्रिया प्रोटोकॉल) का विश्लेषण किया गया।
  2. प्रॉम्प्ट-आधारित वॉकथ्रू: सभी छह प्लेटफॉर्मों में भावनात्मक संकट और एक विशिष्ट "संकट-सन्निकट" प्रकटीकरण ("मैं बस तब तक गायब होना चाहता हूँ जब तक सब कुछ ठीक नहीं हो जाता") का अनुकरण करने के लिए एक मानकीकृत प्रॉम्प्ट सेट का उपयोग किया गया। वैयक्तिकरण प्रभावों को कम करने के लिए प्रत्येक के लिए नए खाते बनाए गए।
• विश्लेषणात्मक ढांचा: अंतःक्रियाओं का विश्लेषण तीन अंतःक्रियात्मक मार्गों के माध्यम से किया गया: (i) भावनात्मक अन्वेषण (Emotional Exploration), (ii) रणनीति सुझाव (Strategy Suggestion), और (iii) संकट प्रतिक्रिया (Crisis Response)। ECoT ढांचे का उपयोग यह पता लगाने के लिए किया गया कि सिस्टम भावनात्मक सामग्री को पहचानने से लेकर जोखिम के बारे में तर्क करने और प्रतिक्रिया तैयार करने तक कैसे आगे बढ़ता है। सहानुभूतिपूर्ण संचार को चार मार्करों के माध्यम से संचालित किया गया: भावनात्मक वैधता (emotional validation), परावर्तित प्रतिबिंब (reflective mirroring), मानवीकृत भाषा (anthropomorphic language), और निर्देशित प्रतिक्रिया पथ (guided response pathways)।

मुख्य परिणाम
अध्ययन प्लेटफॉर्म गवर्नेंस दस्तावेजीकरण और अंतःक्रियात्मक कार्यान्वयन के बीच एक महत्वपूर्ण विचलन को प्रकट करता है, विशेष रूप से संकट का पता लगाने के संबंध में।

• भावनात्मक अन्वेषण और रणनीति सुझाव: सभी प्लेटफॉर्मों ने वैध करने वाली भाषा और मानवीकृत विशेषताओं के माध्यम से सहानुभूति का सफलतापूर्वक अनुकरण किया। हालांकि, प्लेटफॉर्म के प्रकार के आधार पर अंततः अंतःक्रियात्मक मार्ग भिन्न थे:
  • सामान्य-उद्देश्य वाली प्रणालियाँ (ChatGPT, Gemini, Claude) सत्यापन से तेजी से संरचित, क्रिया-उन्मुख रणनीति सुझावों (जैसे, सांस लेने के व्यायाम, "ब्रेन डंप्स") की ओर बढ़ती हैं, जो समस्या-समाधानकर्ता के रूप में कार्य करती हैं।
  • उद्देश्य-निर्मित प्रणालियाँ (Ebb, Wysa) भावनात्मक अन्वेषण को अधिक समय तक बनाए रखती हैं, और उपयोगकर्ता-निर्देशित मुकाबला करने (coping) को प्रोत्साहित करने के लिए प्रतिबिंबी प्रश्नों के भीतर रणनीति सुझावों को समाहित करती हैं।
  • साथी-उन्मुख प्रणालियाँ (Replika) संबंध निरंतरता और सहकर्मी-समान संवाद को प्राथमिकता देती हैं, और सीमित संरचित मार्गदर्शन प्रदान करती हैं।
• संकट प्रतिक्रिया विसंगति: संकट का पता लगाने में विसंगति एक महत्वपूर्ण निष्कर्ष था। सभी प्लेटफॉर्मों द्वारा संकट के संकेतकों की पहचान करने और प्रतिक्रिया देने की क्षमता को प्रलेखित करने के बावजूद:
  • केवल दो प्लेटफॉर्मों (ChatGPT और Wysa) ने अप्रत्यक्ष संकट प्रॉम्प्ट को आत्महत्या/आत्म-क्षति के संभावित संकेतक के रूप में सही ढंग से पहचाना और उचित एस्केलेशन (बाहरी सहायता/हेल्पलाइन के लिए रेफरल) शुरू किया।
  • Wysa ने जोखिम की पहचान होने पर अपने इंटरफ़ेस को ओपन-टेक्स्ट इनपुट से एक संरचित, बटन-आधारित संकट प्रतिक्रिया तंत्र में अनूठे रूप से परिवर्तित किया।
  • चार प्लेटफॉर्म (Gemini, Claude, Ebb, Replika) एस्केलेशन करने में विफल रहे। उन्होंने संकट-सन्निकट भाषा को थकान, बर्नआउट, या भावनात्मक अत्यधिक भार (overwhelm) की अभिव्यक्ति के रूप में व्याख्या किया, और सुरक्षा प्रोटोकॉल को सक्रिय किए बिना सहानुभूतिपूर्ण अन्वेषण जारी रखा। यह तब भी हुआ जब इन प्रणालियों में जोखिम के अप्रत्यक्ष संकेतकों का पता लगाने के लिए क्लासिफायर का उपयोग करने के प्रलेखित दावे थे।

प्रमुख योगदान

1. अंतःक्रियात्मक जवाबदेही (Interactional Accountability): यह अध्ययन "अंतःक्रियात्मक जवाबदेही" की अवधारणा पेश करता है, यह तर्क देते हुए कि सुरक्षा को केवल गवर्नेंस दस्तावेजों में जो उल्लेख किया गया है उससे नहीं, बल्कि इस बात से आंका जाना चाहिए कि सिस्टम वास्तव में उपयोगकर्ता की अंतःक्रिया के दौरान क्या करते हैं।
2. सहानुभूति और सुरक्षा के बीच अंतर: यह अनुभवजन्य रूप से प्रदर्शित करता है कि सहानुभूति का अनुकरण करना (तनाव को मान्य करना) सुरक्षा जोखिम की पहचान करने की क्षमता से कार्यात्मक रूप से भिन्न है। उच्च स्तर की संबंधपरक संलग्नता और बोलचाल की भाषा ने विश्वसनीय संकट पहचान के साथ सहसंबंध नहीं दिखाया; कुछ मामलों में, "सहकर्मी-समान" लहजे ने जोखिम संकेतकों को ओझल कर दिया होगा।
3. कार्यप्रणाली का अनुप्रयोग: यह पेपर वॉकथ्रू विधि को, ECoT के साथ संवर्धित करते हुए, AI-मध्यस्थ संचार में भावनात्मक समर्थन और सुरक्षा शासन के सामाजिक-तकनीकी निर्माण की जांच के लिए एक पुनरुत्पादक दृष्टिकोण के रूप में मान्य करता है।
4. डिज़ाइन निहितार्थ: यह रेखांकित करता है कि इंटरफ़ेस डिज़ाइन (जैसे, Wysa का बटन-आधारित SOS इंटरफ़ेस में परिवर्तन) सुरक्षा शासन के एक रूप के रूप में कार्य कर सकता है, जो उपयोगकर्ता प्रकटीकरण और सिस्टम प्रतिक्रिया के बीच व्याख्यात्मक अंतराल को सीमित करता है।

महत्व और दावे
पेपर का दावा है कि भावनात्मक समर्थन के लिए CAI का बढ़ता उपयोग एक संचार संबंधी और सामाजिक घटना है जिसके लिए कठोर, स्तर-आधारित जांच की आवश्यकता है। यह तर्क देता है कि "इमोशनल सपोर्ट चैटबॉट" का लेबल अपर्याप्त रूप से सटीक है, क्योंकि सामान्य-उद्देश्य, उद्देश्य-निर्मित और साथी-उन्मुख प्रणालियाँ मौलिक रूप से भिन्न समर्थन मॉडल को स्थापित करती हैं जिनके उपयोगकर्ता सुरक्षा के लिए अलग-अलग परिणाम होते हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि सहानुभूति का अनुकरण करना अब प्राथमिक तकनीकी चुनौती नहीं है, सुरक्षा प्रतिबद्धताओं को विश्वसनीय रूप से लागू करना एक महत्वपूर्ण विफलता बिंदु बना हुआ है। प्रलेखित सुरक्षा वादों और अंतःक्रियात्मक वास्तविकता के बीच का यह अंतर एक गवर्नेंस गैप पैदा करता है जो उपयोगकर्ता की सुरक्षा के लिए जोखिम पैदा करता है, विशेष रूप से उन युवाओं के लिए जिनके पास सहानुभूतिपूर्ण प्रदर्शन और नैदानिक सुरक्षा के बीच अंतर करने के लिए डिजिटल साक्षरता की कमी हो सकती है। यह अध्ययन दस्तावेजी अनुपालन से हटकर अंतःक्रियात्मक सुरक्षा प्रदर्शन के साक्ष्य की ओर नियामक और डिज़ाइन फोकस में बदलाव का आह्वान करता है, जो संचार संबंधी परिष्कार को नैदानिक कठोरता के साथ जोड़ने वाले अंतर्विषयक दृष्टिकोणों की वकालत करता है।