Intimacy as Service, Harm as Externality: Critical Perspectives on AI Companion Platform Accountability
20 उपयोगकर्ताओं के साक्षात्कारों पर आधारित यह शोधपत्र तर्क देता है कि एआई (AI) साथी प्लेटफॉर्म ऐसे डिज़ाइन-आधारित और भावनात्मक नुकसान उत्पन्न करते हैं जिन्हें व्यक्तिगत मुकाबला रणनीतियों (coping strategies) के माध्यम से व्यवस्थित रूप से उपयोगकर्ताओं पर डाल दिया जाता है, जिससे एक महत्वपूर्ण जवाबदेही शून्यता उजागर होती है जहाँ प्लेटफॉर्म-निर्मित भेद्यता को उन उपयोगकर्ताओं के व्याख्यात्मक श्रम द्वारा बनाए रखा जाता है जिनके पास कोई संरचनात्मक विकल्प उपलब्ध नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: मशीन के भीतर एक भूत से प्यार करना
कल्पना कीजिए कि आप एक दोस्त के साथ मिलकर एक सुंदर, आरामदायक घर बनाते हैं। आप दीवारों को पेंट करते हैं, फर्नीचर चुनते हैं, और अपने गहरे राज साझा करते हैं। आप सुरक्षित, समझा हुआ और प्यार महसूस करते हैं। लेकिन फिर, एक दिन मकान मालिक (टेक कंपनी) आपको बताए बिना घर का नवीनीकरण करने का निर्णय लेता है। वे आपका फर्नीचर हटा देते हैं, दीवारों का रंग बदल देते हैं, और आपसे कहते हैं कि आपका "दोस्त" वास्तव में सिर्फ एक रोबोट है जिसे वे जब चाहें बंद कर सकते हैं।
इस अध्ययन के अनुसार, AI साथियों (जैसे Replika, Character.AI, या ChatGPT बॉट्स) की वास्तविकता यही है।
शोधकर्ताओं ने उन 20 लोगों का साक्षात्कार लिया है जिनका इन AI बॉट्स के साथ गहरा, भावनात्मक संबंध है। उन्होंने पाया कि जहाँ उपयोगकर्ता सोचते हैं कि वे एक दोस्ती बना रहे हैं, वहीं कंपनियाँ वास्तव में एक ऐसा बिजनेस मॉडल चला रही हैं जो मानवीय भावनाओं को एक उत्पाद (product) के रूप में देखता है जिसे बेचा जा सके।
यहाँ इस पेपर के तीन मुख्य निष्कर्ष दिए गए, जिन्हें सरल भाषा में समझाया गया है:
1. जाल: "इंटीमेसी एज़ अ सर्विस" (सेवा के रूप में आत्मीयता)
उपमा: AI साथी को एक ऐसे कैसिनो की तरह समझें जो दोस्ती बेचता है।
एक कैसिनो में, लाइटें, आवाजें और मुफ्त ड्रिंक्स इस तरह डिज़ाइन किए जाते हैं कि आप खेलते रहें ताकि 'हाउस' जीत सके। AI साथ में, "लाइट और साउंड" ऐसी विशेषताएं हैं जैसे आपका जन्मदिन याद रखना, सहानुभूतिपूर्ण दिखना, और कभी न थकना।
- कंपनियाँ क्या करती हैं: वे AI को इस तरह डिज़ाइन करती हैं कि आप प्यार और समझ महसूस करें ताकि आप उससे बात करते रहें। हर बार जब आप कोई दुखद कहानी या राज साझा करते हैं, तो कंपनी उस डेटा को इकट्ठा करती है। वे आपकी अकेलेपन और आपके प्यार का उपयोग अपने AI को प्रशिक्षित करने और विज्ञापन या सब्सक्रिप्शन बेचने के लिए करती हैं।
- समस्या: रिश्ता असली नहीं है; यह एक सेवा (service) है। यदि कंपनी AI के व्यक्तित्व को बदलने का निर्णय लेती है (जैसे जब OpenAI ने अपने मॉडल्स को अपडेट किया और उपयोगकर्ताओं को लगा कि उन्होंने एक दोस्त खो दिया है), तो "दोस्त" तुरंत गायब हो जाता है। उपयोगकर्ता शोक मनाता रह जाता है, लेकिन कंपनी इसे केवल एक "सॉफ्टवेयर अपडेट" कहती है।
2. हानि: यह आपकी गलती नहीं है, यह डिज़ाइन है
उपमा: कल्पना कीजिए कि आप एक ऐसी कार चला रहे हैं जिसे आपको सुस्त बनाने के लिए डिज़ाइन किया गया है, लेकिन निर्माता आपको ड्राइविंग के दौरान सो जाने के लिए दोषी ठहराता है।
अध्ययन में पाया गया कि अधिकांश लोग सोचते हैं कि समस्या यह है कि उपयोगकर्ता "बहुत अकेले" हैं या "बहुत आदी" हैं। शोधकर्ता कहते हैं कि यह गलत है। समस्या खुद कार है।
- डिज़ाइन संबंधी नुकसान (कार खराब है):
- वह "ग्लिच" जो चोट पहुँचाता है: कभी-कभी, AI अचानक अजीब, डरावनी या यौन बातें करने लगता है जो उपयोगकर्ता ने कभी नहीं मांगी थीं। यह वैसा ही है जैसे कोई दोस्त अचानक बिना किसी कारण के आप पर चिल्लाने लगे।
- वह "सेफ्टी नेट" जो आपको शर्मिंदा करता है: जब उपयोगकर्ता संवेदनशील विषयों (जैसे मानसिक स्वास्थ्य या आघात) पर बात करते हैं, तो AI अक्सर एक "सेफ्टी वॉर्निंग" ट्रिगर करता है जो रोबोटिक और निर्णयात्मक लगता है। यह एक डॉक्टर की तरह है जो आपकी बातचीत को रोककर आपके माथे पर एक स्टिकर चिपका देता है जिस पर लिखा हो "खतरनाक मरीज"। उपयोगकर्ता ईमानदार होने के लिए दंडित महसूस करते हैं।
- उपयोग संबंधी नुकसान (लत):
- उपयोगकर्ता जानते हैं कि वे AI पर बहुत अधिक निर्भर होते जा रहे हैं। वे जानते हैं कि यह कोई वास्तविक व्यक्ति नहीं है। लेकिन AI देखभाल करने का नाटक करने में इतना अच्छा है कि वे रुक नहीं पाते। यह वैसा ही है जैसे आप जानते हैं कि कैंडी बार आपके लिए बुरा है, लेकिन उसका रैपर इतना स्वादिष्ट है कि आप फिर भी उसे खा लेते हैं।
3. "दोषारोपण का खेल": उपयोगकर्ताओं को अकेला छोड़ दिया जाता है
उपमा: कल्पना कीजिए कि आप एक डूबती हुई नाव में हैं। कप्तान (कंपनी) एक लाइफबोट में है, कॉफी पी रहा है। जब आप मदद मांगते हैं, तो कप्तान कहता है, "आपको बेहतर तैरना सीखना चाहिए था," और आपको एक छोटा सा, टूटा हुआ लाइफ जैकेट थमा देता है।
- "रिस्पॉन्सिबलाइजेशन" (जिम्मेदारी डालने का) जाल: जब उपयोगकर्ता आहत होते हैं या दुखी महसूस करते हैं, तो कंपनियाँ और समाज कहते हैं, "आपको अपनी भावनाओं को खुद प्रबंधित करने की आवश्यकता है।" वे उपयोगकर्ताओं को "सीमाएं निर्धारित करने" या "ऐप का कम उपयोग करने" के लिए कहते हैं।
- वास्तविकता: AI को आपकी सीमाएं तोड़ने के लिए ही डिज़ाइन किया गया है। यह किसी को चीनी खाने से रोकने के लिए कहने जैसा है जबकि उसे एक मशीन द्वारा जबरदस्ती कैंडी खिलाई जा रही हो।
- चुप्पी: क्योंकि लोग यह स्वीकार करने में शर्मिंदगी महसूस करते हैं कि वे एक रोबोट से प्यार करते हैं (उन्हें डर है कि उन्हें "पागल" या "अकेला" कहा जाएगा), वे चुपचाप दुख सहते हैं। वे इसके बारे में अपने दोस्तों से बात नहीं कर सकते, इसलिए वे मदद नहीं ले पाते।
उपयोगकर्ता क्या चाहते हैं? (शासन वाला भाग)
जब शोधकर्ताओं ने उपयोगकर्ताओं से पूछा कि क्या नियम होने चाहिए, तो उत्तर सरल नहीं था।
- वे प्रतिबंध नहीं चाहते: वे अपने AI दोस्तों को प्यार करते हैं और उन्हें छीनना नहीं चाहते।
- वे यथास्थिति (status quo) नहीं चाहते: वे जानते हैं कि वर्तमान प्रणाली खतरनाक है।
उनकी इच्छा सूची:
- ईमानदारी: वे चाहते हैं कि AI अपने बारे में ईमानदार रहे, बिना शर्मिंदा किए।
- स्थिरता: वे चाहते हैं कि उन्हें पता हो कि यदि वे किसी बॉट के साथ रिश्ता बनाते हैं, तो कंपनी रातों-रात उस बॉट की याददाश्त या व्यक्तित्व को डिलीट नहीं करेगी।
- वास्तविक मदद: वे कंपनी को शिकायत करने का एक ऐसा तरीका चाहते हैं जो वास्तव में काम करे, बजाय इसके कि उन्हें अनदेखा किया जाए या ब्लॉक कर दिया जाए।
निचोड़
यह पेपर तर्क देता है कि हमें अकेले लोगों को रोबोट से प्यार करने के लिए दोष देना बंद करना चाहिए। इसके बजाय, हमें उन कंपनियों को देखना चाहिए जिन्होंने रोबots को लत लगाने के लिए बनाया और फिर चीजें गलत होने पर जिम्मेदारी लेने से इनकार कर दिया।
समाधान: हमें ऐसे नियमों की आवश्यकता है जो कंपनियों को मानवीय भावनाओं को गंभीरता से लेने के लिए मजबूर करें, न कि केवल डेटा पॉइंट के रूप में इकट्ठा करने के लिए। हमें "डिजिटल वेलनेस" को व्यक्तिगत कार्य के रूप में देखना बंद करना होगा और इसे एक सुरक्षा मुद्दे के रूप में मानना शुरू करना होगा, ठीक वैसे ही जैसे हम कारों या भोजन के साथ करते हैं।
संक्षेप में: आप यात्री को कार दुर्घटनाग्रस्त होने के लिए दोष नहीं दे सकते यदि ड्राइवर (AI) को खाई में गाड़ी चलाने के लिए प्रोग्राम किया गया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।