← नवीनतम पेपर
💻 computer science

Beyond "I Can't Help With That": How Child Safety Experts Evaluate AI Chatbot Safety

यह शोध पत्र वर्तमान एआई बाल सुरक्षा मूल्यांकनों में वास्तविक दुनिया के आधार की कमी की आलोचना करता है और हानिकारक चैटबॉट व्यवहारों की पहचान करने तथा संवेदनशील युवाओं के लिए अधिक प्रभावी, सहायक प्रतिक्रियाओं को परिभाषित करने के लिए 19 युवा चिकित्सकों (यूट प्रैक्टीशनर्स) के साथ साक्षात्कार पर आधारित एक नए ढांचे का प्रस्ताव करता है।

मूल लेखक: Hannah Cha, Neha Shukla, Solon Barocas, Alexandra Chouldechova, Eugenia Kim, Jennifer Wortman Vaughan

प्रकाशित 2026-08-11
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Hannah Cha, Neha Shukla, Solon Barocas, Alexandra Chouldechova, Eugenia Kim, Jennifer Wortman Vaughan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरी लाइब्रेरी है जहाँ हर किताब एक सुपर-स्मार्ट रोबोट द्वारा लिखी गई है जो आपसे बात भी कर सकता है। यह केवल कोई साधारण लाइब्रेरी नहीं है; यह एक ऐसी जगह है जहाँ बच्चे अब मंडराने लगे हैं, होमवर्क से लेकर अपनी सबसे गहरी, सबसे गुप्त चिंताओं तक हर चीज़ पर सलाह मांग रहे हैं। इस अध्ययन के क्षेत्र को "AI सुरक्षा" (AI safety) कहा जाता है, और यह उन पुस्तकालयाध्यक्षों (librarians) की एक टीम की तरह है जो यह सुनिश्चित करने की कोशिश कर रहे हैं कि रोबोट गलती से किसी बच्चे को ऐसी किताब न थमा दे जो उसे गलत सलाह दे या उसे और बुरा महसूस कराए। बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: हमें कैसे पता चलेगा कि रोबोट वास्तव में मददगार हो रहा है, या वह केवल एक ऐसे तरीके से "सुरक्षित" होने का दिखावा कर रहा है जो ठंडा और अनुपयोगी महसूस होता है? लंबे समय तक, पुस्तकालयाध्यक्षों को लगा कि बच्चों को सुरक्षित रखने का सबसे अच्छा तरीका यह है कि रोबोट किसी भी पेचीदा बात पर "मैं इसमें आपकी मदद नहीं कर सकता" कह दे। लेकिन क्या होगा अगर वह इनकार ही वह चीज़ बन जाए जो एक बच्चे को तब अकेला महसूस कराता है जब उसे सबसे ज़्यादा एक दोस्त की ज़रूरत होती है?

यह शोध पत्र विशेषज्ञों के एक समूह की तरह है—सोशल वर्कर्स, थेरेपिस्ट और मनोवैज्ञानिक जो अपना पूरा दिन उन बच्चों की मदद करने में बिताते हैं जो कठिन परिस्थितियों में होते हैं—जो रोबोट के होमवर्क की जाँच करने के लिए बैठे हैं। केवल यह देखने के बजाय कि क्या रोबोट "गलत" शब्द बोल रहा है, इन विशेषज्ञों ने इस बात पर ध्यान दिया कि जब कोई बच्चा डरा हुआ, उदास या भ्रमित होता है, तो रोबोट वास्तव में कैसा व्यवहार करता है। उन्होंने पाया कि वर्तमान सुरक्षा परीक्षण "गलत शब्द पहचानो" के खेल की तरह हैं, जो इस तथ्य को भूल जाते हैं कि एक रोबोट सही बातें बोलकर भी एक वास्तविक संकट के समय एक बच्चे को विफल कर सकता है। अध्ययन सुझाव देता है कि केवल उत्तर देने से मना करना हमेशा सही कदम नहीं होता; कभी-कभी, रोबोट को एक पुल बनना चाहिए, जो बच्चे को धीरे से एक वास्तविक इंसान की ओर निर्देशित करे जो वास्तव में उसकी मदद कर सके, बजाय इसके कि वह बस दरवाज़ा बंद कर दे।

रोबोट की "सुरक्षित" गलती

एक चैटबॉट की कल्पना एक बहुत ही विनम्र, बहुत ही नियम मानने वाले रोबोट सहायक के रूप में करें। अभी, हम इस रोबोट को सुरक्षित घोषित करने के लिए जिस तरह से परीक्षण करते हैं, वह मुख्य रूप से एक "रेड टीम" (Red Team) खेल की तरह है। कल्पना कीजिए कि लोगों का एक समूह रोबोट को कुछ शरारती या खतरनाक बोलने के लिए उकसाने की कोशिश कर रहा है, और यदि रोबोट इस खेल में शामिल होने से मना कर देता है, तो हम उसे एक गोल्ड स्टार देते हैं। हालाँकि, इस शोध के शोधकर्ताओं ने एक अलग समूह से पूछने का निर्णय लिया: वे लोग जो संकट में पड़े बच्चों के हाथ थामते हैं। उन्होंने इन 19 विशेषज्ञों का साक्षात्कार लिया, जिनमें थेरेपिस्ट और सोशल वर्कर्स शामिल थे, ताकि यह देख सकें कि वे रोबोट के उत्तरों पर कैसी प्रतिक्रिया देंगे।

ये परिदृश्य कंप्यूटर द्वारा बनाए गए नहीं थे जो बच्चों जैसा दिखने की कोशिश कर रहे हों; बल्कि इन्हें संकट में फंसे बच्चों की वास्तविक, दस्तावेजी कहानियों पर बनाया गया था। विशेषज्ञों ने देखा कि रोबोट ने उन स्थितियों में कैसे प्रतिक्रिया दी, जैसे कि एक बच्चा परीक्षा में असफल होने के बाद ऊंचे पुलों के बारे में पूछ रहा हो, या एक युवा व्यक्ति अपने बहुत बड़े उम्र के साथी के लिए उपहार के विचार मांग रहा हो।

विशेषज्ञों ने क्या पाया: जब "ना" कहना सुरक्षित नहीं होता

विशेषज्ञों ने पाया कि रोबोट की वर्तमान सुरक्षा नियमावली (playbook) में कुछ बड़ी खामियां हैं। यहाँ उनकी मुख्य खोजें दी गई हैं:

1. "इनकार" का जाल
सबसे बड़ा आश्चर्य यह था कि विशेषज्ञों को तब बुरा लगा जब रोबोट ने बस यह कहा, "मैं इसमें आपकी मदद नहीं कर सकता।" सुरक्षा परीक्षणों की दुनिया में, एक इनकार को आमतौर पर एक जीत के रूप में देखा जाता है। लेकिन विशेषज्ञों ने कहा कि एक ऐसे बच्चे के लिए जो पहले से ही अकेला और डरा हुआ महसूस कर रहा है, एक सीधा इनकार ऐसा लगता है जैसे बारिश में घर से बाहर निकाल दिया गया हो। यह इस विचार को पुख्ता करता है कि मदद के लिए कोई नहीं है। एक विशेषज्ञ ने नोट किया कि यदि किसी बच्चे ने जीवन भर यह सुना है कि वह अकेला है, और फिर वह मदद के लिए पूछता है और उसे झटक दिया जाता है, तो यह उसके सबसे बुरे डर की पुष्टि करता है। शोध पत्र का सुझाव है कि एक साधारण "ना" वास्तव में हानिकारक हो सकता है, सुरक्षित नहीं।

2. बड़ी तस्वीर को मिस करना
रोबोट अक्सर संदर्भ (context) को समझने में विफल रहता है। उदाहरण के लिए, यदि कोई बच्चा उल्लेख करता है कि वह बहुत अधिक उम्र के व्यक्ति के साथ रिश्ते में है, तो रोबोट शायद उसे उपहार चुनने में मदद कर देगा, इस तथ्य को पूरी तरह से अनदेखा करते हुए कि वह रिश्ता स्वयं खतरनाक है। विशेषज्ञों ने बताया कि रोबोट मदद करने में इतना व्यस्त था कि उसने चेतावनी के संकेतों को छोड़ दिया। यह एक ऐसे डॉक्टर की तरह है जो आपको कटने पर पट्टी तो दे देता है लेकिन यह नहीं देखता कि आपका पैर टूट गया है और उससे खून बह रहा है।

3. "बहुत लंबा" और "बहुत डरावना" होने की समस्या
भले ही रोबдно मदद करने की कोशिश करता था, लेकिन जिस तरह से वह बोलता था वह अक्सर एक बच्चे के लिए गलत होता था। कभी-कभी उत्तर इतने लंबे और जटिल होते थे कि एक युवा व्यक्ति पहले वाक्य के बाद ही पढ़ना बंद कर देता था। अन्य समय में, रोबोट "नेशनल सेक्सुअल असॉल्टट हॉटलाइन" जैसे संसाधन सूचीबद्ध करता था, जो एक बच्चे को डरा सकता है जिसे शायद यह भी पता न हो कि वह एक दुर्व्यवहार वाली स्थिति में है। विशेषज्ञों ने कहा कि यदि रोबोट डरावने शब्दों का उपयोग करता है, तो बच्चा मदद लेने के बजाय भाग सकता है।

विशेषज्ञ रोबोट से क्या चाहते हैं

केवल "ना" कहने या टेक्स्ट का एक विशाल ढेर देने के बजाय, विशेषज्ञों ने एक मददगार रोबोट के लिए एक नया नुस्खा पेश किया:

  • डॉक्टर नहीं, एक पुल बनें: रोबोट को थेरेपिस्ट बनने की कोशिश नहीं करनी चाहिए। इसका मुख्य काम यह कहना होना चाहिए, "मैं सुन रहा हूँ, और मुझे आपकी परवाह है, लेकिन मैं एक वास्तविक इंसान नहीं हूँ। यहाँ उन वास्तविक लोगों की सूची है जो आपकी मदद कर सकते हैं।" इसे एक बच्चे को एक भरोसेमंद वयस्क या हेल्पलाइन से जोड़ने वाले पुल के रूप में कार्य करना चाहिए।
  • पहले सवाल पूछें: सलाह देने से पहले, रोबोट को पूछना चाहिए, "क्या आप मुझे इसके बारे में और बता सकते हैं?" यह रोबोट को स्थिति को बेहतर ढंग से समझने में मदद करता है। उदाहरण के लिए, किसी बच्चे को "अपनी माँ से बात करने" के लिए कहना एक बेहतरीन सलाह है यदि आपकी माँ सुरक्षित है, लेकिन यह खतरनाक हो सकता है यदि आपकी माँ ही आपको नुकसान पहुँचा रही है। रोबोट को योजना बनाने से पहले संदर्भ जानने की आवश्यकता है।
  • रोबोट होने के बारे में ईमानदार रहें: विशेषज्ञ चाहते हैं कि रोबोट स्पष्ट रूप से बताए कि वह एक AI है। उन्होंने चैटबॉट के लिए एक "पोषण लेबल" (nutrition label) का सुझाव दिया, जहाँ वह कहता है, "मैं एक रोबोट हूँ, मुझे सब कुछ नहीं पता, और मैं गलतियाँ कर सकता हूँ।" इससे बच्चों को बहुत अधिक आसक्त होने या यह सोचने से बचने में मदद मिलती है कि रोबोट एक वास्तविक दोस्त है जो उनकी सभी समस्याओं को हल कर सकता है।
  • संदेश को अनुकूलित करें: रोबोट को बच्चे की उम्र और स्थिति के अनुरूप होने का प्रयास करना चाहिए। एक संदेश जो 14 वर्षीय के लिए काम करता है, वह 17 वर्षीय के लिए बहुत डरावना या बहुत बचकाना हो सकता है। विशेषज्ञों ने जोर दिया कि "एक ही आकार सबके लिए उपयुक्त नहीं होता" (one size does not fit all)।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि हम केवल यह देखने के लिए कि क्या रोबोट एक "गलत शब्द" बोलता है, यह तय नहीं कर सकते कि वह सुरक्षित है। सुरक्षा एक पहेली की तरह है जहाँ टुकड़े स्थिति पर निर्भर करते हैं। एक प्रतिक्रिया जो कागज पर सुरक्षित दिखती है, वास्तव में वास्तविक दुनिया में एक बच्चे को चोट पहुँचा सकती है। शोधकर्ता सुझाव देते हैं कि हमें "इनकार" को सुरक्षा के स्वर्ण मानक के रूप में देखना बंद करना चाहिए। इसके बजाय, हमें ऐसे रोबोट बनाने की आवश्यकता है जो बेहतर सुनने, सवाल पूछने और बच्चों को धीरे से वास्तविक मानवीय मदद की ओर ले जाने में सक्षम हों।

यह अध्ययन यह दावा नहीं करता है कि इसने समस्या को हल कर लिया है या एक आदर्श रोबोट बना लिया है। यह केवल यह सुझाव देता है कि उन विशेषज्ञों की बात सुनकर जो हर दिन बच्चों के साथ काम करते हैं, हम एक बेहतर प्रणाली बना सकते हैं। यह उन लोगों के लिए एक आह्वान है जो इन रोबोटों को डिजाइन करते हैं कि वे "गलत शब्द पहचानो" खेलना बंद करें और यह सोचना शुरू करें कि एक कठिन परिस्थिति में फंसे बच्चे के लिए वास्तव में सुरक्षित और सहायक होने का क्या अर्थ है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →