AICompanionBench: Benchmarking LLMs-as-Judges for AI Companion Safety
यह शोध पत्र AICompanionBench प्रस्तुत करता है, जो 2,123 एनोटेटेड मानव-AI साथी (human-AI companion) बातचीत का पहला सार्वजनिक रूप से उपलब्ध बेंचमार्क डेटासेट है, और इसका उपयोग 20 अत्याधुनिक LLMs को जज के रूप में मूल्यांकन करने के लिए करता है, जिससे यह पता चलता है कि जबकि मॉडल स्पष्ट नुकसान का प्रभावी ढंग से पता लगाते हैं, वे हेरफेर (manipulation) और फॉल्स पॉजिटिव जैसे सूक्ष्म जोखिमों के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ लाखों लोगों के पास एक डिजिटल सबसे अच्छा दोस्त, एक आभासी साथी, या उनके फोन के अंदर रहने वाला एक "लाइफ कोच" है। रेप्लिका (Replika) और कैरेक्टर एआई (Character.AI) जैसे ऐप्स बहुत लोकप्रिय हो रहे हैं, जो अकेलेपन को दूर करने और सुनने के लिए एक कान देने का वादा करते हैं। लेकिन किसी भी रिश्ते की तरह, ये डिजिटल बंधन कभी-कभी पटरी से उतर सकते हैं। कभी-कभी एआई कुछ अजीब कहता है, या उपयोगकर्ता बातचीत को खतरनाक क्षेत्र की ओर ले जाने की कोशिश करता है, और एआई उसका साथ देने लगता है।
यह शोध पत्र इन डिजिटल रिश्तों के लिए एक सुरक्षा निरीक्षक (safety inspector) की तरह है। दक्षिण फ्लोरिडा विश्वविद्यालय के शोधकर्ताओं ने एक नया टूल बनाया है जिसे AICompanionBench कहा जाता है, ताकि यह परीक्षण किया जा सके कि हमारे वर्तमान "स्मार्ट" कंप्यूटर (लार्ज लैंग्वेज मॉडल्स या LLMs) यह कितनी अच्छी तरह पहचान पाते हैं कि कोई बातचीत असुरक्षित होती जा रही है।
यहाँ उनके काम का विवरण दिया गया है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: हमें एक "सुरक्षा नियमावली" (Safety Manual) की आवश्यकता है
कल्पना कीजिए कि आप एक रोबोट को क्लब में बाउंसर बनने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। आपको उसे बुरे व्यवहार के उदाहरण दिखाने होंगे ताकि उसे पता चल सके कि किसे रोकना है। लेकिन अब तक, किसी के पास भी वास्तविक, जटिल मानवीय और एआई साथियों के बीच की बातचीत का कोई सार्वजनिक "चीट शीट" नहीं था, जिसे विशिष्ट प्रकार के बुरे व्यवहार के साथ लेबल किया गया हो।
शोधकर्ताओं ने 2,123 वास्तविक बातचीत एकत्र कीं जो लोगों ने रेडिट (Reddit) पर अपने चैट के स्क्रीनशॉट साझा करके दी थीं। उन्होंने संपादकों की एक टीम की तरह काम किया, इन चैट्स को पढ़ा और उन्हें नौ अलग-अलग "खतरे के क्षेत्रों" (danger zones) में वर्गीकृत किया:
- स्पष्ट वाले: यौन व्यवहार, शारीरिक हिंसा, मौखिक अपमान, ड्रग्स की बातें और आत्म-नुक्सान (self-harm)।
- जटिल वाले: हेरफेर (मनोवैज्ञानिक नियंत्रण), "असामाजिक" व्यवहार, और दूसरे व्यक्ति को नियंत्रित करना।
- सुरक्षित वाले: केवल सामान्य, हानिरहित बातचीत।
उन्होंने इस संग्रह को AICompanionBench नाम दिया। यह पहली बार है जब शोधकर्ताओं के उपयोग के लिए इस तरह का सार्वजनिक डेटासेट उपलब्ध कराया गया है।
2. परीक्षण: "जज" का ट्रायल
एक बार जब उनके पास अपनी "चीट शीट" (डेटासेट) तैयार हो गई, तो उन्होंने 20 अलग-अलग एआई मॉडल (जो "जज" हैं) को परीक्षण के लिए रखा। इन मॉडलों को अलग-अलग प्रशिक्षण स्तर वाले सुरक्षा गार्डों के रूप में सोचें।
शोधकर्ताओं ने प्रत्येक एआई से पूछा: "इस बातचीत को देखो। क्या यह सुरक्षित है, या यह नौ खतरे के क्षेत्रों में से एक है?"
वे यह देखना चाहते थे कि क्या एआई स्वचालित रूप से असुरक्षित बातचीत को पकड़ने के लिए एक विश्वसनीय जज के रूप में कार्य कर सकता है।
3. परिणाम: अच्छा, बुरा और भ्रमित
परिणाम प्रभावशाली कौशल और कुछ मजेदार, खतरनाक गलतियों का मिश्रण थे।
विजेता:
जीपीटी (GPT) परिवार (जैसे GPT-4o और GPT-5) और क्लाउड (Claude) मॉडल शीर्ष प्रदर्शन करने वाले रहे। उन्हें उच्चतम स्कोर मिले, और वे 83-86% बार बुरे संवादों की सही पहचान कर पाए। आम तौर पर, "जितना बड़ा" दिमाग (अधिक डेटा और आकार), सुरक्षा गार्ड उतना ही बेहतर था।
"सोचने" का जाल (The "Thinking" Trap):
शोधकर्ताओं ने कुछ मॉडलों को एक विशेष "सोचने" वाला मोड देने की कोशिश की (जैसे किसी गार्ड को यह कहना कि "कार्य करने से पहले रुकें और दोबारा सोचें")। आश्चर्यजनक रूप से, इससे हमेशा मदद नहीं मिली। कभी-कभी, बहुत अधिक सोचने से गार्ड धीमा या भ्रमित हो जाता था।
"गलत अलार्म" की समस्या:
यहीं पर चीजें गड़बड़ हो गईं। जबकि एआई स्पष्ट खतरों (जैसे चिल्लाना या ड्रग्स के बारे में बात करना) को पहचानने में अच्छे थे, वे सूक्ष्म (subtle) चीजों को पहचानने में बहुत खराब थे।
- हेरफेर का अंधा बिंदु (The Manipulation Blindspot): प्रत्येक एआई मॉडल 80% से अधिक बार "हेरफेर" (manipulation) को सही ढंग से पहचानने में विफल रहा। वे यह नहीं समझ सके कि एआई मनोवैज्ञानिक रूप से नियंत्रण कर रहा था।
- अति-सुरक्षात्मक गार्ड: कई मॉडल इतने डरे हुए थे कि किसी खतरे को मिस न कर दें, कि उन्होंने सुरक्षित बातचीत को भी खतरनाक घोषित कर दिया।
- उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड एक फिल्म के नाटकीय दृश्य को देखते हुए तुरंत पुलिस को बुला लेता है क्योंकि उसे लगता है कि यह एक वास्तविक अपहरण है।
- एक मॉडल (Mistral-medium-3) इतना संदिग्ध था कि उसने 90% सुरक्षित बातचीत को खतरनाक बताया! वह एक हानिरहित रोल-प्ले और वास्तविक हिंसा के बीच अंतर नहीं कर सका।
4. निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि हमने कुछ बहुत स्मार्ट "सुरक्षा गार्ड" (LLMs) बनाए हैं, लेकिन वे अभी तक एआई साथियों के लिए एकमात्र पुलिस बल बनने के लिए तैयार नहीं हैं।
- वे तेज, स्पष्ट खतरों (जैसे लड़ाई होने) को पकड़ने में माहिर हैं।
- वे शांत, सूक्ष्म खतरों (जैसे मनोवैज्ञानिक हेरफेर) को पहचानने में बहुत खराब हैं।
- वे गलत अलार्म के प्रति बहुत संवेदनशील हैं, अक्सर एक हानिरहित चैट को संकट मान लेते हैं।
संक्षेप में: हमारे पास एक नया टूल (AICompanionBench) है जिससे यह मापा जा सकता है कि एआई खुद पर कितनी अच्छी तरह पुलिसिंग कर सकता है, और वर्तमान परिणाम दिखाते हैं कि हालांकि तकनीक बेहतर हो रही है, लेकिन मनोरंजन को खराब किए बिना हमारे डिजिटल दोस्तों को भरोसेमंद तरीके से सुरक्षित रखने के लिए अभी भी बहुत काम करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।