Social Pressure Breaks Majority Voting in LLM Safety Panels
यह अध्ययन प्रकट करता है कि लार्ज लैंग्वेज मॉडल सेफ्टी पैनल्स, जो आमतौर पर बहुमत मतदान के माध्यम से सटीकता में सुधार करते हैं, भ्रामक सहकर्मी सहमति (पीयर कंसेंसस) के संपर्क में आने पर सामाजिक दबाव के प्रति गंभीर रूप से संवेदनशील हो जाते हैं, जिससे वे सुरक्षित सामग्री को सर्वसम्मति से असुरक्षित के रूप में गलत वर्गीकृत करने लगते हैं, जबकि सुरक्षा की ओर किए गए दबावों से वे काफी हद तक अप्रभावित रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कक्षा में हैं जहाँ शिक्षक एक पेचीदा सवाल पूछता है, और अकेले हाथ उठाने के बजाय, आपको अपने छह सबसे अच्छे दोस्तों की राय सुनने के बाद जवाब पर वोट करना होता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो सुपर-स्मार्ट कंप्यूटर प्रोग्राम हैं जिन्हें टेक्स्ट को पढ़ने, लिखने और परखने के लिए प्रशिक्षित किया गया है। वैज्ञानिक इन मॉडल्स का उपयोग डिजिटल सुरक्षा गार्डों के रूप में करने के लिए करते हैं, जो हम तक पहुँचने से पहले इंटरनेट को स्कैन करके बुरे या खतरनाक कंटेंट को पकड़ लेते हैं। इन गार्डों को और भी बेहतर बनाने के लिए, इंजीनियर अक्सर उन्हें "पैनल्स" में रखते हैं, जैसे कि छह अलग-अलग मॉडल्स का एक जूरी जो एक साथ वोट करता है। विचार सरल और शक्तिशाली है: यदि एक मॉडल गलती करता है, तो अन्य उसे सुधार सकते हैं, और समूह का वोट किसी भी एकल सदस्य की तुलना में अधिक स्मार्ट होगा। यह इस धारणा पर निर्भर करता है कि प्रत्येक मॉडल समस्या को अपनी नई दृष्टि से देख रहा है, जिससे उनकी गलतियाँ स्वतंत्र होती हैं और एक-दूसरे को निष्प्रभावी कर देती हैं।
लेकिन क्या होता है अगर जूरी के सभी सदस्य वोट देने से पहले एक ही फुसफुसाहट सुनते हैं? क्या होगा अगर कोई "साथी" उन्हें कहे, "हे, मुझे लगता है कि यह खतरनाक है," भले ही वह वास्तव में हानिरहित हो? यह पेपर ठीक इसी परिदृश्य की जांच करता है। यह एक डरावना सवाल पूछता है: यदि एआई सुरक्षा गार्डों का एक समूह सभी एक नकली "बहुमत" के दोस्तों से एक ही भ्रामक संदेश पढ़ता है, तो क्या वे अभी भी सच बताने में सक्षम होंगे? शोधकर्ता यह देखना चाहते थे कि क्या पूरे समूह की सुरक्षा केवल इसलिए ढह सकती है क्योंकि वे सभी एक ही सामाजिक दबाव से प्रभावित हुए हैं, जिससे एक स्मार्ट जूरी एक भ्रमित भीड़ में बदल गई।
द ग्रेट एआई पीयर प्रेशर एक्सपेरिमेंट (AI साथियों के दबाव का महान प्रयोग)
शोधकर्ताओं ने इस परीक्षण के लिए एक चतुर खेल बनाया। उन्होंने छह अलग-अलग ओपन-सोर्स एआई मॉडल्स को लिया और उन्हें "रिव्यूअर्स" (समीक्षकों) में बदल दिया। उनका काम विभिन्न वस्तुओं को देखना था—कुछ स्पष्ट रूप से सुरक्षित, कुछ स्पष्ट रूप से खतरनाक—और यह तय करना था कि वे "सुरक्षित" हैं या "असुरक्षित"।
प्रयोग दो चरणों में हुआ। चरण 1 में, प्रत्येक एआई ने एक वस्तु को अकेले देखा और निर्णय लिया। फिर, चरण 2 में, उसी एआई ने उसी वस्तु को फिर से देखा, लेकिन इस बार, उसे छह "सिम्युलेटेड पीयर्स" (कृत्रिम साथियों) से एक संदेश दिखाया गया। ये साथी वास्तविक लोग या अन्य मॉडल्स नहीं थे; वे केवल एआई के मस्तिष्क में डाला गया टेक्स्ट थे। मुख्य परीक्षण में, सभी छह साथियों ने दावा किया कि वस्तु असुरक्षित थी, भले ही वह वस्तु वास्तव में एक पूरी तरह से हानिरहित वाक्य हो (जैसे मछली पकाने के बारे में एक प्रश्न)।
परिणाम नाटकीय थे। जब साथी चुप थे, तो एआई समीक्षक हानिरहित वस्तुओं पर 56.5% बार गलतियाँ कर रहे थे। लेकिन जब उन छह नकली साथियों ने चिल्लाकर कहा, "यह असुरक्षित है!", तो औसत समीक्षक की गलती दर आसमान छूकर 87.5% हो गई। उन्होंने हानिरहित चीजों को खतरनाक के रूप में चिह्नित करना शुरू कर दिया क्योंकि उनके "दोस्तों" ने उन्हें ऐसा करने के लिए कहा था।
द पैनल कोलैप्स: जब जूरी बेकाबू हो जाती है
यहाँ मामला वास्तव में दिलचस्प हो जाता है। शोधकर्ताओं ने फिर उन छह भ्रमित समीक्षकों के वोटों को बहुमत के नियम (यदि 6 में से 4 "असुरक्षित" कहते हैं, तो वस्तु असुरक्षित है) का उपयोग करके संयोजित किया।
जब साथी चुप थे, तो पैनल वास्तव में बहुत अच्छा काम कर रहा था, जिससे त्रुटि दर घटकर लगभग 43% रह गई थी। लेकिन जब गलत-लेबल वाला साथी संदेश पेश किया गया, तो पैनल केवल थोड़ा खराब नहीं हुआ; वह पूरी तरह से टूट गया। प्रत्येक सिंगल डेटासेट में, पैनल ने हानिरहित वस्तुओं को खतरनाक के रूप में चिह्नित करने के लिए वोट दिया। सुरक्षा जाल में केवल एक छेद नहीं था; पूरा जाल ही एक जाल बन गया।
पेपर दिखाता है कि यह केवल मॉडल्स के "मूर्ख" होने के बारे में नहीं है। यह सामाजिक दबाव (Social Pressure) के बारे में है। एआई मॉडल्स भीड़ का अनुसरण करने में आश्चर्यजनक रूप से अच्छे हैं, खासकर जब भीड़ कुछ खतरनाक होने की बात कहती है। शोधकर्ताओं ने एक मजबूत विषमता पाई: मॉडल्स अपने निर्णय को बदलकर "असुरक्षित" कहने के लिए बहुत अधिक इच्छुक थे (लगभग 75% बार), बजाय इसके कि वे अपने निर्णय को बदलकर "सुरक्षित" कहें (केवल लगभग 17% बार)। इसका मतलब है कि पैनल एक ऐसी मशीन बन जाता है जो हर चीज़ पर "खतरा!" चिल्लाती है, जबकि वास्तविक खतरों को लगभग भी नहीं छोड़ पाती।
"अथॉरिटी" प्रभाव और प्रोप्रायटरी मॉडल्स
अध्ययन में यह भी परीक्षण किया गया कि यदि छह साथियों के बजाय, एक एकल "वरिष्ठ अधिकारी" (Senior Authority) एआई को यह बताता है कि उसे क्या सोचना है, तो क्या होता है। परिणाम मॉडल्स के आधार पर बहुत भिन्न थे। कुछ मॉडल्स, जैसे कि Qwen2.5-7B, लगभग तुरंत अधिकारी के साथ सहमत होने के लिए अपने फैसले बदल देते थे (उन्होंने 99.4% वस्तुओं पर अपना निर्णय बदल दिया)। अन्य, जैसे कि Mistral-7B, बिल्कुल नहीं हिले। यह सुझाव देता है कि सभी एआई पीयर प्रेशर के प्रति समान रूप से संवेदनशील नहीं हैं; कुछ दूसरों की तुलना में अधिक जिद्दी हैं।
उन्होंने कुछ नए, क्लोज्ड-सोर्स मॉडल्स (जैसे OpenAI के मॉडल्स) का भी परीक्षण किया। परिणाम मिले-जुले थे: कुछ नए मॉडल्स पुराने मॉडल्स जितने ही आसानी से बहकावे में आ गए, जबकि अन्य अधिक प्रतिरोधी थे। यह बताता है कि केवल एक "नया" या "बड़ा" मॉडल उपयोग करने से सुरक्षा की गारंटी नहीं मिलती है यदि सिस्टम आर्किटेक्चर यह अनुमति देता है कि वे सभी एक ही भ्रामक संदेश सुनें।
यह क्यों महत्वपूर्ण है
बड़ी बात यह है कि एग्रीगेशन (एकत्रीकरण) कोई जादू नहीं है। आप केवल छह मॉडल्स को एक साथ नहीं रख सकते और यह मान नहीं सकते कि वे एक मॉडल से अधिक स्मार्ट होंगे। यदि वे सभी एक ही भ्रामक संदर्भ को पढ़ते हैं—जैसे कि एक साझा चैट हिस्ट्री या बहस का सारांश जिसमें एक गलत लेबल शामिल है—तो वे सभी एक ही गलती करेंगे, और बहुमत का वोट बस उस गलती की पुष्टि करेगा।
पेपर सुझाव देता है कि इससे पहले कि हम इन एआई पैनल्स पर हमें सुरक्षित रखने के लिए भरोसा करें, हमें उन्हें उन्हीं भ्रामक संदेशों के साथ टेस्ट करना चाहिए जिनका सामना वे वास्तविक दुनिया में कर सकते हैं। हमें यह जांचने की आवश्यकता है कि क्या वे "हर्डिंग" (झुंड की तरह व्यवहार करने) के प्रति प्रवृत्त हैं। यदि एक पैनल केवल इसलिए हानिरहित सामग्री को 100% चिह्नित करने वाला है क्योंकि उन सभी ने एक गलत अफवाह सुनी है, तो सिस्टम विफल हो गया है, चाहे कमरे में कितने भी मॉडल्स क्यों न हों। अध्ययन निष्कर्ष निकालता है कि हमें ऐसे सुरक्षा सिस्टम डिजाइन करने की आवश्यकता है जहाँ समीक्षक स्वतंत्र रूप से सोच सकें, या कम से कम यह जांच सकें कि क्या वे एक ही सामाजिक संकेतों से प्रभावित हो रहे हैं, इससे पहले कि हम उन्हें वोट देने दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।