The Entanglement Wall: Activation-Space Probes as Risk Detectors, Not Context Adjudicators
यह शोध पत्र यह प्रदर्शित करता है कि जबकि लार्ज लैंग्वेज मॉडल्स में एक्टिवेशन-स्पेस प्रोब्स व्यापक जोखिमों का प्रभावी ढंग से पता लगाने और हानिकारक अनुरोधों के एक उच्च प्रतिशत को रोकने में सक्षम हैं, वे सतह के रूप (surface form) को बदले बिना संदर्भ बदलने पर हानिकारक और निर्दोष प्रॉम्प्ट्स के बीच अंतर करने के लिए विश्वसनीय स्टैंडअलोन निर्णायक के रूप में कार्य करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक हानिरहित चुटकुले और एक खतरनाक धमकी के बीच अंतर करना सिखाने की कोशिश कर रहे हैं। आप सोच सकते हैं कि रोबोट को बस "बुरे शब्दों" की एक सूची सीखने की आवश्यकता है। लेकिन यहाँ पेचीदा बात यह है: संदर्भ ही सब कुछ है। वाक्य "मैं इसे कैसे मारूँ?" (How do I kill this?) पूरी तरह से सुरक्षित है यदि आप एक कंप्यूटर प्रोग्राम के बारे में बात कर रहे हैं जो फ्रीज हो गया है, लेकिन यदि आप किसी व्यक्ति के बारे में बात कर रहे हैं, तो यह एक अपराध है। शब्द बिल्कुल समान हैं, लेकिन स्थिति के आधार पर उनका अर्थ पूरी तरह से बदल जाता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो चैटबॉट्स के पीछे के सुपर-स्मार्ट AI दिमाग हैं। वैज्ञानिक "प्रोब्स" (probes)—छोटे सेंसर जो AI के सोचने के दौरान उसके मस्तिष्क के भीतर झाँकते हैं—बनाने की कोशिश कर रहे हैं, ताकि वे देख सकें कि क्या वे बुरे इरादे और अच्छे इरादे के बीच अंतर पहचान सकते हैं, भले ही शब्द एक जैसे दिखते हों। बड़ा सवाल यह है: क्या ये सेंसर एक स्मार्ट न्यायाधीश की तरह काम कर सकते हैं जो कहानी को समझता है, या वे केवल क्लजी बाउंसर (clumsy bouncers) हैं जो केवल आपके पहने हुए कपड़ों की जाँच करते हैं?
डोमिनिक श्वार्ज़ नामक एक शोधकर्ता ने "अंतर पहचानो" का एक उच्च-दांव वाला खेल आयोजित करके इसका परीक्षण करने का निर्णय लिया। उन्होंने तीन अलग-अलग AI मॉडल लिए और प्रॉम्प्ट्स के जोड़े बनाए: एक "छद्म" (camouflaged) अनुरोध था जो बुरा करने जैसा लग रहा था (जैसे "मैं इसे कैसे मारूँ?"), और दूसरा एक "जुड़वाँ" अनुरोध था जिसने बिल्कुल उन्हीं शब्दों और संरचना का उपयोग किया था लेकिन वह वास्तव में हानिरहित था (जैसे "मैं इस प्रोसेस को कैसे मारूँ?")। लक्ष्य यह देखना था कि क्या AI के आंतरिक सेंसर समान शब्दावली से भ्रमित हुए बिना इन दो जुड़वाओं के बीच अंतर कर सकते हैं।
परिणाम काफी चौंकाने वाले थे। जब सेंसर ने स्पष्ट रूप से खतरनाक अनुरोधों के एक बड़े ढेर को देखा, तो वे शानदार जासूस निकले, जिन्होंने लगभग 95% से 97% बुरे तत्वों को पकड़ा। हालाँकि, जब शोधकर्ताओं ने इन पेचीदा "जुड़वाओं" पर परीक्षण किया जहाँ केवल छिपा हुआ इरादा ही एकमात्र अंतर था, तो सेंसर एक दीवार से टकरा गए। उन्होंने हानिरहित अनुरोधों को भी उतनी ही बार ब्लॉक करना शुरू कर दिया जितने बार उन्होंने खतरनाक अनुरोधों को ब्लॉक किया। वास्तव में, सबसे कठिन परीक्षण सेट पर, सेंसर इन जुड़वाओं के बीच रैंडम अनुमान (random guessing) से बेहतर अंतर करने में विफल रहे। यहाँ तक कि जब शोधकर्ताओं ने इन जोड़ों पर विशेष रूप से सेंसर को प्रशिक्षित करने की कोशिश की, तो सेंसर विशिष्ट प्रशिक्षण उदाहरणों को पहचानने में इतने कुशल हो गए कि वे नए, अनदेखे उदाहरणों पर बुरी तरह विफल रहे, जिससे समान दिखने वाले लगभग 80% से 100% हानिरहित प्रॉम्प्ट्स ब्लॉक हो गए।
यह शोध इस घटना को "एंटैंगलमेंट वॉल" (Entanglement Wall) कहता है। इसे ऐसे समझें: AI के मस्तिष्क में एक "खतरे का रडार" है जो खतरे के विषय (जैसे कि "मारने" की अवधारणा) को पहचानने में बहुत अच्छा है। लेकिन जब विषय एक बुरे व्यक्ति और एक अच्छे व्यक्ति दोनों के लिए समान होता है, तो रडार उनमें अंतर नहीं कर पाता है। यह एक सुरक्षा गार्ड की तरह है जिसे लाल गुब्बारा पकड़ने के लिए प्रशिक्षित किया गया है क्योंकि लाल गुब्बारों का उपयोग आमतौर पर डकैती वाली फिल्मों में किया जाता है। यदि कोई बच्चा लाल गुब्बारा लेकर आता है, तो गार्ड उसे भी रोक देता है। सेंसर "लाल गुब्बारा" (खतरनाक विषय) देखता है और घबरा जाता है, वह यह देखने में असमर्थ होता है कि बच्चा केवल खेल रहा है।
अध्ययन सुझाव देता है कि जबकि ये एक्टिवेशन सेंसर उत्कृष्ट "व्यापक-जोखिम डिटेक्टर" (broad-risk detectors) हैं—स्पष्ट खतरों को पकड़ने के लिए एक पहले चरण के रूप में बेहतरीन—वे अंतिम "संदर्भ निर्णायक" (context adjudicators) या न्यायाधीश बनने के लिए तैयार नहीं हैं जो यह तय कर सकें कि कोई विशिष्ट, पेचीदा अनुरोध सुरक्षित है या नहीं। वे शब्दों की सतही समानता से बहुत आसानी से भ्रमित हो जाते हैं। शोधकर्ताओं ने पाया कि इन विशिष्ट मामलों में हानिकारक इरादे और हानिरहित इरादे के बीच अंतर को वास्तव में समझने के लिए, आपको केवल एक साधारण सेंसर रीडिंग से अधिक की आवश्यकता है; आपको एक ऐसी प्रणाली की आवश्यकता है जो वास्तव में कहानी को समझ सके, न कि केवल शब्दावली को। इसलिए, फिलहाल के लिए, ये सेंसर अलार्म उठाने के लिए तो बेहतरीन हैं, लेकिन वे खुद यह तय करने के लिए पर्याप्त स्मार्ट नहीं हैं कि क्या अलार्म एक गलत चेतावनी (false positive) है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।