Geometry-Lite: Interpretable Safety Probing via Layer-Wise Margin Geometry
यह शोध पत्र Geometry-Lite प्रस्तुत करता है, जो एक व्याख्या योग्य प्रोब (interpretable probe) है जो ट्रांसफॉर्मर परतों के बीच सुरक्षा संकेतों को विघटित करता है ताकि यह प्रकट किया जा सके कि प्रॉम्प्ट-स्तरीय सुरक्षा पहचान मुख्य रूप से लेयर-टू-लेयर मोशन सिग्नल्स के बजाय निरंतर लेयर-वाइज मार्जिन ज्योमेट्री और बाउंड्री पोजिशनिंग पर निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, बहु-मंजिला फैक्ट्री के रूप में करें। जब आप इसे कोई प्रॉम्प्ट (प्रश्न या निर्देश) देते हैं, तो उस प्रॉम्प्ट का "विचार" (idea) फैक्ट्री की मंजिलों (लेयर्स) से ऊपर की ओर यात्रा करता है। प्रत्येक मंजिल पर, कर्मचारी उस विचार को प्रोसेस करते हैं, उसे परिष्कृत (refine) करते हैं और फिर अगले स्तर पर भेज देते हैं।
इस शोध पत्र का लक्ष्य यह पता लगाना है कि कैसे एक "बुरे" या "असुरक्षित" प्रॉम्प्ट (जैसे बम बनाने का अनुरोध) को फैक्ट्री द्वारा प्रतिक्रिया उत्पन्न करने से पहले ही पहचान लिया जाए।
पुराना तरीका: एक सिंगल स्नैपशॉट लेना
पहले, सुरक्षा जासूस बुरे प्रॉम्प्ट्स को पकड़ने के लिए केवल एक विशिष्ट मंजिल (आमतौर पर बीच वाली या सबसे ऊपरी) पर विचार की एक अकेली फोटो लेने की कोशिश करते थे। वे उस फोटो को देखते और कहते, "यह खतरनाक लग रहा है।"
- समस्या: कभी-कभी, एक बुरा विचार एक मंजिल पर मासूम लग सकता है लेकिन दूसरी मंजिल पर अपना असली स्वरूप प्रकट कर देता है। केवल एक स्नैपशॉट पर भरोसा करना पूरी कहानी को समझने में चूक जाता है।
नया टूल: ज्योमेट्री-लाइट (Geometry-Lite)
लेखक एक नया टूल पेश करते हैं जिसे ज्योमेट्री-लाइट कहा जाता है। केवल एक मंजिल को देखने के बजाय, यह टूल पूरी फैक्ट्री का "दौरा" करता है, और हर एक मंजिल पर विचार की स्थिति की जांच करता है।
हालाँकि, केवल कच्चा डेटा रिकॉर्ड करने के बजाय, ज्योमेट्री-लाइट विचार की स्थिति को तीन सरल, समझने में आसान मापों (मार्जिन) में अनुवादित करता है:
- सेंट्रॉइड चेक (The Centroid Check): यह विचार "औसत सुरक्षित विचार" बनाम "औसत बुरे विचार" के कितने करीब है?
- नेबरहुड चेक (The Neighborhood Check): इसके निकटतम पड़ोसी कौन हैं? क्या यह सुरक्षित विचारों के साथ घूम रहा है या बुरे विचारों के साथ?
- लाइन चेक (The Line Check): क्या विचार खींची गई रेखा के "सुरक्षित" पक्ष पर है या "असुरक्षित" पक्ष पर?
बड़ी खोज: यह टिके रहने के बारे में है, न कि हिलने के बारे में
इस शोध पत्र की सबसे आश्चर्यजनक खोज यह है कि फैक्ट्री के माध्यम से विचार कैसे चलता है।
- मिथक: कई लोगों का मानना था कि सुरक्षा का पता लगाना एक रोलरकोस्टर की तरह काम करता है। उनका मानना था कि विचार सुरक्षित रूप से शुरू होता है, और फिर जैसे-जैसे वह मंजिलों में ऊपर जाता है, अचानक खतरे के क्षेत्र में "फिसल" या "खिसक" जाता है। उन्हें लगा कि स्वयं मूवमेंट (गति) ही चेतावनी का संकेत है।
- वास्तविकता: यह पेपर दिखाता है कि सुरक्षा का पता लगाना वास्तव में एक लाइटहाउस (प्रकाश स्तंभ) की तरह है।
- यदि कोई प्रॉम्प्ट असुरक्षित है, तो वह जरूरी नहीं कि खतरे के क्षेत्र में "फिसले"। इसके बजाय, वह शुरुआत ही खतरनाक पक्ष पर होता है और ऊपर तक वहीं बना रहता है।
- सबसे महत्वपूर्ण संकेत विचार की स्थिति में बदलाव (ड्रिफ्ट) नहीं है; बल्कि उसकी स्थिति की निरंतरता (persistence) है। तथ्य यह है कि विचार लगभग पूरी यात्रा के दौरान सीमा के "असुरक्षित" पक्ष पर बना रहता है, यही सिस्टम को बताता है कि, "यह बुरा है।"
"ड्रिफ्ट" केवल एक मामूली सुधार है
पेपर में पाया गया कि मंजिलों के बीच विचार कितना हिलता है (जिसे "ड्रिफ्ट" कहा जाता है), उसे देखने से डिटेक्शन (पहचान) में बहुत कम मूल्य जुड़ता है। यह ठीक वैसा ही है जैसे किसी कार की गति को जानने के बजाय यह देखना कि क्या वह सही लेन में है।
- अपवाद: बहुत ही दुर्लभ और पेचीदा मामलों में, जहाँ सिस्टम अत्यधिक सतर्क हो रहा है (गलत अलार्म से बचने की कोशिश कर रहा है), "ड्रिफ्ट" को देखने से कुछ अतिरिक्त बुरे प्रॉम्प्ट्स को पकड़ने में मदद मिल सकती है जिन्हें लगभग मिस कर दिया गया था। लेकिन अधिकांशतः, यह मुख्य नायक नहीं है।
"हार्ड" टेस्ट: जब नियम बदल जाते हैं
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है जब फैक्ट्री को एक पूरी तरह से नए प्रकार के बुरे प्रॉम्प्ट का सामना करना पड़ता है जिसे उसने पहले नहीं देखा है (एक "बेंचमार्क शिफ्ट")।
- लचीली रेखा (The Flexible Line): "लाइन चेक" (सुपरवाइज्ड बाउंड्री) बहुत सटीक होती है जब प्रॉम्प्ट्स ट्रेनिंग डेटा जैसे होते हैं। लेकिन जब प्रॉम्प्ट्स बदलते हैं, तो यह रेखा धुंधली और कम विश्वसनीय हो जाती है।
- स्थिर केंद्र (The Steady Center): "सेंट्रॉइड चेक" (औसत सुरक्षित बनाम बुरे विचारों को देखना) सामान्य दिनों में कम सटीक होता है, लेकिन जब प्रॉम्प्ट्स बदलते हैं, तब भी यह स्थिर और विश्वसनीय रहता है। यह एक ऐसे कंपास की तरह है जो मौसम बदलने पर पागलों की तरह नहीं घूमता।
सारांश
ज्योमेट्री-लाइट एक स्मार्ट, कॉम्पैक्ट टूल है जो एक AI मॉडल के माध्यम से एक प्रॉम्प्ट की यात्रा पर नज़र रखता है। इसने खोजा कि एक बुरे प्रॉम्प्ट को पहचानने का सबसे अच्छा तरीका यह देखना नहीं है कि वह खतरे में कैसे "फिसलता" है, बल्कि यह देखना है कि वह शुरुआत से अंत तक खतरनाक पक्ष पर कैसे बना रहता है। हालांकि मूवमेंट (गति) को देखना बहुत ही विशिष्ट मामलों में मदद करता है, लेकिन विचार की स्थिर स्थिति ही सुरक्षा की असली कुंजी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।