Attribution Under a Floor: Why Single-Component Ablation Overcounts Safety-Critical Layers and Neurons
यह शोध पत्र यह प्रदर्शित करता है कि फाइन-ट्यून्ड लैंग्वेज मॉडल्स में सुरक्षा-महत्वपूर्ण परतों और न्यूरॉन्स की पहचान करने की मानक विधि सांख्यिकीय रूप से त्रुटिपूर्ण है क्योंकि यह छोटे प्रॉम्प्ट बैटरी और असुरक्षित बेसलाइन्स के कारण होने वाले "फ्लोर इफेक्ट" (floor effect) से प्रभावित है, जो महत्वपूर्ण घटकों की गलत गणना की ओर ले जाता है और एक दोहरे-तंत्र सुरक्षा विवरण (dual-mechanism safety account) के लिए प्रकाशित साक्ष्यों को अमान्य कर देता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब हम किसी बड़े भाषा मॉडल (LLM) से किसी हानिकारक अनुरोध को अस्वीकार करने के लिए कहते हैं, तो हम उससे आत्म-संयम का एक जटिल कार्य करने के लिए कह रहे होते हैं। इन मॉडलों को मानव पाठ की विशाल मात्रा पर प्रशिक्षित किया जाता है, जिससे वे वाक्य में अगले शब्द की भविष्यवाणी करना सीखते हैं, लेकिन उन्हें यह सीखने के लिए भी एक विशेष प्रशिक्षण चरण से गुजरना पड़ता है कि क्या नहीं कहना है। 'मैकेनिस्टिक इंटरप्रिटेबिलिटी' (mechanistic interpretability) के क्षेत्र के शोधकर्ता इन मॉडलों को जटिल मशीनों की तरह मानते हैं जिन्हें यह देखने के लिए अलग किया जा सकता है कि वे कैसे काम करते हैं। उनका मानना है कि मॉडल की आंतरिक संरचना के विशिष्ट भाग 'गेटकीपर' (gatekeepers) के रूप में कार्य करते हैं, जो यह तय करते हैं कि प्रश्न का उत्तर देना है या उसे अस्वीकार करना है। इन गेटकीपर्स को खोजने के लिए, वैज्ञानिक अक्सर 'एब्लेशन' (ablation) नामक विधि का उपयोग करते हैं। इसमें मॉडल के एक छोटे से हिस्से को, जैसे कि प्रोसेसिंग की एक परत या एक विशिष्ट न्यूरॉन को, अस्थायी रूप से अक्षम (disable) कर दिया जाता है, और फिर यह देखने के लिए निगरानी की जाती है कि क्या मॉडल अचानक हानिकारक उत्तर देने लगता है जबकि वह पहले ऐसा नहीं करता था। यदि किसी हिस्से को अक्षम करने के बाद मॉडल विफल हो जाता है, तो उस हिस्से को सुरक्षा के लिए महत्वपूर्ण माना जाता है। इसका लक्ष्य अस्वीकृति की सटीक मशीनरी का मानचित्रण करना है ताकि हम समझ सकें, और शायद सुधार सकें, कि ये सिस्टम सुरक्षित कैसे रहते हैं।
जॉर्जटाउन यूनिवर्सिटी में यांगयी झांग का एक हालिया अध्ययन इस प्रकार के शोध के एक विशिष्ट उदाहरण की जांच करता है और पाता है कि इससे निकाले गए निष्कर्ष एक सांख्यिकीय भ्रम (statistical illusion) पर आधारित हैं। अध्ययन एक आर्काइव किए गए प्रयोग का ऑडिट करता है जहाँ शोधकर्ताओं ने दावा किया था कि उन्होंने छह विशिष्ट परतों और 205 विशिष्ट न्यूरॉन्स की पहचान की है जो एक भाषा मॉडल के प्राथमिक सुरक्षा गेटकीपर के रूप में कार्य करते हैं। झांग का विश्लेषण प्रकट करता है कि ये संख्याएँ मॉडल की वास्तविक कार्यप्रणाली को नहीं दर्शाती हैं। इसके बजाय, वे स्वयं प्रयोग के एक डिज़ाइन दोष का परिणाम हैं, विशेष रूप से एक समस्या जिसे 'फ्लोर इफेक्ट' (floor effect) कहा जाता है। इस संदर्भ में, फ्लोर इफेक्ट इसलिए होता है क्योंकि सुरक्षा को मापने के लिए उपयोग किया गया परीक्षण वास्तविक परिवर्तनों का पता लगाने के लिए बहुत छोटा और बहुत कमजोर था। प्रयोग मॉडल को परखने के लिए केवल चार हानिकारक प्रॉम्प्ट्स (prompts) के एक समूह पर निर्भर था। किसी भी हिस्से को अक्षम करने से पहले ही, मॉडल उन चार में से तीन प्रॉम्प्ट्स को अस्वीकार करने में विफल रहा था। वह पहले से ही परीक्षण के अधिकांश मामलों में असुरक्षित था।
चूंकि मॉडल पहले से ही चार में से तीन प्रॉम्प्ट्स पर विफल हो रहा था, इसलिए मॉडल के किसी भी हिस्से को अक्षम करने से वह उससे अधिक बार विफल नहीं हो सकता था। असुरक्षित प्रतिक्रियाओं की गिनती तीन के न्यूनतम स्तर पर अटकी हुई थी, चाहे किसी भी परत को क्यों न बंद कर दिया गया हो। एक परत को केवल तभी "महत्वपूर्ण" के रूप में चिह्नित किया जा सकता था यदि वह वही परत होती जिसने उस एक शेष सुरक्षित प्रॉम्प्ट को बदलकर असुरक्षित बना दिया हो। अध्ययन दिखाता है कि रिपोर्ट की गई छह परतें केवल वे थीं जिन्होंने उस एक विशिष्ट प्रॉम्प्ट को बदल दिया था। अन्य 26 परतें, जिन्होंने उस प्रॉम्प्ट को नहीं बदला, उन्हें सुरक्षित बताया गया, भले ही उन्होंने महत्वपूर्ण परतों के लगभग समान प्रदर्शन किया था। एक "महत्वपूर्ण" परत और एक "सुरक्षित" परत के बीच का अंतर यह नहीं था कि मॉडल कैसे काम करता था, बल्कि यह कि वह छोटा परीक्षण बैटरी संयोगवश कैसा व्यवहार करती थी। रिपोर्ट की गई छह महत्वपूर्ण परतों का सेट मॉडल के सुरक्षा तंत्र की खोज नहीं था; यह उपयोग किए गए चार प्रॉम्प्ट्स का एक गुण था।
जांच में व्यक्तिगत न्यूरॉन्स के संबंध में किए गए दावों के साथ भी समान समस्याएं पाई गईं। मूल रिपोर्ट में कहा गया था कि शोधकर्ताओं ने सैकड़ों हजारों न्यूरॉन्स को स्कैन किया और 205 ऐसे पाए जो महत्वपूर्ण थे, जिसमें चयन के लिए एक विशिष्ट थ्रेशोल्ड (threshold) का उपयोग किया गया था। हालांकि, जब झांग ने उस प्रयोग में संग्रहीत वास्तविक डेटा फाइलों की जांच की, तो संख्याएँ मेल नहीं खाती थीं। संग्रहीत डेटा में केवल 500 न्यूरॉन्स के रिकॉर्ड थे, न कि पूर्ण सेट, और उनके लिए दर्ज प्रभाव स्कोर (impact scores) रिपोर्ट में उपयोग किए गए थ्रेशोल्ड से बहुत कम थे। संग्रहीत डेटा में, एक थ्रेशोल्ड जो 205 न्यूरॉन्स को चुनता, अस्तित्व में ही नहीं था; इसके बजाय, डेटा ने दिखाया कि केवल एक न्यूरॉन ने रिपोर्ट किए गए थ्रेशोल्ड को पार किया था। 205 महत्वपूर्ण न्यूरॉन्स का दावा वास्तव में सहेजे गए साक्ष्य द्वारा समर्थित नहीं था। इसके अलावा, मूल रिपोर्ट में वर्णित अन्य विशिष्ट माप, जैसे कि गणना की गति या विभिन्न परीक्षण विधियों के बीच ओवरलैप, संग्रहीत फाइलों में कहीं नहीं मिले। वे संख्याएँ पेपर के टेक्स्ट में तो दिखाई देती थीं लेकिन उन्हें कच्चे डेटा (raw data) से ट्रैक नहीं किया जा सका।
यह अध्ययन इस दावे को भी चुनौती देता है कि मॉडल की परतों का महत्व एक सुचारू, अनुमानित पैटर्न का पालन करता है जो नेटवर्क में गहराई तक जाने पर कम होता जाता है। मूल रिपोर्ट ने सुझाव दिया था कि परतों को अक्षम करने का प्रभाव एक व्यवस्थित, घातांकीय वक्र (exponential curve) में गिरता है, जिसमें सबसे महत्वपूर्ण कार्य शुरुआती परतों में होता है। संग्रहीत डेटा का पुन: विश्लेषण दर्शाता है कि वास्तविक पैटर्न बहुत अधिक अव्यवस्थित है। परतों का प्रभाव सुचारू रूप से कम नहीं होता; इसके बजाय, यह कुछ विशिष्ट परतों द्वारा नियंत्रित होता है, जिसमें नेटवर्क की बिल्कुल अंतिम परत भी शामिल है, जिसने अक्षम किए जाने पर बड़ा प्रभाव दिखाया। डेटा एक साफ, घटते हुए वक्र के विचार का समर्थन नहीं करता है। इसके बजाय, यह एक अधिक जटिल वास्तविकता का सुझाव देता है जहाँ सुरक्षा मॉडल के भीतर बिखरी हुई परतों के एक विरल (sparse) सेट से प्रभावित होती है, न कि एक एकल, व्यवस्थित क्षय से।
यह कार्य यह सिद्ध नहीं करता है कि मॉडल में सुरक्षा तंत्र की कमी है या 'ड्यूल-मैकेनिज्म थ्योरी' गलत है। यह केवल यह दर्शाता है कि आर्काइव किए गए रन में प्रस्तुत विशिष्ट साक्ष्य उन दावों का समर्थन करने के लिए अपर्याप्त हैं। ये निष्कर्ष इस प्रकार के शोध के लिए एक मौलिक आवश्यकता को रेखांकित करते: परीक्षण बैटरी इतनी बड़ी और पर्याप्त प्रॉम्प्ट्स से युक्त होनी चाहिए जिन्हें मॉडल वास्तव में अस्वीकार करता है, ताकि किसी हिस्से को अक्षम करने पर परिणाम में बदलाव देखा जा सके। जब बेसलाइन पहले से ही अधिकांश प्रॉम्प्ट्स पर असुरक्षित होती है, तो परीक्षण व्यक्तिगत भागों के योगदान को नहीं माप सकता। यह पहचानने के लिए कि कौन सी परतें या न्यूरॉन्स सुरक्षा के लिए जिम्मेदार हैं, शोधकर्ताओं को बहुत अधिक बेसलाइन-सुरक्षित प्रॉम्प्ट्स की आवश्यकता होती है, और उन्हें केवल एक मनमाने थ्रेशोल्ड को पार करने वाली परतों की सूची के बजाय परिणामों के पूर्ण वितरण (full distribution) की रिपोर्ट करनी चाहिए। अध्ययन निष्कर्ष निकालता है कि एट्रिब्यूशन (attribution) दावे उतने ही मजबूत होते हैं जितने कि वे डेटा जिनसे उन्हें पुन: कंप्यूट किया जा सके, और इस मामले में, डेटा ने उन साहसी निष्कर्षों का समर्थन नहीं किया जो निकाले गए थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।