Ablation-Reversible Heads Don't Transfer: A Stress Test for Mechanistic Role Claims in Transformers
यह शोध पत्र ट्रांसफार्मर अटेंशन हेड्स (transformer attention heads) के लिए सामान्य यांत्रिक भूमिका दावों (mechanistic role claims) की वैधता को चुनौती देता है, यह प्रदर्शित करते हुए कि मानक आवश्यकता, एन्कोडिंग और बहाली मानदंडों (necessity, encoding, and restoration criteria) को पूरा करने वाले हेड्स अक्सर प्रॉम्प्ट्स के बीच गणनाओं को स्थानांतरित करने में विफल रहते हैं, जो एक नए KID ढांचे और कठोर परीक्षण पाइपलाइन की प्रस्तुति को प्रेरित करता है ताकि यह उजागर किया जा सके कि ऐसे कई हेड्स केवल प्रक्षेप पथों (trajectories) को स्थिर करते हैं या आउटपुट को पक्षपाती बनाते हैं, न कि विशिष्ट अर्थ संबंधी गणनाएं (semantic computations) करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, जटिल ऑर्केस्ट्रा (एक लार्ज लैंग्वेज मॉडल) एक विशिष्ट गाना (एक गणित की समस्या हल करना या एक प्रश्न का उत्तर देना) कैसे बजाता है। लंबे समय से, शोधकर्ता एक एकल संगीतकार (एक "अटेंशन हेड") की ओर इशारा करने और यह कहने की कोशिश करते रहे हैं, "आह, यह वायलिन वादक 'जोड़' (addition) की धुन बजा रहा है।"
उनका इसे सिद्ध करने का सामान्य तरीका तीन चरणों में शामिल है:
- संगीतकार को चुप कराना: यदि आप उस वायलिन वादक को चुप कर देते हैं, तो गाना बिखर जाता है। (आवश्यकता - Necessity)
- शीट संगीत को पढ़ना: यदि आप उस वायलिन वादक के नोट्स देखते हैं, तो आप स्पष्ट रूप से उन पर "जोड़" शब्द लिखा हुआ देख सकते हैं। (रैखिक डिकोडेबिलिटी - Linear Decodability)
- "अनडू" (Undo) बटन: यदि आप वायलिन वादक को चुप कर देते हैं और फिर तुरंत उनकी रिकॉर्डिंग को सन्नाटे के ऊपर वापस बजाते हैं, तो गाना फिर से एकदम सही हो जाता है। (एब्लेशन रिवर्सिबिलिटी - Ablation Reversibility)
यदि कोई संगीतकार इन तीनों परीक्षणों में पास हो जाता है, तो शोधकर्ता पारंपरिक रूप से मान लेते हैं: "यह वायलनिस्ट ही 'जोड़' की अवधारणा है।"
बड़ी सच्चाई: "नकली ट्रांसफर" (The Fake Transfer)
लेखकों, फिलिप क्विरके और उनकी टीम ने एक बहुत अधिक सख्त परीक्षण स्थापित किया। उन्होंने उन "परफेक्ट" वायलिन वादकों को लिया जो पहले तीन परीक्षणों में पास हो गए थे और उन्हें एक अलग गाने में ले जाने की कोशिश की।
कल्पना कीजिए कि आपके पास एक वायलिन वादक है जो "जोड़" (Addition) बजाने में माहिर है। आप उनके शीट संगीत (उनके मस्तिष्क की स्थिति/brain state) को लेते हैं और उसे एक ऐसे गाने में पेस्ट करने की कोशिश करते हैं जो "घटाव" (Subtraction) के बारेست में पूछता है।
- अपेक्षा: यदि वह वायलिन वादक वास्तव में "जोड़" की अवधारणा है, तो उनके स्टेट (state) को घटाव वाले गाने में पेस्ट करने से ऑर्केस्ट्रा को संख्याओं को जोड़ने की कोशिश करनी चाहिए।
- वास्तविकता: यह काम नहीं किया। ऑर्केस्ट्रा ने घटाव करना जारी रखा। वायलिन वादक के "स्टेट" ने नए संदर्भ में जोड़ की अवधारणा को स्थानांतरित नहीं किया।
लेखकों ने पाया कि तीन अलग-अलग मॉडलों और पांच प्रकार के कार्यों (गणित, तिथियां, तुलनाएं, आदि) में, हर बार जब एक संगीतकार पहले तीन परीक्षणों में पास हुआ, तो वह इस चौथे, महत्वपूर्ण परीक्षण में विफल रहा। वे गाने के लिए आवश्यक थे, और उनके नोट्स "जोड़" जैसे दिखते थे, लेकिन वे ऑर्केस्ट्रा को नए संदर्भ में जोड़ करना नहीं सिखा सके।
नया नजरिया: KID (Knowing, Intent, Doing)
यह समझाने के लिए कि वे संगीतकार वास्तव में क्या कर रहे हैं, लेखक एक नया तरीका पेश करते हैं जिसे KID कहा जाता है:
- Knowing (जानना): संगीतकार ऑर्केस्ट्रा को यह समझने में मदद कर रहा है कि प्रॉम्प्ट (निर्देश) क्या पूछ रहा है। (जैसे, "ओह, यह गणित की समस्या है, इतिहास का सवाल नहीं।")
- Intent (इरादा): संगीतकार यह तय करने वाला है कि वास्तव में कौन सा ऑपरेशन करना है (जैसे, "हम निश्चित रूप से जोड़ कर रहे हैं, घटाव नहीं")। यही वह पवित्र प्याला (holy grail) है। पेपर का दावा है कि उन्हें ऐसा कोई भी संगीतकार नहीं मिला जिसके पास वास्तव में यह "इरादा" (Intent) हो।
- Doing (करना): संगीतकार ऑर्केस्ट्रा को उत्तर लिखने में मदद कर रहा है। (जैसे, "ठीक है, उत्तर 5 है, चलिए इसे टाइप करते हैं।")
उन्हें वास्तव में क्या मिला
"इरादा" (Intent) वाले संगीतकारों को खोजने के बजाय, उन्हें दो अन्य प्रकार के खिलाड़ी मिले जो असली होने का ढोंग कर रहे थे:
- "ट्रैजेक्टरी स्टेबलाइजर्स" (The Trajectory Stabilizers - 'जानने' की भूमिका): ये संगीतकार एक कंडक्टर की तरह हैं जो ऑर्केस्ट्रा को रास्ते से भटकने से रोकते हैं। यदि आप उन्हें चुप कर देते हैं, तो ऑर्केस्ट्रा भ्रमित हो जाता है कि वह किस प्रकार की समस्या को हल कर रहा है। लेकिन वे वास्तव में "जोड़" का स्विच नहीं रखते; वे बस "गणित की समस्या" वाली वाइब (vibe) को जीवित रखते हैं। जब आप उन्हें एक नए गाने में ले जाते हैं, तो वे केवल वाइब बनाए रखते हैं, विशिष्ट गणितीय ऑपरेशन नहीं।
- "लॉगिट-बायस हेड्स" (The Logit-Bias Heads - 'करने' की भूमिका): ये संगीतकार एक लिपिक (scribe) की तरह हैं जो उत्तर "5" लिखने के प्रति इतने जुनूनी हैं कि वे ऑर्केस्ट्रा को उस संख्या की ओर धकेल देते हैं। यदि आप उन्हें चुप कर देते हैं, तो ऑर्केस्ट्रा "4" या "6" लिख सकता है। वे सही उत्तर प्राप्त करने के लिए आवश्यक हैं, लेकिन वे गणित के बारे में सोच नहीं रहे हैं।
"वही-उत्तर" का जाल (The Same-Answer Trap)
पेपर इन छदमों (imposters) को पकड़ने के लिए उपयोग किए गए एक चतुर तरीके पर प्रकाश डालता है: सेम-आंसर कंट्रोल (The Same-Answer Control)।
कल्पना कीजिए कि एक प्रॉम्प्ट पूछ रहा है "2 + 2 क्या है?" (उत्तर: 4)।
आप एक ऐसे प्रॉम्प्ट से एक संगीतकार का "ब्रेन स्टेट" लेते हैं जो पूछता है "3 + 1 क्या है?" (उत्तर: भी 4)।
यदि आप उस स्टेट को "2 + 2" वाले प्रॉम्प्ट में पेस्ट करते हैं, और ऑर्केस्ट्रा अभी भी "4" कहता है, तो क्या यह इसलिए है क्योंकि संगीतकार ने "जोड़" की अवधारणा को स्थानांतरित किया?
नहीं। यह सिर्फ इसलिए है क्योंकि संगीतकार संख्या "4" के प्रति जुनूनी है।
लेखकों ने पाया कि कई "सफल" ट्रांसफर केवल उत्तर की स्ट्रिंग (answer string) के प्रति संगीतकारों की परिचितता थे, न कि गणना (computation) के प्रति। वे "मुझे पता है कि उत्तर 4 है" को स्थानांतरित कर रहे थे, न कि "मुझे जोड़ना आता है।"
मुख्य निष्कर्ष (The Bottom Line)
पेपर निष्कर्ष निकालता है कि AI में "मैकेनिज्म" (तंत्र) खोजने के लिए उपयोग किए जाने वाले मानक उपकरण आसानी से धोखा खा सकते हैं। सिर्फ इसलिए कि मॉडल का एक हिस्सा आवश्यक, पठनीय और प्रतिवर्ती (reversible) है, इसका मतलब यह नहीं है कि वह वही "इरादा" या "अवधारणा" रखता है जो हम सोचते हैं।
- अच्छी खबर: हमारे पास अब एक बेहतर मानचित्र है। हम यह अंतर करना जानते हैं कि कौन सा संगीतकार केवल बैंड को ट्रैक पर रख रहा है (Knowing), कौन सा केवल अंतिम नोट लिख रहा है (Doing), और कौन वास्तव में धुन तय कर रहा है (Intent)।
- बुरी खबर: जिन मॉडलों का उन्होंने परीक्षण किया, उनमें उन्हें ऐसा कोई भी संगीतकार नहीं मिला जो स्पष्ट रूप से "इरादा" (Intent) तय करने वाला हो। AI का "निर्णय लेने" वाला हिस्सा इतना फैला हुआ हो सकता है कि कोई भी एकल वायलिन वादक "जोड़" के लिए शीट संगीत नहीं रखता।
संक्षेप में: केवल "अनडू" बटन पर भरोसा न करें। यदि आप किसी घटक की स्थिति (state) को एक नई स्थिति में स्थानांतरित नहीं कर सकते और उसे वही काम करने के लिए मजबूर नहीं कर सकते, तो वह उस विशिष्ट कार्य का "मस्तिष्क" नहीं है—वह केवल एक बहुत ही सहायक सहायक (assistant) है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।