Closure-Validated Circuit Discovery in Attention Heads: Co-activation Proposes, Ablation Disposes
यह शोध पत्र यह प्रदर्शित करता है कि जहाँ सह-सक्रियता सांख्यिकी (co-activation statistics) के आधार पर अटेंशन हेड्स को क्लस्टर करना विश्वसनीय सर्किट प्रस्ताव उत्पन्न करता है, वहीं केवल कॉज़ल एब्लेशन टेस्ट (causal ablation tests) ही उनकी कार्यात्मक आवश्यकता को प्रमाणित कर सकते हैं, जो यह प्रकट करते हैं कि ऐसे सस्ते संकेत अक्सर मिक्सचर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) जैसे जटिल आर्किटेक्चर में वास्तविक सर्किटों की पहचान करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर का स्पष्टीकरण दिया गया है।
मुख्य विचार: एक टीम को "प्रस्तावित" करना बनाम "सिद्ध" करना
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक जटिल मशीन (जैसे कि एक विशाल रोबोटिक मस्तिष्क) कैसे काम करती है। आपको संदेह है कि गियर के कुछ समूह (जिन्हें अटेंशन हेड्स कहा जाता है) विशिष्ट कार्यों को करने के लिए एक टीम के रूप में मिलकर काम करते हैं, जैसे कि "पिछले शब्द को याद रखना" या "एक पैटर्न ढूँढना।"
लंबे समय से, शोधकर्ता इन टीमों को खोजने के लिए सह-सक्रियता (co-activation) को देखते आए हैं। यह कुछ ऐसा है जैसे गियर को देखते हुए कहना, "हे, गियर A और गियर B हमेशा एक साथ घूमते हैं। वे ज़रूर एक टीम होंगे!"
यह पेपर एक महत्वपूर्ण प्रश्न पूछता है: सिर्फ इसलिए कि गियर एक साथ घूमते हैं, क्या इसका मतलब यह है कि वे वास्तव में एक कार्यात्मक टीम के रूप में महत्वपूर्ण काम कर रहे हैं? या वे केवल इसलिए एक साथ घूम रहे हैं क्योंकि वे दोनों एक ही पावर स्विच से जुड़े हुए हैं, भले ही वे कुछ भी उपयोगी न कर रहे हों?
लेखक इसे एक प्रस्ताव (Proposal) (अवलोकन पर आधारित एक अनुमान) और एक खोज (Discovery) (प्रमाण के आधार पर एक पुष्ट तथ्य) के बीच का अंतर कहते हैं।
प्रयोग: "साइलेंस टेस्ट" (मौन परीक्षण)
एक टीम को सिद्ध करने के लिए, लेखकों ने केवल उन्हें घूमते हुए नहीं देखा; उन्होंने एक साइलेंस टेस्ट (जिसे वे क्लोजर/Closure कहते हैं) किया।
- प्रस्ताव (The Proposal): उन्होंने समूहों को खोजने के लिए एक गणितीय विधि (क्लस्टरिंग) का उपयोग किया जो एक साथ घूमते हैं।
- परीक्षण (The Test): उन्होंने उस विशिष्ट समूह के गियर्स को बंद (एब्लेट/Ablated) कर दिया।
- निर्णय (The Verdict):
- असली सर्किट (Real Circuit): यदि मशीन गलतियाँ करने लगती है या काम करना बंद कर देती है, तो वह समूह एक वास्तविक, आवश्यक टीम थी।
- नकली सर्किट (Fake Circuit): यदि मशीन पूरी तरह से काम करती रहती है (या यहाँ तक कि बेहतर काम करती है), तो वह समूह एक वास्तविक टीम नहीं था। वे केवल "शोर" (noise) या अनावश्यक हिस्से थे जिनका कोई महत्व नहीं था।
परिणाम: दो अलग कहानियाँ
लेखकों ने इन परीक्षणों को तीन अलग-अलग प्रकार के रोबोटिक मस्तिष्क (AI मॉडल्स) पर परखा।
1. डेंस मॉडल्स (मानक मस्तिष्क)
- मॉडल्स: Pythia 1B और OLMo 1B।
- कहानी: इन मॉडल्स में, "साइलेंस टेस्ट" पूरी तरह से सफल रहा। जब उन्होंने उन गियर समूहों को बंद किया जिन्हें गणित ने "टीम" बताया था, तो रोबोट का मस्तिष्क वास्तव में अपने काम में कमज़ोर हो गया।
- उपमा: यह एक ऑर्केस्ट्रा में संगीतकारों के एक समूह को खोजने जैसा है जो हमेशा एक ही स्वर बजाते हैं। जब आप उन्हें चुप कराते हैं, तो संगीत बिखर जाता है। निष्कर्ष: इन मॉडल्स में, "साथ-साथ घूमने" वाला अनुमान आमतौर पर एक वास्तविक सर्किट के लिए सही प्रस्ताव था।
2. MoE मॉडल (विशेषज्ञ मस्तिष्क)
- मॉडल: OLMoE-1B-7B (Mixture of Experts)। यह मॉडल अलग है; इसमें एक "मैनेजर" होता है जो तय करता है कि कौन से विशेषज्ञ किस कार्य पर काम करेंगे।
- कहानी: यहाँ चीज़ें पेचीदा हो जाती हैं।
- पहले, पूरे मस्तिष्क को देखते समय गणित किसी भी टीम को खोजने में विफल रहा।
- इसलिए, शोधकर्ताओं ने एक स्मार्ट तरीका अपनाया: उन्होंने इनपुट को इस आधार पर समूहबद्ध किया कि कौन सा "मैनेजर" सक्रिय था और फिर उन समूहों के भीतर टीमों को खोजा। इस बार, गणित ने एक बहुत मजबूत संकेत पाया। यह एक असली टीम की तरह लग रहा था!
- ट्विस्ट: जब उन्होंने इस "परफेक्ट" टीम पर साइलेंस टेस्ट चलाया, तो रोबोट का मस्तिष्क खराब नहीं हुआ। बल्कि, वह बेहतर हो गया।
- उपमा: कल्पना कीजिए कि एक ऑफिस में लोगों का एक समूह है जो हमेशा एक ही कोने में खड़े होकर ज़ोर-ज़ोर से बातें करते हैं। आप सोचते हैं कि वे एक "प्रोजेक्ट टीम" हैं। लेकिन जब आप उन्हें जाने के लिए कहते हैं, तो ऑफिस बेहतर चलता है क्योंकि वे वास्तव में केवल ध्यान भटका रहे थे।
- निष्कर्ष: इस मॉडल में, गणित ने एक ऐसा समूह खोजा जो टीम की तरह दिखता था, लेकिन वह वास्तव में केवल "शोर" था। साइलेंस टेस्ट ने साबित कर दिया कि टीम की तरह दिखना ही टीम होने के लिए पर्याप्त नहीं है।
प्रशिक्षण की समयरेखा: "रूप" बनाम "कार्य"
लेखकों ने इन मस्तिष्कों को बढ़ते हुए (प्रशिक्षण के दौरान) भी देखा। उन्होंने दो चीजों को देखा:
- रूप (Form): क्या एक गियर सही चीज़ पर ध्यान केंद्रित कर रहा है? (जैसे, क्या यह पिछले शब्द को देख रहा है?)
2.कार्य (Function): क्या एक गियर वास्तव में काम कर रहा है? (क्या उसे बंद करने से रोबोट बिगड़ जाता है?)
उन्होंने एक आश्चर्यजनक विसंगति देखी:
- कार्य बिना रूप के (Function without Form): कभी-कभी, गियर का एक समूह भारी काम कर रहा था (आवश्यक कार्य) इससे पहले कि वे वास्तव में केंद्रित होना शुरू होते। वे "भटकते" हुए भी कड़ी मेहनत कर रहे थे।
- रूप बिना कार्य के (Form without Function): कभी-कभी, गियर का एक समूह पूरी तरह से केंद्रित और सटीक दिखता था (शानदार रूप), लेकिन यदि आप उन्हें बंद कर देते हैं, तो कुछ नहीं होता था। वे एक टीम की तरह दिखते थे, लेकिन वे केवल सजावटी थे।
"रिडंडेंसी" (अतिरेक) का आश्चर्य
एक विशिष्ट परीक्षण में (Pythia 1B पर प्राकृतिक टेक्स्ट पर), उन्हें एक अजीब घटना मिली।
- जब उन्होंने "टीम" को बंद किया, तो रोबोट का सही उत्तर पर विश्वास गिर गया (वह निश्चित था कि वह गलत है)।
- लेकिन, समग्र स्कोर (औसत लॉस) में बहुत कम बदलाव आया।
- उपमा: एक बैकअप जनरेटर की कल्पना करें। यदि आप मुख्य बिजली की लाइन काट देते हैं, तो लाइटें झपकाती हैं (विशिष्ट सिग्नल गिर जाता है), लेकिन क्योंकि बैकअप जनरेटर बहुत तेज़ी से काम शुरू कर देता है, घर में अंधेरा नहीं होता (समग्र स्कोर स्थिर रहता है)। मॉडल के पास इतने सारे बैकअप रास्ते हैं कि वह नुकसान को छिपा देता है, जिससे वह "टीम" वास्तव में जितनी महत्वपूर्ण है, उससे कम महत्वपूर्ण दिखाई देती है।
मुख्य निष्कर्ष
पेपर एक सरल नियम के साथ समाप्त होता है:
"सह-सक्रियता (Co-activation) एक प्रस्ताव है; क्लोजर (Closure) प्रमाण है।"
सिर्फ इसलिए कि AI के हिस्से एक साथ सक्रिय होते हैं, या केंद्रित दिखते हैं, या एक सांख्यिकीय क्लस्टर में दिखाई देते हैं, इसका मतलब यह नहीं है कि वे एक कार्यात्मक सर्किट हैं। आपको यह देखने के लिए "साइलेंस टेस्ट" (एब्लेशन) करना ही होगा कि क्या वे वास्तव में मायने रखते हैं।
- मानक मॉडल्स में, अनुमान अक्सर सही होता है।
- जटिल "Mixture of Experts" मॉडल्स में, अनुमान पूरी तरह से गलत हो सकता है, जिससे आपको लगता है कि आपने एक टीम खोज ली है जबकि आपने वास्तव में केवल भटकाव का एक समूह खोजा था।
यह पेपर क्या दावा नहीं करता है:
- यह नहीं कहता कि यह तरीका सभी AI मॉडल्स के लिए काम करता है (केवल उन्हीं के लिए जिनका परीक्षण किया गया है)।
- यह नहीं कहता कि यह अन्य प्रकार के AI फीचर्स (जैसे "Sparse Autoencoders") पर लागू होता है जो अलग गणित का उपयोग करते हैं।
- यह कोई चिकित्सा या नैदानिक सलाह नहीं देता है। यह पूरी तरह से यह समझने के बारे में है कि ये विशिष्ट कंप्यूटर मस्तिष्क कैसे काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।