💬 NLP

Universal Activation Verbalizer: A Unified Framework for Cross-Model Activation Explanation

यह शोध पत्र यूनिवर्सल एक्टिवेशन वर्बलाइज़र (UAV) को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो एक साझा डिकोडर और हल्के एडेप्टर का उपयोग करता है ताकि विषम डोनर मॉडलों के बीच क्रॉस-मॉडल एक्टिवेशन स्पष्टीकरण को सक्षम बनाया जा सके, जो स्वयं-स्पष्टीकरण (self-explanation) बेसलाइन के प्रतिस्पर्धी प्रदर्शन को प्राप्त करते हुए कुशल एडेप्टर-ओनली ट्रांसफर का समर्थन करता है।

मूल लेखक: Haiyan Zhao, Zirui He, Guanchu Wang, Ali Payani, Yingcong Li, Mengnan Du

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haiyan Zhao, Zirui He, Guanchu Wang, Ali Payani, Yingcong Li, Mengnan Du

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "यूनिवर्सल एक्टिवेशन वर्बलाइज़र" (Universal Activation Verbalizer) पेपर की सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके दी गई व्याख्या है।

समस्या: "ब्लैक बॉक्स" अनुवादक

एक बड़े लैंग्वेज मॉडल (जैसे कि एक सुपर-स्मार्ट रोबोट दिमाग) की कल्पना एक विशाल कारखाने के रूप में करें। इस कारखाने के अंदर, जानकारी कन्वेयर बेल्ट और मशीनों के माध्यम से बहती है। कुछ बिंदुओं पर, मशीनें "एक्टिवेशन्स" (activations) उत्पन्न करती हैं—ये केवल कच्चे, विद्युत संकेत या नंबर हैं जो दर्शाते हैं कि ठीक उसी क्षण रोबोट क्या सोच रहा है।

समस्या यह है कि ये नंबर इंसानों के लिए निरर्थक (gibberish) हैं। हम उन्हें पढ़ नहीं सकते।

पहले, वैज्ञानिक यह समझने की कोशिश करते थे कि इन नंबरों का क्या अर्थ है, इसके लिए वे रोबोट को अपने स्वयं के विचारों को समझाने के लिए सिखाते थे। यह एक विशिष्ट व्यक्ति को अपना गुप्त कोड अनुवाद करने के लिए सिखाने जैसा है। लेकिन यदि आप किसी दूसरे रोबोट के कोड को समझना चाहते, तो आपको फिर से शुरुआत करनी पड़ती और उस नए रोबोट को खुद को अनुवाद करना सिखाना पड़ता। यह धीमा, महंगा था और अलग-अलग प्रकार के रोबोटों के बीच काम नहीं करता था।

समाधान: "यूनिवर्सल ट्रांसलेटर" (UAV)

लेखकों ने एक नया टूल बनाया जिसे UAV (यूनिवर्सल एक्टिवेशन वर्बलाइज़र) कहा जाता है। UAV को एक यूनिवर्सल ट्रांसलेटर के रूप में सोचें जो किसी भी रोबोट कारखाने को सुन सकता है और समझा सकता है कि उसके आंतरिक संकेतों का क्या अर्थ है।

यह कैसे काम करता है, इसे तीन सरल भागों में विभाजित किया गया है:

1. द अडैप्टर (The Adapter): "यूनिवर्सल कान"

हर रोबोट कारखाना नंबरों की थोड़ी अलग "भाषा" बोलता है। एक नए रोबोट को समझने के लिए, UAV एक छोटे, लचीले सॉफ्टवेयर का उपयोग करता है जिसे अडैप्टर (Adapter) कहते हैं।

उपमा: कल्पना करें कि अडैप्टर यूनिवर्सल ईयरबड्स की एक जोड़ी है। जब आप उन्हें एक नए रोबोट में प्लग करते हैं, तो वे तुरंत उस रोबोट के अजीब, विशिष्ट विद्युत संकेतों को एक मानक "सॉफ्ट भाषा" में बदल देते हैं जिसे एक अनुवादक समझ सके।
पेपर में इन दो प्रकार के ईयरबड्स का परीक्षण किया गया: एक सरल "MLP" (एक सीधी रेखा वाला कनवर्टर) और एक "Q-Former" (एक अधिक जटिल, अटेंशन-आधारित कनवर्टर)। उन्होंने पाया कि Q-Former सबसे अच्छा काम करता है क्योंकि यह रोबोट के संकेतों से अधिक विवरणों को पकड़ कर रख सकता है।

2. द डिकोडर (The Decoder): "कहानी सुनाने वाला"

एक बार जब अडैप्टर संकेतों को मानक भाषा में बदल देता है, तो उन्हें एक डिकोडर (एक बड़ा लैंग्वेज मॉडल) में भेजा जाता है।

उपमा: डिकोडर एक कहानी सुनाने वाला (Storyteller) है। वह ईयरबड्स से प्राप्त मानक भाषा को लेता है और उसे एक स्वाभाविक वाक्य में बदल देता है जैसे, "इस संकेत का अर्थ है कि रोबोट एक बिल्ली के बारे में सोच रहा है," या "यह संकेत 1995 के वर्ष के बारे में एक तथ्य का प्रतिनिधित्व करता है।"
पेपर में पाया गया कि कहानी सुनाने वाले को बड़ा बनाने (एक बड़े मॉडल का उपयोग करने) से स्पष्टीकरण आमतौर पर बेहतर होते हैं, लेकिन केवल एक सीमा तक।

3. दो-चरणीय प्रशिक्षण प्रक्रिया (The Two-Step Training Process)

इस सिस्टम को सिखाने के लिए, लेखकों ने दो-चरणीय प्रशिक्षण पद्धति का उपयोग किया:

चरण 1: वार्म-अप (पुनर्निर्माण/Reconstruction)। पहले, उन्होंने अडैप्टर को केवल एक सिग्नल को देखना और मूल टेक्स्ट को फिर से बनाना सिखाया जिसने उसे बनाया था। यह ईयरबड्स को यह सिखाने जैसा है कि, "यदि मैं यह बीप सुनता हूँ, तो मूल टेक्स्ट 'Hello' था।" यह सुनिश्चित करता है कि अडैप्टर संकेतों को सटीक रूप से अनुवाद करना जानता है।
चरण 2: स्पष्टीकरण (निर्देश/Instruction)। इसके बाद, उन्होंने पूरे सिस्टम को प्रश्न पूछने के लिए सिखाया। केवल टेक्स्ट को फिर से बनाने के बजाय, उन्होंने पूछा, "मुख्य विचार क्या है?" या "इस व्यक्ति का पेशा क्या है?" इसने सिस्टम को एक मददगार स्पष्ट करने वाले के रूप में सिखाया, न कि केवल एक दर्पण के रूप में।

बड़ी सफलता: "प्लग-एंड-प्ले" (Plug-and-Play)

इस पेपर का सबसे रोमांचक हिस्सा अडैप्टर-ओनली ट्रांसफर (Adapter-Only Transfer) नामक विशेषता है।

पुराना तरीका: रोबोट A को समझने के लिए, आप एक अनुवादक को प्रशिक्षित करते हैं। रोबोट B को समझने के लिए, आपको पूरे अनुवादक को फिर से शुरू से प्रशिक्षित करना पड़ता है।
UAV का तरीका: आप "स्टोरीटेलर" (डिकोडर) को रोबोट A का उपयोग करके एक बार प्रशिक्षित करते हैं। फिर, यदि आप रोबोट B को समझना चाहते हैं, तो आप स्टोरीटेलर को फ्रीज (freeze) कर देते हैं (उसे बिल्कुल वैसा ही रखते हैं) और केवल रोबोट B के लिए एक नया सेट "ईयरबड्स" (अडैप्टर) प्रशिक्षित करते हैं।
उपमा: कल्पना करें कि आपके पास एक मास्टर अनुवादक है जो उत्तम अंग्रेजी बोलता है। आपको नए अनुवादक को प्रशिक्षित करने की आवश्यकता नहीं है; आपको बस उन्हें एक नया जोड़ा ईयरबड्स देना है जो उस नई भाषा के लिए ट्यून किया गया हो। अनुवादक वही रहता है, लेकिन ईयरबड्स रूपांतरण का भारी काम करते हैं।

उन्होंने क्या पाया?

शोधकर्ताओं ने इसका परीक्षण विभिन्न प्रकार के रोबोटों (Llama, Gemma, Yi, Qwen) और विभिन्न कार्यों (ट्रिविया के उत्तर देना, टेक्स्ट का सारांश निकालना, भावनाओं का वर्गीकरण करना) पर किया।

यह हर जगह काम करता है: सिस्टम पूरी तरह से अलग रोबोट परिवारों के विचारों को समझा सकता था, न कि केवल उसी पर जिसे मूल रूप से प्रशिक्षित किया गया था।
यह प्रतिस्पर्धी है: भले ही यह दूसरे रोबोटों का अनुवाद कर रहा था, यह चीजों को समझाने में उन रोबोटों के समान ही अच्छा था जिन्हें खुद को समझाने के लिए प्रशिक्षित किया गया था।
भूमिकाएं स्पष्ट हैं:
- अडैप्टर (ईयरबड्स) रोबोट के दिमाग से विशिष्ट तथ्यों और विवरणों को पकड़ने के लिए जिम्मेदार है।
- डिकोडर (स्टोरीटेलर) यह जानने के लिए जिम्मेदार है कि प्रश्नों का उत्तर कैसे दिया जाए और निर्देशों का पालन कैसे किया जाए।
आकार मायने रखता है (लेकिन सब कुछ नहीं): बड़े स्टोरीटेलर आम तौर पर बेहतर प्रदर्शन करते हैं, लेकिन केवल उन्हें विशाल बनाने से हमेशा पूर्णता की गारंटी नहीं मिलती। "ईयरबड्स" (अडैप्टर) की गुणवत्ता भी उतनी ही महत्वपूर्ण थी।

सारांश

संक्षेप में, लेखकों ने एक यूनिवर्सल ट्रांसलेटर बनाया है जो लगभग किसी भी AI मॉडल के आंतरिक विचारों को सुन सकता है और उन्हें सरल अंग्रेजी में समझा सकता है। उन्होंने साबित किया कि आपको हर नए AI के लिए पूरे सिस्टम को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; आपको बस अपने "ईयरबड्स" (अडैप्टर) को बदलना होगा जबकि "स्टोरीटेलर" (डिकोडर) को समान रखना होगा। यह AI को समझना बहुत तेज़, सस्ता और अधिक लचीला बनाता है।

तकनीकी सारांश: यूनिवर्सल एक्टिवेशन वर्बलाइज़र (UAV)

समस्या विवरण

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने रिप्रेजेंटेशन लर्निंग के माध्यम से महत्वपूर्ण सफलता प्राप्त की है, लेकिन उनकी आंतरिक एक्टिवेशन्स (activations) में एनकोडेड विशिष्ट जानकारी को समझना एक केंद्रीय चुनौती बनी हुई है। मौजूदा एक्टिवेशन वर्बलाइज़ेशन विधियाँ—जहाँ एक मॉडल अपने हिडन स्टेट (hidden state) की सामग्री का प्राकृतिक भाषा में वर्णन करता है—मुख्य रूप से सेल्फ-एक्सप्लेनेशन (स्व-व्याख्या) तक सीमित हैं। इन दृष्टिकोणों में, एक मॉडल को केवल अपनी ही एक्टिवेशन्स को समझाने के लिए प्रशिक्षित किया जाता है। यह प्रतिबंध विभिन्न मॉडल परिवारों, आर्किटेक्चर या स्केल के बीच वर्बलाइज़र्स के पुन: उपयोग को रोकता है, जिससे बड़े "डोनर" (donor) मॉडल्स का विश्लेषण अक्षम और गैर-सामान्यीकरण योग्य (non-generalizable) हो जाता है। इसके अलावा, ट्रेनिंग-मुक्त विधियाँ (जैसे, एक्टिवेशन्स को सीधे प्रॉम्प्ट्स में पैच करना) अक्सर सूक्ष्म तथ्यात्मक और अर्थपूर्ण जानकारी को पुनः प्राप्त करने में विफल रहती हैं।

कार्यप्रणाली: UAV फ्रेमवर्क

लेखक यूनिवर्सल एक्टिवेशन वर्बलाइज़र (UAV) का प्रस्ताव करते हैं, जो एक एकीकृत फ्रेमवर्क है जिसे एक साझा डिकोडर का उपयोग करके हेट्रोजेनियस (विषम) डोनर मॉडल्स की एक्टिवेशन्स को समझाने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क इस धारणा पर काम करता है कि एक हल्का एडॉप्टर (adapter) डोनर एक्टिवेशन को डिकोडर के एम्बेडिंग स्पेस में मैप कर सकता है, जिससे क्रॉस-मॉडल वर्बलाइज़ेशन संभव होता है।

आर्किटेक्चर

UAV दो प्राथमिक घटकों से बना है:

प्रशिक्षण योग्य एडॉप्टर ( $\mathcal{A}$ ): यह मॉड्यूल डोनर एक्टिवेशन स्पेस और डिकोडर के एम्बेडिंग स्पेस के बीच सेतु का कार्य करता है। यह एक विशिष्ट डोनर एक्टिवेशन $h_i^\ell$ $h_{i}^{ℓ}$ (लेयर $\ell$ $ℓ$ से स्थिति $i$ $i$ पर) को $n$ $n$ निरंतर "सॉफ्ट टोकन्स" ( $z_{1:n}$ $z_{1 : n}$ ) की एक श्रृंखला में मैप करता है। पेपर में दो एडॉप्टर आर्किटेक्चर की जांच की गई है:
- MLP-स्टाइल: एक प्रोजेक्शन नेटवर्क जिसमें वैकल्पिक बॉटलनेक लेयर्स शामिल हैं।
- Q-Former-स्टाइल: डोनर एक्टिवेशन से प्राप्त कॉन्टेक्स्ट स्लॉट्स से जानकारी निकालने के लिए लर्नबल क्वेरी टोकन्स का उपयोग करने वाला एक अटेंशन-आधारित डिज़ाइन।
डिकोडर मॉडल ( $\mathcal{M}_v$ ): एक फ्रोजन (frozen) या आंशिक रूप से फाइन-ट्यून किया गया लैंग्वेज मॉडल (जैसे, Qwen-फैमिली) जो प्राकृतिक भाषा में स्पष्टीकरण उत्पन्न करता है। एडॉप्टर द्वारा उत्पन्न सॉफ्ट टोकन्स को एक्टिवेशन-कंडीशन्ड प्रीफिक्स के रूप में टेक्स्टुअल प्रॉम्प्ट के साथ जोड़ा जाता है।

प्रशिक्षण रणनीति

UAV एक दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है:

एक्टिवेशन-टू-टेक्स्ट अलाइनमेंट (चरण 1): एडॉप्टर को टीचर फोर्सिंग (teacher forcing) का उपयोग करके डोनर एक्टिवेशन $h_i^\ell$ से इनपुट टेक्स्ट प्रीफिक्स $\langle t_0, \dots, t_i \rangle$ को पुनर्गठित करने के लिए प्रशिक्षित किया जाता है। इस चरण के दौरान डिकोडर फ्रोजन रहता है। यह एक्टिवेशन स्पेस को डिकोडर के एम्बेडिंग स्पेस के साथ अलाइन करने के लिए एक वार्म-अप के रूप में कार्य करता है।
इंस्ट्रक्शन-फॉलोइंग अलाइनमेंट (चरण 2): मॉडल को इनपुट टेक्स्ट के बारे में प्रश्न पूछने के लिए फाइन-ट्यून किया जाता है (जैसे, "सार क्या है?" या "व्यवसाय क्या था?")। इस चरण में एडॉप्टर और डिकोडर-साइड पैरामीटर्स (विशेष रूप से LoRA) का संयुक्त प्रशिक्षण शामिल है ताकि मॉडल की स्पष्टीकरण-उन्मुख निर्देशों का पालन करने की क्षमता में सुधार हो सके।

एडॉप्टर-ओनली ट्रांसफर

एक प्रमुख नवाचार एडॉप्टर-ओनली ट्रांसफर रणनीति है। एक सोर्स डोनर पर पूर्ण दो-चरणीय अनुकूलन करने के बाद, डिकोडर-साइड LoRA को फ्रोजन कर दिया जाता है। एक नए डोनर मॉडल के लिए, केवल एक नया एडॉप्टर शून्य से प्रशिक्षित किया जाता है जबकि डिकोडर बैकबोन और सीखे गए LoRA को स्थिर रखा जाता है। यह पूरे सिस्टम को फिर से प्रशिक्षित किए बिना विभिन्न डोनर मॉडल्स के लिए डिकोडर के स्पष्टीकरण-उन्मुख व्यवहार के पुन: उपयोग की अनुमति देता है।

मुख्य योगदान

एकीकृत फ्रेमवर्क: UAV का प्रस्ताव, जो एक एडॉप्टर-डिकोडर फ्रेमवर्क है और विषम मॉडल परिवारों (जैसे, Llama, Gemma, Yi, Qwen) और स्केल के बीच क्रॉस-मॉडल एक्टिवेशन वर्बलाइज़ेशन को सक्षम बनाता है।
एडॉप्टर-ओनली ट्रांसफर: एक ट्रांसफर मैकेनिज्म का परिचय जो डिकोडर-साइड LoRA को फ्रोजन करता है, जिससे केवल एडॉप्टर को प्रशिक्षित करके नए डोनर्स के लिए कुशल अनुकूलन संभव होता है।
व्यवस्थित विश्लेषण: व्यापक प्रयोग और एब्लेशन जो प्रदर्शित करते हैं कि UAV विभिन्न मॉडल परिवारों में एक्टिवेशन स्पष्टीकरण का समर्थन करता है और मजबूत स्व-व्याख्या बेसलाइन्स के साथ प्रतिस्पर्धी बना रहता है।

प्रयोगात्मक परिणाम

लेखकों ने वर्गीकरण (classification), तथ्य प्राप्ति (fact retrieval), और सार सारांश (gist summarization) को कवर करने वाले जेनेरेटिव एक्टिवेशन-ग्राउंडेड QA कार्यों पर UAV का मूल्यांकन किया।

बेसलाइन्स के विरुद्ध प्रदर्शन: UAV ट्रेनिंग-मुक्त विधियों (SelfIE, PatchScope) से काफी बेहतर प्रदर्शन करता है, विशेष रूप से तथ्य प्राप्ति में जहाँ पैचिंग विधियाँ सूक्ष्म जानकारी के साथ संघर्ष करती हैं। स्व-व्याख्या बेसलाइन्स (LatentQA, Activation Oracle) की तुलना में, UAV प्रतिस्पर्धी बना रहता है, और अक्सर स्व-व्याख्या सेटिंग्स में सर्वश्रेष्ठ समग्र ROUGE-L और BERTScore प्राप्त करता है।
क्रॉस-मॉडल क्षमता: एक साझा डिकोडर (जैसे, Qwen3-4B) विविध डोनर्स (Llama-3.1-8B, Gemma-3, Yi-1.5-34B) की एक्टिवेशन्स को सफलतापूर्वक वर्बलाइज़ करता है। हालांकि सेल्फ-डिकोडिंग (डोनर को अपने स्वयं के डिकोडर के रूप में उपयोग करना) आम तौर पर थोड़े बेहतर परिणाम देती है, क्रॉस-मॉडल वर्बलाइज़ेशन में प्रदर्शन का अंतर मध्यम है, जो फ्रेमवर्क की सार्वभौमिकता को प्रदर्शित करता है।
डिकोडर का आकार: बड़े डिकोडर (14B तक) आम तौर पर प्रदर्शन में सुधार करते हैं, जो यह सुझाव देता है कि अलाइन किए गए एक्टिवेशन सिग्नल्स को प्राकृतिक भाषा में बदलने में वे बेहतर हैं, हालांकि यह रुझान पूरी तरह से मोनोटोनिक नहीं है।
घटक विश्लेषण (एब्लेशन्स):
- डिकोडर-साइड ट्यूनिंग: मुख्य रूप से टास्क-लेवल व्यवहार और इंस्ट्रक्शन फॉलोइंग (जैसे, वर्गीकरण पैटर्न) में सुधार करती है।
- एडॉप्टर: इनपुट-विशिष्ट तथ्यात्मक और अर्थपूर्ण जानकारी को पुनः प्राप्त करने के लिए आवश्यक है। प्रशिक्षित एडॉप्टर के बिना, मॉडल एक्टिवेशन्स से सूक्ष्म विवरणों को विश्वसनीय रूप से निकालने में सक्षम नहीं है।
- चरण-1 वार्मअप: एक्टिवेशन-टू-टेक्स्ट अलाइनमेंट चरण एक महत्वपूर्ण पूर्व शर्त है; इसे हटाने से प्रदर्शन में लगातार गिरावट आती है।

महत्व और दावे

पेपर का दावा है कि UAV वर्तमान एक्टिवेशन स्पष्टीकरण विधियों की अक्षमता और गैर-सामान्यीकरण क्षमता को संबोधित करता है। एक्टिवेशन मैपिंग (एडॉप्टर) को जनरेशन क्षमता (डिकोडर) से अलग करके, UAV सक्षम बनाता है:

पुन: प्रयोज्यता (Reusability): एक एकल स्पष्टीकरण-उन्मुख डिकोडर को कई डोनर मॉडल्स के लिए अनुकूलित किया जा सकता है।
दक्षता (Efficiency): एडॉप्टर-ओनली ट्रांसफर रणनीति नए मॉडल्स का विश्लेषण करते समय कम्प्यूटेशनल लागत को कम करती है।
विश्वसनीयता (Faithfulness): फ्रेमवर्क उन तथ्यात्मक और अर्थपूर्ण जानकारी को पुनः प्राप्त करने के लिए एक तंत्र प्रदान करता है जो अक्सर ट्रेनिंग-मुक्त दृष्टिकोणों में खो जाती है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि UAV अभी भी सिंगल एक्टिवेशन्स से सूक्ष्म विशेषताओं को पुनः प्राप्त करने में चुनौतियों का सामना करता है और वर्तमान में छोटे-कॉन्टेक्स्ट इनपुट्स तक सीमित है। मजबूत अलाइनमेंट और समृद्ध पर्यवेक्षण (supervision) के माध्यम से तथ्य प्राप्ति और सार समझ (gist understanding) में सुधार के लिए भविष्य के कार्य प्रस्तावित किए गए हैं।