🤖 machine learning

Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?

यह शोध पत्र यह प्रदर्शित करता है कि जबकि मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर में संरचनात्मक भूमिका अपघटन (structural role decomposition) निष्ठापूर्ण स्पष्टीकरण की गारंटी नहीं देता है, विशेषज्ञों के बीच ओवरलैप को कम करने के लिए प्रतिनिधित्व-स्तर के डिकोरिलेशन नियमितीकरण (representation-level decorrelation regularization) को पेश करने से कार्य प्रदर्शन से समझौता किए बिना मल्टीमॉडल बेंचमार्क में स्पष्टीकरण की निष्ठा में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yeji Kim, Housam Babiker, Mi-Young Kim, Randy Goebel

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yeji Kim, Housam Babiker, Mi-Young Kim, Randy Goebel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जटिल समस्या को हल करने के लिए चार विशेषज्ञ सलाहकारों की एक टीम है। टीम को कुशल बनाने के लिए, आप प्रत्येक व्यक्ति को एक विशिष्ट भूमिका (role) सौंपते हैं:

विशेषज्ञ A "विशिष्टता" (Uniqueness) विशेषज्ञ है (वे केवल एक विशिष्ट स्रोत से मिलने वाले संकेतों को देखते हैं)।
विशेषज्ञ B "अतिरेक" (Redundancy) विशेषज्ञ है (वे उन संकेतों को देखते हैं जो कई स्रोतों में दिखाई देते हैं)।
विशेषज्ञ C "सिनर्जी" (Synergy) विशेषज्ञ है (वे देखते हैं कि विभिन्न स्रोत एक साथ मिलकर कैसे काम करते हैं)।
विशेषज्ञ D एक अन्य विशेषज्ञ है।

इस टीम (जिसे मिक्सचर-ऑफ-एक्सपर्ट्स या MoE कहा जाता है) का लक्ष्य पारदर्शी होना है। जब वे कोई निर्णय लेते हैं, तो आप जानना चाहते हैं कि किस विशेषज्ञ ने किस संकेत को देखकर वह निर्णय लिया। इसे व्याख्या निष्ठा (explanation faithfulness) कहा जाता है। यदि व्याख्या कहती है कि "विशेषज्ञ A ने लाल संकेत देखा," तो आप यह सुनिश्चित करना चाहते हैं कि वह वास्तव में सच हो।

समस्या: "ओवरलैपिंग माइंड्स" (एक जैसे विचार) का मुद्दा

शोधकर्ताओं ने इस बात की खोज की कि इस तरह की टीमों को आमतौर पर कैसे बनाया जाता है, उसमें एक छिपा हुआ दोष है। भले ही आप विशेषज्ञों को अलग-अलग भूमिकाएँ निभाने के लिए कहते हैं, लेकिन वे अक्सर लगभग एक ही तरह से सोचने लगते हैं।

कल्पना कीजिए कि "विशिष्टता" विशेषज्ञ और "अतिरेक" विशेषज्ञ दोनों ने तथ्यों का एक ही सेट याद कर लिया है और वे एक ही तरह के मानसिक शॉर्टकट का उपयोग करते हैं। भले ही उनके पद अलग हों, लेकिन उनके मस्तिष्क ओवरलैप (एक दूसरे में समाहित) हो रहे हैं।

जब उनके विचार बहुत अधिक ओवरलैप होते हैं:

टीम अभी भी सही अनुमान लगाती है (वे सही उत्तर प्राप्त करते हैं)।
लेकिन व्याख्या एक झूठ बन जाती है। यदि आप पूछते हैं, "किसने लाल संकेत देखा?" तो सिस्टम "विशिष्टता" विशेषज्ञ की ओर इशारा कर सकता है, लेकिन वास्तव में, "अतिरेक" विशेषज्ञ भी भारी काम कर रहा था। क्योंकि उनके दिमाग इतने समान हैं, सिस्टम यह नहीं बता पाता कि किसने क्या किया। भूमिकाएँ केवल "दरवाजे पर लगे नाम" बनकर रह जाती हैं, न कि वास्तविक, विशिष्ट कार्य।

समाधान: "मेंटल डिटॉक्स" (मानसिक शुद्धि)

लेखकों ने पूछा: क्या होगा अगर हम इन विशेषज्ञों को अलग तरह से सोचने के लिए मजबूर करें?

उन्होंने एक नया प्रशिक्षण नियम पेश किया जिसे रिप्रेजेंटेशन डिकोरिलेशन (Representation Decorrelation) कहा जाता है। इसे "मेंटल डिटॉक्स" या "पर्सनल स्पेस" नियम के रूप में सोचें।

प्रशिक्षण के दौरान, सिस्टम लगातार जाँच करता है: "क्या विशेषज्ञ A और विशेषज्ञ B बहुत समान रूप से सोच रहे हैं?"
यदि वे ऐसा करते हैं, तो सिस्टम उन्हें धीरे से एक-दूसरे से दूर धकेलता है, जिससे उन्हें जानकारी को संसाधित करने के अनूठे तरीके खोजने के लिए मजबूर किया जाता है।
यह दोस्तों के एक समूह को बताने जैसा है: "आप सभी के अलग-अलग काम हैं। कृपया एक ही तरह के चुटकुले बनाना बंद करें और अपनी खुद की अनूठी शैलियों का उपयोग करना शुरू करें।"

उन्होंने क्या पाया

उन्होंने तीन अलग-अलग प्रकार के डेटा (जैसे मूवी पोस्टर, मेडिकल रिकॉर्ड और ऐप स्क्रीनशॉट का विश्लेषण करना) पर इसका परीक्षण किया। यहाँ बताया गया है कि क्या हुआ:

टीम अभी भी जीतती है: टीम की सही उत्तर देने की क्षमता में गिरावट नहीं आई। वे पहले जितने ही स्मार्ट थे।
व्याख्याएं ईमानदार हो गईं: क्योंकि विशेषज्ञ अब अधिक भिन्न तरीके से सोच रहे थे, सिस्टम अंततः आपको सटीक रूप से बता सका कि निर्णय के किस हिस्से के लिए कौन सा विशेषज्ञ जिम्मेदार था।
- उपमा: पहले, यह एक ऐसे गायक दल (choir) की तरह था जहाँ हर कोई एक ही स्वर गा रहा था; आप यह नहीं बता सकते थे कि कौन क्या गा रहा है। "डिटॉक्स" के बाद, हर कोई एक अलग हार्मनी गा रहा था, जिससे आप स्पष्ट रूप से सुन सकते थे कि कौन क्या कर रहा है।
बिना जॉब टाइटल के भी यह काम करता है: उन्होंने एक ऐसी टीम पर भी परीक्षण किया जिसके पास विशिष्ट जॉब टाइटल (पद) नहीं थे। बिना "विशिष्टता" या "सिनर्जी" जैसे लेबल के भी, केवल विशेषज्ञों को अलग तरह से सोचने के लिए मजबूर करने से व्याख्याएं अधिक विश्वसनीय हो गईं।

मुख्य निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि AI को समझाने योग्य बनाने के लिए केवल विशेषज्ञ को जॉब टाइटल देना पर्याप्त नहीं है। यदि उनके दिमाग बहुत समान हैं, तो उनकी व्याख्याएं धुंधली और अविश्वसनीय होंगी।

एक वास्तव में ईमानदार व्याख्या प्राप्त करने के लिए, आपको यह भी सुनिश्चित करना होगा कि विशेषज्ञ मानसिक रूप से अलग (mentally distinct) हों। इस "मेंटल डिटॉक्स" (रिप्रेजेंटेशन डिकोरिलेशन) का उपयोग करके, आपको एक ऐसा सिस्टम मिलता है जो न केवल स्मार्ट है बल्कि इस बारे में भी ईमानदार है कि वह कैसे सोचता है।

संक्षेप में: स्पष्ट व्याख्या प्राप्त करने के लिए आप केवल भूमिकाएँ असाइन नहीं कर सकते; आपको यह भी सुनिश्चित करना होगा कि उन भूमिकाओं को निभाने वाले लोग वास्तव में अलग तरह से सोच रहे हैं।

तकनीकी सारांश: क्या विशेषज्ञ भूमिका विशिष्टता (Role Specialization) Mixture-of-Experts में स्पष्टीकरण निष्ठा (Explanation Faithfulness) के लिए महत्वपूर्ण है?

समस्या विवरण
मल्टीमॉडल परिवेशों में व्याख्यात्मकता (interpretability) को बढ़ाने के लिए हाल ही में Mixture-of-Experts (MoE) आर्किटेक्चर को भूमिका-आधारित तंत्रों (role-based mechanisms) के साथ विस्तारित किया गया है। ये दृष्टिकोण क्रॉस-मोडल इंटरैक्शन को विघटित करने के लिए व्यक्तिगत विशेषज्ञ घटकों को अर्थपूर्ण भूमिकाएँ (जैसे, विशिष्टता (uniqueness), अतिरेक (redundancy), तालमेल (synergy)) सौंपते हैं। हालाँकि, लेखक एक महत्वपूर्ण अंतराल देखते हैं: जबकि संरचनात्मक भूमिका विघटन (structural role decomposition) को स्पष्ट रूप से परिभाषित किया गया है, यह स्पष्ट नहीं है कि क्या यह संरचना स्पष्टीकरण निष्ठा (explanation faithfulness) को बनाए रखती है। व्यवहार में, विभिन्न अर्थपूर्ण भूमिकाओं के लिए सौंपे गए विशेषज्ञ अक्सर साझा एनकोडर और समान कार्य उद्देश्यों के कारण अत्यधिक ओवरलैपिंग (overlapping) प्रतिनिधित्व सीखते हैं। विशेषज्ञों के बीच यह प्रतिनिधित्व ओवरलैप प्रभावी भूमिका पृथक्करण को कमजोर करता है, जिससे भूमिका असाइनमेंट केवल नाममात्र का रह जाता है और फीचर एट्रिब्यूशन (feature attribution) भविष्यवाणियों के लिए उपयोग किए गए वास्तविक साक्ष्य को दर्शाने में विफल हो सकता है। यह शोध जांचता है कि क्या प्रतिनिधित्व ओवरलैप को कम करने से कार्य प्रदर्शन (task performance) से समझौता किए बिना स्पष्टीकरण की निष्ठा में सुधार होता है।

कार्यप्रणाली
लेखक एक नियंत्रित अध्ययन प्रस्तावित करते हैं जो 'Interpretable Multimodal Interaction-aware MoE' (I2MoE) के फीचर-लेवल विस्तार, जिसे FL-I2MoE कहा जाता है, को अपने बैकबोन के रूप में उपयोग करता है। आर्किटेक्चर को पुनर्गठित करने के बजाय, वे विशेषज्ञ-बीच के प्रतिनिधित्व ओवरलैप को एक नियंत्रणीय कारक के रूप में देखते हैं।

फ्रेमवर्क: मॉडल मल्टीमॉडल इनपुट को साझा एनकोडर के माध्यम से प्रोसेस करता है, जो फीचर-लेवल प्रतिनिधित्व को $E$ विशेषज्ञों ( $M$ विशिष्टता, 1 तालमेल, 1 अतिरेक) में फीड करता है। प्रत्येक विशेषज्ञ क्लास लॉजिट्स (class logits) और एक लेटेंट प्रतिनिधित्व ( $z_e$ ) उत्पन्न करता है।
नियमितीकरण रणनीति (Regularization Strategy): रूटिंग तंत्र या एट्रिब्यूशन प्रक्रिया को बदले बिना ओवरलैप को कम करने के लिए, लेखक प्रतिनिधित्व-स्तरीय डिकोरिलेशन नियमितीकरण (representation-level decorrelation regularization) पेश करते हैं। वे प्रत्येक विशेषज्ञ के लिए एक एंकर लेटेंट प्रतिनिधित्व (मूल इनपुट पर आउटपुट) को परिभाषित करते हैं और विशेषज्ञ युग्मों के बीच समानता को कम करने के लिए तीन अलग-अलग उद्देश्यों को लागू करते हैं:
- Rep-Cos: $L_2$ -सामान्यीकृत लेटेंट वेक्टर्स के बीच स्क्वेर्ड कोसाइन समानता (squared cosine similarity) को कम करता है (इंस्टेंस-लेवल दिशात्मक संरेखण)।
- Rep-CKA: सेंटर्ड रिप्रेजेंटेशन मैट्रिसेस के बीच सेंटर्ड कर्नेल एलाइनमेंट (Centered Kernel Alignment - CKA) को कम करता है (पॉपुलेशन-लेवल संरचनात्मक समानता)।
- Rep-Barlow: मानकीकृत लेटेंट आयामों के बीच क्रॉस-कोरिलेशन मैट्रिक्स के ऑफ-डायगोनल एंट्रियों को कम करता है (क्रॉस-फीचर रेडंडेंसी)।
कुल हानि (Total Loss): कुल लॉस टास्क लॉस ( $L_{task}$ ), 'पार्शियल इंफॉर्मेशन डिकंपोजिशन' से प्राप्त भूमिका-विशिष्ट इंटरैक्शन लॉस ( $L_{interaction}$ ), और चुने हुए डिकोरिलेशन लॉस ( $L_{decor}$ ) को जोड़ता है:
$L = L_{task} + \alpha L_{interaction} + \lambda L_{decor}$
हाइपरपैरामीटर $\lambda$ को उस रिजीम (regime) की पहचान करने के लिए स्वैप किया जाता है जो भविष्य कहनेवाला प्रदर्शन (2% मार्जिन के भीतर) को बनाए रखते हुए ओवरलैप को कम करता है।

प्रमुख योगदान

एक अंतराल की पहचान: पेपर पहचानता है कि यदि विशेषज्ञों के बीच प्रतिनिधित्व ओवरलैप बना रहता है, तो केवल संरचनात्मक भूमिका विघटन पर्याप्त स्पष्टीकरण निष्ठा की गारंटी देने के लिए अपर्याप्त है।
डिकोरिलेशन तंत्र: यह मूल आर्किटेक्चर और रूटिंग लॉजिक को बनाए रखते हुए विशेषज्ञों के बीच स्पष्ट विशेषज्ञता को लागू करने के एक तंत्र के रूप में प्रतिनिधित्व-स्तरीय डिकोरिलेशन को पेश करता है।
सामान्यीकरण (Generalizability): अध्ययन यह प्रदर्शित करता है कि प्रतिनिधित्व पृथक्करण के लाभ स्पष्ट भूमिका-आधारित आर्किटेक्चर (जैसे I2MoE) से परे मानक स्पार्स MoE बेसलाइन्स (जैसे GShardGate) तक भी विस्तारित होते हैं, जो स्पष्टीकरण निष्ठा को बढ़ाने के लिए एक सामान्य तंत्र का सुझाव देते हैं।

प्रायोगिक परिणाम
लेखकों ने तीन मल्टीमॉडल बेंचमार्क पर अपने दृष्टिकोण का मूल्यांकन किया: ENRICO (UI वर्गीकरण), MIMIC-IV (मृत्यु दर भविष्यवाणी), और MMIMDb (मूवी जॉन वर्गीकरण)।

कार्य प्रदर्शन (Task Performance): तीनों डेटासेट्स और डिकोरिलेशन वेरिएंट्स (Rep-Cos, Rep-CKA, Rep-Barlow) में, मॉडल बेसलाइन के 2% के भीतर भविष्य कहनेवाला प्रदर्शन बनाए रखता है, जो पुष्टि करता है कि पृथक्करण स्वाभाविक रूप से उपयोगिता को कम नहीं करता है।
स्पष्टीकरण निष्ठा (Explanation Faithfulness): पर्टरबेशन-आधारित मेट्रिक्स (Comprehensiveness और Sufficiency) और उनके AOPC सारांशों का उपयोग करते हुए, डिकोरिलेटेड मॉडल बेसलाइन की तुलना में लगातार बेहतर प्रदर्शन करते हैं। विशेष रूप से, "पहचाने गए मास्किंग" (स्पष्टीकरण द्वारा हाइलाइट किए गए फीचर्स को हटाना) और "रैंडम मास्किंग" के बीच का अंतर बढ़ गया, जो दर्शाता है कि स्पष्टीकरण ने निर्णय-प्रासंगिक साक्ष्य को बेहतर ढंग से कैप्चर किया।
प्रतिनिधित्व ज्यामिति (Representation Geometry): विश्लेषण ने दिखाया कि नियमितीकरण ने विशेषज्ञों के बीच पेयरवाइज CKA और सहसंबंध (correlation) को कम कर दिया। कई मामलों में, सिलहूट स्कोर (silhouette scores) में सुधार हुआ, जो क्लस्टर-लेवल पृथक्करण को स्पष्ट करता है।
भूमिका संरेखण (Role Alignment): ज्ञात इंटरैक्शन संरचनाओं वाले एक सिंथेटिक बेंचमार्क पर, Rep-CKA के माध्यम से ओवरलैप को कम करने से रूटिंग वेट और ग्राउंड-ट्रुथ सिमेंटिक भूमिकाओं (उदाहरण के लिए, सिनर्जिस्टिक इनपुट के लिए उच्च वेट प्राप्त करने वाला सिनर्जी एक्सपर्ट) के बीच संरेखण में सुधार हुआ।
एब्लेशन (Ablation): एक एब्लेशन अध्ययन ने खुलासा किया कि जबकि केवल भूमिका-आधारित इंटरैक्शन लर्निंग ने मानक MoE की तुलना में निष्ठा में सुधार नहीं किया, और केवल डिकोरिलेशन ने आंशिक लाभ प्रदान किया, दोनों का संयोजन (combination) उच्चतम निष्ठा लाभ प्रदान करता है।

महत्व और दावे
पेपर निष्कर्ष निकालता है कि MoE सिस्टम में स्पष्टीकरण निष्ठा के लिए संरचनात्मक भूमिका विघटन एक पर्याप्त शर्त नहीं है। प्राथमिक निष्कर्ष यह है कि विशेषज्ञों के बीच प्रतिनिधित्व ओवरलैप एक बाधा (bottleneck) के रूप में कार्य करता है जो प्रभावी विशेषज्ञता को बाधित करता है। डिकोरिलेशन नियमितीकरण के माध्यम से इस ओवरलैप को स्पष्ट रूप से कम करके, लेखक प्रदर्शित करते हैं कि कार्य प्रदर्शन को सुरक्षित रखते हुए स्पष्टीकरण निष्ठा में महत्वपूर्ण रूप से सुधार किया जा सकता है।

लेखक विनम्रतापूर्वक दावा करते हैं कि उनके निष्कर्ष यह सुझाव देते हैं कि प्रतिनिधित्व-स्तरीय पृथक्करण स्पष्टीकरण निष्ठा को बढ़ाने के लिए एक अधिक सामान्य तंत्र प्रदान करता है, जो स्पष्ट अर्थपूर्ण भूमिकाओं की कमी वाले मानक स्पार्स MoE आर्किटेक्चर पर भी लागू होता है। वे इस बात पर जोर देते हैं कि विशिष्ट डिकोरिलेशन उद्देश्यों (Cosine बनाम CKA बनाम Barlow) की प्रभावशीलता डेटासेट और मेट्रिक के अनुसार भिन्न होती है, जिसका अर्थ है कि पृथक्करण और निष्ठा के बीच का संबंध मोडैलिटी संरचना और इंटरैक्शन जटिलता से प्रभावित होता है। यह कार्य इस परिकल्पना का समर्थन करता है कि भूमिका-आधारित MoE के वास्तव में व्याख्या योग्य होने के लिए, भूमिकाओं के लेटेंट प्रतिनिधित्व ज्यामितीय रूप से भिन्न होने चाहिए।

समस्या: "ओवरलैपिंग माइंड्स" (एक जैसे विचार) का मुद्दा

समाधान: "मेंटल डिटॉक्स" (मानसिक शुद्धि)

उन्होंने क्या पाया

मुख्य निष्कर्ष

इसी तरह के और पेपर