🤖 machine learning

LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks

यह शोधपत्र LAYA को प्रस्तुत करता है, जो एक नवीन, आर्किटेक्चर-अज्ञेय (architecture-agnostic) आउटपुट हेड है जो भविष्य कहनेवाला प्रदर्शन को बढ़ाने के लिए इनपुट-कंडीशनड अटेंशन के माध्यम से मध्यवर्ती परत प्रतिनिधित्वों को गतिशील रूप से एकत्रित करता है और साथ ही यह अंतर्निहित, व्याख्यात्मक गहराई-जागरूक स्पष्टीकरण प्रदान करता है कि विभिन्न अमूर्तता स्तर तंत्रिका नेटवर्क के निर्णयों में कैसे योगदान देते हैं।

मूल लेखक: Gennaro Vessio

प्रकाशित 2026-08-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gennaro Vessio

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल रहस्य को सुलझाने की कोशिश कर रहे हैं, जैसे कि यह पता लगाना कि पिज्जा का आखिरी टुकड़ा किसने चुराया। आपके पास जासूसों की एक टीम है, जिनमें से प्रत्येक के पास अलग-अलग कौशल सेट हैं। पहला जासूस फर्श पर गिरे चूरे (निम्न-स्तरीय विवरण) को देखता है, दूसरा गायब टुकड़े के आकार (संरचनात्मक पैटर्न) को देखता है, और तीसरा, वरिष्ठ जासूस, पूरे दृश्य के आधार पर अपराधी के बारे में एक अंतर्ज्ञान (उच्च-स्तरीय अमूर्त तर्क) रखता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से डीप लर्निंग (Deep Learning) में, हम ऐसे डिजिटल मस्तिष्क बनाते हैं जो बिल्कुल इस टीम की तरह काम करते हैं। हमारे ये "न्यूरल नेटवर्क" सूचनाओं को परतों (layers) में संसाधित करते हैं, जो सरल पिक्सेल से शुरू होकर जटिल विचारों तक पहुँचते हैं।

लंबे समय तक, इस क्षेत्र में मानक नियम सरल था: जूनियर जासूसों को अनदेखा करें और केवल सीनियर जासूस की बात सुनें। जब AI कोई अंतिम अनुमान लगाता था, तो वह अपने मस्तिष्क की केवल अंतिम परत को देखता था, यह मानते हुए कि इस अंतिम सारांश में वह सब कुछ है जो उसे जानने की आवश्यकता है। लेकिन इस दृष्टिकोण में एक बड़ी खामी है: यह शुरुआती परतों द्वारा एकत्र किए गए समृद्ध, पूरक सुरागों को फेंक देता है। यह एक जासूस से केस सुलझाने के लिए कहने जैसा है, लेकिन उसे उन सबूतों को देखने की अनुमति न देना जो उसने पहले एकत्र किए थे। इसके अलावा, क्योंकि AI केवल उस अंतिम परत का उपयोग करता है, इसलिए यह एक "ब्लैक बॉक्स" बन जाता है—हमें पता ही नहीं चलता कि उसने कोई निर्णय क्यों लिया या कौन से सुराग वास्तव में महत्वपूर्ण थे। यह शोध पत्र इस रहस्य को सुलझाने की कोशिश करता है कि क्या होगा यदि AI पूरी टीम की बात सुन सके, प्रत्येक विशिष्ट मामले के लिए तय कर सके कि किसे विश्वास करना है, और हमें ठीक से बता सके कि उसने किसकी बात सुनी।

नया जासूस दल: LAYA

यह शोध पत्र LAYA (लेयर-वाइज अटेंशन एग्रीगेटर) नामक एक चतुर नए टूल का परिचय देता है। LAYA को एक नए जासूस के रूप में नहीं, बल्कि एक शानदार टीम कप्तान के रूप में सोचें जो जांच के अंत में खड़ा होता है। केवल वरिष्ठ जासूस की अंतिम रिपोर्ट लेने के बजाय, यह कप्तान श्रृंखला के हर जासूस के नोट्स एकत्र करता है—चूरा खोजने वाले से लेकर मकसद समझने वाले तक।

यह कैसे काम करता है, इसे सरल भाषा में यहाँ समझाया गया है:

सुराग इकट्ठा करना: जैसे ही AI किसी छवि (जैसे जूते या पेंटिंग की तस्वीर) को देखता है, यह अपने नेटवर्क के माध्यम से अपनी यात्रा के हर चरण पर एक "रिपोर्ट" बनाता है।
स्मार्ट कप्तान: LAYA एक गतिशील फ़िल्टर के रूप में कार्य करता है। प्रत्येक छवि के लिए जिसे वह देखता है, वह पूछता है, "अभी इस समय किस जासूस के नोट्स सबसे उपयोगी हैं?" कभी-कभी, एक साधारण तस्वीर के लिए, वरिष्ठ जासूस का सारांश पर्याप्त होता है। लेकिन एक कठिन, अमूर्त छवि के लिए, कप्तान को एहसास हो सकता है, "हे, हमें इसे सही करने के लिए वास्तव में मध्यवर्ती परतों के विवरण की आवश्यकता है!"
जादुई भार (Magic Weight): LAYA प्रत्येक परत की रिपोर्ट को एक "ट्रस्ट स्कोर" (जिसे अटेंशन वेट कहा जाता है) असाइन करता है। यह उन स्कोर के आधार पर इन रिपोर्टों को मिलाता है ताकि अंतिम भविष्यवाणी की जा सके।
अंतर्निहित स्पष्टीकरण: यह सबसे शानदार हिस्सा है। क्योंकि कप्तान को यह तय करना होता है कि किसे विश्वास करना है, इसलिए यह स्वाभाविक रूप से एक सूची तैयार करता है जो दिखाता है कि इसने प्रत्येक परत पर कितना भरोसा किया। यदि कप्तान कहता है, "मैंने मध्य परत पर 80% और अंतिम परत पर 20% भरोसा किया," तो हम तुरंत जान जाते हैं कि AI ने वह निर्णय क्यों लिया। हमें AI को समझाने के लिए अतिरिक्त उपकरणों की आवश्यकता नहीं है; स्पष्टीकरण इसकी सोचने की प्रक्रिया में ही शामिल है।

प्रयोगों ने क्या दिखाया

लेखक ने इस नए कप्तान का परीक्षण तीन अलग-अलग प्रकार के पहेलियों पर किया: कपड़ों की पहचान (Fashion-MNIST), वस्तुओं की पहचान (CIFAR-10), और कला शैलियों की पहचान (Best Artworks)।

प्रदर्शन: परिणाम उत्साहजनक थे। कपड़ों और वस्तुओं के डेटासेट पर, LAYA ने पुराने "केवल वरिष्ठ जासूस" वाले तरीके के समान या उससे थोड़ा बेहतर प्रदर्शन किया। इसने साबित कर दिया कि पूरी टीम को सुनने से AI की सही उत्तर पाने की क्षमता को नुकसान नहीं पहुँचता है। कला के डेटासेट पर, जबकि एक सरल "सभी नोट्स को मिला देने वाला" तरीका सबसे अच्छा काम करता था, LAYA ने पुराने तरीके को बड़े अंतर से पीछे छोड़ दिया, जिससे पता चला कि जटिल कार्यों के लिए मध्यवर्ती सुराग अत्यंत महत्वपूर्ण हैं।
ट्रस्ट स्कोर: टीम ने यह जाँचने के लिए कि क्या LAYA के "ट्रस्ट स्कोर" वास्तव में सच बोल रहे हैं, "फेथफुलनेस" (Faithfulness) नामक एक विधि का उपयोग किया, जो मूल रूप से पूछती है: "यदि हम उस परत को हटा दें जिसे AI ने सबसे महत्वपूर्ण बताया था, तो क्या AI भ्रमित हो जाता है?" परिणामों ने सुझाव दिया कि LAYA के स्कोर अत्यधिक विश्वसनीय थे। वास्तव में, जब LAYA ने एक विशिष्ट परत को सबसे महत्वपूर्ण के रूप में इंगित किया, तो उस परत को हटाने से AI के आत्मविश्वास में काफी गिरावट आई, जिससे यह सिद्ध हुआ कि AI वास्तव में उस परत पर निर्भर था।
पैटर्न: अध्ययन में पाया गया कि LAYA रैंडम (यादृच्छिक) नहीं है। इसने विशिष्ट रणनीतियाँ सीखीं। उदाहरण के लिए, "क्यूबिज़्म" जैसी कुछ कला शैलियों को देखते समय, इसने विशिष्ट मध्यवर्ती परतों पर बहुत अधिक भरोसा किया, जबकि अन्य शैलियों के लिए, इसने अंतिम परत पर अधिक भरोसा किया। यह सुझाव देता है कि AI विभिन्न प्रकार की समस्याओं के लिए अलग-अलग तरह से सोचना सीख रहा है।

इसका क्या अर्थ है (और क्या नहीं)

शोध पत्र का सुझाव है कि हमें पुराने "केवल अंतिम परत" वाले नियम को छोड़ने की आवश्यकता नहीं है, लेकिन हमें LAYA जैसा एक स्मार्ट एग्रीगेशन जोड़ने पर विचार करना चाहिए। यह AI को सटीक और पारदर्शी दोनों बनाने का एक तरीका प्रदान करता है। लेखक सावधानीपूर्वक नोट करते हैं कि यह कोई जादुई समाधान नहीं है जो हर समस्या को तुरंत हल कर दे; कुछ डेटासेट पर, अन्य विधियाँ कच्चे सटीकता (raw accuracy) के मामले में थोड़े बेहतर थे। हालाँकि, LAYA की अनूठी शक्ति यह है कि यह बिना किसी अतिरिक्त, जटिल उपकरण के हमें AI के मन के भीतर झाँकने की खिड़की प्रदान करता है।

AI को यह तय करने देकर कि प्रत्येक विशिष्ट छवि के लिए किन परतों पर भरोसा करना है, हमें एक ऐसा सिस्टम मिलता है जो न केवल पहेलियाँ सुलझाने में अच्छा है, बल्कि अपने तर्क को समझाने में भी सक्षम है। यह "ब्लैक बॉक्स" को "ग्लास बॉक्स" में बदल देता है, जहाँ हम देख सकते हैं कि डिजिटल जासूस ने किन सुरागों को सबसे महत्वपूर्ण पाया।

तकनीकी सारांश: LAYA (लेयर-वाइज अटेंशन एग्रीगेशन)

समस्या विवरण
डीप न्यूरल नेटवर्क (DNNs) आमतौर पर भविष्यवाणी उत्पन्न करने के लिए केवल अंतिम हिडन लेयर ( $h_L$ ) द्वारा निर्मित प्रतिनिधित्व (representation) पर ही निर्भर करते हैं। यह डिज़ाइन अप्रत्यक्ष रूप से यह मान लेता है कि सबसे गहरी एम्बेडिंग (embedding) पूर्ववर्ती रूपांतरणों के माध्यम से निकाले गए सभी प्रासंगिक सिमेंटिक सूचनाओं को पूरी तरह से समाहित करती है। हालांकि, अनुभवजन्य साक्ष्य बताते हैं कि मध्यवर्ती परतों (intermediate layers) में निम्न-स्तरीय पैटर्न से लेकर उच्च-स्तरीय अमूर्तता (abstractions) तक समृद्ध, पूरक जानकारी होती है। इन मध्यवर्ती निरूपणों को आउटपुट चरण पर त्याग कर, मानक आर्किटेक्चर न केवल संभावित रूप से विभेदक जानकारी खो देते हैं, बल्कि अंतिम निर्णय में विभिन्न अमूर्तता स्तरों के योगदान को भी अस्पष्ट कर देते हैं। इसके अलावा, इन योगदानों की व्याख्या करने के लिए मौजूदा विधियाँ मुख्य रूप से पोस्ट-हॉक (post-hoc) हैं, जिनमें अनुमान (inference) के बाद बाहरी विश्लेषण की आवश्यकता होती है, न कि मॉडल के भविष्यवाणी तंत्र का आंतरिक हिस्सा के रूप में।

कार्यप्रणाली (Methodology)
यह शोध पत्र LAYA (लेयर-वाइज़ अटेंशन एग्रीगेटर) प्रस्तुत करता है, जो एक हल्का, आर्किटेक्चर-अज्ञेय (architecture-agnostic) आउटपुट मॉड्यूल है जिसे मानक क्लासिफायर हेड के स्थान पर बदलने के लिए डिज़ाइन किया गया है। केवल अंतिम एम्बेडिंग को प्रोजेक्ट करने के बजाय, LAYA सभी हिडन लेयर्स $\{h_i\}_{i=1}^L$ से आंतरिक निरूपणों को गतिशील रूप से एकत्रित (aggregate) करता है।

यह तंत्र इस प्रकार कार्य करता है:

प्रोजेक्शन (Projection): प्रत्येक हिडन निरूपण $h_i$ को एक सीखे जा सकने वाले अडैप्टर $g_i(\cdot)$ के माध्यम से $d^*$ आयाम के साझा लेटेंट स्पेस में मैप किया जाता है, जिसके परिणामस्वरूप $z_i = g_i(h_i)$ प्राप्त होता है।
स्कोरिंग (Scoring): इन प्रोजेक्टेड निरूपणों को वैकल्पिक रूप से एक साझा मैपिंग $\psi(\cdot)$ (या तो आइडेंटिटी या एक हल्का MLP) द्वारा रूपांतरित और संयोजित (concatenate) किया जाता है। एक स्कोरिंग MLP इस संयोजन को प्रोसेस करके अननॉर्मलाइज्ड रेलेवेंस स्कोर $s(x) \in \mathbb{R}^L$ उत्पन्न करता है।
अटेंशन (Attention): इन स्कोर्स को टेम्परेचर-स्केल्ड सॉफ्टमैक्स का उपयोग करके इनपुट-कंडीशन्ड अटेंशन कोएफिशिएंट्स $\alpha_i(x)$ में परिवर्तित किया जाता है:
$\alpha_i(x) = \frac{\exp(s_i(x)/\tau)}{\sum_{j=1}^L \exp(s_j(x)/\tau)}$
जहाँ $\tau$ वितरण की शार्पनेस (sharpness) को नियंत्रित करता है।
एग्रीगेशन और प्रेडिक्शन (Aggregation & Prediction): अंतिम एकत्रित निरूपण की गणना एक भारित योग (weighted sum) $h_{agg} = \sum_{i=1}^L \alpha_i(x) z_i$ के रूप में की जाती है, जिसे फिर वर्गीकरण के लिए टास्क-विशिष्ट आउटपुट हेड को पास किया जाता है।

महत्वपूर्ण रूप से, अटेंशन वेट्स $\alpha_i(x)$ फॉरवर्ड पास के दौरान भविष्यवाणी प्रक्रिया के हिस्से के रूप में उत्पन्न होते हैं, जो बिना किसी अतिरिक्त बैकवर्ड कंप्यूटेशन या बाहरी एक्सप्लेनेशन मॉडल के, आंतरिक लेयर-एट्रिब्यूशन स्कोर के रूप में कार्य करते हैं।

प्रमुख योगदान

आउटपुट लेयर का पुनर्मूल्यांकन: यह कार्य पारंपरिक आउटपुट हेड्स की सीमाओं को उजागर करता है जो मध्यवर्ती निरूपणों को अनदेखा करते हैं और डेप्थ-अवेयर एग्रीगेशन की ओर बदलाव का प्रस्ताव करता है।
आंतरिक व्याख्यात्मकता (Intrinsic Interpretability): LAYA एक ऐसा तंत्र प्रदान करता है जहाँ मॉडल की निर्णय प्रक्रिया स्वाभाविक रूप से व्याख्या योग्य है। सीखे गए अटेंशन कोएफिशिएंट्स स्पष्ट रूप से अंतिम भविष्यवाणी में प्रत्येक लेयर के योगदान को मात्रात्मक रूप से दर्शाते हैं, जिससे लेयर-लेवल एट्रिब्यूशन के लिए Integrated Gradients या Grad-CAM जैसे पोस्ट-हॉक टूल्स की आवश्यकता समाप्त हो जाती है।
आर्किटेक्चर अज्ञेयता (Architecture Agnosticism): यह मॉड्यूल मानक आउटपुट हेड्स के लिए एक 'ड्रॉप-इन रिप्लेसमेंट' के रूप में कार्य करता है, जिससे बैकबोन नेटवर्क (जैसे CNNs, Transformers, MLPs) पूरी तरह से अपरिवर्तित रहता है।
व्यापक मूल्यांकन: शोध पत्र तीन अलग-अलग रिप्रेजेंटेशनल पदानुक्रमों पर एक कठोर मूल्यांकन प्रस्तुत करता है: Fashion-MNIST पर एक मल्टी-लेयर परसेप्ट्रॉन (MLP), CIFAR-10 पर एक कन्वेन्शनल न्यूरल नेटवर्क (CNN), और एक आर्टिस्टिक स्टाइल क्लासिफिकेशन टास्क पर एक फ्रोजन विजन ट्रांसफॉर्मर (ViT)।

प्रायोगिक परिणाम

भविष्यवाणी प्रदर्शन (Predictive Performance): LAYA, मानक बेसलाइन्स (LastLayer), स्टैटिक कॉनकैटिनेशन (Concat), और ग्लोबल मिक्सिंग (ScalarMix) की तुलना में प्रतिस्पर्धी, और कुछ मामलों में बेहतर भविष्य कहने वाला प्रदर्शन प्राप्त करता है।
- Fashion-MNIST और CIFAR-10 पर, LAYA ने सभी परीक्षण किए गए हेड्स में उच्चतम माध्य सटीकता (mean accuracy) प्राप्त की।
- Best Artworks डेटासेट पर, जबकि स्टैटिक कॉनकैटिनेशन ने सर्वश्रेष्ठ प्रदर्शन किया, LAYA ने मानक LastLayer बेसलाइन की तुलना में काफी बेहतर प्रदर्शन किया, जो दर्शाता है कि मध्यवर्ती निरूपणों में मूल्यवान जानकारी होती है, भले ही बैकबोन फ्रोजन हो।
व्याख्याओं की निष्ठा (Faithfulness of Explanations): Faithfulness (एट्रिब्यूशन स्कोर और लीव-वन-लेयर-आउट परटर्बेशन प्रभावों के बीच स्पियरमैन सहसंबंध) और Deletion@1 (शीर्ष-रैंक वाली लेयर को हटाने पर कॉन्फिडेंस में गिरावट) का उपयोग करते हुए मात्रात्मक विश्लेषण दिखाता है कि LAYA के आंतरिक स्कोर अत्यधिक निष्ठावान हैं।
- Fashion-MNIST पर, LAYA का फेथफुलनेस स्कोर (0.8575) ग्रेडिएंट-आधारित पोस्ट-हॉक विधियों (लगभग 0.89) के करीब था, जबकि इसने स्टैटिक ग्लोबल वेट्स से काफी बेहतर प्रदर्शन किया।
- Best Artworks डेटासेट पर, LAYA ने उच्चतम Deletion@1 स्कोर (0.5787) प्राप्त किया, जो इंगित करता है कि जिस लेयर को इसने सबसे अधिक प्रासंगिक माना था, वह वास्तव में भविष्यवाणी के लिए सबसे प्रभावशाली थी।
व्याख्यात्मक पैटर्न (Interpretability Patterns): गुणात्मक विश्लेषण ने कार्य-निर्भर गहराई उपयोग (task-dependent depth utilization) को प्रकट किया। उदाहरण के लिए, CIFAR-10 पर, अटेंशन लगभग पूरी तरह से अंतिम लेयर पर केंद्रित था, जबकि Best Artworks पर, अटेंशन विशिष्ट मध्यवर्ती और देर से आने वाले ViT ब्लॉक्स (जैसे ब्लॉक 7, 9, 11, 12) में बिखरा हुआ था, जो कलात्मक शैली के अनुसार बदलता रहता है।

महत्व और दावे
यह शोध पत्र तर्क देता है कि LAYA आउटपुट स्टेज पर पदानुक्रमित निरूपणों के मानक "कोलैप्स" (collapse) के लिए एक सिद्धांत आधारित विकल्प प्रदान करता है। इसका प्राथमिक महत्व सार्वभौमिक रूप से वर्गीकरण सटीकता पर हावी होने में नहीं है, बल्कि प्रतिस्पर्धी भविष्य कहने वाले प्रदर्शन को सीधे निरीक्षण योग्य, इनपुट-डिपेंडेंट लेयर एट्रिब्यूशन के साथ संयोजित करने की इसकी क्षमता में है।

लेखक का दावा है कि LAYA:

आंतरिक व्याख्यात्मकता प्रदान करता है, जिससे मॉडल की विशिष्ट एब्स्ट्रैक्शन स्तरों पर निर्भरता बाहरी उपकरणों के बिना पारदर्शी हो जाती है।
संरचित, कार्य-निर्भर पैटर्न को प्रकट करता है, जो यह दिखाता है कि विभिन्न कार्य और यहाँ तक कि एक कार्य के भीतर विभिन्न क्लास, लेयर डेप्थ के विभिन्न संयोजनों पर निर्भर करते हैं।
भविष्य के अनुप्रयोगों के लिए एक आधार प्रदान करता है जैसे कि अटेंशन-गाइडेड मॉडल कम्प्रेशन (नगण्य अटेंशन वाली लेयर्स को हटाना), एडैप्टिव अर्ली-एग्जिट मैकेनिज्म, और अटेंशन शिफ्ट के आधार पर मॉडल विफलताओं का डायग्नोस्टिक विश्लेषण।

यह निष्कर्ष निकलता है कि यद्यपि ध्यान कंप्यूटर विज़न पर है, यह फ्रेमवर्क अन्य सीक्वेंस आर्किटेक्चर के लिए भी लागू है, जो संभवतः ट्रांसफॉर्मर्स जैसे मॉडल्स में सूचना कैसे परिष्कृत (refine) होती है, इस पर नई अंतर्दृष्टि प्रदान कर सकता है।

नया जासूस दल: LAYA

प्रयोगों ने क्या दिखाया

इसका क्या अर्थ है (और क्या नहीं)

तकनीकी सारांश: LAYA (लेयर-वाइज अटेंशन एग्रीगेशन)

इसी तरह के और पेपर