तकनीकी सारांश: न्यूरॉन्स के लिए गारंटीकृत इष्टतम संरचनात्मक स्पष्टीकरण (Guaranteed Optimal Compositional Explanations)

समस्या विवरण (Problem Statement)

संरचनात्मक स्पष्टीकरण (Compositional explanations) का लक्ष्य एक न्यूरॉन के रिसेप्टिव फील्ड सक्रियण (receptive field activations) और विशिष्ट अवधारणाओं (जैसे कि वस्तुएं, बनावट) के बीच स्थानिक संरेखण (spatial alignment) को तार्किक नियमों का उपयोग करके वर्णित करना है। मुख्य उद्देश्य एक तार्किक सूत्र $L$ खोजना है जो $L_1$ के अवधारणाओं के सेट से बना हो और जो न्यूरॉन के सक्रियण मानचित्र (activation map) तथा अवधारणा एनोटेशन के बीच इंटरसेक्शन ओवर यूनियन (IoU) को अधिकतम करता हो।

हालाँकि, सभी संभावित अवधारणा संयोजनों के लिए खोज स्थान (search space) कॉम्बिनेटोरियल रूप से विस्फोटक है। पूर्व साहित्य (जैसे कि Mu और Andreas, 2020) ने संरचनात्मक धारणाओं के माध्यम से खोज स्थान को सीमित करके और बीम सर्च (beam search) का उपयोग करके इसे संबोधित किया है। जबकि बीम सर्च कम्प्यूटेशनल रूप से कुशल है, यह इष्टतमता (optimality) की कोई सैद्धांतिक गारंटी नहीं देता है। फलस्वरूप, यह स्पष्ट नहीं है कि उत्पन्न किए गए स्पष्टीकरण वास्तव में सर्वोत्तम संरेखण हैं या केवल स्थानीय इष्टतम (local optima) हैं, और वे ग्राउंड ट्रुथ से कितने विचलित होते हैं। यह अनिश्चितता व्याख्यात्मकता विधियों (interpretability methods) की विश्वसनीयता को सीमित करती है और अनुमान त्रुटियों (approximation errors) को कम करने वाले एल्गोरिदम के विकास में बाधा डालती है।

कार्यप्रणाली (Methodology)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो मानक धारणाओं द्वारा परिभाषित संपूर्ण स्टेट स्पेस पर गारंटीकृत इष्टतम संरचनात्मक स्पष्टीकरणों की गणना करता है, बिना कम्प्यूटेशनल व्यवहार्यता का त्याग किए। कार्यप्रणाली के तीन मुख्य घटक हैं:

1. IoU मीट्रिक का अपघटन (Decomposition of the IoU Metric - dIoU)

यह शोधपत्र IoU स्कोर को उन मौलिक मात्राओं में विभाजित करता है जो संरेखण गुणवत्ता को नियंत्रित करती हैं। यह तीन धारणाओं पर आधारित है:

• धारणा 1: एक स्पष्टीकरण में अवधारणाएं विशिष्ट (distinct) होती हैं।
• धारणा 2: अवधारणाओं को वृद्धिशील (incrementally) रूप से संयोजित किया जाता है।
• धारणा 3: तार्किक ऑपरेटर 00-संरक्षणकारी (00-preserving) हैं (अर्थात, वे दो 0 से 1 उत्पन्न नहीं कर सकते)। इसमें मानक बिटवाइज़ ऑपरेटर शामिल हैं: OR ($\lor$), AND ($\land$), और AND NOT ($\land \neg$)।

IoU को चार प्रमुख सेटों का उपयोग करके पुनर्गठित किया गया है जो न्यूरॉन सक्रियण मैट्रिक्स $N$ और अवधारणा मैट्रिक्स $M$ से प्राप्त होते हैं:

• अद्वितीय/इंटरसेक्शन ($I_U, I_C$): वे स्थान जहाँ न्यूरॉन अद्वितीय या सामान्य अवधारणा एनोटेशन पर सक्रिय होता है।
• अद्वितीय/एक्स्ट्रा ($E_U, E_C$): वे स्थान जहाँ अवधारणा एनोटेट की गई है लेकिन न्यूरॉन सक्रिय नहीं होता है।

यह अपघटन ($dIoU$) यह विश्लेषण करने की सूक्ष्म क्षमता प्रदान करता है कि तार्किक ऑपरेटरات (logical operators) कैसे इंटरसेक्शन (numerator) और यूनियन (denominator) को प्रभावित करते हैं।

2. ह्यूरिस्टिक अनुमान (Heuristic Estimation)

खोज को निर्देशित करने के लिए, लेखक एक ह्यूरिस्टिक डिजाइन करते हैं जो किसी आंशिक लेबल $L$ के लिए और $L$ को अधिकतम लंबाई $n$ तक विस्तारित करने वाले किसी भी संभावित पथ के लिए अधिकतम और न्यूनतम संभव IoU का अनुमान लगाता है।

• लेबल मात्राएँ (Label Quantities): ह्यूरिस्टिक एक डिस्जॉइंट मैट्रिक्स (Disjoint Matrix) का उपयोग करके एक लेबल $L$ में अवधारणा $k$ जोड़ने के प्रभाव का अनुमान लगाता है ताकि ओवरलैप की जाँच की जा सके। यह ओवरलैपिंग या विलगित (disjoint) होने के आधार पर इंटरसेक्शन और एक्स्ट्रा के लिए सीमाएं (bounds) निर्धारित करता है।
• पथ मात्राएँ (Path Quantities): एक लेबल को और आगे बढ़ाने की क्षमता का अनुमान लगाने के लिए, विधि प्रत्येक मात्रा के लिए डेटासेट में उच्चतम और निम्नतम $t$ मानों के संचयी योग को संग्रहीत करने वाले Top और Bott वेक्टर्स का उपयोग करती है। यह एल्गोरिदम को शेष अवधारणाओं को जोड़ने से प्राप्त होने वाले सर्वोत्तम और सबसे खराब मामलों के सुधार का अनुमान लगाने की अनुमति देता है।
• एकत्रित बनाम नमूना गणना (Aggregated vs. Sample Computation): सटीकता और दक्षता के बीच संतुलन बनाने के लिए, ह्यूरिस्टिक प्रारंभिक छंटनी (pruning) और फ्रंटियर प्रबंधन के लिए एकत्रित गणनाओं (aggregated computations) का उपयोग करता है, जबकि आशाजनक नोड्स के अनुमानों को परिष्कृत करने के लिए नमूना-आधारित गणनाओं (sample-based computations) को सुरक्षित रखता है।

3. इष्टतम खोज एल्गोरिदम (Optimal Search Algorithm)

लेखक एक बेस्ट-फर्स्ट सर्च एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं जो इष्टतमता की गारंटी देता है:

1. आरंभीकरण (Initialization): सभी परमाणु अवधारणाओं (atomic concepts) के लिए सटीक मात्राओं की गणना करें और ह्यूरिस्टिक का उपयोग करके पथों का अनुमान लगाएं।
2. फ्रंटियर प्रबंधन (Frontier Management): उनके अनुमानित अधिकतम IoU ($dIoU_{max}$) द्वारा क्रमबद्ध नोड्स के एक प्रायोरिटी क्यू (priority queue) को बनाए रखें।
3. छंटनी (Pruning): अब तक पाए गए न्यूनतम अनुमानों के वैश्विक अधिकतम ($MinIoU$) से नीचे गिरने वाले नोड्स को हटाकर फ्रंटियर को गतिशील रूप से छाँटें।
4. **विस्तार और परिशोधन (Expansion & Refinement):
   • उच्चतम अनुमान वाले नोड को निकालें (pop)।
   • यदि अनुमान एकत्रित (aggregated) है, तो इसे नमूना-आधारित अनुमान में परिष्कृत करें।
   • रेडंडेंसी (redundancy) को कम करने के लिए तार्किक समतुल्यता नियमों को लागू करें।
   • यदि नोड एक अंतिम लेबल है, तो इसका सटीक IoU निकालें। यदि यह नया सर्वश्रेष्ठ है, तो वैश्विक सर्वश्रेष्ठ को अपडेट करें और अन्य नोड्स के अनुमानों को अपडेट करने के लिए सटीक मात्राओं को बैकप्रोपैगेट (backpropagate) करें।
   • यदि नोड अंतिम नहीं है, तो इसे सभी संभावित अवधारणाओं और ऑपरेटरों को जोड़कर विस्तारित करें, सीमाओं का पुनर्मूल्यांकन करें, और उन्हें फ्रंटियर में डालें।

एल्गोरिदम को एडमिसिबल (admissible) (यह अधिकतम संभव IoU का कम अनुमान नहीं लगाता है) और पूर्ण (complete) सिद्ध किया गया है, जो यह सुनिश्चित करता है कि यह वैश्विक रूप से इष्टतम समाधान खोजता है।

मुख्य योगदान (Key Contributions)

1. औपचारिक गारंटी (Formal Guarantees): यह मानक धारणाओं द्वारा फैले पूर्ण स्टेट स्पेस पर संरचनात्मक स्पष्टीकरणों के लिए इष्टतमता की सैद्धांतिक गारंटी प्रदान करने वाला पहला ढांचा है।
2. अपघटन (dIoU): IoU मीट्रिक का एक नवीन अपघटन जो संरेखण को नियंत्रित करने वाली मौलिक मात्राओं की पहचान करता है, जिससे तार्किक ऑपरेटरों के प्रभाव का सटीक लक्षण वर्णन संभव होता है।
3. इष्टतम एल्गोरिदम: एक खोज एल्गोरिदम जो वैनिला बीम सर्च के तुलनीय समय में इष्टतम स्पष्टीकरण की गणना करता है, जिससे पूर्ण स्टेट स्पेस का अन्वेषण व्यवहार्य हो जाता है।
4. ह्यूरिस्टिक-निर्देशित बीम सर्च: प्रस्तावित अपघटन और ह्यूरिस्टिक द्वारा निर्देशित बीम सर्च का एक संस्करण, जो रनटाइम प्रदर्शन में पिछले बेंचमार्क (MMESH, Vanilla Beam) से बेहतर या उसके बराबर है, और हाइपरपैरामीटर के मामले में अधिक लचीलापन प्रदान करता है।

परिणाम (Results)

लेखकों ने Places365 पर प्रशिक्षित ResNet18, AlexNet, और DenseNet161 मॉडलों पर तीन विभिन्न जटिलता वाले डेटासेट्स (Cityscapes, Ade20K, Broden) का उपयोग करके अपने तरीके का मूल्यांकन किया।

• व्यवहार्यता (Feasibility): इष्टतम एल्गोरिदम सभी जटिलता स्तरों में व्यवहार्य रनटाइम के भीतर इष्टतम समाधान खोजने में सफल रहा। हालांकि यह बीम सर्च की तुलना में एक बड़े स्टेट स्पेस का अन्वेषण करता है, इसका रनटाइम वैनिला बीम सर्च के तुलनीय रहता है (उदाहरण के लिए, उच्च जटिलता के लिए ~5768 सेकंड/यूनिट बनाम वैनिला बीम सर्च के लिए ~5929), जबकि एक साधारण ब्रेड्थ-फर्स्ट सर्च (BFS) को सैकड़ों मिलियन घंटों की आवश्यकता होगी।
• बीम सर्च की उप-इष्टतमता (Suboptimality of Beam Search): विश्लेषण से पता चलता है कि बीम सर्च के माध्यम से प्राप्त किए गए 10-40% स्पष्टीकरण ओवरलैपिंग अवधारणाओं के शामिल होने पर उप-इष्टतम (suboptimal) होते हैं।
  • श्रेणी 1 (सबसे सामान्य): स्पष्टीकरण अवधारणाओं और IoU दोनों में भिन्न होते हैं। बीम सर्च अक्सर उन स्पष्टीकरणों को खोजने में विफल रहता है जिनमें जटिल AND/AND NOT संयोजन शामिल हैं जो विशिष्ट इकाइयों का वर्णन करते हैं।
  • श्रेणी 2: स्पष्टीकरण अवधारणाओं को साझा करते हैं लेकिन तार्किक संरचना में भिन्न होते हैं, जिससे अलग-अलग IoU स्कोर मिलते हैं (जैसे, ((A OR B) AND C) बनाम ((A AND C) OR B))।
  • श्रेणी 3: स्पष्टीकरण समान IoU साझा करते हैं लेकिन संरचना में भिन्न होते हैं। बीम सर्च "अपुष्ट" (unverified) स्पष्टीकरण दे सकता है जो विलगित (disjoint) अवधारणाओं पर निर्भर करते हैं जो कभी सह-घटित (co-occur) नहीं होतीं, जबकि इष्टतम एल्गोरिदम सही संरेखण की पहचान करता है।
• ह्यूरिस्टिक प्रदर्शन: प्रस्तावित ह्यूरिस्टिक द्वारा निर्देशित बीम सर्च, विज़िट किए गए स्टेट्स (visited states) के मामले में बेसलाइन (MMESH, Vanilla Beam) से बेहतर प्रदर्शन करता है और स्पष्टीकरण की लंबाई एवं बीम आकार के साथ अधिक प्रभावी ढंग से स्केल करता है, जबकि इसे कम मेमोरी की आवश्यकता होती है क्योंकि इसे ह्यूरिस्टिक गणना के लिए स्थानिक टेंसर (spatial tensors) को संग्रहीत करने की आवश्यकता नहीं होती है।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि इष्टतम समाधान (ground-truth optimal solution) की पहचान करना निम्नलिखित के लिए महत्वपूर्ण है:

1. विश्वसनीयता (Reliability): उप-इष्टतम सन्निकटन के कारण न्यूरॉन व्यवहार के भ्रामक दृश्यों को रोकना।
2. डेटासेट लक्षण वर्णन (Dataset Characterization): यदि बीम सर्च इष्टतम तक पहुँचता है, तो यह डेटासेट के अनअध्ययन गुणों को प्रकट करता है।
3. एल्गोरिदम विकास (Algorithm Development): अनुमान त्रुटियों को कम करने वाले नए एल्गोरिदम को मार्गदर्शन देने के लिए एक बेंचमार्क प्रदान करना।

लेखक इस बात पर जोर देते हैं कि उनका तरीका (MMESH के विपरीत) स्थानिक जानकारी पर निर्भर नहीं है, जिससे इसका ह्यूरिस्टिक कंप्यूटर विज़न से परे अन्य डोमेन में भी लागू होने की संभावना है। वे इस कार्य को एक सैद्धांतिक आधार के रूप में प्रस्तुत करते है जो नेटवर्क डिसेक्शन (जो इष्टतम एकल अवधारणाओं को खोजता है) और संरचनात्मक स्पष्टीकरण (जिसने पहले जटिलता के लिए इष्टतमता का त्याग किया था) के बीच के अंतर को पाटता है। लेख का निष्कर्ष यह है कि हालांकि इष्टतम एल्गोरिदम एक महत्वपूर्ण कदम है, लेकिन गैर-00-संरक्षणकारी ऑपरेटरों और ट्रांसफॉर्मर जैसे अन्य आर्किटेक्चर तक इन गारंटियों को विस्तारित करने के लिए भविष्य के कार्य की आवश्यकता है।