Empirical Evidence for Simply Connected Decision Regions in Image Classifiers

तकनीकी सारांश: इमेज क्लासिफायर में सरल रूप से जुड़े (Simply Connected) निर्णय क्षेत्रों के लिए अनुभवजन्य साक्ष्य

समस्या विवरण
जबकि पूर्ववर्ती अनुभवजन्य कार्यों ने यह स्थापित किया है कि डीप न्यूरल नेटवर्क में निर्णय क्षेत्र 'पथ-संयोजित' (path connected) होते हैं (अर्थात, एक ही अनुमानित वर्ग की किन्हीं भी दो छवियों को उसी वर्ग के भीतर एक निरंतर पथ द्वारा जोड़ा जा सकता है), उच्च-क्रम की टोपोलॉजिकल संरचना अभी भी अस्पष्ट है। विशेष रूप से, यह अज्ञात है कि क्या ये क्षेत्र 'सरल रूप से जुड़े' (simply connected) हैं। एक क्षेत्र तब सरल रूप से जुड़ा होता है यदि इसके भीतर प्रत्येक बंद लूप (closed loop) को क्षेत्र को छोड़े बिना एक बिंदु तक निरंतर संकुचित किया जा सके। यदि किसी निर्णय क्षेत्र में "छेद" (non-contractible loops) हैं, तो यह एक अधिक जटिल, खंडित टोपोलॉजी का संकेत देता है जो व्याख्यात्मकता (interpretability) और एडवरसैरियल रोबस्टनेस (adversarial robustness) को प्रभावित कर सकता है। यह शोध इस प्रश्न को संबोधित करता है: क्या एक ही लेबल वाली छवियों के बंद लूप को एक लेबल-संरक्षण करने वाली सतह (label-preserving surface) द्वारा भरा जा सकता है?

कार्यप्रणाली
लेखक एक दिए गए लूप द्वारा सीमित एक लेबल-संरक्षण करने वाली सतह बनाने के लिए एक पुनरावृत्ति क्वाड-मेश फिलिंग (iterative quad-mesh filling) प्रक्रिया का प्रस्ताव करते हैं।

1. समस्या सेटअप: इनपुट स्पेस सामान्यीकृत इमेज स्पेस है। चार छवियां ($x_{00}, x_{10}, x_{01}, x_{11}$) दी गई हैं जिन्हें एक ही लेबल $y$ सौंपा गया है, लक्ष्य एक सतह $S: [0, 1]^2 \to X$ का निर्माण करना है ताकि बाउंड्री (boundary) लूप से मेल खाती हो और आंतरिक भाग संतुष्ट करे कि $f(S(u, v)) = y$।
2. बाउंड्री निर्माण: चार कोने एक लूप को परिभाषित करते हैं। चूंकि समान-लेबल वाली छवियों के बीच सीधी रेखाएं निर्णय सीमाओं (decision boundaries) को पार कर सकती हैं, इसलिए लेखक एक पीसवाइज-लीनियर बाउंड्री लूप का निर्माण करते हैं, जो वर्टिसिस को किनारों के साथ व्यवस्थित करके और ऑफ-लेबल वर्टिसिस को लक्षित DeepFool-शैली के प्रोजेक्शन के माध्यम से वापस लक्षित निर्णय क्षेत्र में सुधार करके किया जाता है।
3. सतह भरना (अनुकूली उपविभाजन - Adaptive Subdivision):
   • यह विधि एक डायैडिक ग्रिड (dyadic grid) पर कार्य करती है, जो एक दिए गए बाउंड्री द्वारा परिभाषित एकल चतुर्भुज (quad) से शुरू होती है।
   • रेज़ोल्यूशन चेक: एक क्वाड को तब स्वीकार किया जाता है जब उसके वर्टिसिस लक्षित क्षेत्र में सत्यापित हों और उसका ज्यामितीय व्यास (grey-RMS इकाइयों में मापा गया) एक थ्रेशोल्ड $\tau$ से कम हो।
   • लेबल चेक: यदि आकार का थ्रेशोल्ड पूरा नहीं होता है, तो क्वाड के बाइलिनियर इंटरपोलेशन को एक अनुकूली ग्रिड पर सैंपल किया जाता है। यदि सभी सैम्पल किए गए बिंदु लक्षित लेबल बनाए रखते हैं, तो क्वाड को स्वीकार कर लिया जाता है।
   • उपविभाजन (Subdivision): यदि लेबल चेक विफल रहता है, तो क्वाड को चार चाइल्ड क्वाड्स में विभाजित किया जाता है। नए एज मिडपॉइंट्स और सेंटर पॉइंट्स को लीनियर इंटरपोलेशन के माध्यम से इनिशियलाइज़ किया जाता है।
   • सुधार (Repair): किसी भी नए बनाए गए वर्टेक्स को जो लक्षित क्षेत्र के बाहर गिरता है, उसे लक्षित DeepFool अपडेट और फिर क्षेत्र में वापस प्रोजेक्ट करने के लिए एक बाइसैक्शन स्टेप के माध्यम से सुधारा जाता है।
4. ज्यामितीय तुलना: निर्मित सतह की ज्यामितीय जटिलता का आकलन करने के लिए, लेखक इसकी तुलना एक मानक कून्स पैच (Coons patch) (चार बाउंड्री कर्व्स का एक मानक ज्यामितीय इंटरपोलेशन) से करते हैं। वे निर्मित सतह क्षेत्र और कून्स पैच क्षेत्र के अनुपात ($\rho$) की गणना करते हैं।

प्रायोगिक सेटअप

• डेटासेट्स और मॉडल: विधि का मूल्यांकन छह विविध आर्किटेक्चरों पर ImageNet वैलिडेशन सेट पर किया गया: ResNet-50, DenseNet-121, EfficientNet-B0, ConvNeXt-Tiny, ViT-B/16, और Swin-T।
• स्कोप: प्रत्येक मॉडल के लिए, 1,000 लूप बनाए गए (प्रत्येक 1,000 ImageNet क्लास के लिए एक लूप), जिससे कुल 6,000 लूप और 24,000 छवियां बनीं।
• पैरामीटर्स: ग्रे-RMS स्टॉपिंग थ्रेशोल्ड को $\tau = 0.5$ पर सेट किया गया था। एक डिफॉल्ट रिपेयर सेटिंग (50 DeepFool इटरेशन) का उपयोग किया गया था, और एक मजबूत सेटिंग (200 इटरेशन) केवल शुरुआती विफलताओं के लिए लागू की गई थी।

मुख्य परिणाम

1. सार्वभौमिक सफलता: सभी छह मॉडलों और परीक्षण किए गए सभी 6,000 लूपों में, प्रक्रिया ने एक परिमित-रेज़ोल्यूशन लेबल-संरक्षण करने वाली सतह का सफलतापूर्वक निर्माण किया। मजबूत रिपेयर सेटिंग लागू करने के बाद अंतिम सफलता दर 100% रही।
2. अनुकूली परिशोधन की आवश्यकता: एक "रूट-लेवल" डायग्नोस्टिक ने दिखाया कि नेइव बाइलिनियर इंटरपोलेशन (प्रारंभिक क्वाड बिना उपविभाजन के) केवल लूप के एक अल्पसंख्यक हिस्से के लिए ही लेबल बाधा को संतुष्ट करता था (DenseNet-121 के लिए 6.9% से लेकर Swin-T के लिए 42.2% तक)। यह पुष्टि करता है कि अनुकूली उपविभाजन और सुधार तंत्र आवश्यक है।
3. ज्यामितीय सरलता: निर्मित सतह और कून्स पैच के बीच का क्षेत्र अनुपात $\rho$, 1 के करीब केंद्रित था। यह इंगित करता है कि लेबल-संरक्षण करने वाली सतहें प्राकृतिक बाउंड्री इंटरपोलेशन के ज्यामितीय रूप से करीब हैं, न कि अत्यधिक विकृत या कुंडलित (convoluted) हैं।
4. मेश जटिलता: लूप को भरने के लिए आवश्यक क्वाड्स की संख्या आर्किटेक्चर के अनुसार भिन्न हुई। ट्रांसफार्मर-आधारित मॉडलों (Swin-T, ViT-B/16) और ConvNeXt-Tiny को ResNet-50 या DenseNet-121 की तुलना में काफी कम क्वाड्स (छोटे मेश) की आवश्यकता थी, जो यह सुझाव देता है कि उनके निर्णय क्षेत्र इन नमूने गए क्षेत्रों में स्थानीय रूप से अधिक सपाट या सुसंगत हैं।

महत्व और दावे
यह शोध अनुभवजन्य साक्ष्य (एक परिमित रेज़ोल्यूशन पर) प्रदान करता है जो इस परिकल्पना का समर्थन करता है कि आधुनिक इमेज क्लासिफायर के निर्णय क्षेत्र न केवल पथ-संयोजित हैं, बल्कि सरल रूप से जुड़े (simply connected) भी हैं।

• टोपोलॉजिकल अंतर्दृष्टि: निष्कर्ष बताते हैं कि निर्णय क्षेत्र वैश्विक रूप से सुसंगत संरचनाओं में व्यवस्थित हैं जहाँ लूप संकुचित करने योग्य होते हैं, जो एडवरसैरियल भेद्यता (adversarial vulnerability) के वैश्विक टोपोलॉजिकल विखंडन वाले विचार को चुनौती देते हैं।
• सीमाएँ: लेखक स्पष्ट रूप से कहते हैं कि ये परिणाम परिमित-रेज़ॉल्यूशन अनुभवजन्य साक्ष्य हैं, न कि एक औपचारिक टोपोलॉजिकल प्रमाण। विधि एक विशिष्ट ग्रे-RMS स्केल पर नमूना किए गए बिंदुओं को सत्यापित करती है और परीक्षण किए गए रेज़ोल्यूशन या लूप परिवार के बाहर छोटे पैमाने के छेदों या गैर-संकुचित लूपों के अस्तित्व को खारिज नहीं कर सकती है।
• निहितार्थ: परिणाम न्यूरल नेटवर्क के निर्णय क्षेत्रों का एक नया अनुभवजन्य चित्र प्रदान करते हैं, जो यह सुझाव देते हैं कि स्थानीय एडवरसैरियल नाजुकता के बावजूद, इन क्षेत्रों की वैश्विक टोपोलॉजी आश्चर्यजनक रूप से सरल और सुव्यवस्थित हो सकती है।

यह कार्य यह दावा नहीं करता है कि यह सभी संभावित इनपुट्स या अनंत रेज़ोल्यूशन के लिए सरल जुड़ाव को सिद्ध करता है, बल्कि यह स्थापित करता है कि परीक्षण किए गए रेज़ॉल्यूशन और लूप परिवार में विविध आर्किटेक्चर और पूर्ण ImageNet लेबल स्पेस में एक मजबूत पैटर्न मौजूद है।