तकनीकी सारांश: उपयोग योग्य सूचना के माध्यम से कार्यात्मक और प्रतिनिधिक समानता को जोड़ना

समस्या विवरण

डीप लर्निंग का क्षेत्र विभिन्न प्रणालियों द्वारा सूचना को कैसे संसाधित किया जाता है, ज्ञान कैसे स्थानांतरित किया जाता है और संरचनाओं को कैसे व्यवस्थित किया जाता है, इसे समझने के लिए आंतरिक तंत्रिका निरूपणों (neural representations) की तुलना करने पर अत्यधिक निर्भर करता है। हालाँकि, वर्तमान साहित्य में निरूपणों के बीच "समानता" को परिभाषित करने और मापने के लिए एक एकीकृत ढांचे का अभाव है। मौजूदा दृष्टिकोण आमतौर पर दो ढीले ढंग से परिभाषित श्रेणियों में विभाजित हैं:

1. कार्यात्मक समानता (Functional Similarity): यह आकलन करना कि क्या निरूपण समान डाउनस्ट्रीम व्यवहारों का समर्थन करते हैं (जैसे, मॉडल स्टिचिंग या लीनियर प्रोब्स के माध्यम से)।
2. प्रतिनिधिक समानता (Representational Similarity): यह आकलन करना कि क्या निरूपण इनपुट सूचना को एक ही संरचनात्मक तरीके से एनकोड करते हैं (जैसे, CKA, RSA, या प्रोक्रस्टेस विश्लेषण के माध्यम से)।

ये अवधारणाएं अलग-थलग होकर अध्ययन की गई हैं, जिससे कार्यात्मक विधियों (जो कार्य प्रदर्शन पर ध्यान केंद्रित करती हैं) और ज्यामितीय मेट्रिक्स (जो फीचर स्पेस संरेखण पर ध्यान केंद्रित करती हैं) के बीच एक विच्छेद उत्पन्न हुआ है। इसके अलावा, मानक मेट्रिक्स में अक्सर इस बात के संबंध में कठोर सैद्धांतिक आधार की कमी होती है कि वास्तव में किस सूचना की तुलना की जा रही है या प्रेक्षक (भविष्य कहने वाला मॉडल) की क्षमता किस प्रकार माप को प्रभावित करती है।

कार्यप्रणाली

लेखक उपयोग योग्य सूचना सिद्धांत (Usable Information Theory; Xu et al., 2020) पर आधारित एक एकीकृत ढांचा प्रस्तावित करते हैं। यह सिद्धांत सूचना प्रवाह को एक विशिष्ट "भविष्यवाणी परिवार" $\mathcal{V}$ तक सीमित करता है, यह स्वीकार करते हुए कि सीमित क्षमता वाले डाउनस्ट्रीम मॉडल द्वारा सभी सांख्यिकीय निर्भरता का दोहन नहीं किया जा सकता है।

सैद्धांतिक ढांचा

यह शोध पत्र सशर्त पारस्परिक सूचना (conditional mutual information) और मार्कोव ब्लैंकेट (Markov blankets) के दृष्टिकोण से समानता को पुनर्व्याख्यायित करता है:

• कार्यात्मक समानता: दो निरूपण $Z_1$ और $Z_2$ एक कार्य $Y$ के संबंध में कार्यात्मक रूप से समान हैं यदि वे पारस्परिक मार्कोव ब्लैंकेट बनाते हैं। इसका तात्पर्य है कि $I(Y; Z_2 | Z_1) = I(Y; Z_1; Z_2) = 0$। लेखक इसे अनुमान लगाने के एक तंत्र के रूप में मॉडल स्टिचिंग (Model Stitching) को औपचारिक रूप देते हैं: यदि $Z_1$ को प्रदर्शन के नुकसान के बिना $Z_2$ में स्टिच किया जा सकता है, तो $Z_1$ में $Z_2$ की सभी कार्य-प्रासंगिक सूचना मौजूद है। महत्वपूर्ण रूप से, वे सिद्ध करते हैं कि यह संबंध अंतर्निहित रूप से असममित है; मजबूत कार्यात्मक समानता के लिए द्विदिशीय स्टिचिंग आवश्यक है।
• प्रतिनिधिक समानता: इसे उस कार्य $Y$ के संदर्भ में कार्यात्मक समानता के रूप में परिभाषित किया गया है जो स्वयं इनपुट $X$ है ($I(X; Z_2 | Z_1) = 0$)। इसका अर्थ है कि निरूपण इनपुट के बारे में समान सूचना रखते हैं।
• विGranularity (सूक्ष्मता) का पदानुक्रम: लेखक एक एकदिष्ट संबंध (monotonic relationship) स्थापित करते हैं: एक जटिल कार्य पर समानता, किसी भी मोटे व्युत्पन्न कार्य पर समानता की गारंटी देती है। फलस्वरूप, प्रतिनिधिक समानता (इनपुट का पुनर्निर्माण करना) सबसे मजबूत स्थिति है, जो सभी व्युत्पन्न कार्यों के लिए कार्यात्मक समानता की गारंटी देती है।

अनुभवजन्य कार्यप्रणाली

अपने सैद्धांतिक दावों को मान्य करने के लिए, लेखकों ने एक बड़े पैमाने पर अनुभवजन्य अध्ययन आयोजित किया जिसमें शामिल थे:

• पैमाना: 14 विशिष्ट आर्किटेक्चर (लीनियर, CNN जैसे ResNet, DenseNet, ShuffleNet, और MobileNet सहित) और 6 डेटासेट (MNIST, CIFAR-10/100, SVHN, Tiny-ImageNet, ImageNet) के साथ 58 प्रशिक्षित मॉडल।
• तुलनाएँ: 12,459 विशिष्ट लेयर-टू-लेयर तुलनाएँ।
• स्टिचिंग परिवार: अध्ययन ने अभिव्यक्ति के प्रभाव का परीक्षण करने के लिए तीन विशिष्ट स्टिचर्स (भविष्यवाणी परिवार $\mathcal{V}$) का उपयोग किया:
  1. एफाइन (Affine): अनियंत्रित रैखिक मानचित्र।
  2. ऑर्थोगोनल + आइसोट्रोपिक स्केलिंग: प्रोक्रस्टेस जैसे प्रतिबंध।
  3. ऑर्थोगोनल: सख्त रोटेशन प्रतिबंध।
• मेट्रिक्स: लेखकों ने मानक मेट्रिक्स (CKA, RSA, SVCCA) की तुलना अपने प्रस्तावित उपयोग योग्य सूचना-आधारित स्कोर (सामान्यीकृत पुनर्निर्माण त्रुटि) से की।

मुख्य योगदान

1. उपयोग योग्य सूचना के माध्यम से एकीकृत ढांचा: शोध पत्र मॉडल स्टिचिंग को उपयोग योग्य सशर्त पारस्परिक सूचना के साथ सैद्धांतिक रूप से जोड़ता है। यह प्रदर्शित करता है कि कार्यात्मक समानता एक पूर्ण गुण नहीं है बल्कि एक विशिष्ट भविष्य कहने वाले परिवार $\mathcal{V}$ के सापेक्ष परिभाषित होती है।
2. मानक मेट्रिक्स की पुनर्व्याख्या: लेखक अनुभवजन्य और सैद्धांतिक रूप से दिखाते हैं कि मानक ज्यामितीय मेट्रिक्स (CKA, RSA, Procrustes) मनमाने माप नहीं हैं, बल्कि विशिष्ट बाधाओं (जैसे, ऑर्थोगोनल रूपांतरण) के तहत उपयोग योग्य सूचना के विशिष्ट अनुमानक (estimators) हैं।
3. समानता का पदानुक्रम:
   • असममिति: वे सिद्ध करते हैं कि स्टिचिंग स्वाभाविक रूप से असममित है; कार्यात्मक समानता का दावा करने के लिए एक एकल दिशात्मक स्टिचर अपर्याप्त है।
   • पर्याप्तता बनाम आवश्यकता: वे प्रदर्शित करते हैं कि प्रतिनिधिक समानता, कार्यात्मक समानता के लिए एक पर्याप्त लेकिन आवश्यक नहीं शर्त है। निरूपण कार्यात्मक रूप से समान (एक ही कार्य को हल करना) हो सकते हैं जबकि प्रतिनिधिक रूप से भिन्न (विभिन्न नुनुअस वेरिएबल्स को एनकोड करना) हो सकते हैं।
   • कार्य सूक्ष्मता (Task Granularity): वे स्थापित करते हैं कि प्रतिनिधिक समानता (इनपुट पुनर्निर्माण) अधिकतम सूक्ष्मता की सीमा है, जो कार्यात्मक समानता की गारंटी देती है।

प्रायोगिक परिणाम

• स्टिचिंग विषमता (Stitching Asymmetry): फॉरवर्ड और रिवर्स स्टिचर्स के बीच सटीकता अंतर के विश्लेषण ने भारी-पूंछ वाले वितरण (heavy-tailed distribution) का खुलासा किया, जिससे पुष्टि हुई कि कार्यात्मक समानता अक्सर असममित होती है। एक निरूपण अक्सर दूसरे की सूचना रखता है, लेकिन इसका उल्टा हमेशा सत्य नहीं होता।
• प्रतिनिधिक समानता की एकदिष्टता: अध्ययन ने सत्यापित किया कि जैसे-जैसे भविष्य कहने वाला परिवार अधिक अभिव्यंजक होता जाता है, प्रतिनिधिक समानता स्कोर बढ़ता जाता है। जो निरूपण कठोर प्रोक्रस्टेस बाधाओं (ऑर्थोगोनल) के तहत भिन्न दिखाई देते हैं, वे अधिक अभिव्यंजक एफाइन रूपांतरों के तहत लगभग समान दिखाई देते हैं।
• मेट्रिक संरेखण: मानक मेट्रिक्स ने प्रस्तावित उपयोग योग्य सूचना स्कोर के साथ मजबूत सहसंबंध दिखाया। विशेष रूप से, CKA ($R^2=0.937$) और RSA ($R^2=0.912$) ऑर्थोगोनल + स्केलिंग स्टिचर्स के तहत प्राप्त प्रतिनिधिक समानता के साथ निकटता से संरेखित थे, जो इस परिकल्पना का समर्थन करते हैं कि ये मेट्रिक्स विशिष्ट रूपांतरण समूहों के तहत उपयोग योग्य सूचना के प्रॉक्सी के रूप में कार्य करते हैं।
• पदानुक्रम सत्यापन: CIFAR-100 (बारीक वर्ग बनाम मोटे सुपरक्लास) का उपयोग करते हुए, लेखकों ने पुष्टि की कि एक मोटे कार्य पर कार्यात्मक समानता, बारीक कार्य पर समानता के लिए ऊपरी सीमा (upper-bound) निर्धारित करती है।
• प्रतिनिधिक समानता की पर्याप्तता: जैसे-जैसे प्रतिनिधिक समानता 1.0 की ओर बढ़ी, कार्यात्मक समानता की संभावना 1.0 की ओर अभिसरित (converged) हुई। हालांकि, कम प्रतिनिधिक समानता के साथ भी उच्च कार्यात्मक समानता अक्सर देखी गई, जिससे पुष्टि हुई कि प्रतिनिधिक समानता एक आवश्यक शर्त नहीं है।

महत्व और दावे

शोध पत्र यह दावा करता है कि वह उपयोग योग्य सूचना के सिद्धांत में दोनों को आधार बनाकर कार्यात्मक और प्रतिनिधिक समानता के बीच के विच्छेद को हल करता है। लेखक तर्क देते हैं कि समानता केवल निरूपणों का एक अंतर्निहित गुण नहीं है बल्कि तुलना करने के लिए उपयोग किए जाने वाले भविष्य कहने वाले परिवार के कम्प्यूटेशनल प्रतिबंधों के सापेक्ष है।

इन अवधारणाओं को एकीकृत करके, यह शोध पत्र एक कठोर सैद्धांतिक औचित्य प्रदान करता है कि मानक मेट्रिक्स क्यों काम करते हैं और किन परिस्थितियों में वे विफल हो जाते हैं। यह प्रतिमान को एक "सार्वभौमिक" समानता मीट्रिक खोजने से हटाकर स्पष्ट रूप से उस भविष्य कहने वाले परिवार $\mathcal{V}$ को परिभाषित करने की ओर ले जाता है जो यह तय करता है कि किसी विशिष्ट अनुप्रयोग के लिए "समान" का क्या अर्थ है। कार्य यह निष्कर्ष निकालता है कि जबकि प्रतिनिधिक समानता सभी कार्यों के लिए कार्यात्मक समानता की गारंटी देती है, इसके विपरीत सत्य नहीं है, जो यह रेखांकित करता है कि मॉडल मौलिक रूप से भिन्न आंतरिक निरूपणों के माध्यम से समान कार्य प्रदर्शन प्राप्त कर सकते हैं।