💻 computer science

A Fiber Criterion for Representation Identifiability in Supervised Learning

यह शोधपत्र यह स्थापित करता है कि सुपरवाइज्ड लर्निंग (supervised learning) में रिप्रजेंटेशन-स्तर के गुण केवल इनपुट-आउटपुट व्यवहार से तभी पहचाने जा सकते हैं जब वे प्रेडिक्टर (predictor) के सभी संभावित गुणनखंडों (factorizations) में स्थिर रहते हैं, जो यह दर्शाता है कि रिप्रजेंटेशन के बारे में दावे करने के लिए स्वाभाविक रूप से सुपरवाइज्ड प्रदर्शन से परे धारणाओं या उद्देश्यों की आवश्यकता होती है।

मूल लेखक: Vasileios Sevetlidis

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vasileios Sevetlidis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य समस्या: "ब्लैक बॉक्स" बनाम "अंदर की कहानी"

कल्पना कीजिए कि आपने एक विशिष्ट व्यंजन बनाने के लिए एक शेफ को काम पर रखा है, मान लीजिए स्पैगेटी कार्बोनारा (Spaghetti Carbonara)। आप शेफ का निर्णय केवल अंतिम डिश के स्वाद से करते हैं। यदि स्वाद एकदम सही है, तो आप कहते हैं, "बहुत बढ़िया काम किया!"

मशीन लर्निंग में, यह सुपरवाइज्ड लर्निंग (Supervised Learning) है। हम इनपुट (कच्ची सामग्री) और आउटपुट (तैयार डिश) को देखते हैं। यदि मॉडल सही उत्तर देता है, तो हम मान लेते हैं कि उसने सही चीज़ सीखी है।

हालाँकि, आधुनिक AI मॉडल्स को अक्सर "रिप्रजेंटेशन सीखने वाले" (learning representations) के रूप में वर्णित किया जाता है। इसका अर्थ है कि हम मानते हैं कि मॉडल केवल अनुमान नहीं लगा रहा है; उसने दुनिया का एक आंतरिक "मानसिक मानचित्र" (mental map) बनाया है। हम दावा करते हैं जैसे कि:

"मॉडल ने बैकग्राउंड को अनदेखा करना सीख लिया है।"
"मॉडल ने डेटा को कुशलतापूर्वक कंप्रेस (compress) कर लिया है।"
"मॉडल पानी या ज़मीन की परवाह किए बिना 'पक्षी' की अवधारणा को समझता है।"

शोध पत्र का बड़ा सवाल: क्या हम केवल अंतिम डिश (भविष्यवाणी/prediction) को देखकर वास्तव में ये बातें जान सकते हैं?

उत्तर: नहीं। (द "फाइबर" समस्या)

यह पेपर तर्क देता है कि आप केवल भोजन का स्वाद चखकर यह नहीं बता सकते कि शेफ के दिमाग में क्या चल रहा है।

लेखक एक गणितीय अवधारणा का उपयोग करते हैं जिसे "फाइबर" (Fiber) कहा जाता है। एक अलग-अलग खाना पकाने के तरीकों के समूह की कल्पना करें जो बिल्कुल एक जैसा स्वाद देने वाला स्पैगेटी कार्बोनारा बनाते हैं।

शेफ A ताजे, उच्च गुणवत्ता वाले अंडों का उपयोग करता है और नमक की मात्रा को अनदेखा करता है।
शेफ B पाउडर वाले अंडों का उपयोग करता है और एक गुप्त, बेकार मसाला डालता है जिससे स्वाद में कोई बदलाव नहीं आता।
शेफ C ताजे अंडों का उपयोग करता है लेकिन बाहर के मौसम का एक गुप्त नोट रखता है (जो पास्ता के लिए अप्रासंगिक है)।

यदि आप केवल पास्ता का स्वाद लेते हैं, तो तीनों शेफ एक जैसे ही दिखते हैं। वे एक ही "फाइबर" में हैं। क्योंकि अंतिम परिणाम समान है, सुपरवाइज्ड लर्निंग आपको यह नहीं बता सकती कि कौन सा शेफ ताजे अंडे इस्तेमाल कर रहा है, कौन नमक को अनदेखा कर रहा है, या कौन गुप्त रूप से मौसम को ट्रैक कर रहा है।

"जादुई ट्रिक" (प्रेडिक्टर-प्रिजर्विंग ऑगमेंटेशन)

पेपर इसे एक सरल ट्रिक के माध्यम से सिद्ध करता है जिसे "प्रेडिक्टर-प्रिजर्विंग ऑगमेंटेशन" (Predictor-Preserving Augmentation) कहा जाता है।

कल्पना कीजिए कि आपके पास पक्षियों की पहचान करने वाला एक आदर्श AI मॉडल है। यह एक फोटो देखता है और कहता है "ईगल (Eagle)"।
अब, पेपर कहता है: मैं मॉडल के दिमाग में बिना उसका उत्तर बदले, गुप्त रूप से एक बेकार जानकारी जोड़ सकता हूँ।

ट्रिक: हम मॉडल के आंतरिक "दिमाग" (रिप्रजेंटेशन) को लेते हैं और उसमें एक नया, बेकार डेटा जोड़ देते हैं। मान लीजिए हमने पक्षी की इमेज डेटा के साथ वर्तमान तापमान या कोई रैंडम नंबर जोड़ दिया।
सुधार (Fix): हम मॉडल के अंतिम हिस्से (हेड/Head) को यह निर्देश देते है कि वह इस नए, बेकार डेटा को अनदेखा (ignore) करे। वह केवल पक्षी वाले हिस्से को देखेगा।
परिणाम: मॉडल अभी भी 100% सटीकता के साथ "ईगल" कहता है। भविष्यवाणी में कोई बदलाव नहीं आया है।

लेकिन यहाँ एक पेच है:

मॉडल अब "मिनिमल" (minimal) नहीं रहा (वह अतिरिक्त भार ढो रहा है)।
मॉडल अब "इनवेरिएंट" (invariant) नहीं रहा (यदि तापमान बदलता है, तो आंतरिक डेटा बदल जाता है, भले ही पक्षी वही हो)।
मॉडल में अब "नजेंस इंफॉर्मेशन" (nuisance information - यानी बेकार जानकारी) शामिल है (जैसे तापमान)।

चूंकि हम इस ट्रिक को किसी भी गुण (कंप्रेशन, इनवेरिएंस, सिमेंटिक मीनिंग) के लिए कर सकते हैं, इसलिए इनमें से कोई भी गुण केवल भविष्यवाणी (prediction) द्वारा सुनिश्चित नहीं किया जा सकता। भविष्यवाणी स्थिर है, लेकिन आंतरिक कहानी पूरी तरह से अलग हो सकती है।

"दावों" (Claims) के लिए इसका क्या अर्थ है?

यह पेपर एक "फाइबर क्राइटेरियन" (Fiber Criterion) पेश करता है। यह कहता है:

मॉडल के बारे में कोई भी दावा कि वह क्या "जानता" है (जैसे "यह कंप्रेस्ड है" या "यह इनवेरिएंट है") तभी सच है जब उस मॉडल का हर एक संभव संस्करण (जो समान भविष्यवाणी देता है) उसी गुण को साझा करता हो।

चूंकि हमने अभी आपको दिखाया कि कैसे आप बिना भविष्यवाणी बदले मॉडल में "कचरा" आसानी से जोड़ सकते हैं, इसलिए मॉडल के आंतरिक दिमाग के बारे में ये सभी शानदार दावे—यदि आप केवल भविष्यवाणी को देखते हैं—तो असिद्ध (unproven) हैं।

हम इसे कैसे ठीक कर सकते हैं?

यदि हम चाहते हैं कि मॉडल "इनवेरिएंट" या "कंप्रेस्ड" हो, तो हम केवल भविष्यवाणी पर भरोसा नहीं कर सकते। हमें अतिरिक्त नियम जोड़ने होंगे (जिसे पेपर "इंडक्टिव बायस" या "मान्यताएं" कहता है)।

इसे एक अनुबंध (contract) के साथ शेफ को काम पर रखने जैसा समझें:

बिना अनुबंध के: आपको एक अच्छी डिश मिलती है, लेकिन आप नहीं जानते कि उन्होंने ताजी सामग्री का उपयोग किया या उन्होंने मौसम को ट्रैक किया।
अनुबंध के साथ (आर्किटेक्चरल रिस्ट्रिक्शंस): आप शेफ को एक विशिष्ट प्रकार के पैन (Architecture) का उपयोग करने के लिए मजबूर करते हैं या सामग्रियों की संख्या (Bottleneck) को सीमित करते हैं।
जुर्माने के साथ (रेगुलराइजेशन): आप शेफ पर जुर्माना लगाते हैं यदि वे बहुत अधिक सामग्रियों का उपयोग करते हैं।

पेपर निष्कर्ष निकालता है कि आंतरिक रिप्रजेंटेशन के बारे में दावों के लिए इन अतिरिक्त अनुबंधों की आवश्यकता होती है। आप केवल अंतिम परिणाम से उनका अनुमान नहीं लगा सकते।

एक वाक्य में सारांश

सिर्फ इसलिए कि एक मशीन लर्निंग मॉडल सही उत्तर दे रहा है, इसका मतलब यह नहीं है कि उसने "सही" तरीके से सीखा है; यह एक पूरी तरह से अलग, अव्यवस्थित या अक्षम आंतरिक विधि का उपयोग कर सकता है जो संयोग से समान परिणाम देती है, और बिना सिस्टम में अतिरिक्त नियम जोड़े हम अंतर नहीं कर सकते।

तकनीकी सारांश: सुपरवाइज्ड लर्निंग में रिप्रजेंटेशन आइडेंटिफिएबिलिटी के लिए एक फाइबर मानदंड

समस्या विवरण
सुपरवाइज्ड लर्निंग में, मॉडलों का मूल्यांकन आमतौर पर उनके इनपुट-आउटपुट व्यवहार (अनुमानित सटीकता या रिस्क) के आधार पर किया जाता है। हालाँकि, आधुनिक मॉडलों की व्याख्या केवल भविष्यवक्ता (predictors) के रूप में नहीं, बल्कि रिप्रजेंटेशन लर्नर्स के रूप में भी की जाती है, जहाँ आंतरिक मैपिंग $h$ के पास विशिष्ट संरचनात्मक गुण जैसे कि संपीड़न (compression), अपरिवर्तनीयता (invariance), डिसेंटैंगलमेंट (disentanglement), या सिमेंटिक सुलभता (semantic accessibility) होने का दावा किया जाता है। यह शोध पत्र एक मौलिक अंतराल की पहचान करता है: सुपरवाइज्ड साक्ष्य कंपोजिट प्रेडिक्टर $f = c \circ h$ (जहाँ $h$ इनपुट्स को रिप्रजेंटेशन में मैप करता है और $c$ रिप्रजेंटेशन को आउटपुट्स में मैप करता है) को सीमित करते हैं, लेकिन वे उस विशिष्ट गुणनखंड (factorization) $(h, c)$ को निर्धारित नहीं करते जो इसे साकार करता है।

दो अलग-अलग गुणनखंड एक ही प्रेडिक्टर $f$ को प्रेरित कर सकते हैं जबकि उनके आंतरिक रिप्रजेंटेशन काफी भिन्न हो सकते हैं। उदाहरण के लिए, एक रिप्रजेंटेशन न्यूसेंस (nuisance) जानकारी को हटा सकता है जबकि दूसरा उसे बनाए रख सकता है; एक संकुचित हो सकता है जबकि दूसरा नहीं। यह शोध पत्र इस प्रश्न को औपचारिक रूप देता है: प्रेरित प्रेडिक्टर $c \circ h$ द्वारा कौन से गुण आंतरिक रिप्रजेंटेशन $h$ के अनन्य रूप से निर्धारित होते हैं? लेखक तर्क देते हैं कि अतिरिक्त धारणाओं के बिना, कई सामान्य रिप्रजेंटेशन-स्तर के दावे केवल सुपरवाइज्ड प्रेडिक्टिव व्यवहार से पहचाने योग्य (identifiable) नहीं हैं।

कार्यप्रणाली और सैद्धांतिक ढांचा
यह शोध पत्र रिप्रजेंटेशन-हेड जोड़ों के फाइबर्स (fibers) की अवधारणा पर आधारित एक औपचारिक आइडेंटिफिएबिलिटी ढांचे के माध्यम से इस समस्या का समाधान करता है।

प्रेडिक्टर समानता और फाइबर्स:
माना कि $\mathcal{M}$ एडमिसिबल रिप्रजेंटेशन-हेड जोड़ों $(h, c)$ का एक वर्ग है। शोध पत्र एक प्रोजेक्शन मैप $\Pi: \mathcal{M} \to \Pi(\mathcal{M})$ को परिभाषित करता है जहाँ $\Pi(h, c) = [c \circ h]_{P_X}$ , जो $P_X$ -लगभग-निश्चित समानता तक पहचाना गया प्रेरित प्रेडिक्टर है।

दो जोड़े $(h, c)$ और $(\tilde{h}, \tilde{c})$ प्रेडिक्टर-तुल्य (predictor-equivalent) हैं यदि वे एक ही प्रेडिक्टर प्रेरित करते हैं ( $c \circ h = \tilde{c} \circ \tilde{h}$ लगभग निश्चित रूप से)।
एक ही प्रेडिक्टर को प्रेरित करने वाले जोड़ों का सेट $\Pi$ का एक फाइबर (fiber) बनाता है।

फाइबर/डेसेंट मानदंड (The Fiber/Descent Criterion):
केंद्रीय सैद्धांतिक परिणाम (थ्योरम 3.3) रिप्रजेंटेशन आइडेंटिफिएबिलिटी के लिए एक आवश्यक और पर्याप्त स्थिति स्थापित करता है:

एक रिप्रजेंटेशन प्रॉपर्टी $P$ प्रेरित प्रेडिक्टर से आइडेंटिफिएबल है यदि और केवल यदि $P$ , $\Pi$ के प्रत्येक फाइबर पर स्थिर (constant) है।
वैकल्पिक रूप से, $P$ को प्रेडिक्टर के एक सुव्यवस्थित गुण के रूप में "डेसेंड" (descend) होना चाहिए। यदि $P$ एक ही फाइबर के भीतर बदलता है (अर्थात, दो गुणनखंड एक ही प्रदित प्रेडिक्टर उत्पन्न करते हैं लेकिन $P$ के लिए अलग-अलग मान रखते हैं), तो $P$ को अकेले प्रेडिक्टर से अनुमानित नहीं किया जा सकता है।

ऑगमेंटेशन ऑब्स्ट्रक्शन (The Augmentation Obstruction):
गैर-आइडेंटिफिएबिलिटी को प्रदर्शित करने के लिए, शोध पत्र एक मानक निर्माण पेश करता है जिसे प्रेडिक्टर-प्रिजर्विंग ऑगमेंटेशन (predictor-preserving augmentation) कहा जाता है।

एक गुणनखंड $(h, c)$ और एक सहायक सांख्यिकी $q(x)$ को देखते हुए, हम एक नया रिप्रजेंटेशन $h_q(x) = (h(x), q(x))$ और एक नया हेड $c_q(u, v) = c(u)$ बना सकते हैं।
नया हेड संलग्न किए गए कोऑर्डिनेट $q$ को अनदेखा करता है, जिससे $c_q \circ h_q = c \circ h$ पॉइंटवाइज सुनिश्चित होता है। प्रेडिक्टर और सुपरवाइज्ड रिस्क अपरिवर्तित रहते हैं।
हालाँकि, नया रिप्रजेंटेशन $h_q$ , $h$ की तुलना में मिनिमलिटी, संपीड़न, अपरिवर्तनीयता, या सिमेंटिक सुलभता जैसे गुणों में भिन्न हो सकता है।
थ्योरम 3.5 (ऑगमेंटेशन ऑब्स्ट्रक्शन): यदि एक मॉडल क्लास $\mathcal{M}$ प्रेडिक्टर-प्रिजर्विंग ऑगमेंटेशन के तहत बंद है, तो कोई भी रिप्रजेंटेशन प्रॉपर्टी जो ऐसा ऑगमेंटेशन लागू करने पर बदल जाती है, प्रेरित प्रेडिक्टर (और फलस्वरूप, स्केलर सुपरवाइज्ड रिस्क) से आइडेंटिफिएबल नहीं है।

आइडेंटिफिएबिलिटी को बहाल करना:
शोध पत्र नोट करता है कि एडमिसिबल क्लास $\mathcal{M}$ को प्रतिबंधित करके (जैसे कि आर्किटेक्चरल बाधाएं, बॉटलनेक्स, या इंडक्टिव बायस के माध्यम से) या अवलोकन संबंधी वस्तु को समृद्ध करके (जैसे कि सहायक लॉस, बहु-पर्यावरण, या प्रत्यक्ष माप जोड़कर) आइडेंटिफिएबिलिटी को बहाल किया जा सकता है।

प्रमुख योगदान

रिप्रजेंटेशन आइडेंटिफिएबिलिटी का औपचारिकीकरण: यह शोध पत्र प्रेरित प्रेडिक्टर के संदर्भ में स्ट्रिक्ट रूप से रिप्रजेंटेशन-स्तर की आइडेंटिफिएबिलिटी को परिभाषित करता है, जो लेटेंट जेनेरेटिव फैक्टर्स की सांख्यिकीय आइडेंटिफिएबिलिटी से भिन्न है।
फाइबर/डेसेंट मानदंड: यह एक कठोर गणितीय मानदंड (थ्योरम 3.3) प्रदान करता है कि एक प्रॉपर्टी तभी आइडेंटिफिएबल है जब वह गुणनखंडों से प्रेडिक्टर के प्रोजेक्शन के फाइबर्स पर स्थिर हो।
सामान्य बाधा तंत्र: यह प्रेडिक्टर-प्रिजर्विंग ऑगमेंटेशन को एक सार्वभौमिक साक्षी के रूप में पहचानता है, जो मिनिमलिटी, संपीड़न, अपरिवर्तनीयता, इक्विवैरिएंस, न्यूसेंस रिमूवल और सिमेंटिक सुलभता सहित सामान्य इच्छाओं (desiderata) पर लागू होता है (तालिका 1)।
अनुभवजन्य निदान (Empirical Diagnostics): शोध पत्र दो प्रकार के अनुभवजन्य साक्ष्य प्रदान करता है:
1. सटीक बीजगणितीय साक्षी (Exact Algebraic Witnesses): CelebA, CIFAR-10, STL-10, OfficeHome, और PACS पर प्रयोग जहाँ रिप्रजेंटेशन में सहायक जानकारी (सिमेंटिक एट्रिब्यूट्स, ट्रांसफॉर्मेशन एम्बेडिंग्स, डोमेन लेबल) को जोड़ा गया है। परिणाम दिखाते हैं कि जबकि प्रेडिक्टर समान रहता है (शून्य असहमति), मानक डायग्नोस्टिक्स (प्रोब एक्यूरेसी, इनवेरिएंस डिस्टेंस, इफेक्टिव रैंक) नाटकीय रूप से बदल जाते हैं।
2. मैच्ड-परफॉरमेंस अध्ययन: वाटरबर्ड्स (Waterbirds) डेटासेट पर एक अध्ययन जो विभिन्न बाधाओं (ERM, Bottleneck, VIB, AugInv, SupCon) के साथ प्रशिक्षित मॉडलों की तुलना करता है जो समान सुपरवाइज्ड प्रदर्शन प्राप्त करते हैं। परिणाम दिखाते हैं कि ये मॉडल (जैसे प्रभावी रैंक, न्यूसेंस डिकोडेबिलिटी) के अलग-अलग रिप्रजेंटेशन डायग्नोस्टिक्स का चयन करते हैं, बावजूद इसके कि उनके टेस्ट एक्यूरेसी और लॉस तुलनीय हैं।

परिणाम

सैद्धांतिक: शोध पत्र सिद्ध करता है कि संपीड़न, अपरिवर्तनीयता और सिमेंटिक सुलभता जैसे गुण केवल सुपरवाइज्ड प्रेडिक्शन के परिणाम नहीं हैं। वे प्रेरित प्रेडिक्टर के भीतर एक ही फाइबर में भिन्न होते हैं जब तक कि एडमिसिबल क्लास को प्रतिबंधित न किया जाए।
अनुभवजन्य:
- सटीक साक्षी प्रयोगों में, एक रिप्रजेंटेशन में एक एकल कोऑर्डिनेट (जैसे डोमेन लेबल) जोड़ने से एक प्रोब को उस जानकारी को 100% सटीकता के साथ डिकोड करने की अनुमति दी, जबकि मूल रिप्रजेंटेशन ऐसा नहीं कर सका, भले ही प्रेडिक्टर का आउटपुट अपरिवर्तित रहा।
- वाटरबर्ड्स अध्ययन में, मैच की गई टेस्ट एक्यूरेसी वाले मॉडलों ने महत्वपूर्ण रिप्रजेंटेशन प्रॉपर्टी विचलन प्रदर्शित किया। उदाहरण के लिए, इंफॉर्मेशन बॉटलनेक विधियों ने अत्यंत कम-रैंक वाले रिप्रजेंटेशन (इफेक्टिव रैंक $\approx 1.8$ ) का चयन किया, जबकि ERM (इफेक्टिव रैंक $\approx 35.7$ ) के मुकाबले। ऑगमेंटेशन-इनवेरिएंस विधियों ने ट्रांसफॉर्मेशन सेंसिटिविटी को कम किया लेकिन उच्च न्यूसेंस डिकोडेबिलिटी बनाए रखी। महत्वपूर्ण रूप से, वर्स्ट-ग्रुप एक्यूरेसी का न्यूसेंस प्रोब एक्यूरेसी के साथ कोई मोनोटोनिक सहसंबंध नहीं था, जो दर्शाता है कि रिप्रजेंटेशन-स्तर के दावों के लिए केवल प्रेडिक्टिव प्रदर्शन से परे विशिष्ट औचित्य की आवश्यकता होती है।

महत्व और दावे
शोध पत्र यह स्पष्ट करने का दावा करता है कि सुपरवाइज्ड प्रेडिक्टिव व्यवहार और आंतरिक रिप्रजेंटेशन गुणों के बीच क्या तार्किक संबंध है। इसका प्राथमिक योगदान रिप्रजेंटेशन दावों के लिए सुपरवाइज्ड लर्निंग की पर्याप्तता के संबंध में एक नकारात्मक परिणाम (negative result) है:

सुपरवाइज्ड प्रेडिक्टिव व्यवहार एक रिप्रजेंटेशन-स्तर की प्रॉपर्टी को केवल तभी प्रमाणित करता है जब वह प्रॉपर्टी प्रेरित प्रेडिक्टर द्वारा निर्धारित होती है।
संपीड़न, अपरिवर्तनीयता, या सिमेंटिक संरचना के दावे कम सुपरवाइज्ड लॉस के स्वतः परिणाम नहीं हैं।
इन दावों को न्यायसंगत बनाने के लिए, प्रेडिक्टर से परे अतिरिक्त संरचना पर निर्भर रहना चाहिए, जैसे कि आर्किटेक्चरल प्रतिबंध, बॉटलनेक्स, डेटा ऑगमेंटेशन, सहायक उद्देश्य, कॉज़ल धारणाएं, या प्रत्यक्ष रिप्रजेंटेशन-स्तर के माप।

शोध पत्र निष्कर्ष निकालता है कि रिप्रजेंटेशन-स्तर की आइडेंटिफिएबिलिटी गुणनखंडों के एडमिसिबल क्लास पर सशर्त है। प्रेडिक्टर फाइबर को छोटा करने या विशिष्ट प्रतिनिधि चुनने के लिए अतिरिक्त बाधाओं के बिना, एक सुपरवाइज्ड मॉडल की आंतरिक संरचना केवल इनपुट-आउटपुट व्यवहार द्वारा अपूर्ण रूप से निर्दिष्ट (under-specified) रहती है।