🤖 machine learning

The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

यह शोध पत्र एक सूचना-सैद्धांतिक प्रमाण प्रदान करता है कि एक साझा लेटेंट हार्ड फीचर (latent hard feature) वाले मल्टी-टास्क समस्याओं का संयुक्त सन्निकटन (joint approximation), पृथक सन्निकटन की तुलना में स्पष्ट रूप से कम विवरण बिट्स (description bits) की आवश्यकता रखता है, जो साझा रेडमेकर-हार (Rademacher-Haar) फीचर्स और कार्य-विशिष्ट सॉटूथ-वॉल्श (Sawtooth-Walsh) रीडआउट्स की एक कंपोजिशनल आर्किटेक्चर के माध्यम से ऑर्थोगोनैलिटी बाधाओं (orthogonality constraints) के तहत भी इष्टतम दरों में एक तीव्र अंतर को प्रदर्शित करके सिद्ध होता है।

मूल लेखक: Thomas Dittrich, Oliver Potocki, Philipp Grohs

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thomas Dittrich, Oliver Potocki, Philipp Grohs

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: भारी काम को साझा करना

कल्पना कीजिए कि आप एक निर्माण कंपनी हैं जिसे 100 अलग-अलग घर (ये आपके "टास्क" या कार्य हैं) बनाने का काम सौंपा गया है।

पुराना तरीका (अलग-अलग सन्निकटन/Approximation): आप 100 अलग-अलग टीमें नियुक्त करते हैं। प्रत्येक टीम शून्य से शुरुआत करती है। उन्हें अपना आधार खोदना होगा, अपना कंक्रीट डालना होगा और अपनी दीवारें खड़ी करनी होंगी। भले ही सभी घरों को बिल्कुल एक ही प्रकार के आधार की आवश्यकता हो, टीम A टीम B से बात नहीं करती है। वे प्रत्येक अलग से आधार बनाते हैं। यह अविश्वसनीय रूप से बर्बादी भरा है।
नया तरीका (संयुक्त सन्निकटन/Joint Approximation): आप एक मास्टर आर्किटेक्ट और एक फाउंडेशन क्रू (आधार दल) को नियुक्त करते हैं। वे एक ही एकल, उत्तम आधार बनाते हैं जो सभी 100 घरों के काम आता है। फिर, 100 अलग-अलग छोटी टीमें बस उस साझा आधार के ऊपर अद्वितीय ऊपरी मंजिलें (यानी "हेड्स") बनाती हैं।

यह पेपर गणितीय रूप से सिद्ध करता है कि "नया तरीका" न केवल एक अच्छा विचार है, बल्कि सूचना के मामले में काफी अधिक कुशल भी है, भले ही आप एक बहुत सख्त नियम जोड़ दें: 100 घर एक-दूसरे से विशिष्ट, कठोर तरीकों से पूरी तरह से अलग होने चाहिए।

सख्त नियम: "ऑर्थोगोनैलिटी" (Orthogonality) का प्रतिबंध

वास्तविक दुनिया में, यदि आप एक ही आधार पर 100 घर बनाते हैं, तो वे बहुत समान दिख सकते हैं। गणित और भौतिकी में, एक नियम है जिसे ऑर्थोगोनैलिटी कहा जाता है। इसे इस तरह समझें: "प्रत्येक घर को पूरी तरह से अलग दिशा में बनाया जाना चाहिए, जैसे ग्राफ पर X, Y और Z अक्ष होते हैं। वे एक-दूसरे के ऊपर नहीं आने चाहिए या कोई 'दिशा' साझा नहीं करनी चाहिए।"

आमतौर पर, लोग सोचते हैं: "यदि आउटपुट पूरी तरह से अलग (ऑर्थोगोनल) होने चाहिए, तो हम उनके बीच कोई जानकारी साझा नहीं कर सकते। हमें सब कुछ अलग से बनाना होगा।"

यह पेपर सिद्ध करता है कि यह धारणा गलत है। इस सख्त "कोई ओवरलैप नहीं" वाले नियम के साथ भी, आप अभी भी कठिन काम को साझा कर सकते हैं।

"कठिन विशेषता" बनाम "आसान हेड"

लेखकों ने इस परीक्षण के लिए एक विशिष्ट गणितीय पहेली बनाई। उन्होंने एक ऐसी स्थिति की कल्पना की जहाँ:

कठिन हिस्सा (आधार/Foundation): एक अराजक, जटिल पैटर्न (जैसे एक टेढ़ा-मेढ़ा, यादृच्छिक तरंग) है जिसे वर्णित करना या संकुचित (compress) करना बहुत कठिन है। आइए इसे "रेडेमेकर-हार" (Rademacher-Haar) विशेषता कहें।
आसान हिस्सा (हेड्स/Heads): सरल उपकरण (जिन्हें "सॉटूथ-वाल्श" (Sawtooth-Walsh) फंक्शन कहा जाता है) उस अराजक पैटर्न को लेते हैं और उसे 100 अलग-अलग, पूरी तरह से विशिष्ट आकारों में बदल देते हैं।

चुनौती:

यदि आप 100 आकारों को अलग-अलग वर्णित करने का प्रयास करते हैं, तो आपको उस अराजक "कठिन हिस्से" को 100 बार वर्णित करना होगा।
यदि आप उन्हें संयुक्त रूप से वर्णित करते हैं, तो आप उस अराजक "कठिन हिस्से" को केवल एक बार वर्णित करते हैं, और फिर बस 100 अलग-अलग घुमावों (twists) के निर्देश लिखते हैं।

परिणाम: भारी बचत

पेपर गणना करता है कि इन आकारों को वर्णित करने के लिए कितने "बिट्स" (सूचना की इकाइयाँ) आवश्यक हैं।

अलग दृष्टिकोण: आप उस कठिन अराजकता की पूरी कीमत 100 बार चुकाते हैं।
संयुक्त दृष्टिकोण: आप कठिन अराजकता की पूरी कीमत केवल एक बार चुकाते हैं।

परिणाम? संयुक्त दृष्टिकोण लगभग M/4 गुना अधिक कुशल है (जहाँ M कार्यों की संख्या है)। यदि आपके पास 100 कार्य हैं, तो संयुक्त विधि "डिस्क्रिप्शन स्पेस" (वर्णन स्थान) की भारी बचत करती है।

"न्यूरल नेटवर्क" कनेक्शन

लेखकों ने केवल अमूर्त गणित के साथ ऐसा नहीं किया; उन्होंने दिखाया कि कैसे एक न्यूरल नेटवर्क (आधुनिक AI का मस्तिष्क) यह कर सकता है।

उन्होंने एक नेटवर्क बनाया जिसमें एक साझा "ट्रंक" (आधार) है जो अराजक पैटर्न को सीखता है।
उन्होंने इसके साथ M अलग "हेड्स" (रीडआउट्स) जोड़े जो विशिष्ट घुमाव लागू करते हैं।
उन्होंने सिद्ध किया कि भले ही नेटवर्क को सख्त ज्यामितीय नियमों का पालन करने के लिए मजबूर किया जाए (ऑर्थोगोनैलिटी), फिर भी "ट्रंक" भारी काम करता है, और "हेड्स" केवल अंतिम स्पर्श (finishing touches) देते हैं।

"यह क्यों मायने रखता है" (बिना किसी अतिशयोक्ति के)

AI की दुनिया में, हम अक्सर "फाउंडेशन मॉडल्स" (जैसे चैटबॉट्स के पीछे के मॉडल) का उपयोग करते हैं। ये मॉडल एक सामान्य प्रतिनिधित्व को एक बार सीखते हैं और फिर इसे कई विशिष्ट कार्यों के लिए अनुकूलित करते हैं।

पेपर का दावा: यह केवल सांख्यिकी या भाग्य के कारण नहीं होता, बल्कि सूचना सिद्धांत (Information Theory) के कारण होता है। यदि कई कार्यों में एक छिपी हुई, कठिन-से-वर्णित विशेषता साझा होती है, तो उस विशेषता को एक बार वर्णित करना और उसे पुन: उपयोग करना, उसे बार-बार वर्णित करने की तुलना में गणितीय रूप से सस्ता है।
ट्विस्ट: भले ही कार्यों को गणितीय रूप से "ऑर्थोगोनल" (पूरी तरह से अलग) होने के लिए मजबूर किया जाए, फिर भी यह दक्षता का लाभ बना रहता है। यह प्रतिबंध साझा करने के लाभ को खत्म नहीं करता है।

सारांश उपमा

कल्पना कीजिए कि आप अपने 100 दोस्तों को एक संदेश भेजने की कोशिश कर रहे हैं।

संदेश: संख्याओं की एक बहुत लंबी, जटिल, यादृच्छिक स्ट्रिंग (कठिन विशेषता)।
नियम: प्रत्येक मित्र को एक ऐसा संदेश मिलना चाहिए जो दूसरों से पूरी तरह से अलग दिखे (ऑर्थोगोनैलिटी)।
अलग विधि: आप उस लंबी यादृच्छिक स्ट्रिंग को 100 बार लिखते हैं, और फिर उन्हें अलग दिखाने के लिए प्रत्येक में एक छोटा सा नोट जोड़ देते हैं। आप 100 बड़े पत्र भेजते हैं।
संयुक्त विधि: आप उस लंबी यादृच्छिक स्ट्रिंग को एक बार लिखते हैं। आप 100 लिफाफों में से प्रत्येक के साथ एक छोटा, अद्वितीय "डिकोडर की" (decoder key) संलग्न करते हैं। आप 100 छोटे पत्र भेजते हैं।

पेपर सिद्ध करता है कि संयुक्त विधि ही वास्तव में कुशल होने का एकमात्र तरीका है, भले ही नियम यह कहें कि अंतिम संदेश पूरी तरह से अलग दिखने चाहिए। "लागत" उस यादृच्छिक स्ट्रिंग में है, डिकोडर की (decoder keys) में नहीं।

तकनीकी सारांश: ऑर्थोगोनैलिटी बाधाओं के तहत साझा प्रतिनिधित्व का सूचना-सैद्धांतिक लाभ

समस्या विवरण
आधुनिक डीप लर्निंग आर्किटेक्चर, विशेष रूप से फाउंडेशनल मॉडल, तेजी से साझा प्रतिनिधित्व (shared representations) पर निर्भर होते हैं जहाँ एक एकल बैकबोन कई कार्य-विशिष्ट हेड्स (task-specific heads) के लिए फीचर्स निकालता है। जबकि अनुभवजन्य साक्ष्य बताते हैं कि जॉइंट मल्टी-टास्क लर्निंग, अलग-अलग सिंगल-टास्क लर्निंग से बेहतर प्रदर्शन करती है, संयुक्त बनाम पृथक सन्निकटन (approximation) के पैरामीट्रिक कॉम्प्लेक्सिटी की कठोर सैद्धांतिक समझ सीमित है। यह अंतराल विशेष रूप से तब गहरा हो जाता है जब मॉडलों को संरचनात्मक बाधाओं को पूरा करना होता है, जैसे कि ऑर्थोगोनैलिटी (orthogonality), जो वैज्ञानिक मशीन लर्निंग (जैसे, संरक्षण नियमों या इक्विवैरिएंस सुनिश्चित करना) में सामान्य है। संबोधित केंद्रीय प्रश्न यह है कि क्या एक वेक्टर-वैल्यूड फंक्शन $F = (f_1, \dots, f_M)$ का संयुक्त सन्निकटन, इसके घटकों के $M$ अलग-अलग सन्निकटनों की तुलना में, एक बेहतर सन्निकटन दर प्राप्त कर सकता है, भले ही घटक ऑर्थोगोनल होने के लिए बाध्य हों। लेखक इसे यूनिफॉर्म नॉर्म ( $L^\infty$ ) में जांचते हैं, जो एक ऐसा परिदृश्य है जहाँ वैज्ञानिक अनुप्रयोगों के लिए त्रुटि गारंटी (error guarantees) महत्वपूर्ण है, जहाँ ये गारंटी किसी भी स्थानिक या कालिक स्थान पर स्वतंत्र रूप से लागू होती हैं।

कार्यप्रणाली (Methodology)
लेखक फंक्शन क्लासेस के सन्निकटन के लिए आवश्यक विवरण लंबाई (description length) को मापने के लिए 'फाइनाइट-बिट डिस्क्रीटाइजेशन' (कोडेक थ्योरी) पर आधारित एक सूचना-सैद्धांतिक ढांचे का उपयोग करते हैं। वे एक विशिष्ट प्रकार के ऑर्थोगोनल, वेक्टर-वैल्यूड फंक्शन्स का निर्माण करते हैं जो साझा फीचर की जटिलता को कार्य-विशिष्ट रीडआउट्स से अलग करने के लिए डिज़ाइन किए गए हैं।

फंक्शन क्लास निर्माण:
- साझा फीचर (Shared Feature): मुख्य कठिनाई एक स्केलर रेडमेकर-हार वेवलेट सीरीज़ $g$ में निहित है। इस सीरीज़ के गुणांक एक स्वतंत्र चिन्हों (independent signs) का डायडिक ट्री बनाते हैं, जो यूनिफॉर्म सन्निकटन के लिए एक "कठिन" लक्ष्य बनाता है जहाँ अनसुलझा टेल (unresolved tail) अधिकांश जटिलता को वहन करता है।
- ऑर्थोगोनल हेड्स (Orthogonal Heads): साझा जानकारी को समाप्त किए बिना ऑर्थोगोनैलिटी को लागू करने के लिए, लेखक $g$ को सॉ टूथ-वाल्श (Sawtooth-Walsh) फंक्शन्स के साथ संयोजित करते हैं। ये रीडआउट्स, $f_i$ , गैर-रेखीय मैप्स हैं जो आउटपुट्स को डिकोरिलेट (decorrelate) करते हैं (यह सुनिश्चित करते हुए कि $\langle f_i \circ g, f_j \circ g \rangle = \delta_{ij}$ ) जबकि साझा फीचर के भीतर सन्निकटन की कठिनाई को सुरक्षित रखते हैं।
- संयोजन (Composition): लक्षित क्लास $\mathcal{F} = \{ (f_0 \circ g, \dots, f_{M-1} \circ g) \mid g \in \mathcal{G} \}$ है।
कोडिंग स्कीम्स:
- पृथक कोडिंग (Separate Coding): $M$ स्वतंत्र एनकोडर/डिकोडर जोड़े, जिनमें से प्रत्येक को एक बिट बजट $n_i$ आवंटित किया गया है, जो प्रत्येक कोऑर्डिनेट $f_i \circ g$ का व्यक्तिगत रूप से सन्निकटन करता है।
- संयुक्त कोडिंग (Joint Coding): एक एकल एनकोडर/डिकोडर जोड़ा जिसके पास कुल बिट बजट $N = M \cdot \min(n_i)$ है, जो पूरे वेक्टर फंक्शन का एक साथ सन्निकटन करता है।
न्यूरल नेटवर्क रियलाइजेशन:
- एब्स्ट्रैक्ट कोडेक थ्योरी और न्यूरल नेटवर्क के बीच के अंतर को पाटने के लिए, लेखक स्पष्ट हीवीसाइड एक्टिवेशन नेटवर्क का निर्माण करते हैं। वे ट्रंकेटेड हार वेवलेट्स और सॉ टूथ-वाल्श फंक्शन्स की पीसवाइज कांस्टेंट प्रकृति का उपयोग करते हैं।
- पॉइंटवाइज मल्टीप्लिकेशन (जो $f_i \circ g$ के संयोजन के लिए आवश्यक है) को एक रिकर्सिव ट्रायंगल-वेव एप्रोक्सिमेशन (यारोत्स्की, 2017 पर आधारित) के माध्यम से साकार किया जाता है, जो साझा फीचर के टेल और फिक्स्ड रीडआउट्स के उत्पाद को सन्निकटन करने की अनुमति देता है।

मुख्य परिणाम
लेखक निर्मित क्लास के लिए संयुक्त और पृथक कोडिंग के बीच सन्निकटन दरों में एक तीव्र अलगाव (sharp separation) स्थापित करते हैं:

सैद्धांतिक अंतराल (Theorem 8): एक साझा रेडमेकर-हार फीचर द्वारा उत्पन्न $M$ ऑर्थोगोनल फंक्शन्स की क्लास के लिए, इष्टतम पृथक सन्निकटन त्रुटि और इष्टतम संयुक्त सन्निकटन त्रुटि का अनुपात निम्न द्वारा सीमित है:
$\frac{\|F - \delta^{(S)}_D \circ \delta^{(S)}_E(F)\|_\infty}{\|F - \delta^{(J)}_D \circ \delta^{(J)}_E(F)\|_\infty} \geq \frac{M}{4} \cdot \frac{1 + 1/N}{1 + 2M^2/N}$
एसिम्प्टोटिक रूप से, यह $M/4$ के क्रम का अंतराल देता है। यह प्रदर्शित करता है कि एक पृथक कोडेक को साझा "कठिन" फीचर को $M$ बार (प्रत्येक कोऑर्डिनेट के लिए एक बार) एनकोड करना होगा, जबकि एक संयुक्त कोडेक इसे केवल एक बार एनकोड करता है, आउटपुट्स पर ऑर्थोगोनैलिटी प्रतिबंध के बावजूद।
ट्रंकेशन की इष्टភាព (Optimality of Truncation): लेखक सिद्ध करते हैं कि रेडमेकर-हार सीरीज़ को ट्रंकेट करना इस क्लास के लिए एक इष्टतम फाइनाइट-बिट डिस्क्रीटाइजेशन मैप है, जो सटीक स्थिरांकों के साथ स्पष्ट ऊपरी और निचली सीमाएँ प्रदान करता है। यह एसिम्प्टोटिक मेट्रिक एंट्रॉपी अनुमानों पर निर्भरता से बचता है।
न्यूरल नेटवर्क रियलाइजेशन (Corollary 19): इस अलगाव को स्पष्ट हीवीसाइड न्यूरल नेटवर्क द्वारा साकार किया गया है। एक संयुक्त आर्किटेक्चर जिसमें एक साझा ट्रंक (हार फीचर को एनकोड करने वाला) और फिक्स्ड रीडआउट हेड्स हैं, इष्टतम संयुक्त कोडेक के समान बिट-इकोनॉमी प्राप्त करता है। इसके विपरीत, मैचड टोटल डिस्क्रिप्शन लेंथ वाले $M$ अलग-अलग नेटवर्क सन्निकटन दर में $O(M)$ गिरावट का सामना करते हैं।

महत्व और दावे
लेखक दावा करते हैं कि वे सन्निकटन-सैद्धांतिक परिप्रेक्ष्य से साझा प्रतिनिधित्व के लाभ का पहला कठोर गणितीय उपचार प्रदान करते हैं, विशेष रूप से ऑर्थोगोनैलिटी जैसी ज्यामितीय बाधाओं के तहत।

रिडंडेंसी तर्कों का खंडन: परिणाम स्पष्ट करते हैं कि जॉइंट लर्निंग का लाभ केवल सांख्यिकीय औसत (statistical averaging), लीनियर रिडंडेंसी, या वितरण संबंधी धारणाओं का आर्टिफैक्ट नहीं है। इसके बजाय, लाभ सीधे एक साझा लेटेंट फीचर को $M$ बार के बजाय एक बार एनकोड करके प्राप्त सूचना जटिलता में कमी से आता है।
ऑर्थोगोनैलिटी अनुकूलता: अध्ययन यह प्रदर्शित करता है कि ऑर्थोगोनैलिटी बाधाएं, जिन्हें अक्सर प्रतिबंधात्मक माना जाता है, साझा प्रतिनिधित्व की दक्षता को बाधित नहीं करती हैं। बाधा को गैर-रेखीय रीडआउट हेड्स में स्थानांतरित करके, साझा फीचर एकमात्र सन्निकटन कठिनाई बना रहता है।
फाउंडेशन मॉडल अंतर्दृष्टि: यह कार्य फाउंडेशनल मॉडल्स में "शेयर्ड ट्रंक, मल्टीपल हेड्स" आर्किटेक्चर के लिए एक सैद्धांतिक औचित्य प्रदान करता है। यह सुझाव देता है कि भले ही आउटपुट्स को सख्त भौतिक या ज्यामितीय बाधाओं (जैसे ऑर्थोगोनैलिटी) को पूरा करना हो, फिर भी महंगे फीचर एक्सट्रैक्शन को विभिन्न कार्यों के बीच एमोर्टाइज (amortize) किया जा सकता है, बशर्ते कि कार्य एक साझा लेटेंट स्ट्रक्चर साझा करते हों।

लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं, यह नोट करते हुए कि हालांकि यह तंत्र इस विशिष्ट कंस्ट्रक्टिव क्लास (रेडमेकर-हार विद सॉ टूथ-वाल्श) के लिए सिद्ध है, यह पहचानना कि क्या यह फैक्टर- $M$ सेपरेशन व्यापक न्यूरल नेटवर्क क्लासेज, स्मूथ फीचर्स, या अन्य बाधाओं (जैसे इक्विवैरिएंस) के लिए बना रहता है, एक खुला प्रश्न है।