🤖 machine learning

Improving Relative Representations with Learned Anchors and Whitened Inner Products

यह शोध पत्र क्रॉस-मॉडल संचार के लिए एक सुदृढ़ ढांचे का प्रस्ताव करता है जो सिमेंटिक एंकर प्रोटोटाइप्स को सीखने और एक ज्यामिति-जागरूक समानता मीट्रिक को नियोजित करने के माध्यम से पारंपरिक सापेक्ष निरूपणों (Relative Representations) में सुधार करता है, जिससे विषम न्यूरल आर्किटेक्चर के बीच स्थिर, लगभग लॉसलेस सूचना हस्तांतरण सक्षम होता है।

मूल लेखक: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास दो अलग-अलग अनुवादक हैं जो एक ही भाषा बोलते हैं लेकिन उनके शब्दकोश और वाक्य संरचनाएं पूरी तरह से अलग हैं। एक अनुवादक (मॉडल A) एक "राजा" को एक लंबे, सुनहरे रूप में वर्णित करता है, जबकि दूसरा (मॉडल B) एक "राजा" को एक छोटे, नीले रूप के रूप में वर्णित करता है। यदि आप मॉडल B को मॉडल A द्वारा लिखा गया एक नोट देने की कोशिश करते हैं, तो वह इसे समझ नहीं पाएगा क्योंकि उनके निर्देशांक (coordinates) मेल नहीं खाते।

यही वह समस्या है जिसे रिलेटिव रिप्रेजेंटेशन (Relative Representations) हल करने की कोशिश करता है। मॉडल A और मॉडल B को इस बात पर सहमत करने के बजाय कि "राजा" के सटीक निर्देशांक क्या हैं, वे लैंडमार्क्स (landmarks) या एंकरों के एक सेट पर सहमत होते हैं। वे कहते हैं, "ठीक है, चाहे आप अपना नक्शा कैसे भी बनाएं, 'राजा' 'रानी' और 'महल' से कितनी दूर है?" यदि दोनों मॉडल इन लैंडमार्क्स से दूरी पर सहमत होते हैं, तो वे एक-दूसरे से बात कर सकते हैं, भले ही उनके आंतरिक नक्शे पूरी तरह से अलग दिखते हों।

हालाँकि, पुराने तरीके में दो बड़ी खामियां थीं, जिन्हें यह शोध पत्र एक नए सिस्टम PARAM और WIP के साथ ठीक करता है।

पुराने तरीके के साथ समस्या

रैंडम लैंडमार्क्स: पुराना तरीका नक्शे पर डार्ट फेंककर लैंडमार्क्स चुनता था। कभी-कभी आप ऐसे डार्ट चुन लेते थे जो एक ही जगह पर गिर जाते थे (अतिरेक/redundancy), या आप नक्शे के बड़े हिस्सों को पूरी तरह से छोड़ देते थे। इसका मतलब था कि "अनुवाद" अक्सर धुंधला होता था या महत्वपूर्ण विवरण खो जाता था।
गलत रूलर (मापनी): पुराने तरीके में एक ऐसा रूलर इस्तेमाल किया जाता था जो केवल कोणों (दिशा) को मापता था लेकिन दूरी (परिमाण/magnitude) को अनदेखा कर देता था। कल्पना कीजिए कि आप एक कमरे को मापने की कोशिश कर रहे हैं जहाँ फर्श असमान रूप से फैला हुआ है। यदि आप केवल एक कोने के कोण को देखते हैं, तो आप सोच सकते हैं कि एक छोटे, खिंचे हुए कमरे और एक बड़े, सामान्य कमरे का कोण एक ही है। इस कारण से "अनुवाद" तब टूट जाता था जब मॉडल एक-दूसरे से बहुत भिन्न होते थे (जैसे एक छोटा भाषा मॉडल एक विशाल मॉडल से बात कर रहा हो)।

नया समाधान: PARAM और WIP

1. PARAM: सर्वश्रेष्ठ लैंडमार्क्स सीखना

डार्ट्स को रैंडम तरीके से फेंकने के बजाय, लेखक कंप्यूटर को सर्वश्रेष्ठ लैंडमार्क्स सीखने के लिए प्रशिक्षित करते हैं।

उपमा: कल्पना कीजिए कि आप अपने मित्र को एक शहर का वर्णन करने की कोशिश कर रहे हैं। रैंडम सड़क के कोनों को चुनने के बजाय, आप शहर से ही पूछते हैं: "पूरे क्षेत्र का प्रतिनिधित्व करने वाले सबसे महत्वपूर्ण, स्थिर केंद्र कहाँ हैं?"
यह कैसे काम करता है: सिस्टम डेटा पॉइंट्स के समूहों का औसत निकालकर लैंडमार्क्स बनाता है। यह शोर (noise) को कम करता है (जैसे एक स्पष्ट तस्वीर प्राप्त करने के लिए कुछ अस्थिर तस्वीरों का औसत लेना)। ये नए लैंडमार्क्स "मजबूत सिमेंटिक प्रोटोटाइप" (robust semantic prototypes) हैं—वे स्थिर हैं, पूरे नक्शे को समान रूप से कवर करते हैं, और किसी विशिष्ट मॉडल की विचित्रताओं से भ्रमित नहीं होते हैं।

2. WIP: स्मार्ट रूलर

लेखकों ने पुराने "केवल-कोण" वाले रूलर को एक व्हाइटनड इनर प्रोडक्ट (Whitened Inner Product - WIP) से बदल दिया।

उपमा: पुराने रूलर को एक रबर बैंड के रूप में सोचें जो पकड़ने वाले के आधार पर खिंचता और सिकुड़ता है। यदि मॉडल A स्थान को फैलाता है और मॉडल B उसे सिकोड़ देता है, तो रबर बैंड गलत उत्तर देगा।
यह कैसे काम करता है: नया WIP रूलर "व्हाइटनड" (whitened) है। मापने से पहले, यह रबर बैंड को गणितीय रूप से समतल कर देता है। यह खिंचाव, सिकुड़न और बदलाव को ठीक करता है। महत्वपूर्ण रूप से, यह इस बात पर भी ध्यान देता है कि सिग्नल कितना मजबूत (परिमाण) है, न कि केवल यह कि वह किस दिशा में इशारा करता है। यह मॉडलों को उन महत्वपूर्ण विवरणों (जैसे "कितना आत्मविश्वास" है) को बनाए रखने की अनुमति देता है जिन्हें पुराना तरीका फेंक देता था।

परिणाम: "लॉसलेस" (बिना सूचना खोए) अनुवाद

लेखकों ने विभिन्न प्रकार के AI मॉडलों को जोड़ने का प्रयास करके इसका परीक्षण किया:

विज़न (Vision): उन्होंने एक CNN (एक प्रकार का इमेज मॉडल) को एक ट्रांसफॉर्मर (एक अलग, अधिक आधुनिक इमेज मॉडल) के साथ जोड़ा।
भाषा (Language): उन्होंने अलग-अलग भाषाओं (अंग्रेजी, जर्मन, फ्रेंच, आदि) में बोलने वाले विभिन्न भाषा मॉडलों (जैसे BERT वेरिएंट) को जोड़ा।
छोटा बनाम बड़ा: उन्होंने बहुत छोटे भाषा मॉडलों को बहुत बड़े मॉडलों से भी जोड़ा।

परिणाम:
अतीत में, इन मॉडलों को आपस में जोड़ने का प्रयास करने पर आपदा आती थी (नया मॉडल रैंडम अनुमान लगाता था)। PARAM और WIP के साथ, मॉडल लगभग पूरी तरह से संवाद करते हैं।

उन्होंने ज़ीरो-शॉट स्टिचिंग (zero-shot stitching) हासिल की: आप एक टूल को मॉडल A के डेटा पर प्रशिक्षित कर सकते हैं और तुरंत उसे मॉडल B के डेटा पर बिना किसी पुन: प्रशिक्षण (retraining) के उपयोग कर सकते हैं।
प्रदर्शन मूल मॉडल का सीधे उपयोग करने के लगभग समान था। यह ऐसा था जैसे "अनुवाद" लॉसलेस (lossless) था—प्रक्रिया में कोई जानकारी खोई नहीं गई।

सारांश

यह शोध पत्र विभिन्न AI मॉडलों को एक-दूसरे से बात करने का एक नया तरीका पेश करता है।

लैंडमार्क्स का अनुमान लगाना बंद करें: सबसे अच्छे, सबसे स्थिर संदर्भ बिंदु सीखें (PARAM)।
बेहतर रूलर का उपयोग करें: एक ऐसा माप उपकरण उपयोग करें जो डेटा में खिंचाव और सिकुड़न को ध्यान में रखता है (WIP)।

परिणाम एक सार्वभौमिक "प्लग-एंड-प्ले" सिस्टम है जहाँ आप AI के "मस्तिष्क" (एन्कोडर) को एक अलग मस्तिष्क से बदल सकते हैं, और बाकी सिस्टम बिना किसी पुन: प्रशिक्षण के पूरी तरह से काम करता रहता है।

तकनीकी सारांश: सीखे गए एंकर्स (Learned Anchors) और विटनड इनर प्रोडक्ट (Whitened Inner Products) के साथ सापेक्ष निरूपण (Relative Representations) में सुधार

1. समस्या विवरण (Problem Statement)

स्वतंत्र रूप से प्रशिक्षित न्यूरल मॉडल अक्सर ऐसे लेटेंट रिप्रेजेंटेशन (latent representations) की ओर अभिसरित (converge) होते हैं जो रोटेशन, अनिसोट्रोपिक स्केलिंग (anisotropic scaling) और ट्रांसलेशन के अंतरों के कारण आपस में असंगत होते हैं। यह अत्यधिक मॉड्यूलर AI सिस्टम बनाने के लिए एक मौलिक बाधा उत्पन्न करता है जहाँ बिना पुन: प्रशिक्षण (retraining) के एनकोडर्स और डिकोडर्स को बदला जा सके।

सापेक्ष निरूपण (Relative Representations - RR) इसे एक साझा स्थान (shared space) के माध्यम से हल करते हैं जो पूर्ण निर्देशांकों (absolute coordinates) पर निर्भर रहने के बजाय, एंकर पॉइंट्स (anchor points) के एक सामान्य सेट के साथ समानता द्वारा परिभाषित होता है। हालाँकि, मानक RR कार्यान्वयन दो प्राथमिक सीमाओं से ग्रस्त हैं:

रैंडम एंकर सैंपलिंग (Random Anchor Sampling): पारंपरिक तरीके एंकर्स के रूप में डेटा के यादृच्छिक रूप से नमूने लिए गए डेटापॉइंट्स का उपयोग करते हैं। यह अक्सर डेटा मैनिफोल्ड (data manifold) के खराब कवरेज, रिडंडेंसी और लो-रैंक रिलेटिव फीचर्स का कारण बनता है, जिससे कार्य-प्रासंगिक जानकारी का नुकसान होता है।
कोसाइन सिमिलैरिटी (Cosine Similarity): मानक समानता मीट्रिक केवल कोणीय संबंधों (angular relationships) पर निर्भर करती है, जो परिमाण (magnitude) की जानकारी को त्याग देती है (जो फीचर कॉन्फिडेंस को एनकोड कर सकती है) और ट्रांसफॉर्मर जैसे आधुनिक आर्किटेक्चर में सामान्य अनिसोट्रोपिक ज्यामिति को ध्यान में रखने में विफल रहती है। यह एफाइन शिफ्ट (affine shifts) और मूल (origin) के पास भी अस्थिर है।

ये सीमाएं खराब क्रॉस-स्पेस अलाइनमेंट और सूचना संरक्षण (information preservation) का परिणाम हैं, जो विषम मॉडलों के बीच ज़ीरो-शॉट स्टिचिंग (zero-shot stitching) को प्रभावी होने से रोकती हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक मजबूत ढांचे का प्रस्ताव करते हैं जिसमें दो मुख्य घटक शामिल हैं: PARAM (पैरामिटराइज्ड एंकर रिप्रेजेंटेशन वाया एडेप्टिव मैट्रिसेस) और WIP (विटनड इनर प्रोडक्ट)।

2.1 PARAM: कॉनवेक्स मिश्रण के रूप में एंकर्स सीखना

एंकर्स को डेटा के एक निश्चित, यादृच्छिक रूप से चुने गए उपसमुच्चय (subset) के रूप में मानने के बजाय, PARAM एंकर्स को एक सपोर्ट सेट के समानांतर डेटापॉइंट्स के कॉनवेक्स मिश्रण (convex mixtures) के रूप में सीखता है।

तंत्र (Mechanism): एक साझा मिश्रण मैट्रिक्स $P$ को प्रत्येक एनकोडर स्पेस $i$ के लिए एंकर्स $A_i$ उत्पन्न करने के लिए अनुकूलित किया जाता है, जहाँ $A_i = P X_{sub}^i$ है, और $X_{sub}^i$ एम्बेडिंग्स का एक उपसमुच्चय है।
बाधाएं (Constraints): $P$ को रो-स्टोकेस्टिक (row-stochastic) होने के लिए बाध्य किया गया है, जो यह सुनिश्चित करता है कि एंकर्स डेटा के कॉनवेक्स हल (convex hull) के भीतर रहें।
लाभ (Benefits): यह औसत निकालने के माध्यम से एक डीनोइजिंग प्रभाव प्रदान करता है, जिससे स्थिर सिमेंटिक प्रोटोटाइप (semantic prototypes) बनते हैं। यह निरंतर एंकर प्लेसमेंट की अनुमति देता है, जिससे डिस्क्रीट डेटापॉइंट चयन की सीमाएं समाप्त हो जाती हैं।
प्रशिक्षण उद्देश्य (Training Objectives): मैट्रिक्स $P$ $P$ को भारित लॉस (weighted sum of losses) का उपयोग करके अनुकूलित किया जाता है:
- सिंगल-स्पेस उद्देश्य: कवरेज ( $L_{cov}$ , सॉफ्ट k-मीन्स), ऑर्थोगोनैलिटी ( $L_{orth}$ , सह-संबंधित एंकर्स को दंडित करना), और लेंथ कंट्रोल ( $L_{len}$ , नॉर्म्स को नियंत्रित करना)।
- मल्टी-स्पेस उद्देश्य: युग्मित नमूनों (paired samples) का उपयोग करके विभिन्न एनकोडर्स के बीच सापेक्ष निर्देशांकों को संरेखित करने के लिए सिमेट्रिक InfoNCE ( $L_{symNCE}$ )।

2.2 WIP: विटनड इनर प्रोडक्ट (Whitened Inner Product)

ज्यामितीय विकृतियों (मीन शिफ्ट और अनिसोट्रोपिक स्केलिंग) को संबोधित करने के लिए, लेखक कोसाइन सिमिलैरिटी के स्थान पर विटनड इनर प्रोडक्ट का उपयोग करते हैं।

तंत्र (Mechanism): प्रत्येक एम्बेडिंग स्पेस के लिए, अनुभवजन्य माध्य (empirical mean) $\mu_i$ को हटाया जाता है, और कोवेरिएंस मैट्रिक्स $\Sigma_i$ के आधार पर एक सिमेट्रिक विटनिंग ट्रांसफॉर्मेशन $L_i = (\Sigma_i)^{-1/2}$ लागू किया जाता है।
फॉर्मूला: समानता को $s_{WIP}(x, a_r^i) = \langle L_i(x - \mu_i), L_i(a_r^i - \mu_i) \rangle$ के रूप में परिभाषित किया गया है।
लाभ (Benefits): यह मीट्रिक एफाइन विकृतियों (क्रॉस-स्पेस अलाइनमेंट को संतुष्ट करते हुए) के प्रति मजबूत है और कोणीय तथा परिमाण (magnitude) दोनों जानकारी को संरक्षित करता है (सूचना संरक्षण को संतुष्ट करते हुए), जो डिस्क्रिमिनेटिव सिग्नल के लिए महत्वपूर्ण है।

3. मुख्य योगदान (Key Contributions)

लर्नड एंकर्स (PARAM): एंकर्स को डेटा के कॉनवेक्स मिश्रण के रूप में सीखने की एक विधि, जो रैंडम सैंपलिंग के स्थान पर मजबूत सिमेंटिक कवरेज और स्थिरता सुनिश्चित करती है।
ज्यामिति-जागरूक समानता (WIP): एक कोवेरिएंस-जागरूक समानता मीट्रिक जो एफाइन शिफ्ट के प्रति अपरिवर्तनीय है और परिमाण जानकारी को संरक्षित करती है, जो आधुनिक आर्किटेक्चर की अनिसोट्रॉपी को संबोधित करती है।
एकीकृत ढांचा (Unified Framework): एक संयुक्त दृष्टिकोण जो अत्यधिक विषम आर्किटेक्चर (जैसे, CNN बनाम ट्रांसफॉर्मर, और विभिन्न स्केल के लैंग्वेज मॉडल्स) के बीच ज़ीरो-शॉट स्टिचिंग प्रदर्शन में महत्वपूर्ण सुधार करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

ढांचे का मूल्यांकन विज़न और लैंग्वेज मोडैलिटीज में ज़ीरो-शॉट स्टिचिंग कार्यों पर किया गया, जिसकी तुलना रैंडम एंकर्स और कोसाइन सिमिलैरिटी के बेसलाइन से की गई।

इमेज क्लासिफिकेशन (CIFAR-100): जब CNN-आधारित (RexNet) और ट्रांसफॉर्मर-आधारित (ViT) एनकोडर्स को स्टिच किया गया, तो प्रस्तावित PARAM-WIP विधि ने लगभग लॉसलेस ट्रांसफर प्राप्त किया। उदाहरण के लिए, ViT फीचर्स पर क्लासिफायर को प्रशिक्षित करने और RexNet फीचर्स पर टेस्ट करने पर, रैंडम-कोसाइन बेसलाइन के 56.67% F1 स्कोर की तुलना में 80.94% (PARAM Multi) F1 स्कोर प्राप्त हुआ। कई मामलों में, ज़ीरो-शॉट प्रदर्शन मूल लेटेंट स्पेस के एब्सोल्यूट प्रदर्शन के बराबर था।
टेक्स्ट क्लासिफिकेशन (MARC): क्रॉस-लिंगुअल सेंटीमेंट एनालिसिस (जैसे, अंग्रेजी, जर्मन, फ्रेंच, स्पेनिश, चीनी) पर, ढांचे ने बेसलाइन से लगातार बेहतर प्रदर्शन किया। उदाहरण के लिए, फ्रेंच को इंग्लिश एनकोडर्स के साथ स्टिच करने पर 93.75% F1 (PARAM Multi) प्राप्त हुआ, जबकि बेसलाइन (Random-Cosine) का स्कोर 92.06% था।
स्मॉल लैंग्वेज मॉडल्स (SLMs): विभिन्न स्केल के मॉडल्स (GPT-2, TinyLlama, Gemma) के बीच ज़ीरो-शॉट रिट्रीवल कार्य में, बेसलाइन ने अत्यधिक अस्थिरता (R@1 $\approx$ 0.5% - 10%) दिखाई। इसके विपरीत, PARAM-WIP ने 87% और 95% के बीच R@1 स्कोर और 100% के करीब R@5 स्कोर प्राप्त किया, जो बहुत अलग हिडन डाइमेंशनलिटी वाले मॉडल्स के बीच भी स्थिर ज्यामितीय संरेखण प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies): परिणामों ने पुष्टि की कि दोनों घटक आवश्यक हैं। जबकि WIP रिट्रीवल गुणवत्ता में सुधार करता है, इसके सटीकता लाभ तब अधिकतम होते हैं जब इसे सीखे गए एंकर्स के साथ जोड़ा जाता है। इसके विपरीत, रैंडम एंकर्स के साथ WIP अक्सर रैंडम एंकर्स के साथ कोसाइन सिमिलिटी के मुकाबले कम प्रदर्शन करता है क्योंकि यह ओरिजिन के पास शोर के प्रति संवेदनशील होता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि रैंडम सैंपलिंग और कोणीय प्रोजेक्शन (कोसाइन सिमिलैरिटी) पर निर्भरता वर्तमान सापेक्ष प्रतिनिधित्व अनुसंधान में एक मौलिक सीमा है, विशेष रूप से विषम मॉडल परिवारों के लिए।

मजबूती (Robustness): प्रस्तावित ढांचा लगभग लॉसलेस सूचना हस्तांतरण और उन एनकोडर्स के बीच स्थिर ज़ीरो-शॉट संचार सक्षम करता है जो पहले आपस में असंगत थे।
मॉड्यूलरिटी (Modularity): लेटेंट ज्योमेट्री और सापेक्ष समन्वय प्रणालियों के बीच संबंध को औपचारिक रूप देकर, यह कार्य मॉड्यूलर AI आर्किटेक्चर की ओर एक व्यावहारिक मार्ग प्रदान करता है जहाँ एनकोडर्स और डिकोडर्स को बिना महंगे पुन: प्रशिक्षण के बदला जा सकता है।
ज्यामितीय समझ (Geometric Understanding): परिणाम बताते हैं कि परिमाण जानकारी को संरक्षित करना और एफाइन विकृतियों को ध्यान में रखना आधुनिक, अनिसोट्रोपिक एम्बेडिंग स्पेस को संरेखित करने के लिए महत्वपूर्ण है, जिसकी आवश्यकता को मानक कोसाइन सिमिलिटी पूरा करने में विफल रहती है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें सपोर्ट सबसेट के आकार पर प्रतिनिधित्व क्षमता की निर्भरता और विटनिंग के लिए स्थिर कोवेरिएंस अनुमान की आवश्यकता शामिल है। वे सुझाव देते हैं कि भविष्य के कार्य एडेप्टिव सबसेट सिलेक्शन, स्ट्रक्चर्ड स्पर्सिटी और नॉन-लीनियर सिमिलैरिटी फंक्शन्स का पता लगा सकते हैं।