🤖 machine learning

Multimodal Representation Learning Conditioned on Semantic Relations

यह शोध पत्र रिलेशन-कंडीशन्ड मल्टीमॉडल लर्निंग (RCML) का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो विभिन्न रिट्रीवल और क्लासिफिकेशन कार्यों में CLIP जैसे पारंपरिक रिलेशन-एग्नोस्टिक मॉडल्स से बेहतर प्रदर्शन करने के लिए नेचुरल-लैंग्वेज सिमेंटिक रिलेशंस पर आधारित कॉन्टेक्स्ट-अवेयर मल्टीमॉडल एम्बेडिंग्स जनरेट करता है।

मूल लेखक: Yang Qiao, Yuntong Hu, Bowen Zhu, Hasibul Haque, Liang Zhao

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yang Qiao, Yuntong Hu, Bowen Zhu, Hasibul Haque, Liang Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Multimodal Representation Learning Conditioned on Semantic Relations" (Rcml) पेपर की व्याख्या दी गई है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में तोड़कर समझाया गया है।

मुख्य विचार: एक आकार सबके लिए उपयुक्त नहीं होता (One Size Does Not Fit All)

कल्पना कीजिए कि आपके पास वस्तुओं का एक विशाल पुस्तकालय है, जिसमें प्रत्येक वस्तु की एक तस्वीर और एक विवरण है। अतीत में, कंप्यूटर वैज्ञानिकों ने "स्मार्ट लाइब्रेरियन" (AI मॉडल) बनाए जो प्रत्येक वस्तु को एक ही आईडी कार्ड (ID card) देते थे। यह आईडी कार्ड वस्तु की विशेषताओं का सारांश देता था ताकि कंप्यूटर समान चीज़ों को ढूँढ सके।

समस्या:
पुराना तरीका तब बहुत अच्छा काम करता है जब आप केवल उन चीज़ों को ढूँढना चाहते हैं जो दिखने या सुनने में एक जैसी हों। लेकिन वास्तविक दुनिया में, "समानता" इस बात पर निर्भर करती है कि आप क्यों ढूँढ रहे हैं।

परिदृश्य A: आप एक माता-पिता हैं जो बच्चों के सामान की तलाश में हैं। आप एक नर्सिंग पिलो (nursing pillow), एक मिल्क बैग और एक बॉटल स्टेबलाइजर चाहते हैं। ये तीनों वस्तुएं दिखने में बिल्कुल अलग हैं (एक नरम कपड़ा है, एक प्लास्टिक है, और एक धातु है)। एक पुराना "स्मार्ट लाइब्रेरियन" कहेगा, "ये मेल नहीं खाते; ये बहुत अलग दिखते हैं।"
परिदृश्य B: आप पैसे बचाने की कोशिश कर रहे एक यात्री हैं। आप एक क्रेडिट कार्ड रिवॉर्ड प्रोग्राम और ऑफ-सीजन फ्लाइट बुकिंग गाइड ढूंढना चाहते हैं। फिर से, ये दोनों विषय पूरी तरह से अलग हैं, लेकिन "पैसे बचाने" के लक्ष्य से ये गहराई से जुड़े हुए हैं।

पुराने मॉडल यहाँ विफल रहे क्योंकि उन्होंने हर वस्तु को एक ही "यूनिफॉर्म" (एम्बेडिंग) पहनने के लिए मजबूर किया, चाहे संदर्भ कुछ भी हो। वे यह नहीं समझ सके कि एक बॉटल स्टेबलाइजर एक नर्सिंग पिलो के साथ "जुड़ा हुआ" है, लेकिन केवल "बेबी केयर" के संदर्भ में।

समाधान: "गिरगिट वाला" आईडी कार्ड (The "Chameleon" ID Card)

लेखकों ने Rcml (Relation-Conditioned Multimodal Learning) नामक एक नया सिस्टम प्रस्तावित किया है।

वस्तु को एक स्थिर आईडी कार्ड देने के बजाय, Rcml उसे एक गिरगिट जैसा आईडी कार्ड देता है जो आपके द्वारा पूछे गए विशिष्ट प्रश्न के आधार पर अपना रंग और पैटर्न बदल लेता है।

पुराना तरीका: "यह एक बॉटल स्टेबलाइजर है। इसकी आईडी कहती है: प्लास्टिक, सफेद, बेलनाकार।"
Rcml का तरीका:
- यदि आप पूछते हैं, "बेबी केयर के लिए इसके साथ क्या जाता है?" तो आईडी कार्ड बदलकर कहता है: नए माता-पिता के लिए आवश्यक, नर्सिंग पिलो के साथ जोड़ी बनाता है।
- यदि आप पूछते हैं, "किचन स्टोरेज के लिए इसके साथ क्या जाता है?" तो आईडी कार्ड कहता है: कॉम्पैक्ट, स्टैकेबल, अलमारियों में फिट होता है।

मॉडल एक संबंध के "प्राकृतिक भाषा विवरण" (semantic relation) के आधार पर वस्तु के बारे में अपनी समझ को नया रूप देना सीखता है।

यह कैसे काम करता है (Mechanics)

पेपर इस प्रक्रिया को पूरा करने के लिए तीन चरणों का वर्णन करता है:

1. "संदर्भिक" (Contextual) प्रशिक्षण जोड़े बनाना
आमतौर पर, AI एक तस्वीर को उसके अपने कैप्शन (जैसे, कुत्ते की फोटो "एक कुत्ता" टेक्स्ट से मेल खाती है) से मिलाने से सीखता है। Rcml कुछ अतिरिक्त करता है। यह देखता है कि वास्तविक लोग कैसे व्यवहार करते हैं।

उदाहरण: एक सुपरमार्केट की कल्पना करें। AI देखता है कि "ग्रिलिंग टूल्स" खरीदने वाले लोग अक्सर "मैरिनेड्स" भी खरीदते हैं। यह एक विशेष नियम बनाता है: "समर BBQ के संबंध के तहत, ये दो वस्तुएं सबसे अच्छी दोस्त हैं।"
यह समान आदतों वाले उपयोगकर्ताओं को समूह में रखता है और AI को बताता है: "इन वस्तुओं को इस साझा आदत के कारण विशेष रूप से संबंधित मानें।"

2. "रिलेशन-कंडीशन्ड" मॉड्यूल (The "Relation-Conditioned" Module)
यह इस ऑपरेशन का मस्तिष्क है। जब AI किसी वस्तु को देखता है, तो वह केवल उसकी तस्वीर और टेक्स्ट को नहीं देखता। वह "संबंध नियम" (जैसे, "ग्रिलिंग के शौकीनों द्वारा सह-खरीदा गया") को भी पढ़ता है।

उदाहरण: एक स्पॉटलाइट की कल्पना करें। वस्तु एक स्टेज पर है। संबंध नियम स्पॉटलाइट का रंग है। यदि स्पॉटलाइट "बेबी केयर" है, तो AI वस्तु के उन हिस्सों को हाइलाइट करता है जो बच्चों के लिए महत्वपूर्ण हैं। यदि स्पॉटलाइट "ट्रैवल सेविंग्स" है, तो AI उन हिस्सों को हाइलाइट करता है जो बजट यात्रियों के लिए महत्वपूर्ण हैं।

3. "ग्रुप हग" ट्रेनिंग (The "Group Hug" Training)
मानक AI प्रशिक्षण आमतौर पर एक वस्तु की उसके सटीक मिलान से तुलना करता है और बाकी सब को दूर धकेलता है। Rcml अधिक सामाजिक है।

यह उन सभी वस्तुओं को एक साथ खींचता है जो एक विशिष्ट संबंध में फिट बैठती हैं (संबंधित वस्तुओं का एक "ग्रुप हग")।
यह उन वस्तुओं को दूर धकेलता है जो उस विशिष्ट संबंध में फिट नहीं होती हैं।
यह टेक्स्ट-टू-टेक्स्ट, इमेज-टू-इमेज और टेक्स्ट-टू-इमेज के लिए ऐसा करता है, जिससे यह सुनिश्चित होता है कि पूरा समूह उस विशिष्ट नियम के तहत सुसंगत बना रहे।

उन्हें क्या मिला (परिणाम)

लेखकों ने अपने इस नए "गिरगिट" सिस्टम का अमेज़न (उत्पाद) और गुडरीड्स (किताबें) के वास्तविक डेटा पर मौजूदा सर्वश्रेष्ठ "स्थिर आईडी" सिस्टम (जैसे CLIP, SigLIP, और ImageBind) के खिलाफ परीक्षण किया।

रिट्रीवल टेस्ट (Retrieval Test): जब एक विशिष्ट संदर्भ (जैसे, "मछली पकड़ने के शौकीनों द्वारा एक साथ खरीदी गई वस्तुएं") द्वारा संबंधित वस्तुओं को खोजने के लिए पूछा गया, तो Rcml काफी बेहतर रहा। इसने सही वस्तुओं को खोज लिया भले ही वे दिखने में पूरी तरह से अलग थीं, जबकि पुराने मॉडल भ्रमित हो गए थे।
"कनेक्शन का अनुमान लगाएं" टेस्ट: दो वस्तुओं को दिखाने और उनके बीच के संबंध का अनुमान लगाने के लिए कहा जाने पर, Rcml बहुत अधिक सटीक था।
"आउट ऑफ डोमेन" टेस्ट: भले ही इसे किताबों के एक पूरी तरह से अलग डेटासेट पर टेस्ट किया गया जिस पर इसे प्रशिक्षित नहीं किया गया था, फिर भी Rcml ने अच्छा प्रदर्शन किया, जिससे साबित हुआ कि इसने संबंधों को समझने का एक लचीला तरीका सीखा है, न कि केवल विशिष्ट उत्पादों को रटा है।

यह क्यों महत्वपूर्ण है

पेपर का तर्क है कि हमें केवल ऐसे AI बनाने की आवश्यकता नहीं है जो दुनिया को स्थिर वस्तुओं के संग्रह के रूप में देखता है। हमें ऐसे AI की आवश्यकता है जो संदर्भ (context) को समझ सके।

"संबंधों" को एक स्थिति (जैसे कैमरे की सेटिंग) के रूप में मानकर, मॉडल दुनिया के प्रति अपने दृष्टिकोण को सामने वाले कार्य के अनुकूल बनाने में सक्षम होता है। यह "ये चीजें एक जैसी दिखती हैं" कहने से आगे बढ़कर "ये चीजें इस विशिष्ट कारण से एक जैसी हैं" कहने की ओर बढ़ता है।

संक्षेप में, पेपर एक स्मार्ट तरीका पेश करता है जिससे कंप्यूटर समझ सके कि एक "नर्सिंग पिलो" और एक "बोटल स्टेबलाइजर" आपस में अच्छे दोस्त हैं, लेकिन केवल तभी जब आप "बच्चों" के बारे में बात कर रहे हों। बिना इस संदर्भ के, वे अजनबी हैं। Rcml कंप्यूटर को यह अंतर समझना सिखाता है।

तकनीकी सारांश: सिमेंटिक संबंधों पर आधारित मल्टीमॉडल रिप्रजेंटेशन लर्निंग

समस्या विवरण (Problem Statement)
वर्तमान मल्टीमॉडल रिप्रजेंटेशन लर्निंग, जो CLIP जैसे कंट्रास्टिव मॉडल्स द्वारा संचालित है, आमतौर पर प्रत्येक सैंपल के लिए एक एकल, संबंध-अज्ञेय (relation-agnostic) एम्बेडिंग उत्पन्न करती है। हालांकि यह सामान्य कार्यों के लिए प्रभावी है, लेकिन यह दृष्टिकोण यह मान लेता है कि एक सैंपल की प्रासंगिकता सभी संदर्भों में स्थिर होती है। हालांकि, वास्तविक दुनिया के अनुप्रयोगों (जैसे ई-कॉमर्स अनुशंसा या सूचना पुनर्प्राप्ति) में, दो सैंपल्स के बीच की प्रासंगिकता स्वाभाविक रूप से संबंध-निर्भर (relation-dependent) होती है। विभिन्न सिमेंटिक संबंध मल्टीमॉडल डेटा के विभिन्न पहलुओं पर जोर देते हैं; उदाहरण के लिए, एक नर्सिंग पिलो और एक बॉटल स्टरलाइज़र में दृश्य या पाठ्य समानता बहुत कम हो सकती है, लेकिन वे "शिशु आहार संबंधी रुचियों" (infant feeding interests) के सिमेंटिक संबंध के तहत अत्यधिक संबंधित हो सकते हैं। मौजूदा तरीके या तो संबंधों को निहित प्रॉम्प्ट संशोधनों के रूप में मानते हैं (जिससे अनियंत्रित परिवर्तन होते हैं) या ऐसे कार्य-विशिष्ट हेड्स पर निर्भर करते हैं जिनमें पुन: प्रयोज्यता का अभाव होता है। एक ऐसे ढांचे की कमी है जो सिमेंटिक संबंधों को रिप्रजेंटेशन लर्निंग प्रक्रिया के स्वयं के स्पष्ट विवरण (explicit conditions) के रूप में मानता हो।

कार्यप्रणाली: संबंध-सशर्त मल्टीमॉडल लर्निंग (Rcml)
लेखक Rcml का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो सिमेंटिक संबंधों को सीधे रिप्रजेंटेशन लर्निंग प्रक्रिया में एकीकृत करता है। इस कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

संबंध-सशर्त कंट्रास्टिव लर्निंग (Relation-Conditioned Contrastive Learning):
मानक कंट्रास्टिव लर्निंग के विपरीत, जो केवल मेल खाने वाले इमेज-टेक्स्ट पेयर्स (डायगोनल पॉजिटिव्स) को संरेखित करता है, Rcml सिमेंटिक संबंधों के आधार पर सैंपल्स के बीच मेनी-टू-मेनी अलाइनमेंट (many-to-many alignment) को सक्षम बनाता है। यह ढांचा एक एकीकृत कंट्रास्टिव लॉस को परिभाषित करता है जो संयुक्त रूप से अनुकूलित करता है:

क्रॉस-मोडल अलाइनमेंट: एक ही संबंध के तहत टेक्स्ट और इमेज रिप्रजेंटेशन को संरेखित करना।
इंट्रा-मोडल कोहेरेंस: एक ही मोडैलिटी (टेक्स्ट-टेक्स्ट या इमेज-इमेज) के भीतर संबंधों द्वारा जुड़े सैंपल्स के बीच निरंतरता सुनिश्चित करना।
लॉस फंक्शन को इस प्रकार परिभाषित किया गया है:
$\mathcal{L} = \frac{1}{2}(\mathcal{L}_{txt-img} + \mathcal{L}_{img-txt}) + \lambda(\mathcal{L}_{txt-txt} + \mathcal{L}_{img-img})$
जहाँ पॉजिटिव पेयर्स वैश्विक पहचान के बजाय विशिष्ट सिमेंटिक संबंध $e_{ij}$ द्वारा परिभाषित होते हैं।

संबंध-सशर्त पेयर निर्माण (Relation-Conditioned Pair Construction):
यह ढांचा दो प्रकार के संबंधों के आधार पर ट्रेनिंग पेयर्स का निर्माण करता है:

इंट्रा-सैंपल संबंध: एक ही सैंपल के टेक्स्ट और इमेज को संरेखित करना।
इंटर-सैंपल संबंध: इन्हें उपयोगकर्ता व्यवहार (जैसे सह-खरीद या सह-पठन इतिहास) से बनाया गया है। उपयोगकर्ताओं को उनके इंटरैक्शन पैटर्न के आधार पर क्लस्टर किया जाता है, और एक क्लस्टर द्वारा बार-बार उपभोग किए जाने वाले सैंपल्स को जोड़ा जाता है। इन लिंक्स को प्राकृतिक भाषा विवरण (जैसे "उपयोगकर्ताओं की [क्लस्टर-विशिष्ट] प्राथमिकताओं के साथ सह-खरीद की गई वस्तुएं") दिए जाते हैं जो कंडीशनिंग सिग्नल के रूप में कार्य करते हैं।

संबंध-सशर्त रिप्रजेंटेशन मॉड्यूल (Relation-Conditioned Representation Module):
एक CLIP बैकबोन का उपयोग करते हुए, Rcml एक मॉड्यूल पेश करता है जो एम्बेडिंग्स को विशिष्ट सिमेंटिक संदर्भों के अनुकूल बनाता है। स्टेटिक ग्लोबल पूलिंग के बजाय, मॉडल एक रिलेशन-गाइडेड अटेंशन मैकेनिज्म का उपयोग करता है।

सिमेंटिक संबंध विवरण $e_{ij}$ को एक ग्लोबल एम्बेडिंग $h^E_{ij}$ में एनकोड किया जाता है।
यह एम्बेडिंग एक अटेंशन मैकेनिज्म को टोकन-लेवल रिप्रजेंटेशन ( $H^i_x$ ) को एक संबंध-सशर्त रिप्रजेंटेशन $z^i_x(e_{ij})$ में एकत्रित करने के लिए निर्देशित करती है।
अटेंशन वेट, संबंध-जागरूक प्रासंगिक अटेंशन (जो $h^E_{ij}$ द्वारा संचालित है) और अनिर्दिष्ट अलाइनमेंट (जो [CLS] या [EOT] जैसे विशेष टोकन के माध्यम से वैश्विक निरंतरता बनाए रखता है) के बीच एक संतुलन है। एक गुणांक $\beta$ इस ट्रेड-ऑफ को नियंत्रित करता है।

प्रमुख योगदान (Key Contributions)

Rcml ढांचा: एक मल्टीमॉडल लर्निंग फ्रेमवर्क का परिचय जहाँ सिमेंटिक संबंध स्पष्ट शर्तों के रूप में कार्य करते हैं, जो सिंगल रिलेशन-अज्ञेय एम्बेडिंग्स से आगे बढ़कर संदर्भ-निर्भर एम्बेडिंग्स के एक परिवार की ओर ले जाता है।
मेनी-टू-मेनी कंट्रास्टिव लर्निंग: आइसोलेटेड इमेज-टेक्स्ट पेयर्स के मॉडल से आगे बढ़कर सिमेंटिक संबंधों के तहत जटिल इंटर-सैंपल डिपेंडेंसी को मॉडल करना।
अनुभवजन्य सत्यापन (Empirical Validation): कई डेटासेट्स और सेटिंग्स (जीरो-शॉट, फाइन-ट्यून्ड, और आउट-ऑफ-डोमेन) में रिट्रीवल और क्लासिफिकेशन कार्यों पर मजबूत बेसलाइन्स (CLIP, DeCLIP, UniCL, SigLIP, ImageBind) की तुलना में निरंतर सुधार प्रदर्शित करना।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने Amazon Product डेटासेट (7 डोमेन: इलेक्ट्रॉनिक्स, ऑटोमोटिव, ऑफिस, बेबी, पेट, म्यूजिक, स्पोर्ट्स) और Goodreads डेटासेट पर Rcml का मूल्यांकन किया।

संबंध-सशर्त रिट्रीवल: Rcml ने सभी बेसलाइन्स को काफी पीछे छोड़ दिया, और 40 में से 36 मेट्रिक्स पर सर्वश्रेष्ठ Hit@5 परिणाम प्राप्त किए। इसने मानक CLIP की तुलना में समग्र Hit@5 में लगभग 30.79% का सुधार किया। विशेष रूप से, इसने आउट-ऑफ-डोमेन Goodreads डेटासेट पर भी अच्छा प्रदर्शन किया।
रिलेशन टाइप प्रेडिक्शन: मॉडल ने प्रोडक्ट पेयर को जोड़ने वाले सिमेंटिक संबंध की भविष्यवाणी करने में उच्च Top-3 सटीकता प्राप्त की, जो रैंडम बेसलाइन्स से काफी अधिक (Amazon पर 30%, Goodreads पर 37.5%) था।
रिलेशन वैलिडिटी प्रेडिक्शन: एक सुपरवाइज्ड बाइनरी क्लासिफिकेशन टास्क में, Rcml ने स्पष्ट संबंध-जागरूक तंत्र की कमी वाले मॉडल्स की तुलना में विशिष्ट संबंध इंस्टेंस को मान्य करने में मजबूती और बेहतर प्रदर्शन दिखाया।
दक्षता (Efficiency): संबंध-सशर्त एम्बेडिंग्स की गणना करने के बावजूद, Rcml कुशल रहा (14.32 ms/sample) और इसका पैरामीटर काउंट (152.33M) CLIP के तुलनीय था, जो बहुत बड़े ImageBind (1200M+ पैरामीटर्स) से काफी बेहतर था, जो अधिकांश कार्यों पर कम प्रदर्शन कर रहा था।
एब्लेशन स्टडीज (Ablation Studies): इंटर-सैंपल संबंधों को हटाने से सबसे बड़ी गिरावट (38.68%) आई, जिससे मेनी-टू-मेनी लर्निंग की आवश्यकता की पुष्टि हुई। संबंधों के सिमेंटिक टेक्स्ट को हटाने से भी महत्वपूर्ण गिरावट (11.60%) हुई, जो प्रासंगिक मार्गदर्शन के महत्व को रेखांकित करती है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि Rcml रिलेशन-अवेयर मल्टीमॉडल रिप्रजेंटेशन लर्निंग के लिए एक सामान्य और विस्तार योग्य ढांचा प्रदान करता है। सिमेंटिक संबंधों को सहायक संकेतों के बजाय स्पष्ट शर्तों के रूप में मानकर, यह ढांचा ऐसे एम्बेडिंग स्पेस सीखता है जो अधिक संरचित और लचीले हैं, जो सैंपल्स को उस विशिष्ट रिलेशनल संदर्भ के अनुसार व्यवस्थित करते हैं जिसमें उनकी तुलना की जाती है। लेखक तर्क देते हैं कि यह दृष्टिकोण उन कार्यात्मक और इरादा-संचालित जुड़ावों को पकड़ता है जिन्हें सतही समानता मॉडल मिस कर देते हैं, जिससे उन डाउनस्ट्रीम कार्यों के लिए एक अधिक प्रभावी समाधान मिलता है जहाँ प्रासंगिकता संदर्भ-निर्भर होती है। यह कार्य सुझाव देता है कि भविष्य के मल्टीमॉडल सिस्टम को स्टेटिक, सिंगल-एम्बेडिंग प्रतिमानों से आगे बढ़कर डायनेमिक, संबंध-सशर्त रिप्रजेंटेशन की ओर बढ़ना चाहिए।

मुख्य विचार: एक आकार सबके लिए उपयुक्त नहीं होता (One Size Does Not Fit All)

समाधान: "गिरगिट वाला" आईडी कार्ड (The "Chameleon" ID Card)

यह कैसे काम करता है (Mechanics)

उन्हें क्या मिला (परिणाम)

यह क्यों महत्वपूर्ण है

इसी तरह के और पेपर