🤖 machine learning

RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities

RePercENT एक स्व-पर्यवेक्षित (self-supervised), प्लग-एंड-प्ले फ्रेमवर्क है जो संयुक्त पूर्व-प्रशिक्षण (joint pre-training) की आवश्यकता के बिना पूर्व-निकाले गए एम्बेडिंग्स पर कार्य करके दो से अधिक मोडैलिटीज में विलगित प्रतिनिधित्व शिक्षण (disentangled representation learning) को सक्षम करने के लिए मौजूदा विधियों की स्केलेबिलिटी सीमाओं को दूर करता है।

मूल लेखक: Vasiliki Rizou, Pascal Frossard, Dorina Thanou

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vasiliki Rizou, Pascal Frossard, Dorina Thanou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप तीन अलग-अलग दोस्तों द्वारा सुनाई जा रही एक जटिल कहानी को समझने की कोशिश कर रहे हैं: एक केवल चित्रों में बोलता है, एक संगीत में, और एक टेक्स्ट (लेख) में। लंबे समय से, AI शोधकर्ता इन दोस्तों को एक ही मिश्रित सारांश में जबरदस्ती डालकर उन्हें "सहमत" करने की कोशिश कर रहे हैं। यह तब तो अच्छा काम करता है जब वे सब बिल्कुल एक ही बात कह रहे हों, लेकिन यह तब विफल हो जाता है जब उनके पास ऐसे अनूठे रहस्य होते हैं जो दूसरों को नहीं पता होते।

यह शोध पत्र एक नई विधि पेश करता है जिसे RePercENT (रिड्यूस्ड-कॉम्प्लेक्सिटी पर्सिवर-बेस्ड डिसेंटैंगलमेंट) कहा जाता है, ताकि इस समस्या को हल किया जा सके। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है:

समस्या: "स्मूदी" बनाम "सलाद"

अधिकांश वर्तमान AI मॉडल मल्टीमॉडल डेटा के साथ एक स्मूदी की तरह व्यवहार करते हैं। वे इमेज, टेक्स्ट और ऑडियो को आपस में इस तरह मिला देते हैं कि आप यह पहचान ही नहीं पाते कि एक सामग्री कहाँ समाप्त होती है और दूसरी कहाँ शुरू होती है। यह सामान्य समझ के लिए तो बढ़िया है, लेकिन यदि आप यह जानना चाहते हैं कि संगीत ने वह क्या योगदान दिया जो टेक्स्ट ने नहीं दिया, तो आप उसे अलग नहीं कर सकते।

इसके अलावा, मौजूदा विधियाँ एक दो-व्यक्ति नृत्य की तरह हैं। वे दो दोस्तों (जैसे, इमेज और टेक्स्ट) के बीच के कदमों को समझने में माहिर हैं, लेकिन यदि आप एक तीसरा दोस्त (जैसे, मॉलिक्यूलर डेटा) जोड़ देते हैं, तो डांस फ्लोर बहुत भीड़भाड़ वाला हो जाता है, और गणित को हल करना असंभव हो जाता है।

समाधान: "स्मार्ट सॉर्टिंग हैट" (बुद्धिमान छँटाई टोपी)

RePercENT एक स्मार्ट सॉर्टिंग हैट की तरह कार्य करता है जो बिना घबराए पूरे समूह को एक साथ संभाल सकता है। सब कुछ एक स्मूदी में मिलाने के बजाय, यह एक सलाद बनाता है जहाँ हर सामग्री अपनी पहचान बनाए रखती है लेकिन फिर भी एक ही व्यंजन का हिस्सा होती है।

यहाँ बताया गया है कि यह जादू कैसे करता है:

"प्लग-एंड-प्ले" किचन:
कल्पना कीजिए कि आपके पास पहले से ही कटे हुए सब्जियाँ हैं (ये CLIP जैसे शक्तिशाली AI मॉडलों से प्राप्त "एम्बेडिंग्स" हैं)। RePercENT को खुद सब्जियाँ काटने या खाना बनाना सीखने की आवश्यकता नहीं है। यह बस इन पहले से तैयार किए गए अवयवों को लेता है और उन्हें छाँटता है। इसका मतलब है कि यह किसी भी प्रकार के डेटा (इमेज, टेक्स्ट, मेडिकल स्कैन) के साथ काम कर सकता है बिना इसे शुरुआत से फिर से प्रशिक्षित किए।
"पेयरवाइज" रणनीति (सीक्रेट सॉस):
सबसे बड़ी बाधा यह थी कि 3 दोस्तों के साथ, उनके बीच बातचीत के कई तरीके होते हैं (A+B, B+C, A+C, और A+B+C)। इस सब को एक साथ मैप करने की कोशिश करना हेडफ़ोन की एक उलझी हुई गांठ को सुलझाने जैसा है।
RePercENT इसे जोड़ों (pairs) को देखकर हल करता है। यह पूछता है: "दोस्त A, दोस्त B के साथ क्या साझा करता है?" और "दोस्त A अपने पास क्या रखता है?" यह हर जोड़े के लिए व्यक्तिगत रूप से ऐसा करता है।

उपमा: एक पूरे ऑर्केस्ट्रा को एक साथ व्यवस्थित करने के बजाय, कंडक्टर वायलिन सेक्शन को सुनता है, फिर ब्रास सेक्शन को, फिर वुडविंड्स को, यह समझने के लिए कि वे मिलकर क्या बजाते हैं और वे अकेले क्या बजाते हैं। यह काम को सरल और स्केलेबल रखता है, चाहे आप कितने भी वाद्य यंत्र जोड़ दें।

"प्रतियोगिता" का खेल:
सिस्टम के भीतर, छोटे "स्लॉट्स" (सोचिए कि ये खाली बाल्टियाँ हैं) होते हैं। सिस्टम एक विशेष खेल का उपयोग करता है जिसे ग्रुप स्लॉट अटेंशन कहा जाता है।

कल्पना कीजिए कि दो बाल्टियाँ हैं जिन पर "साझा रहस्य" (Shared Secret) और "मेरा अपना रहस्य" (My Own Secret) लिखा है।
जब जानकारी आती है, तो ये दोनों बाल्टियाँ उसे पकड़ने के लिए प्रतिस्पर्धा करती हैं।
यदि जानकारी ऐसी है जो दोनों दोस्त जानते हैं, तो "साझा" बाल्टी जीत जाती है। यदि वह कुछ ऐसा है जो केवल एक दोस्त जानता है, तो "अपना रहस्य" बाल्टी जीत जाती है।
यह प्रतिस्पर्धा सुनिश्चित करती है कि AI आलसी न हो जाए और सब कुछ एक ही बाल्टी में न डाल दे; यह उसे सटीक होने के लिए मजबूर करती है।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

यह स्केल करता है: आप अधिक दोस्तों (मोडालिटीज) को जोड़ सकते हैं बिना सिस्टम के क्रैश हुए या इसके महंगा हुए। यह रैखिक रूप से बढ़ता है (एक और दोस्त जोड़ने से काम का एक अनुमानित हिस्सा बढ़ता है), जबकि पुराने तरीके घातीय (exponentially) रूप से बढ़ते थे (एक दोस्त जोड़ने से गणित विस्फोट जैसा हो जाता था)।
यह गायब दोस्तों को भी संभालता है: यदि कोई दोस्त पार्टी में देर से आता है (मिसिंग डेटा), तो सिस्टम टूटता नहीं है। क्योंकि इसने जोड़ों के आधार पर जानकारी को छाँटना सीखा है, इसलिए यह उन दोस्तों के "साझा" और "अद्वितीय" हिस्सों को अभी भी समझ सकता है जो वहाँ मौजूद हैं।
यह वास्तविक जीवन में काम करता है: लेखकों ने इसका परीक्षण किया:
- आलंकारिक भाषा (Figurative Language): मुहावरों और रूपकों को समझना (जैसे, "It's raining cats and dogs")। उन्होंने पाया कि "साझा" अर्थ को "अद्वितीय" दृश्य विवरणों से अलग करने से AI को इन कठिन वाक्यांशों को मानक मॉडलों की तुलना में बेहतर समझने में मदद मिली।
- मेडिकल ऑन्कोलॉजी: उन्होंने इसका उपयोग कैंसर डेटा (टिश्यू स्लाइड्स की इमेज, मॉलिक्यूलर डेटा और पेशेंट रिकॉर्ड) पर किया। उन्होंने पाया कि मॉलिक्यूलर डेटा से जो अद्वितीय है उसे इमेज के साथ साझा की गई चीज़ों से अलग करके, वे कैंसर के प्रकारों की अधिक सटीक भविष्यवाणी कर सके, खासकर उन कठिन मामलों में जहाँ कच्चा डेटा भ्रमित करने वाला था।

निचोड़

RePercENT चीजों को गंदे मिश्रण में मिलाए बिना, कई सूचना स्रोतों को सुनने के लिए AI को सिखाने का एक नया तरीका है। यह एक चतुर "जोड़ी-दर-जोड़ी" छँटाई प्रणाली का उपयोग करता है जो कुशल है, डेटा गायब होने पर भी मजबूत है, और गणितीय रूप से सिद्ध है कि यह साझा और अद्वितीय के बीच का सर्वोत्तम अलगाव ढूंढ सकता है। यह सूचना की उलझी हुई गांठ को स्पष्ट, अलग और समझने योग्य टुकड़ों के एक व्यवस्थित सेट में बदल देता है।

तकनीकी सारांश: RePercENT

समस्या विवरण (Problem Statement)

मल्टीमॉडल मशीन लर्निंग का लक्ष्य विविध स्रोतों (जैसे, चित्र, पाठ, ऑडियो) से सूचनाओं का संश्लेषण और उन पर तर्क करना है। जबकि वर्तमान अत्याधुनिक (state-of-the-art) दृष्टिकोण क्रॉस-मोडलिटी संरेखण (alignment) और फ्यूजन पर ध्यान केंद्रित करते हैं, ये विधियाँ अक्सर उलझी हुई (entangled) प्रस्तुतियों का परिणाम देती हैं जहाँ साझा और मोडैलिटी-विशिष्ट जानकारी आपस में मिल जाती है। यह व्याख्यात्मकता (interpretability) और इस बात की पहचान करने की क्षमता को सीमित करता है कि कौन सी मोडैलिटीज़ अद्वितीय बनाम रेडंडेंट (redundant) जानकारी में योगदान देती हैं।

विघटित प्रतिनिधित्व शिक्षण (disentangled representation learning) में एक महत्वपूर्ण बाधा स्केलेबिलिटी (scalability) है। अधिकांश पूर्व कार्य दो-मोडैलिटी शासन तक ही सीमित हैं। जैसे-जैसे मोडैलिटीज की संख्या ( $M$ ) बढ़ती है, साझा और अद्वितीय कारकों की संख्या तेजी से ( $O(2^M)$ ) बढ़ती है, जिससे उन्हें मॉडल करना कठिन हो जाता है। इसके अलावा, दो मोडैलिटीज से परे सभी क्रॉस-मोडल इंटरैक्शनों को स्पष्ट रूप से वर्णित करने वाले सुलभ अनुकूलन उद्देश्य (optimization objectives) सीमित हैं। वास्तविक दुनिया का डेटा अक्सर रेडंडेंसी को कम करने और प्रासंगिक जानकारी को संरक्षित करने के बीच एक ट्रेड-ऑफ प्रस्तुत करता है, और केवल न्यूनतम आवश्यक सूचना (Minimal Necessary Information - MNI) को कैप्चर करना 'रिप्रेजेंटेशनल कोलैप्स' से बचने के लिए महत्वपूर्ण है।

कार्यप्रणाली (Methodology): RePercENT

लेखक RePercENT (Reduced-complexity Perceiver-based disENTanglement) का प्रस्ताव करते हैं, जो एक सेल्फ-सुपरवाइज्ड फ्रेमवर्क है जिसे दो मोडैलिटीज से परे डिसेंटैंगल्ड रिप्रेजेंटेशन लर्निंग को स्केल करने के लिए डिज़ाइन किया गया है।

मुख्य आर्किटेक्चर (Core Architecture)

RePercENT सीधे फाउंडेशन मॉडल्स (FMs) से निकाले गए प्री-एक्सट्रैक्टेड एम्बेडिंग्स पर काम करता है, जिससे व्यापक जॉइंट प्री-ट्रेनिंग की आवश्यकता समाप्त हो जाती है और यह दृष्टिकोण मोडैलिटी-अज्ञेयवादी (modality-agnostic) बन जाता है।

पेयरवाइज डिकंपोजिशन (Pairwise Decomposition): सभी $2^M$ $2^{M}$ परमाणु कारकों को मॉडल करने के बजाय, RePercENT पेयरवाइज इंटरैक्शन को मॉडल करता है। प्रत्येक मोडैलिटी जोड़ी $(i, j)$ $(i, j)$ के लिए, यह व्युत्पन्न करता है:
- अद्वितीय घटक ( $u_{ij}$ ): $j$ के सापेक्ष मोडैलिटी $i$ के लिए अद्वितीय सूचना।
- साझा घटक ( $s_{ij}$ ): $i$ और $j$ के बीच साझा सूचना।
  यह घटकों की जटिलता को $O(2^M)$ से घटाकर $O(M^2)$ कर देता है, जबकि सभी क्रॉस-मोडल इंटरैक्शन को सुरक्षित रखता है।
डिसेंटैंगलमेंट मॉड्यूल ( $D_i$ ): प्रत्येक मोडैलिटी की कंपोजिट रिप्रेजेंटेशन $Z_i$ को एक समर्पित मॉड्यूल द्वारा प्रोसेस किया जाता है। यह मॉड्यूल एक लर्नबल लेटेंट ऐरे $H_i$ का उपयोग करता है जिसमें $N = 2(M-1)$ स्लॉट्स होते हैं।
रूटिंग मैकेनिज्म (Routing Mechanisms):
- सिमेंटिक एनकोडिंग: प्रत्येक लेटेंट स्लॉट को लर्नबल पेयर एनकोडिंग्स (मोडैलिटी जोड़ी की पहचान करने के लिए) और टाइप एनकोडिंग्स ("अद्वितीय" या "साझा" की पहचान करने के लिए) के साथ संवर्धित किया जाता है।
- ग्रुप स्लॉट अटेंशन (Group Slot Attention): एक स्ट्रक्चरल रूटिंग मैकेनिज्म जहाँ एक विशिष्ट जोड़ी $(u_{ij}, s_{ij})$ के अनुरूप स्लॉट्स एक ही इनपुट एम्बेडिंग्स पर प्रतिस्पर्धा करते हैं। यह जोड़ी के भीतर विशेषज्ञता को लागू करता है जबकि विभिन्न जोड़ियों के बीच स्वतंत्रता बनाए रखता है।
स्केलेबिलिटी (Scalability): फ्रेमवर्क को केवल एक एनकोडर प्रति मोडैलिटी की आवश्यकता होती है, जो प्रत्येक रिप्रेजेंटेशन के लिए अलग-अलग एनकोडर का उपयोग करने वाले तरीकों की तुलना में संरचनात्मक जटिलता में रैखिक स्केलिंग $O(M)$ प्राप्त करता है।

अनुकूलन उद्देश्य (Optimization Objective)

फ्रेमवर्क एक संयुक्त अनुकूलन उद्देश्य (joint optimization objective) का उपयोग करता है ताकि क्रमिक डिकंपोजिशन के बजाय साझा और अद्वितीय घटकों को एक साथ निकाला जा सके। प्रत्येक जोड़ी $(i, j)$ के लिए, उद्देश्य अधिकतम करता है:
$J(\theta_{ij}) = \alpha(L_{si} + L_{sj}) + L_{ui} + L_{uj}$
जहाँ:

साझा लॉस ( $L_{si}, L_{sj}$ ): साझा रिप्रेजेंटेशन को क्रॉस-मोडल प्रासंगिकता ( $I(s_{ij}; X_j)$ ) कैप्चर करने के लिए प्रोत्साहित करता है, जबकि उस सूचना को कम करता है जो केवल स्रोत मोडैलिटी द्वारा स्पष्ट की जा सकती है ( $I(s_{ij}; X_i | X_j)$ )।
अद्वितीय लॉस ( $L_{ui}, L_{uj}$ ): स्रोत-मोडलिटी सूचना ( $I(u_{ij}, s_{ji}; X_i)$ ) को संरक्षित करता है जबकि मोडैलिटीज के बीच अद्वितीय और साझा घटकों के बीच ओवरलैप ( $I(u_{ij}; s_{ji})$ ) को दंडित करता है।

सूचना-सैद्धांतिक (information-theoretic) पदों को सुलभ सरोगेट लॉस का उपयोग करके अनुमानित किया जाता है: म्यूचुअल इंफॉर्मेशन के लिए InfoNCE, कंडीशनल म्यूचुअल इंफॉर्मेशन के लिए KL-डाइवर्जेंस, और रेडंडेंसी के लिए क्रॉस-कोवेरिएंस पेनल्टी।

सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर औपचारिक अनुकूलता गारंटी प्रदान करता है:

सटीक अनुकूलता (Exact Optimality): इस शर्त के तहत कि न्यूनतम आवश्यक सूचना (MNI) प्राप्त करने योग्य है और वेटिंग पैरामीटर $\alpha > \lambda$ है, संयुक्त उद्देश्य उसी ग्लोबल ऑप्टिमम को स्वीकार करता है जो एक आदर्श स्टेप-बाय-स्टेप ऑप्टिमाइज़र का होता है।
निकट-अनुकूलता (Near-Optimality): जब MNI प्राप्त करना संभव नहीं होता (एक सामान्य वास्तविक परिदृश्य), तो सिद्ध होता है कि संयुक्त उद्देश्य निकट-इष्टतम है, जिसका समाधान सूचना अंतराल (information gap) से संबंधित एक सुलभ स्थिरांक द्वारा सीमित है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डोमेन में RePercENT का मूल्यांकन किया: सिंथेटिक डेटा, फिगरेटिव लैंग्वेज अंडरस्टैंडिंग (IRFL), और मल्टीमॉडल ऑन्कोलॉजी (TCGA)।

स्केलेबिलिटी और घटक रिकवरी (सिंथेटिक):
- RePercENT ने मोडैलिटी बढ़ने पर ( $M=2$ से $5$) पैरामीटर काउंट में रैखिक स्केलिंग प्रदर्शित की, जबकि बेसलाइन (MLP, GRU, gMLP) को घातीय (exponential) वृद्धि की आवश्यकता थी या वे घटक पतन (component collapse) का शिकार हुए।
- RePercENT ने सभी मोडैलिटी काउंट के लिए प्रतिस्पर्धी डिसेंटैंगलमेंट प्रदर्शन (उच्च इंट्रा-कंपोनेंट प्रेडिक्शन, कम क्रॉस-कंपोनेंट लीकेज) बनाए रखा, जबकि GRU और MLP जैसी बेसलाइन $M$ बढ़ने पर अद्वितीय घटकों को रिकवर करने में विफल रहीं।
- इसने $M=3$ पर काफी कम पैरामीटर्स (लगभग 47% कम) और FLOPs के साथ gMLP के बराबर प्रदर्शन हासिल किया।
फिगरेटिव लैंग्वेज (IRFL):
- फिगुरेटिव टेक्स्ट (मुहावरे, रूपक, उपमा) को छवियों से मिलाने के कार्य पर, RePercENT ने फाइन-ट्यून्ड CLIP वेरिएंट और अन्य डिसेंटैंगलमेंट बेसलाइनों को पछाड़ दिया।
- विधि ने विशेष रूप से अमूर्त, संदर्भ-निर्भर कार्यों (मुहावरे और रूपक) को संभालने में मजबूती दिखाई जहाँ साझा घटकों को अलग करना फायदेमंद साबित हुआ।
- एब्लेशन अध्ययनों ने पुष्टि की कि सिमेंटिक एनकोडिंग और ग्रुप स्लॉट अटेंशन दोनों प्रदर्शन के लिए महत्वपूर्ण हैं।
मल्टीमॉडल ऑन्कोलॉजी (TCGA):
- क्लिनिकल, पैथोलॉजी, WSI और मॉलिक्यूलर डेटा से एम्बेडिंग्स का उपयोग करते हुए, RePercENT ने अधिकांश कैंसर प्रकारों के लिए मूल HONeYBEE एम्बेडिंग्स की तुलना में कैंसर-प्रकार वर्गीकरण सटीकता में सुधार किया।
- विशेष रूप से, उन कैंसर प्रकारों के लिए जहाँ रॉ मॉलिक्यूलर एम्बेडिंग्स अनइंफॉर्मेटिव थे (जैसे, KIRC, LGG), विघटित साझा रिप्रेजेंटेशन ने महत्वपूर्ण प्रेडिक्टिव स्ट्रक्चर को रिकवर किया।
- लुप्त मोडैलिटीज के प्रति मजबूती (Robustness to Missing Modalities): उन प्रयोगों में जहाँ WSI डेटा को धीरे-धीरे हटाया गया, RePercメント ने उच्च मैक्रो-F1 स्कोर बनाए रखा, जबकि फ्यूजन बेसलाइन्स (ड्रॉपआउट के साथ प्रशिक्षित सहित) तेजी से गिर गईं। यह इन्फरेंस स्ट्रक्चर के कारण है जहाँ घटकों को केवल उपलब्ध मोडैलिटी से प्राप्त किया जाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि RePercENT एक सिद्धांतिक ढांचा (principled framework) प्रदान करता है जो सूचना-सैद्धांतिक आधारों को व्यावहारिक, स्केलेबल कार्यान्वयन के साथ जोड़ता है। इसके प्राथमिक योगदान हैं:

स्केलेबिलिटी: यह सफलतापूर्वक मल्टीमोडल डिसेंटैंगलमेंट की घातीय स्केलिंग बाधा को दूर करता है, जिससे दो मोडैलिटीज से अधिक के लिए अद्वितीय और साझा कारकों को निकालने में रैखिक जटिलता के साथ सक्षम बनाया जाता है।
प्लग-एंड-प्ले डिज़ाइन: प्री-एक्सट्रैक्टेड एम्बेडिंग्स पर काम करके, यह मोडैलिटी प्रकारों और बैकबोन आर्किटेक्चर के प्रति अज्ञेयवादी है, जिससे मौजूदा पाइपलाइनों में आसान एकीकरण की सुविधा मिलती है।
सैद्धांतिक आधार: यह अपने संयुक्त अनुकूलन दृष्टिकोण के लिए औपचारिक अनुकूलता गारंटी प्रदान करता है, जो इसके सैद्धांतिक अखंडता के साथ-साथ अनुभवजन्य सफलता को सुनिश्चित करता है।
मजबूती: इसका आर्किटेक्चर जटिल इम्प्यूटेशन के बिना लुप्त मोडैलिटीज को स्वाभाविक रूप से संभालता है, जो इसे वास्तविक दुनिया के क्लिनिकल और वैज्ञानिक सेटिंग्स के लिए उपयुक्त बनाता है जहाँ डेटा पूर्णता की गारंटी नहीं होती है।

लेखक निष्कर्ष निकालते हैं कि RePercENT सरल संरेखण (alignment) से आगे बढ़कर, विभिन्न मोडैलिटीज के बीच कैसे इंटरैक्शन होता है, इसकी सूक्ष्म समझ विकसित करने के लिए अधिक विश्वसनीय, व्याख्यात्मक और यांत्रिक रूप से आधारित मल्टीमोडल रिप्रेजेंटेशन का मार्ग प्रशस्त करता है।