💻 computer science

MVIGER: Multi-View Variational Integration of Complementary Knowledge for Generative Recommender

यह शोध पत्र MVIGER का प्रस्ताव करता है, जो एक एकीकृत वेरिएशनल फ्रेमवर्क है जो एक सीखने योग्य कैटेगोरिकल लेटेंट वेरिएबल के माध्यम से विविध प्रॉम्प्ट टेम्पलेट्स और आइटम इंडेक्स प्रकारों से प्राप्त पूरक प्राथमिकता ज्ञान को अनुकूल रूप से एकीकृत करके जनरेटिव रिकमेंडर सिस्टम्स में विसंगतियों को हल करता है।

मूल लेखक: Tongyoung Kim, Soojin Yoon, SeongKu Kang, Jinyoung Yeo, Dongha Lee

प्रकाशित 2026-04-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tongyoung Kim, Soojin Yoon, SeongKu Kang, Jinyoung Yeo, Dongha Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि ग्राहक अगली बार क्या खरीदना चाहता है। आपके पास आपकी मदद के लिए एक बहुत ही स्मार्ट AI असिस्टेंट (एक लार्ज लैंग्वेज मॉडल) है।

MVIGER नामक शोध पत्र एक विशिष्ट समस्या पर काम करता है: AI भ्रमित हो जाता है जब आप एक ही सवाल को थोड़े अलग तरीकों से पूछते हैं या वस्तुओं का वर्णन अलग तरह से करते हैं।

यहाँ समस्या और समाधान का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है।

समस्या: "भ्रमित शेफ" (The Confused Chef)

कल्पना कीजिए कि आपके पास एक शानदार शेफ (AI) है जो आपकी पसंद को जानता है। आप चाहते हैं कि वह आपको आपके अगले भोजन का सुझाव दे।

प्रॉम्प्ट (सवाल): कभी-कभी आप पूछते हैं, "मुझे आगे क्या खाना चाहिए?" दूसरी बार आप पूछते हैं, "मैंने पहले जो खाया है उसके आधार पर एक डिश सुझाएं।" भले ही आपका मतलब एक ही है, लेकिन शेफ आपको थोड़े अलग उत्तर देता है।
इंडेक्स (मेन्यू विवरण): कभी-कभी आप भोजन का वर्णन उसके सामग्रियों (Semantic ID: "इसमें टमाटर और बेसिल है") के माध्यम से करते हैं। अन्य समय में, आप इसे इस आधार पर वर्णित करते हैं कि अन्य लोगों ने क्या खाया (Collaborative ID: "जिन लोगों ने पिज्जा खाया, उन्होंने यह भी खाया")।

शोधकर्ताओं ने पाया कि यदि वे सवाल बदल देते हैं या भोजन का वर्णन करने का तरीका बदल देते हैं, तो शेफ एक अलग टॉप रिकमेंडेशन (सुझाव) देता है।

ट्विस्ट: ये अलग-अलग उत्तर केवल रैंडम गलतियाँ नहीं थीं। वे वास्तव में पूरक (complementary) थे।
- जब एक तरीके से पूछा गया, तो शेफ को आपकी तीखी चीजों (spicy food) के प्रति पसंद याद आई (सामग्रियों से)।
- जब दूसरे तरीके से पूछा गया, तो उसे याद आया कि आपके दोस्तों ने यह डिश पसंद की थी (भीड़/क्राउड से)।
- इनमें से कोई भी उत्तर "गलत" नहीं था, लेकिन न ही कोई अकेला उत्तर "पूर्ण" था। वे पहेली के दो अलग टुकड़ों की तरह थे जो पूरी तस्वीर बनाने के लिए आपस में फिट बैठते हैं।

समाधान: "स्मार्ट मैनेजर" (MVIGER)

लेखकों ने इस समस्या को ठीक करने के लिए MVIGER नामक एक सिस्टम बनाया है। MVIGER को एक स्मार्ट मैनेजर के रूप में समझें जो आपके और शेफ के बीच खड़ा है।

केवल एक सवाल या एक मेन्यू स्टाइल के आधार पर शेफ को अनुमान लगाने देने के बजाय, मैनेजर तीन काम करता है:

कई दृष्टिकोण एकत्र करना: मैनेजर शेफ से एक ही सवाल को 10 अलग-अलग तरीकों से पूछता है, और 2 अलग-अलग मेन्यू स्टाइल का उपयोग करता है। इससे आपके अगले खरीदारी के बारे में 20 अलग-अलग "व्यूज़" या राय बनती हैं।
आपकी "टेस्ट प्रोफाइल" सीखना (The Prior): मैनेजर आपके इतिहास का अध्ययन करता है। वे एक पैटर्न सीखते हैं: "ओह, जब इस उपयोगकर्ता का शॉपिंग इतिहास लंबा होता है, तो वे 'सामग्री' वाले विवरण को पसंद करते हैं। लेकिन जब वे एक नए उपयोगकर्ता होते हैं, तो वे 'दोस्तों' वाले विवरण को पसंद करते हैं।"
- सिस्टम एक संभाव्यता मानचित्र (probability map/prior) सीखता है जो यह भविष्यवाणी करता है कि विशेष रूप से आपके लिए कौन सा व्यू सबसे अधिक सही होने की संभावना है।
अंतिम निर्णय लेना: जब सिफारिश करने का समय आता है, तो मैनेजर केवल एक रैंडम उत्तर नहीं चुनता। वे या तो:
- सबसे अच्छा चुनें: आपके इतिहास के आधार पर सबसे संभावित सिंगल व्यू को चुनें।
- सबसे अच्छे को मिलाएं: सभी व्यूज के अनुमानों को मिला दें, और उन व्यूज को अधिक महत्व दें जिन्हें मैनेजर आपके लिए सबसे प्रासंगिक मानता है।

यह कैसे काम करता है (जादुई ट्रिक)

यह पेपर वेरिएशनल इंटीग्रेशन (Variational Integration) नामक एक गणितीय अवधारणा का उपयोग करता है। सरल शब्दों में, यह वेटेड वोटिंग (Weighted Votes) के साथ एक वोटिंग सिस्टम की तरह है।

पुराना तरीका: आप AI से एक बार पूछते हैं, और वह आपको एक उत्तर देता है। यदि आप सवाल बदलते हैं, तो उत्तर बदल जाता है, और आपको पता नहीं चलता कि किस पर भरोसा किया जाए।
MVIGER का तरीका: AI कई संभावित उत्तर उत्पन्न करता है। फिर, एक "प्रायर नेटवर्क" (मैनेजर) आपके इतिहास को देखता है और कहता है, "इस विशिष्ट उपयोगकर्ता के लिए, 'सामग्री' पर आधारित उत्तर के सही होने की संभावना 70% है, और 'दोस्तों' पर आधारित उत्तर की संभावना 30% है।"
सिस्टम इन संभावनाओं को मिलाकर आपको एक अंतिम, अत्यधिक सटीक सिफारिश देता है, जो सुसंगत (consistent) है, भले ही सवाल या मेन्यू का विवरण बदल जाए।

परिणाम

शोधकर्ताओं ने वास्तविक दुनिया के डेटा (Amazon उत्पाद और Yelp रिव्यूज) पर इसका परीक्षण किया। उन्होंने पाया कि:

MVIGER ने सभी अन्य तरीकों को हरा दिया। यह पिछले सिस्टमों की तुलना में (जो बहुत बड़े AI मॉडल भी थे) अगला आइटम गेस करने में बेहतर था।
इसने सही संतुलन सीखा। इसने समझा कि कुछ उपयोगकर्ताओं के लिए "सामग्री" वाला व्यू अधिक महत्वपूर्ण था, जबकि अन्य के लिए "दोस्तों" वाला व्यू अधिक मायने रखता था।
यह कुशल था। भले ही इसने कई अलग-अलग व्यूज को देखा, फिर भी इसने अंतिम निर्णय लेने में बहुत अधिक अतिरिक्त समय नहीं लिया।

सारांश

MVIGER एक ऐसा सिस्टम है जो AI को सवाल पूछने के अलग-अलग तरीकों से भ्रमित होने से रोकता है। केवल एक तरीका चुनने के बजाय, यह कई तरीके पूछता है, यह सीखता है कि आपके लिए कौन सा तरीका सबसे अच्छा काम करता है, और उन सभी जवाबों के सबसे अच्छे हिस्सों को मिलाता है ताकि आपको एकदम सही सिफारिश दी जा सके। यह एक "भ्रमित शेफ" को "एक स्मार्ट मैनेजर के नेतृत्व में शेफ की एक टीम" में बदल देता है।

यहाँ शोध पत्र "MVIGER: Multi-View Variational Integration of Complementary Knowledge for Generative Recommender" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र जेनरेटिव रिकमेंडर सिस्टम्स (वे सिस्टम जो आइटम आईडी को सीधे उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स का उपयोग करते हैं) में एक महत्वपूर्ण विसंगति को संबोधित करता है। जबकि ये सिस्टम एलएम (LM) की तर्क क्षमताओं का लाभ उठाते हैं, उनका प्रदर्शन दो कारकों के प्रति अत्यधिक संवेदनशील होता है:

प्रॉम्ट टेम्पलेट्स (Prompt Templates): प्राकृतिक भाषा के निर्देशों में भिन्नता (जैसे, "अगला आइटम अनुमानित करें" बनाम "एक और आइटम की सिफारिश करें") आउटपुट वितरण (output distributions) में अंतर लाती है।
आइटम इंडेक्स प्रकार (Item Index Types): आइटमों को टोकन में एनकोड करने के विभिन्न तरीके (जैसे, उपयोगकर्ता व्यवहार पर आधारित कोलाबोरेटिव आईडी बनाम टेक्स्ट मेटाडेटा पर आधारित सिमेंटिक आईडी) आइटम ज्ञान के विभिन्न पहलुओं को कैप्चर करते हैं।

मुख्य समस्या: समान उपयोगकर्ता इंटरैक्शन इतिहास के साथ भी, प्रॉम्ट या इंडेक्स प्रकार बदलने से शीर्ष- $k$ भविष्यवाणियाँ काफी भिन्न हो जाती हैं। प्रारंभिक विश्लेषण से पता चलता है कि ये भिन्नताएं केवल शोर (noise) नहीं हैं; वे पूरक ज्ञान (complementary knowledge) को एनकोड करती हैं। उदाहरण के लिए, विभिन्न इंडेक्स प्रकारों के बीच सही ढंग से अनुमानित आइटमों का ओवरलैप 50% से भी कम है, और अलग-अलग प्रॉम्ट विशिष्ट प्रासंगिक बारीकियों (contextual nuances) को कैप्चर करते हैं। मौजूदा विधियाँ या तो एकल दृश्य (single view) पर निर्भर करती हैं (पूरक जानकारी को छोड़ देती हैं) या इंडेक्स को लापरवाही से जोड़ देती हैं (दृश्यों के बीच संभाव्य संबंध को मॉडल करने में विफल रहती हैं), जिससे उप-इष्टतम और असंगत सिफारिशें होती हैं।

2. कार्यप्रणाली: MVIGER (Methodology: MVIGER)

लेखक MVIGER (Multi-View Variational Integration of GEnerative Recommender) का प्रस्ताव करते हैं, जो इन विविध दृश्यों को व्यवस्थित रूप से एकीकृत करने के लिए डिज़ाइन किया गया एक एकीकृत वेरिएशनल फ्रेमवर्क है।

A. हेट्रोजेनियस आइटम इंडेक्स जनरेशन (Heterogeneous Item Index Generation)

MVIGER ज्ञान के विभिन्न स्रोतों को कैप्चर करने के लिए प्रत्येक आइटम के लिए दो अलग-अलग प्रकार के आइटम इंडेक्स का निर्माण करता है:

कोलाबोरेटिव इंडेक्स (CeID): यूजर-आइटम इंटरैक्शन एम्बेडिंग्स (LightGCN का उपयोग करके) से प्राप्त।
सिमेंटिक इंडेक्स (SeID): सेंटेंस-T5 के माध्यम से एनकोड किए गए आइटम मेटाडेटा (शीर्षक, विवरण) से प्राप्त।
क्वांटाइजेशन (Quantization): दोनों एम्बेडिंग्स को एक रेसिडुअल क्वांटाइज्ड वेरिएशनल ऑटोएनकोडर (RQ-VAE) का उपयोग करके पदानुक्रमित डिस्क्रीट टोकन अनुक्रमों में परिवर्तित किया जाता है। यह एलएलएम (LLM) को आइटम आईडी को टोकन-दर-टोकन ऑटोरिग्रेसिवली जेनरेट करने की अनुमति देता है।

B. मल्टी-व्यू वेरिएशनल फ्रेमवर्क (Multi-View Variational Framework)

MVIGER एक विशिष्ट प्रॉम्ट टेम्पलेट और एक आइटम इंडेक्स प्रकार के संयोजन को एक अलग "दृश्य" (view) के रूप में मानता है।

लेटेंट वेरिएबल (Latent Variable): एक दिया गया उपयोगकर्ता $z$ एक विशिष्ट दृश्य (टेम्पलेट + इंडेक्स) के चयन को दर्शाने के लिए एक कैटेगोरिकल लेटेंट वेरिएबल के रूप में पेश किया गया है।
संभाव्य सूत्रीकरण (Probabilistic Formulation): लक्ष्य उपयोगकर्ता इतिहास $H(u)$ $H (u)$ दिए जाने पर लक्षित आइटम $y^*$ $y^{*}$ की मार्जिनल संभावना को अधिकतम करना है:
$p(y^*|H(u)) = \sum_{z} p_\theta(y^*|z) p_\psi(z|H(u))$
जहाँ:
- $p_\theta(y^*|z)$ : लाइकलीहुड नेटवर्क (Likelihood Network) (जेनरेटिव रिकमेंडर) जो एक विशिष्ट दृश्य के आधार पर आइटम की भविष्यवाणी करता है।
- $p_\psi(z|H(u))$ : प्रायर नेटवर्क (Prior Network), एक सीखने योग्य फलन जो उपयोगकर्ता के इतिहास के आधार पर एक दृश्य के प्रासंगिक होने की संभावना का अनुमान लगाता है।

C. प्रशिक्षण प्रक्रिया (Training Procedure - Variational EM-style)

मॉडल को एविडेंस लोअर बाउंड (ELBO) को अनुकूलित करने के लिए प्रशिक्षित किया जाता है।

पोस्टीरियर गणना (Posterior Computation): इष्टतम वेरिएशनल पोस्टीरियर $q^*(z|H(u), y^*)$ को लाइकलीहुड और प्रायर के गुणनफल के रूप में क्लोज्ड फॉर्म में निकाला जाता है, जिसे सभी दृश्यों पर सामान्यीकृत (normalize) किया जाता है।
डिकपल्ड ऑप्टिमाइजेशन (Decoupled Optimization):
- लाइकलीहुड नेटवर्क ( $\theta$ ) को फिक्स्ड ऑप्टिमल पोस्टीरियर $q^*$ के तहत अपेक्षित लॉग-लाइक्लीहुड को अधिकतम करने के लिए अपडेट किया जाता है।
- प्रायर नेटवर्क ( $\psi$ ) को सीखे गए प्रायर और ऑप्टिमल पोस्टीरियर के बीच KL डाइवर्जेंस को कम करने के लिए अपडेट किया जाता है।
- प्रमुख नवाचार: क्योंकि $q^*$ क्लोज्ड फॉर्म में कंप्यूट किया जाता है, इसलिए ग्रेडिएंट्स इसके माध्यम से प्रवाहित नहीं होते हैं, जिससे दोनों नेटवर्क के स्थिर और डिकपल्ड अपडेट संभव होते हैं।

D. लचीला निष्कर्ष (Flexible Inference)

अनुमान (Inference) के समय, लक्षित आइटम अज्ञात होता है, इसलिए पोस्टीरियर सुलभ नहीं होता है। MVIGER एकीकरण को निर्देशित करने के लिए सीखे गए प्रायर नेटवर्क का उपयोग करता है:

सिंगल-व्यू सिलेक्शन (Single-View Selection): कुशल भविष्यवाणी के लिए सबसे संभावित दृश्य $z^* = \arg\max_z p_\psi(z|H(u))$ चुनें।
मल्टी-व्यू एग्रीगेशन (Multi-View Aggregation): सीखे गए प्रायर द्वारा भारित (weighted) सभी दृश्यों के माध्यम से भविष्यवाणियों को एकत्रित करें: $p(y|H(u)) = \sum_z p_\theta(y|z) p_\psi(z|H(u))$ । यह उच्च सटीकता के लिए पूरक ज्ञान का लाभ उठाता है।

3. प्रमुख योगदान (Key Contributions)

नया समस्या सूत्रीकरण (Novel Problem Formulation): यह शोध पत्र अनुभवजन्य रूप से प्रदर्शित करता है कि जेनरेटिव रिकमेंडर्स में प्रॉम्ट और इंडेक्स की भिन्नताएँ केवल अस्थिरता के स्रोत नहीं हैं, बल्कि वे पूरक ज्ञान को एनकोड करती हैं, जिसे एकीकृत करने से प्रदर्शन में उल्लेखनीय वृद्धि होती है।
एकीकृत वेरिएशनल फ्रेमवर्क (Unified Variational Framework): MVIGER एक संभाव्य मॉडल पेश करता है जो विविध टेम्पलेट-इंडेक्स संयोजनों को लेटेंट व्यू के रूप में मानता है। यह विविध दृश्यों को अनुकूल रूप से चुनने या एकत्रित करने के लिए एक यूजर-कंडीशन्ड प्रायर सीखता है, जो फिक्स्ड-इंडेक्स या साधारण कॉनकैटिनेशन (concatenation) दृष्टिकोणों की सीमाओं को पार करता है।
लचीला निष्कर्ष तंत्र (Flexible Inference Mechanism): यह फ्रेमवर्क दक्षता और सटीकता के बीच एक समझौता (trade-off) का समर्थन करता है। उपयोगकर्ता बिना रिट्रेनिंग के, सीखे गए प्रायर वितरण द्वारा नियंत्रित, एकत्रित करने के लिए दृश्यों की संख्या चुनकर, एकल दृश्य (तेज़) या कई दृश्यों को एकत्रित करने (सटीक) के बीच चुनाव कर सकते हैं।
स्टेट-ऑफ-द-आर्ट प्रदर्शन (State-of-the-Art Performance): व्यापक प्रयोगों से पता चलता है कि MVIGER सभी डेटासेट्स पर मौजूदा बेसलाइन (P5, TIGER, EAGER और LLM-आधारित विधियों सहित) को पछाड़ देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

डेटासेट्स: Amazon Beauty, Amazon Sports, और Yelp पर मूल्यांकन किया गया।
प्रदर्शन: MVIGER ने सभी डेटासेट्स में उच्चतम हिट रेशियो (H@5, H@10) और NDCG (N@5, N@10) प्राप्त किया।
- विशेष रूप से, MVIGER ने छोटे बैकबोन (T5-small) का उपयोग करने के बावजूद बड़े LLM-आधारित बेसलाइन्स (जैसे Llama-7B पर आधारित EAGER) को पछाड़ दिया, जो यह सिद्ध करता है कि इस संदर्भ में पूरक ज्ञान का प्रभावी एकीकरण मॉडल के पैमाने (scale) से अधिक महत्वपूर्ण है।
एब्लेशन स्टडीज (Ablation Studies):
- इंडेक्स चयन: सिंगल-व्यू मॉडल (केवल CeID या केवल SeID) एकीकृत MVIGER की तुलना में काफी खराब प्रदर्शन करते हैं, जो कोलाबोरेटिव और सिमेंटिक संकेतों की पूरकता की पुष्टि करते हैं।
- एग्रीगेशन: MVIGER का सीखा गया प्रायर एग्रीगेशन "सेल्फ-कंसिस्टेंसी" (बहुमत वोटिंग) और "यूनिफॉर्म प्रायर" (समान वेटिंग) जैसे सरल बेसलाइन्स से बेहतर रहा, जो उपयोगकर्ता-विशिष्ट दृश्य भार (view weights) सीखने के महत्व को दर्शाता है।
प्रायर विश्लेषण (Prior Analysis): सीखे गए प्रायर के विज़ुअलाइज़ेशन से पता चला कि कोल्ड-स्टार्ट यूजर्स अधिक सिमेंटिक आईडी (टेक्स्ट-आधारित) पर निर्भर रहते हैं, जबकि समृद्ध इंटरैक्शन इतिहास वाले यूजर्स अधिक कोलाबोरेटिव आईडी (व्यवहार-आधारित) पर निर्भर रहते हैं। यह पुष्टि करता है कि मॉडल सार्थक, संदर्भ-जागरूक वेटिंग रणनीतियों को सीखता है।
दक्षता (Efficiency): प्रायर नेटवर्क का इन्फरेंस ओवरहेड नगण्य है (~0.01s प्रति यूजर), और बैच प्रोसेसिंग कुशल मल्टी-टेम्पलेट इन्फरेंस की अनुमति देता है।

5. महत्व (Significance)

जेनरेटिव रिकमेंडर्स में स्थिरता: MVIGER प्रॉम्ट/इंडेक्स संवेदनशीलता के कारण होने वाली "अस्थिरता" की समस्या को हल करता है और इसे एक बग के बजाय एक फीचर (पूरक दृश्य) में बदल देता है।
संभाव्य एकीकरण (Probabilistic Integration): यह हेट्रोजेनियस सूचना स्रोतों को फ्यूज करने के लिए ह्यूरिस्टिक कॉनकैटिनेशन या सरल एन्सेम्बल विधियों से आगे बढ़कर एक कठोर संभाव्य ढांचे (Variational Inference) को प्रदान करता है।
स्केलेबिलिटी और अनुकूलन क्षमता: यह फ्रेमवर्क विशिष्ट इंडेक्स प्रकारों तक सीमित नहीं है (CeID/SeID या P5 के CID/SemID के साथ काम करता है) और विभिन्न कम्प्यूटेशनल बजटों के अनुसार अनुकूलित हो सकता है।
भविष्य की दिशा: यह कार्य रेखांकित करता है कि "मल्टी-व्यू" लर्निंग अगली पीढ़ी के रिकमेंडर सिस्टम के लिए एक आशाजनक दिशा है, जो सुझाव देता है कि भविष्य के कार्य अतिरिक्त दृश्यों के रूप में विजुअल, प्राइस या एक्सटर्नल नॉलेज को शामिल कर सकते हैं।