📊 statistics

Causal Representation Learning for Generalisable Recommendation

यह शोध पत्र एक व्यावहारिक कारण प्रतिनिधित्व शिक्षण (कौज़ल रिप्रेजेंटेशन लर्निंग) विधि प्रस्तावित करता है जो केवल मौजूदा कन्फाउंडेड लॉग्स का लाभ उठाकर सूचना-सैद्धांतिक विसंयोजन मानदंड (इन्फॉर्मेशन-थियोरेटिक डिसेंटैंगलमेंट क्राइटेरियन) का उपयोग करके अनुशंसा प्रणालियों में आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण में सुधार करता है, जिसका दावा एक बड़े पैमाने के स्पॉटिफ़ाई ए/बी टेस्ट के साथ सार्वजनिक और सिंथेटिक बेंचमार्क के साथ-साथ पर्याप्त ऑनलाइन जुड़ाव लाभों द्वारा मान्य किया गया है।

मूल लेखक: Yorgos Felekis, Michael O'Riordan, Oriol Corcoll, Ciarán M. Gilligan-Lee

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yorgos Felekis, Michael O'Riordan, Oriol Corcoll, Ciarán M. Gilligan-Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप आपके लिए गाने चुनने के लिए एक म्यूजिक रिकमेंडेशन AI को प्रशिक्षित कर रहे हैं। आप इसे लाखों रिकॉर्ड्स खिलाते हैं जो अतीत में लोगों द्वारा क्लिक किए गए थे। समस्या यह है कि वे पिछले क्लिक दुनिया के सभी संगीत का एक रैंडम सैंपल नहीं हैं। वे उन चीज़ों की एक फ़िल्टर्ड लिस्ट हैं जो पुराने AI ने लोगों को दिखाई थीं, और साथ ही वह भी है जो लोग उस समय पसंद कर रहे थे।

यह बिल्कुल वैसा ही है जैसे आप यह सीखने की कोशिश कर रहे हों कि शहर में सबसे अच्छा पिज्जा कौन सा है, लेकिन आपको केवल वही स्लाइस मिलते हैं जो डिलीवरी ड्राइवर संयोग से आपके घर छोड़ जाता है। अगर ड्राइवर हमेशा आपके पास पेपरोनी लेकर आता है क्योंकि उसे लगता है कि आपको यह पसंद है, तो आपको लगने लगेगा कि पेपरोनी ही एकमात्र अच्छा पिज्जा है, भले ही आपने कभी वेजी पिज्जा देखा न हो और आपको वह भी बहुत पसंद आता।

यह शोध पत्र, जिसका शीर्षक "Causal Representation Learning for Generalisable Recommendation" है, इसी समस्या का समाधान करता है। लेखक, जो Spotify के साथ काम कर रहे हैं, रिकमेंडेशन सिस्टम को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं ताकि वे इन "डिलीवरी ड्राइवर" वाले पूर्वाग्रहों (biases) से धोखा न खाएं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

समस्या: "स्पूरियस सिग्नल" (Spurious Signal)

डेटा की दुनिया में, संकेतों के दो प्रकार होते हैं:

वास्तविक कारण (Real Causes): वह वास्तविक कारण जिससे कोई व्यक्ति किसी गाने को पसंद करता है (जैसे, उन्हें जैज़ पसंद है)।
स्पूरियस सिग्नल (Spurious Signals): वे संयोग जो कारणों की तरह दिखते हैं लेकिन वास्तव में नहीं होते (जैसे, गाना इसलिए बजाया गया क्योंकि उपयोगकर्ता एक विशिष्ट शहर में था जहाँ पुराने एल्गोरिदम ने जैज़ को बढ़ावा दिया था)।

मानक AI मॉडल नकल करने वाले छात्रों की तरह होते हैं। वे "स्पूरियस सिग्नल्स" (चीटिंग शीट) को रट लेते हैं क्योंकि इससे उन्हें प्रैक्टिस एग्जाम (ट्रेनिंग डेटा) में उच्च स्कोर प्राप्त करने में मदद मिलती है। लेकिन जब वे असली टेस्ट (नए उपयोगकर्ताओं के साथ लाइव ऐप) देते हैं, तो वे विफल हो जाते हैं क्योंकि वह चीटिंग शीट अब लागू नहीं होती।

समाधान: "कॉज़ल डिटैंगलर" (The Causal Detangler)

लेखक एक विधि प्रस्तावित करते हैं जिसे Causal Representation Learning (CRL) कहा जाता है। उनके तरीके को एक "कॉज़ल डिटैंगलर" के रूप में सोचें।

वे चाहते हैं कि AI एक गाने का एक "साफ" (clean) प्रतिनिधित्व सीखे। इस साफ संस्करण में केवल वही जानकारी होनी चाहिए जो वास्तव में किसी उपयोगकर्ता के क्लिक करने का कारण बनती है ("वास्तविक कारण")। इसे "स्पूरियस सिग्नल्स" (पूर्वाग्रहों) को सक्रिय रूप से फेंक देना चाहिए।

इसे करने के लिए, उन्होंने AI के लिए एक नया नियम बनाया है, जिसे वे Disentanglement Criterion कहते हैं। आप इस नियम को एक सख्त शिक्षक के रूप में देख सकते हैं जो AI को दो निर्देश देता है:

उपयोगी बनें (Be Useful): "आपको अभी भी यह भविष्यवाणी करने में सक्षम होना चाहिए कि क्या कोई उपयोगकर्ता क्लिक करेगा।" (अच्छी चीज़ों को रखें)।
स्वतंत्र बनें (Be Independent): "लेकिन केवल गाने को देखकर आप उपयोगकर्ता की पृष्ठभूमि या पुराने एल्गोरिदम के पूर्वाग्रह का अनुमान नहीं लगा पाने चाहिए।" (बुरी चीज़ों को फेंक दें)।

यदि AI भविष्यवाणी करने के लिए "चीटिंग शीट" (स्पूरियस सिग्नल) का उपयोग करने की कोशिश करता है, तो यह नियम उसे दंडित करता है। AI सीख जाता है कि उच्च स्कोर प्राप्त करने का एकमात्र तरीका संगीत के वास्तविक कारणों को समझना है, न कि आकस्मिक पैटर्न को।

उन्होंने कैसे साबित किया कि यह काम करता है

यह शोध पत्र केवल अनुमान नहीं लगाता; उन्होंने तीन अलग-अलग "क्षेत्रों" में इसका परीक्षण किया:

सिमुलेशन (लैब): उन्होंने कंप्यूटर के माध्यम से एक नकली दुनिया बनाई जहाँ वे जानते थे कि कौन से संकेत वास्तविक हैं और कौन से नकली। "कॉज़ल डिटैंगलर" AI ने नकली संकेतों को सफलतापूर्वक अनदेखा किया और केवल वास्तविक संकेतों का उपयोग किया, जबकि एक सामान्य AI नकली संकेतों से भ्रमित हो गया।
पब्लिक डेटासेट (क्लासरूम): उन्होंने KuaiRand नामक एक सार्वजनिक डेटासेट का उपयोग किया। इस डेटासेट के दो भाग हैं: एक जो अत्यधिक पक्षपाती (पुराने डिलीवरी ड्राइवर की तरह) है और एक जो रैंडम (एक निष्पक्ष स्वाद परीक्षण की तरह) है। नया तरीका पक्षपाती डेटा पर पुराने तरीके के समान ही अच्छा प्रदर्शन करता है, लेकिन जब निष्पक्ष, रैंडम डेटा पर परीक्षण किया गया, तो यह बहुत बेहतर था। इसने साबित कर दिया कि AI ने वास्तविक नियमों को सीखा है, न कि केवल पूर्वाग्रह को।
वास्तविक दुनिया (स्टेडियम): यह सबसे बड़ा परीक्षण है। उन्होंने इसे Spotify पर, लाखों वास्तविक उपयोगकर्ताओं के साथ टेस्ट किया। उन्होंने एक लाइव प्रयोग (A/B टेस्ट) चलाया जहाँ आधे उपयोगकर्ताओं को पुराना AI मिला और आधे को नया "कॉज़ल डिटैंगलर" AI मिला।
- परिणाम: नया AI केवल कागजों पर ही अच्छा नहीं दिखा; इसने वास्तव में लोगों को अधिक संगीत सुनने और कम गाने स्किप करने में मदद की। इसने स्ट्रीम्स में 0.75% की वृद्धि और लिसनिंग टाइम में 0.50% की वृद्धि दर्ज की।

मुख्य निष्कर्ष

सबसे महत्वपूर्ण खोज यह है कि आप केवल उस डेटा को देखकर यह नहीं बता सकते जिस पर रिकमेंडेशन सिस्टम को प्रशिक्षित किया गया था, कि वह "टूटा हुआ" है या नहीं।

यह उस छात्र की तरह है जो एक विशिष्ट प्रैक्टिस टेस्ट के उत्तर रट लेता है। वे प्रैक्टिस टेस्ट में 100% अंक प्राप्त करते हैं, लेकिन इसका मतलब यह नहीं है कि वे विषय को समझते हैं। यह पेपर दिखाता है कि मानक मेट्रिक्स अक्सर झूठ बोलते हैं। यह जानने का एकमात्र तरीका कि सिस्टम वास्तव में स्मार्ट है या नहीं, यह देखना है कि वह उन नई स्थितियों को कैसे संभालता है जहाँ पुराने पूर्वाग्रह मौजूद नहीं हैं।

इस "कॉज़ल डिटैंगलर" पद्धति का उपयोग करके, AI शोर (noise) को अनदेखा करना और सिग्नल पर ध्यान केंद्रित करना सीखता है, जिससे यह वास्तविक दुनिया में सामना करने पर अधिक मजबूत और प्रभावी बनता है।

यह क्या नहीं करता है

यह पेपर इस बारे में बहुत विशिष्ट है कि यह विधि क्या नहीं है:

यह यह अनुमान लगाने की कोशिश नहीं करता कि उपयोगकर्ता ने किस गाने पर क्लिक किया होता यदि उन्होंने एक अलग गाना देखा होता (कोई "क्या-होता" परिदृश्य नहीं)।
इसके लिए कंपनी को डेटा प्राप्त करने के लिए महंगे, रैंडम प्रयोग चलाने की आवश्यकता नहीं है। यह उनके पास पहले से मौजूद मैसी, बायस्ड लॉग्स के साथ काम करता है।
इसके लिए AI को यह समझने की आवश्यकता नहीं है कि किसी को जैज़ क्यों पसंद है इसके गहरे, छिपे हुए "भौतिक विज्ञान" की। इसे बस वास्तविक कारणों को नकली कारणों से अलग करने की आवश्यकता है ताकि बेहतर भविष्यवाणी की जा सके।

संक्षेप में, यह पेपर AI को पूर्वाग्रह के पैटर्न को रटने के बजाय वास्तविक कारणों को सीखने के लिए सिखाता है।

तकनीकी सारांश: सामान्यीकरण योग्य अनुशंसा (Generalisable Recommendation) के लिए कारण प्रतिनिधित्व शिक्षण (Causal Representation Learning)

समस्या विवरण
अनुशंसा प्रणालियों (recommender systems) में भविष्य कहने वाले मॉडल (predictive models) एक मौलिक सामान्यीकरण अंतराल (generalisation gap) का सामना करते हैं: उन्हें प्रेक्षण संबंधी इंटरैक्शन लॉग्स (observational interaction logs) पर प्रशिक्षित किया जाता है जो तैनात नीति (deployed policy), पिछले उपयोगकर्ता व्यवहार और प्लेटफॉर्म फ़िल्टरिंग द्वारा प्रभावित (confounded) होते हैं। यह घटना, जिसे एक्सपोज़र बायस (exposure bias) के रूप में जाना जाता है, प्रशिक्षण डेटा (जहाँ आइटम एक विशिष्ट नीति द्वारा चुने जाते हैं) और सर्विंग-टाइम कैंडिडेट सेट (जो व्यापक और भिन्न रूप से वितरित होता है) के बीच वितरण बदलाव (distribution shift) पैदा करती है। फलस्वरूप, ऑफलाइन मेट्रिक्स अक्सर ऑनलाइन प्रदर्शन की भविष्यवाणी करने में विफल रहते हैं। जबकि कारण प्रतिनिधित्व शिक्षण (CRL) एक सिद्धांत आधारित समाधान प्रदान करता है, शास्त्रीय CRL के लिए कड़े अनुमानों (जैसे, हस्तक्षेप संबंधी डेटा, कई वातावरण, या ज्ञात एंकर चर) की आवश्यकता होती है जो अनुशंसा लॉग्स में शायद ही कभी पूरे होते हैं। अनुशंसाओं के लिए मौजूदा CRL दृष्टिकोण अक्सर लेबल किए गए कंट्रास्टिव पेयर्स (labelled contrastive pairs) या विशिष्ट बायस तंत्र जैसी जटिल मशीनरी पर निर्भर करते हैं, जो उनकी व्यावहारिकता को सीमित करते हैं।

कार्यप्रणाली (Methodology)
लेखक एक ऐसी विधि प्रस्तावित करते हैं जो CRL से प्रेरित है और जो पूर्ण लेटेंट कॉज़ल फैक्टर्स (latent causal factors) की पहचान या हस्तक्षेप संबंधी डेटा की आवश्यकता के बिना वितरण बदलाव के तहत सामान्यीकरण को लक्षित करती है। यह दृष्टिकोण एक स्ट्रक्चरल कॉज़ल मॉडल (SCM) पर आधारित है जहाँ देखा गया उपचार $T$ (एक आइटम) लेटेंट कॉज़ल घटकों $T_C$ और गैर-कारण (non-causal) घटकों $T_{nC}$ का एक उलझा हुआ मिश्रण है। गैर-कारण घटक एक स्प्यूरियस बैकडोर पाथ (spurious backdoor path) $T \leftarrow T_{nC} \leftarrow Z \rightarrow Y$ बनाते हैं (जहाँ $Z$ एक देखा गया कन्फाउंडर है, जैसे उपयोगकर्ता विशेषताएँ, और $Y$ परिणाम है)।

इस पद्धति का मुख्य भाग एक नया डिसेंटैंगलमेंट मानदंड (Disentanglement Criterion) है, जो एक सूचना-सैद्धांतिक उद्देश्य है जिसे एक ऐसा प्रतिनिधित्व $g(T)$ सीखने के लिए डिज़ाइन किया गया है जो:

उपयोगिता को अधिकतम करता है (Maximizes Utility): कन्फाउंडर $Z$ के दिए में परिणाम $Y$ के प्रति भविष्य कहने वाली जानकारी को बनाए रखता है ( $I(g(T); Y | Z)$ )।
कन्फाउंडर निर्भरता को न्यूनतम करता है (Minimizes Confounder Dependence): कन्फाउंडर $Z$ के साथ साझा की गई उस जानकारी को दंडित करता है जो $Y$ की भविष्यवाणी के लिए आवश्यक नहीं है ( $I(g(T); Z)$ )।

उद्देश्य फलन (objective function) को इस प्रकार परिभाषित किया गया है:
$J(g) = I(g(T); Y | Z) - \lambda I(g(T); Z)$
जहाँ $\lambda \geq 0$ ट्रेड-ऑफ को नियंत्रित करता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)
यह शोध पत्र विशिष्ट संरचनात्मक धारणाओं के तहत यह सिद्ध करता है (कि परिणाम केवल कन्फाउंडर के माध्यम से कॉज़ल लेटेंट्स पर निर्भर करता है, और गैर-कारण लेटेंट्स कन्फाउंडर के बारे में अद्वितीय स्प्यूरियस लीकेज बनाए रखते हैं):

इस मानदंड के तहत इष्टतम प्रतिनिधित्व गैर-कारण जानकारी को हटा देता है जबकि कॉज़ल सामग्री को सुरक्षित रखता है।
एक "लॉसलेस रिजीम" (lossless regime) मौजूद है जहाँ, पर्याप्त छोटे $\lambda$ के लिए, इष्टतम प्रतिनिधित्व बिना संकुचित किए पूर्ण कॉज़ल घटक $T_C$ को संरक्षित करता है, बशर्ते कि संपीड़न से होने वाली पेनल्टी रिडक्शन उपयोगिता हानि से अधिक न हो।

व्यावहारिक कार्यान्वयन (Tractable Implementation)
चूंकि परिमित डेटा (finite data) से म्यूचुअल इंफॉर्मेशन टर्म्स गणना योग्य नहीं होते हैं, इसलिए लेखक अनुकूलन के लिए एक वेरिएशनल लोअर बाउंड (variational lower bound) व्युत्पन्न करते हैं:

उपयोगिता टर्म (Utility Term): InfoNCE एस्टीमेटर के माध्यम से एक लोअर बाउंड का उपयोग करके अनुमानित किया जाता है (जो मानक इन-बैच क्रॉस-एन्ट्रॉपी रैंकिंग लॉस के समान है)।
पेनल्टी टर्म (Penalty Term): NCE-CLUB एस्टीमेटर के माध्यम से एक अपर बाउंड का उपयोग करके अनुमानित किया जाता है, जिसे एक एडवरसेरियल क्रिटिक नेटवर्क के माध्यम से लागू किया जाता है जो स्वतंत्र नमूनों के बजाय जॉइंट सैंपल $(g(T), Z)$ को अलग करने के लिए प्रशिक्षित होता है।
अनुकूलन (Optimization): अंतिम उद्देश्य एक मानक सुपरवाइज्ड मॉडल का सीधा संशोधन है, जिसमें एक म्यूचुअल इंफॉर्मेशन पेनल्टी टर्म जोड़ा जाता है। इसके लिए किसी रैंडमाइज्ड डेटा, प्रोपेंसिटी स्कोर की आवश्यकता नहीं है, और यह इन्फरेंस-टाइम लागत भी नहीं जोड़ता है।

प्रमुख योगदान (Key Contributions)

डिसेंटैंगलमेंट मानदंड: एक नया सूचना-सैद्धांतिक उद्देश्य जो जनसंख्या स्तर पर कॉज़ल सामग्री को बनाए रखने और कन्फाउंडर-डिपेंडेंट गैर-कारण जानकारी को हटाने को प्राथमिकता देने के लिए सिद्ध है।
व्यावहारिक वेरिएशनल बाउंड: एक व्युत्पत्ति जो मानक डीप लर्निंग घटकों (InfoNCE और NCE-CLUB) का उपयोग करके मानदंड को केवल परिमित अवलोकनात्मक डेटा से अनुकूलनीय बनाती है।
डिप्लॉयमेंट-रेडी रेसिपी: एक विधि जो किसी भी मानक सुपरवाइज्ड मॉडल को सुधारने के लिए उसे संशोधित करती है, जिसके लिए केवल मौजूदा कन्फाउंडेड लॉग्स की आवश्यकता होती है।
अनुभवजन्य सत्यापन (Empirical Validation): तीन स्तरों पर सत्यापन: एक सिंथेटिक SCM, KuaiRand बेंचमार्क, और Spotify पर एक लाइव A/B टेस्ट।

परिणाम (Results)

सिंथेटिक SCM: विधि सफलतापूर्वक कॉज़ल घटकों को अलग करती है, जो शून्य के करीब इंटरवेंशन सेंसिटिविटी (गैर-कारण परिवर्तनों के प्रति अपरिवर्तनीयता) दिखाते हुए भी प्रतिस्पर्धी सटीकता (MAE) बनाए रखती है।
KuaiRand बेंचमार्क: ज्ञात वितरण बदलावों (एल्गोरिदम बनाम रैंडम एक्सपोज़र) वाले वास्तविक डेटासेट पर, CRL संस्करण ने बायस्ड ट्रेनिंग डिस्ट्रीब्यूशन (इन-डिस्ट्रीब्यूशन AUC) पर बेसलाइन के बराबर प्रदर्शन किया, लेकिन होल्ड-आउट रैंडम-एक्सपोज़र स्प्लिट (अनकन्फाउंडेड डिस्ट्रीब्यूशन) पर बेसलाइन से काफी बेहतर प्रदर्शन किया। यह "प्रभावी मजबूती" (effective robustness) को प्रदर्शित करता है।
Spotify A/B टेस्ट: व्यक्तिगत प्लेलिस्ट जनरेशन के लिए लाखों उपयोगकर्ताओं वाले प्रोडक्शन एनवायरनमेंट में, एक कैपेसिटी-मैच्ड CRL वेरिएंट ने ऑफलाइन मेट्रिक्स पर प्रोडक्शन बेसलाइन के बराबर प्रदर्शन किया, लेकिन महत्वपूर्ण ऑनलाइन लाभ दिए: +0.75% ट्रैक स्ट्रीम्स, +0.50% मिनट्स प्लेड, और -0.61% ट्रैक स्किप्स (सभी 95% कॉन्फिडेंस पर महत्वपूर्ण)।

महत्व और दावे (Significance and Claims)
यह शोध पत्र दावा करता है कि प्रशिक्षण वितरणों पर मानक ऑफलाइन मूल्यांकन, सर्विंग-टाइम डिस्ट्रीब्यूशन के प्रति मॉडल की क्षमता के बारे में अक्सर अनभिज्ञ होता है। प्रस्तावित विधि एक्सपोज़र बायस के विशिष्ट विफलता मोड को संबोधित करती है जो स्प्यूरियस सहसंबंधों को सीधे दबाकर काम करती है। इसका महत्व इस तथ्य में निहित है कि विधि पारंपरिक CRL (जैसे, हस्तक्षेप संबंधी डेटा या जटिल कॉज़ल ग्राफ पहचान) की भारी आवश्यकताओं के बिना मजबूती प्राप्त करती है। परिणाम बताते हैं कि मानक सुपरवाइज्ड मॉडल्स में एक कॉज़ल डिसेंटैंगलमेंट ऑब्जेक्टिव जोड़ने से प्रोडक्शन रिकमेंडर सिस्टम में आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण में सार्थक सुधार हो सकता है, जो ऑफलाइन मेट्रिक्स और ऑनलाइन प्रदर्शन के बीच के अंतर को पाटता है। लेखक सीमाओं का उल्लेख करते हैं, जिसमें वास्तविक डेटा पर संरचनात्मक धारणाओं को अनुभवजन्य रूप से सत्यापित करने में असमर्थता और वर्तमान मूल्यांकन एकल उत्पाद सतह पर होना शामिल है।

समस्या: "स्पूरियस सिग्नल" (Spurious Signal)

समाधान: "कॉज़ल डिटैंगलर" (The Causal Detangler)

उन्होंने कैसे साबित किया कि यह काम करता है

मुख्य निष्कर्ष

यह क्या नहीं करता है

इसी तरह के और पेपर