From Prediction to Incrementality: Causal Optimization for Large-Scale Targeting and Recommendation
यह शोध पत्र एक निर्णय-केंद्रित ढांचे (decision-centric framework) को प्रस्तुत करता है जो बड़े पैमाने की अनुशंसा प्रणालियों (recommendation systems) के लिए पारंपरिक भविष्य कहनेवाला लक्ष्यीकरण (predictive targeting) को कारण-आधारित अनुकूलन (causal optimization) से प्रतिस्थापित करता है, जो लिंक्डइन (LinkedIn) पर एक ऑनलाइन ए/बी टेस्ट (A/B test) के दौरान दीर्घकालिक मूल्य में सांख्यिकीय रूप से महत्वपूर्ण 7.20% की वृद्धि प्राप्त करने के लिए कारण संबंधी तंत्रिका नेटवर्क (causal neural networks), बेयसियन अन्वेषण (Bayesian exploration) और बाधित आवंटन (constrained allocation) को एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल क्रूज शिप के कप्तान हैं, और आपका काम यात्रियों को मुफ्त आइसक्रीम बांटना है। पुराने तरीके के अनुसार, आप उस सूची को देखते जिसमें वे लोग होते हैं जो आमतौर पर आइसक्रीम खाते हैं और उन्हें आइसक्रीम बांट देते हैं। लेकिन यहाँ एक पेंच है: उनमें से कुछ लोग वैसे भी आइसक्रीम खाने वाले थे, भले ही आप उन्हें न देते। आपने उन लोगों पर अपने स्कूप बर्बाद कर दिए जिन्हें किसी धक्के की ज़रूरत नहीं थी, जबकि वे यात्री जो ट्रीट लेने के बारे में दुविधा में थे, उन्हें कुछ नहीं मिला। यह "अनुमान" (prediction) बनाम "इंक्रीमेंटैलिटी" (incrementality) की समस्या है। अनुमान पूछता है, "कौन आइसक्रीम खाएगा?" जबकि इंक्रीमेंटैलिटी पूछती है, "कौन केवल इसलिए आइसक्रीम खाएगा क्योंकि मैंने उन्हें दी है?"
यह शोध पत्र कॉज़ल मशीन लर्निंग (Causal Machine Learning) की दुनिया में गहराई से उतरता है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जो केवल पैटर्न पहचानने के बजाय कारण-और-प्रभाव (cause-and-effect) को समझने की कोशिश करती है। यह एक मौसम पूर्वानुमानकर्ता से आगे बढ़कर एक वैज्ञानिक बनने जैसा है जो केवल यह नहीं कहता कि "आमतौर पर मंगलवार को बारिश होती है," बल्कि वह यह साबित कर सकता है कि "यदि हम क्लाउड-सीडिंग रॉकेट छोड़ते हैं, तो वास्तव में बारिश होगी।" लेखक एक ऐसे सिस्टम पर काम कर रहे हैं जिसका उपयोग बड़े ऑनलाइन प्लेटफॉर्म (जैसे LinkedIn) द्वारा यह तय करने के लिए किया जाता है कि किसे मार्केटिंग संदेश, नौकरी के विज्ञापन या नोटिफिकेशन दिखाए जाएं। बड़ा सवाल यह है कि हम उन लोगों पर पैसा बर्बाद करना कैसे रोकें जो विज्ञापन पर वैसे भी क्लिक कर देते, और इसके बजाय अपना सीमित बजट उन लोगों पर कैसे केंद्रित करें जिन्हें वास्तव में उस अतिरिक्त प्रोत्साहन की आवश्यकता है?
LinkedIn के शोधकर्ताओं ने इस पहेली को सुलझाने के लिए एक नया, स्मार्ट सिस्टम बनाया है। वे इसे एक "डिसीजन-सेंट्रिक फ्रेमवर्क" (decision-centric framework) कहते हैं, जो एक फैंसी तरीका है यह कहने का कि उन्होंने केवल यह अनुमान लगाना बंद कर दिया कि कौन क्लिक करेगा और गणितीय रूप से यह गणना करना शुरू कर दिया कि कौन संदेश से बदल जाएगा। उनके सिस्टम के तीन मुख्य भाग हैं जो एक 'ड्रीम टीम' की तरह मिलकर काम करते हैं। सबसे पहले, एक "कॉज़ल न्यूरल नेटवर्क" (जो एक ट्रांसफॉर्मर द्वारा संचालित है, वही दिमाग जो कई आधुनिक AI टूल्स के पीछे है) एक जासूस की तरह काम करता है। यह उपयोगकर्ता के इतिहास को देखता है और "ट्रीटमेंट इफेक्ट" (treatment effect) का अनुमान लगाता है—यानी, विशेष रूप से विज्ञापन देखने के कारण उनके कुछ खरीदने या नौकरी के लिए आवेदन करने की कितनी अधिक संभावना है।
दूसरा, सिस्टम में एक "न्यूरल बैंडिट" (neural bandit) लेयर शामिल है। इसे एक जिज्ञासु खोजकर्ता के रूप में सोचें। अतीत में, AI सिस्टम अक्सर एक लूप में फंस जाते थे, केवल उन्हीं लोगों को विज्ञापन दिखाते थे जिनके बारे में वे पहले से ही आश्वस्त थे कि वे क्लिक करेंगे, जिससे वे नए अवसरों को खो देते थे। इस सिस्टम का यह खोजकर्ता हिस्सा नई चीजें आज़माने के लिए छोटे जोखिम उठाने को तैयार है, जिससे यह सुनिश्चित होता है कि वे उन संभावित ग्राहकों को न चूकें जिनका अभी तक परीक्षण नहीं किया गया है। यह अपनी भविष्यवाणियों के बारे में यह अनुमान लगाने के लिए "लैप्लेस एप्रोक्सिमेशन" (Laplace approximation) नामक एक चतुर गणितीय ट्रिक का उपयोग करता है कि वह कितना अनिश्चित है, जिससे यह सुरक्षित रूप से अन्वेषण कर सके।
तीसरा, और शायद सबसे महत्वपूर्ण, एक "लार्ज-स्केल लीनियर प्रोग्रामिंग" (large-scale linear programming) लेयर है। यह एक सख्त लेकिन निष्पक्ष मैनेजर है। भले ही जासूस एक आदर्श उम्मीदवार खोज ले और खोजकर्ता एक नई रणनीति आज़माना चाहे, लेकिन मैनेजर को यह सुनिश्चित करना होता है कि वे नियम न तोड़ें। कंपनी के पास एक सीमित बजट है, एक व्यक्ति को ईमेल भेजने की एक सीमा है, और विभिन्न प्रकार के लोगों तक निष्पक्ष रूप से पहुँचने की आवश्यकता है। यह लेयर उन सीमाओं के भीतर विज्ञापनों को पूरी तरह से वितरित करने के लिए एक विशाल गणितीय पहेली को हल करती है, जिससे यह सुनिश्चित होता है कि कोई पैसा बर्बाद न हो और किसी को भी अनुचित रूप से अनदेखा न किया जाए।
यह परीक्षण करने के लिए कि क्या यह नया सिस्टम वास्तव में काम करता है, टीम ने सिमुलेशन चलाए और फिर LinkedIn के मार्केटिंग ट्रैफिक पर एक वास्तविक दुनिया का प्रयोग किया। सिमुलेशन में, उन्होंने अपने नए "कॉज़ल" तरीके की तुलना पुराने तरीकों से की जो केवल यह अनुमान लगाते थे कि कौन क्लिक करेगा। परिणाम स्पष्ट थे: नए सिस्टम ने अधिक मूल्यवान लक्ष्य खोजे और समान परिणाम प्राप्त करने के लिए कम पैसा खर्च किया। लेकिन असली जादू लाइव टेस्ट में हुआ। जब उन्होंने आठ सप्ताह के लिए नए सिस्टम को पुराने मानक सिस्टम के मुकाबले चलने दिया, तो इसने प्राथमिक दीर्घकालिक मूल्य मीट्रिक में सांख्यिकीय रूप से महत्वपूर्ण +7.20% का उछाल (lift) दिया। इसका मतलब है कि कंपनी ने अधिक पैसा खर्च किए बिना अपने मार्केटिंग बजट से काफी अधिक मूल्य प्राप्त किया।
यह शोध पत्र वास्तविक दुनिया में इसे बनाने से सीखे गए व्यावहारिक सबक भी उजागर करता है। उन्होंने पाया कि केवल एक स्मार्ट मॉडल होना ही पर्याप्त नहीं है; आपको अपने डेटा को तैयार करने के बारे में अविश्वसनीय रूप से सावधान रहने और विज्ञापनों को वास्तव में कैसे वितरित किया जाता है, इसे नियंत्रित करने की आवश्यकता है। उदाहरण के लिए, यदि नया सिस्टम किसी व्यक्ति को विज्ञापन न दिखाने का निर्णय लेता है (क्योंकि उसे लगता है कि वे अपना मन नहीं बदलेंगे), लेकिन पुराने सिस्टम ने विज्ञापन दिखाया था, तो आपको यह सुनिश्चित करना होगा कि आप सेब की तुलना संतरे से नहीं कर रहे हैं। उन्होंने विशेष उपकरण बनाए ताकि यह सुनिश्चित हो सके कि परीक्षण समूह पूरी तरह से मेल खाते हों ताकि परिणाम निष्पक्ष हों।
संक्षेप में, यह शोध पत्र दिखाता है कि ध्यान "कौन कार्य करेगा?" से हटाकर "कौन हमारे कारण कार्य करेगा?" पर केंद्रित करके, और स्मार्ट AI को सख्त बजट प्रबंधन के साथ जोड़कर, कंपनियां अपने मार्केटिंग को बहुत अधिक प्रभावी बना सकती हैं। यह केवल सभी को ज़ोर से चिल्लाने के बारे में नहीं है; यह सही समय पर सही व्यक्ति को सही संदेश फुसफुसाने के बारे में है, जिससे संसाधन बचते हैं और सभी के लिए अधिक मूल्य बनता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।