Building a User Foundation Model for the Open Web

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरा शहर है जहाँ हर व्यक्ति अपने डिजिटल पदचिह्नों (digital footprints) को छोड़ते हुए दुकानों से दुकानों तक जाता है। वर्षों से, जो कंपनियाँ हमें विज्ञापन दिखाती हैं, वे इन पदचिह्नों के आधार पर प्रत्येक व्यक्ति का एक "प्रोफ़ाइल" बनाने की कोशिश करती रही हैं ताकि यह अनुमान लगाया जा सके कि वे आगे क्या खरीदना चाहते हैं। यह अनुशंसा प्रणालियों (recommender systems) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जो मानव व्यवहार की भविष्यवाणी करने के लिए गणित का उपयोग करती है। आधुनिक प्रणालियों का मुख्य रहस्य मशीन लर्निंग (machine learning) है, जहाँ कंप्यूटर डेटा के विशाल ढेर से पैटर्न सीखते हैं, और फाउंडेशन मॉडल्स (foundation models), जो एक विशाल, पूर्व-प्रशिक्षित मस्तिष्क की तरह हैं जिन्होंने किसी विशिष्ट कार्य को सीखने से पहले घटनाओं के अनुक्रमों (sequences) को समझना सीख लिया है।

लेकिन यहाँ पेचीदा बात यह है: "ओपन वेब" (इंटरनेट का वह हिस्सा जिसे आप किसी विशिष्ट खाते में लॉग इन किए बिना देखते हैं) पर, ये पदचिह्न बिखरे हुए होते हैं। हो सकता है कि आप अपने फोन पर किसी साइट पर जाएँ, और फिर बाद में लैपटॉप पर, और कंप्यूटर को यह जानने का कोई तरीका नहीं मिलता कि यह वही व्यक्ति है। आपका इतिहास अक्सर छोटा, टुकड़ों में बँटा हुआ, या गोपनीयता सेटिंग्स के कारण पूरी तरह से गायब होता है। यह शोध पत्र एक बड़े सवाल को संबोधित करता है: क्या हम एक ऐसा स्मार्ट सिस्टम बना सकते हैं जो इन बिखरे हुए, खंडित पदचिह्नों को उतनी ही अच्छी तरह समझ सके जितना कि यह लॉग-इन किए हुए उपयोगकर्ताओं के साफ, लंबे इतिहास को समझता है? इसका उत्तर महत्वपूर्ण है क्योंकि यदि हम ऐसा नहीं कर पाते हैं, तो हम इंटरनेट के एक बड़े हिस्से को समझने से चूक जाते हैं, जिससे विज्ञापन बेतरतीब या अप्रासंगिक महसूस होते हैं।

---

टूटे हुए मार्ग की पहेली

लेखकों ने, जो Teads की एक टीम है, एक अनूठी चुनौती का सामना किया। अधिकांश अनुशंसा प्रणालियों (जैसे सोशल मीडिया या शॉपिंग ऐप्स पर) में, आपके पास एक उपयोगकर्ता के जीवन की एक लंबी, निरंतर फिल्म होती है: उन्होंने लॉग इन किया, एक वीडियो देखा, एक जूता खरीदा, और एक फोटो को लाइक किया। कंप्यूटर इस पूरी फिल्म को देख सकता है ताकि उपयोगकर्ता को समझा जा सके।

लेकिन ओपन वेब पर, "फिल्म" अक्सर केवल कुछ बिखरे हुए फ्रेम होती है, या कभी-कभी केवल एक एकल फ्रेम। उपयोगकर्ता गुमनाम हो सकता है, और उनका इतिहास गोपनीयता विकल्पों के कारण कट सकता है। इसे संभालने का पुराना तरीका चीजों को गिनना था: "इस उपयोगकर्ता ने 3 बार स्पोर्ट्स विज्ञापनों पर क्लिक किया।" लेकिन यह किसी व्यक्ति की व्यक्तित्व को केवल यह जानकर समझने की कोशिश करने जैसा है कि उसने कितनी बार पलकें झपकाईं। यह कहानी को मिस कर देता है—घटनाओं का क्रम, समय और प्रवाह।

टीम ने पूछा: क्या हम कंप्यूटर को इन छोटी, टूटी हुई कहानियों को समझना सिखा सकते हैं? और यदि हम ऐसा करते हैं, तो क्या यह भविष्यवाणी करने में मदद करेगा कि एक उपयोगकर्ता किस चीज़ पर क्लिक करेगा, भले ही हम नहीं जानते कि वह कौन है?

"टाइम ट्रैवलर" मस्तिष्क

इसे हल करने के लिए, टीम ने एक यूजर फाउंडेशन मॉडल (UFM) बनाया। इस मॉडल को एक सुपर-स्मार्ट टाइम ट्रैवलर के रूप में सोचें जिसने लोगों के वेब ब्राउज़ करने की लाखों छोटी, खंडित कहानियों को पढ़ा है।

केवल क्लिकों को गिनने के बजाय, मॉडल घटनाओं के अनुक्रम (sequence) को देखता है। यह उपयोगकर्ता के ब्राउज़िंग इतिहास को एक वाक्य की तरह मानता है। जिस तरह एक वाक्य में एक कर्ता (subject), क्रिया (verb) और कर्म (object) होता है, एक उपयोगकर्ता के इतिहास में एक पब्लिशर (वे कहाँ थे), एक विज्ञापनदाता (उन्होंने क्या देखा), और एक घटना (उन्होंने क्या किया, जैसे क्लिक करना या केवल देखना) होती है।

मॉडल को सेल्फ-सुपरवाइज्ड लर्निंग (Self-Supervised Learning) नामक खेल का उपयोग करके प्रशिक्षित किया गया था। कल्पना कीजिए कि आपके पास एक वाक्य है जिसमें कुछ शब्द छिपे (मास्क किए गए) हैं, और आपको संदर्भ के आधार पर अनुमान लगाना है कि वे क्या हैं। मॉडल ने यह अभ्यास किया: उपयोगकर्ता के इतिहास को देखकर, उसके कुछ हिस्सों को छिपाकर, और खाली स्थानों को भरने की कोशिश करके। इसने एक मिलान खेल भी खेला: इसने एक ही उपयोगकर्ता के इतिहास के दो अलग-अलग हिस्सों (जैसे सुबह और दोपहर) को लिया और सीखा कि वे एक ही व्यक्ति से संबंधित हैं, भले ही वे अलग दिखते हों।

"रोबोट कोच" जो मस्तिष्क को ट्यून करता है

यहीं पर यह बहुत दिलचस्प हो जाता है। टीम ने केवल मॉडल नहीं बनाया; उन्होंने AI का उपयोग AI बनाने के लिए किया। उन्होंने इसे "LLM-as-Optimizer" कहा।

कल्पना कीजिए कि आप एक आदर्श रेस कार बनाने की कोशिश कर रहे हैं। एक इंजन या टायर सबसे अच्छा है या नहीं, इसका अनुमान लगाने के बजाय, आपके पास एक रोबोट कोच (एक लार्ज लैंग्वेज मॉडल) है जो विज्ञान की किताबों से 150 विभिन्न "ट्यूनिंग युक्तियों" का कैटलॉग पढ़ता है। रोबोट कोच सुझाव देता है: "आइए इंजन को थोड़ा बड़ा करें," या "आइए ईंधन मिश्रण को बदलें।" टीम इन परिवर्तनों का परीक्षण करती है, और यदि कोई परिवर्तन कार को तेज़ बनाता है, तो रोबोट कोच इसे याद रखता है और उस सफलता पर काम करने की कोशिश करता है।

इस शोध पत्र में, रोबोट कोच ने "यूजर फाउंडेशन मॉडल" को बदलकर इसमें सुधार किया, जैसे कि इसमें विचार करने के कितने स्तर (layers) हैं, यह समय को कैसे संभालता है, और यह कैसे सीखता है। इस प्रक्रिया को न्यूरल आर्किटेक्चर सर्च (NAS) कहा जाता है, जिसने मूल मॉडल की तुलना में काफी बेहतर मॉडल खोजा।

परिणाम: "शायद" से "हाँ" तक

टीम ने अपने नए, रोबोट-कोच किए गए मॉडल का परीक्षण दो तरीकों से किया: पहले एक सिमुलेशन (ऑफलाइन) में, और फिर वास्तविक दुनिया (ऑनलाइन) में।

1. सिमुलेशन (ऑफलाइन):
उन्होंने वास्तविक विज्ञापन अनुरोधों के एक विशाल डेटासेट पर अपने मॉडल का परीक्षण किया। उन्होंने इसकी तुलना उस सिस्टम से की जो Teads पहले से ही उपयोग कर रहा था।

• अच्छी खबर: नए मॉडल ने उपयोगकर्ता के क्लिक करने की भविष्यवाणी में +1.354% का सुधार किया। विज्ञापनों की दुनिया में, यह एक बहुत बड़ी छलांग है।
• "टूटे हुए मार्ग" का परीक्षण: उन्होंने विशेष रूप से उन उपयोगकर्ताओं का परीक्षण किया जिनका इतिहास बहुत छोटा या गायब था। लगभग बिना किसी इतिहास वाले उपयोगकर्ताओं के लिए भी, मॉडल ने भविष्यवाणियों में +0.99% का सुधार किया। यह साबित करता है कि मॉडल तब भी काम करता है जब "फिल्म" केवल एक एकल फ्रेम हो।

2. वास्तविक दुनिया (ऑनलाइन):
टीम ने 7 दिनों के लिए एक लाइव टेस्ट चलाया, जिसमें आधे उपयोगकर्ताओं को नया मॉडल दिखाया गया और आधे को पुराना मॉडल।

• परिणाम: नए मॉडल वाले समूह ने विज्ञापनों पर 2.13% अधिक बार क्लिक किया।
• लागत: क्योंकि विज्ञापन अधिक प्रासंगिक थे, इसलिए प्रति क्लिक लागत 1.13% कम हो गई।
• विश्वास: टीम इन आंकड़ों के बारे में बहुत आश्वस्त है। उन्होंने 80% कॉन्फिडेंस इंटरवल की गणना की है, जिसका अर्थ है कि वे सांख्यिकीय रूप से आश्वस्त हैं कि सुधार वास्तविक है और केवल भाग्य नहीं।

यह क्यों मायने रखता है

यह शोध पत्र दिखाता है कि उपयोगकर्ता को समझने के लिए हमें एक पूर्ण, लंबे इतिहास की आवश्यकता नहीं है। खंडित, छोटे और गुमनाम डेटा के साथ भी, एक स्मार्ट मॉडल कहानी को जोड़ सकता है।

लेखक सुझाव देते हैं कि यह दृष्टिकोण सुधार के लिए एक "नया अक्ष" (new axis) खोलता है। यह केवल मौजूदा गणित को थोड़ा बेहतर बनाने के बारे में नहीं है; यह उपयोगकर्ता डेटा के बारे में सोचने के एक बिल्कुल नए तरीके को जोड़ने के बारे में है। ब्राउज़िंग इतिहास को केवल गणनाओं की सूची के बजाय एक अनुक्रम के रूप में मानकर, उन्होंने एक ऐसा तरीका खोजा जिससे विज्ञापन अधिक प्रासंगिक हो सके, यहाँ तक कि इंटरनेट के उन "भूतों" (ghosts) के लिए भी जो लॉग इन नहीं करते हैं।

टीम स्वीकार करती है कि इसकी सीमाएँ हैं। उन्होंने केवल एक विशिष्ट प्रकार के मॉडल आर्किटेक्चर और एक विशिष्ट डेटा सेट का परीक्षण किया। वे यह भी नोट करते हैं कि उनके "रोबोट कोच" ने एक अच्छा समाधान खोजा होगा, लेकिन हमें यह नहीं पता कि क्या यह सर्वश्रेष्ठ संभव समाधान है। हालाँकि, लाइव टेस्ट पुष्टि करता है कि यह दृष्टिकोण वास्तविक दुनिया में काम करता है, जो एक सैद्धांतिक विचार को एक व्यावहारिक उपकरण में बदल देता है जो ओपन वेब को थोड़ा कम अराजक और अधिक व्यक्तिगत बनाता है।