Field-Aware RankMixer with Dual-Stream Bilinear Fusion for the Tencent UNI-REC Challenge

कल्पना कीजिए कि आप एक विशाल, हलचल भरे डिजिटल बाज़ार में घूम रहे हैं। हर सेकंड, लाखों लोग ब्राउज़ कर रहे हैं, क्लिक कर रहे हैं और चीज़ें खरीद रहे हैं। इस बाज़ार को सुचारू रूप से चलाने के लिए, पर्दे के पीछे काम करने वाले कंप्यूटरों को अविश्वसनीय रूप से स्मार्ट जासूस होना चाहिए। उन्हें यह अनुमान लगाना होगा कि आप आगे क्या खरीदना चाह सकते हैं, केवल इस आधार पर नहीं कि आप अभी क्या देख रहे हैं, बल्कि यह याद रखकर कि आपने जो कुछ भी किया है वह क्या था, आपने उसे कब किया था, और आप किस तरह के व्यक्ति हैं। यह रेकमेंडर सिस्टम्स (recommender systems) की दुनिया है।

इन सिस्टम्स को दो मुख्य काम करते हुए सोचें। पहला, वे आपके इतिहास (history) को देखते हैं, जैसे कि आपके द्वारा छुई गई हर वस्तु की एक डायरी, ताकि आपकी बदलती रुचियों को समझा जा सके, और दूसरा, वे स्थिर तथ्यों (static facts) को देखते हैं, जैसे कि आपकी आयु, दिन का समय, या उस वस्तु का विशिष्ट विवरण जिसे आप देख रहे हैं, जो क्षण-दर-क्षण नहीं बदलते। पेचीदा बात यह है कि ये दोनों प्रकार की जानकारी आमतौर पर कंप्यूटर के मस्तिष्क के अलग-अलग मोहल्लों में रहती है। इन दोनों को कुशलतापूर्वक एक-दूसरे से बात कराना एक तेज़ बहती नदी (आपका इतिहास) को एक स्थिर, गहरी झील (आपके स्थिर तथ्य) के साथ पूरी तरह से मिलाने की कोशिश करने जैसा है, बिना किसी कीचड़ भरे मिश्रण के। इस मिश्रण को सही करना बहुत महत्वपूर्ण है क्योंकि यही तय करता है कि आप वह विज्ञापन देखेंगे जिसे आप वास्तव में पसंद करते हैं या वह जिसे आप अनदेखा कर देते हैं, जो यह प्रभावित करता है कि प्लेटफॉर्म कितना पैसा कमाता है और आप कितने खुश हैं।

"Field-Aware RankMixer with Dual-Stream Bilinear Fusion for the Tencent UNI-REC Challenge" नामक शोध पत्र में, शोधकर्ताओं की एक टीम ने इसी मिश्रण की समस्या को हल किया। उन्होंने KDD कप 2026 नामक एक उच्च-दांव वाली प्रतियोगिता में भाग लिया, जिसका लक्ष्य यह भविष्यवाणी करना था कि इस बात की कितनी संभावना है कि उपयोगकर्ता उस विज्ञापन पर क्लिक करेगा जिसे वह देखता है। उनका समाधान, जिसे वे FA-RankMixer कहते हैं, एक मास्टर शेफ की तरह काम करता है जो न केवल सामग्री को बर्तन में डाल देता है, बल्कि उन्हें सावधानीपूर्वक अलग करता है, व्यक्तिगत रूप से उन्हें सीजन (season) करता है, और फिर उन्हें एक बहुत ही विशिष्ट तरीके से मिलाता है।

यहाँ उनकी रेसिपी कैसे काम करती है। सबसे पहले, मॉडल आपके व्यवहार के इतिहास को देखता है। आपके पिछले सभी क्लिकों को एक विशाल, धुंधले ढेर के रूप में देखने के बजाय, यह एक "टारगेट-अवेयर" (लक्ष्य-जागरूक) लेंस का उपयोग करता है। कल्पना कीजिए कि आप जूतों की एक विशिष्ट जोड़ी देख रहे हैं; मॉडल पूछता है, "इन जूतों को देखते हुए, आपके पिछले क्लिकों में से कौन से वास्तव में प्रासंगिक हैं?" यह आपकी हालिया रुचियों को आपकी पुरानी रुचियों से अलग करता है, यह समझते हुए कि पिछले सप्ताह आपने जो पसंद किया था वह पिछले छह महीनों में जो आपने पसंद किया था उससे अधिक महत्वपूर्ण हो सकता है। यह एक जासूस की तरह है जो पुराने सुरागों को अपने दिमाग में रखते हुए सबसे हालिया सुरागों पर ध्यान केंद्रित करता है।

इसके बाद, मॉडल सभी जानकारी को "टोकन्स" (tokens) में व्यवस्थित करता है। इन्हें छोटे कार्डों के रूप में सोचें, जिनमें से प्रत्येक जानकारी के एक विशिष्ट टुकड़े का प्रतिनिधित्व करता है, जैसे "उपयोगकर्ता की आयु," "दिन का समय," या "स्नीकर पर क्लिक किया।" शोधकर्ताओं ने देखा कि यदि आप इन सभी कार्डों को बस एक साथ मिला देते हैं, तो आप प्रत्येक कार्ड की पहचान खो देते हैं। इसलिए, उन्होंने एक फील्ड-अवेयर (Field-Aware) सिस्टम बनाया। यह एक छँटाई मशीन की तरह है जो "आयु" के कार्डों को एक ढेर में और "समय" के कार्डों को दूसरे ढेर में रखती है, यह सुनिश्चित करती है कि वे आपस में भ्रमित न हों। इन ढेरों को फिर RankMixer नामक एक विशेष इंजन में भेजा जाता है। यह इंजन एक हाई-स्पीड मिक्सर की तरह है जो कार्डों को एक-दूसरे से बात करने की अनुमति देता है बिना बहुत अधिक अतिरिक्त मेमोरी की आवश्यकता के, जिससे सिस्टम आपके इतिहास और वर्तमान विज्ञापन के बीच जटिल संबंधों को समझ पाता है।

लेकिन मॉडल यहीं नहीं रुकता। यह एक डुअल-स्ट्रीम (Dual-Stream) दृष्टिकोण का उपयोग करता है, जो एक ही समय में रसोई में काम करने वाले दो शेफ की तरह है। एक शेफ ("डीप" स्ट्रीम) बहुत जटिल है और कार्डों को गहरे स्तरों में मिलाकर सूक्ष्म, छिपे हुए पैटर्न खोजने की कोशिश करता है। दूसरा शेफ ("शैलो" स्ट्रीम) सरल है और सामग्रियों को अधिक सीधे तौर पर देखता है। अंत में, वे दोनों शेफ के परिणामों को संयोजित करने के लिए बाइलीनियर फ्यूजन (Bilinear Fusion) तकनीक का उपयोग करते हैं। कल्पना कीजिए कि यह एक विशेष सॉस है जो गहरे शेफ के जटिल स्वाद और ताज़ा शेफ के ताज़ा स्वाद को लेता है और उन्हें पूरी तरह से मिला देता है। यह सुनिश्चित करता है कि अंतिम भविष्यवाणी न केवल स्मार्ट है, बल्कि स्थिर और सटीक भी है।

शोधकर्ताओं ने 3.4 करोड़ से अधिक क्लिक वाले एक विशाल डेटासेट पर अपने मॉडल का परीक्षण किया। उन्होंने पाया कि उनकी विधि बुनियादी मॉडल से शुरू करने की तुलना में भविष्यवाणियों की सटीकता में काफी सुधार करती है। विशेष रूप से, वेटेड पेयर पूलिंग (Weighted Pair Pooling) (जो केवल औसत निकालने के बजाय संकेत की मजबूती पर ध्यान देता है) और SWA (एक विधि जो मॉडल को अधिक मजबूत बनाने के लिए अंत में इसके भार/weights का औसत लेती है) जैसी तकनीकों का उपयोग करके, उन्होंने अपने प्रदर्शन स्कोर (AUC) में कुल लगभग 14.7 अंकों की वृद्धि की।

दिलचस्प रूप से, टीम ने पाया कि केवल मॉडल को "चौड़ा" बनाना (अधिक न्यूरॉन्स जोड़ना) हमेशा बेहतर नहीं बनाता है। एक बिंदु पर, मॉडल को चौड़ा करने से वास्तव में इसका प्रदर्शन खराब हो गया। इसके बजाय, कुंजी विभिन्न क्षेत्रों के लिए अधिक विशिष्ट "टोकन्स" का उपयोग करके जानकारी को अधिक बुद्धिमानी से व्यवस्थित करना था। यह सुझाव देता है कि AI की दुनिया में, जानकारी को व्यवस्थित करने का एक स्मार्ट तरीका होना अक्सर एक बड़े मस्तिष्क के होने से अधिक शक्तिशाली होता है।

अंत में, उनका FA-RankMixer मॉडल प्रतियोगिता में नौवें स्थान पर रहा, जिससे यह सिद्ध हुआ कि उपयोगकर्ता के इतिहास को स्थिर तथ्यों के साथ मिलाने का यह विशिष्ट तरीका बड़े पैमाने पर विज्ञापन के लिए बहुत अच्छा काम करता है। हालाँकि मॉडल काफी बड़ा है और इसे महत्वपूर्ण कंप्यूटिंग शक्ति की आवश्यकता होती है, शोधकर्ताओं का सुझाव है कि भविष्य के कार्य इसे अधिक कुशल बनाने पर ध्यान केंद्रित कर सकते हैं, शायद इसे केवल सबसे महत्वपूर्ण क्षेत्रों पर ध्यान केंद्रित करने के लिए प्रशिक्षित करके, जिससे भविष्यवाणियों को तेज रखते हुए ऊर्जा की बचत की जा सके। उनका काम दिखाता है कि जब आप विभिन्न प्रकार के डेटा के साथ उन्हें दिए जाने वाले विशिष्ट उपचार के साथ व्यवहार करते हैं, तो परिणाम एक बहुत अधिक स्मार्ट, अधिक सहायक अनुशंसा प्रणाली (recommendation system) होता है।