कल्पना कीजिए कि आप एक विशाल, हलचल भरे डिजिटल बाज़ार में घूम रहे हैं। हर सेकंड, हज़ारों डिजिटल संकेत चमकते हैं, जो आपका ध्यान खींचने की कोशिश करते हैं। कुछ संकेत जूतों के लिए हैं, कुछ नौकरी के विज्ञापनों के लिए, और कुछ कॉफी के लिए। इस बाज़ार को चलाने वाले लोगों के पास एक कठिन काम है: उन्हें यह अनुमान लगाना है कि आप वास्तव में किस संकेत पर रुककर देखेंगे, इससे पहले कि आप उसे देखें भी। इस अनुमान लगाने के खेल को "क्लिक-थ्रू रेट" (CTR) प्रेडिक्शन कहा जाता है। लंबे समय तक, सबसे अच्छे अनुमान लगाने वाले सुपर-स्मार्ट अकाउंटेंट की तरह थे जो आपकी पिछली आदतों की सूची और संकेत के विवरण को देखकर एक गणना करते थे। लेकिन हाल ही में, एक नया प्रकार का "जेनरेटिव" AI अन्य क्षेत्रों में दिखाई देने लगा है, जैसे फिल्में या गाने रिकमेंड करना। ये नए AI कहानीकारों की तरह हैं; केवल नंबरों की गणना करने के बजाय, वे आपके द्वारा किए गए कार्यों की एक पूरी कहानी पढ़ते हैं और भविष्यवाणी करते हैं कि आगे क्या होगा। बाज़ार के मालिकों के लिए बड़ा सवाल यह था: क्या हम इस नए "कहानीकार" AI का उपयोग यह अनुमान लगाने के लिए कर सकते हैं कि आप किन विज्ञापनों पर क्लिक करेंगे, भले ही अनुमान लगाने के बाद खेल के नियम बदल जाएं?

यह ठीक वही है जिसे लिंक्डइन (LinkedIn) की टीम ने अपने नए सिस्टम, जिसे CADET कहा जाता है, के साथ हल करने की कोशिश की। उन्होंने एक "डिकोडर-ओनली ट्रांसफॉर्मर" बनाया, जो एक फैंसी तरीका है यह कहने का कि उन्होंने एक ऐसा AI बनाया है जो घटनाओं के एक क्रम (जैसे आपके पिछले क्लिक और व्यूज़) को पढ़ता है और एक ही सुचारू प्रवाह में भविष्य की भविष्यवाणी करता है। लेकिन विज्ञापन पेचीदा होते हैं। मूवी रिकमेंड करने के विपरीत, एक विज्ञापन की सफलता अक्सर उन चीजों पर निर्भर करती है जो AI के अनुमान लगाने के बाद पता चलती हैं—जैसे कि स्क्रीन पर विज्ञापन वास्तव में कहाँ दिखाई देगा। यदि AI गलत अनुमान लगाता है क्योंकि उसे नहीं पता था कि विज्ञापन पेज के ऊपर के बजाय नीचे होगा, तो पूरा सिस्टम भ्रमित हो जाता है।

शोधकर्ताओं ने पाया कि अपने AI को विशेष उपकरणों का एक सेट देकर, वे इस पहेली को हल कर सकते हैं। उन्होंने मॉडल को यह कल्पना करने के लिए सिखाया कि विज्ञापन कहाँ लैंड हो सकता है, इसके लिए विभिन्न "क्या-अगर" (what-if) परिदृश्यों की आवश्यकता है, और उन्होंने एक "सेल्फ-गेटिंग" तंत्र बनाया जो एक बाउंसर की तरह काम करता है, जो AI को शोर वाले या भ्रमित करने वाली जानकारी से विचलित होने से रोकता है। उन्होंने AI को समय की एक विशेष समझ भी दी, जिससे वह यह समझ सके कि पांच मिनट पहले का क्लिक पांच महीने पहले के क्लिक से अलग है। सबसे महत्वपूर्ण बात यह है कि उन्होंने यह सुनिश्चित किया कि प्रशिक्षण के दौरान AI उस जानकारी का उपयोग न करे जो वास्तविक दुनिया में उपलब्ध नहीं होगी। जब उन्होंने इस नए सिस्टम का वास्तविक लिंक्डइन बाज़ार में परीक्षण किया, तो इसने न केवल काम किया; बल्कि यह उन पुराने, जटिल सिस्टमों से काफी बेहतर प्रदर्शन किया जिन्हें उन्होंने बदला था। नए AI ने सुझाव दिया कि उपयोगकर्ता विज्ञापनों पर क्लिक करने के लिए 11.04% अधिक संभावित थे, जो यह साबित करता है कि एक एकीकृत, कहानी सुनाने वाला दृष्टिकोण पुराने, बहु-भाग वाले मशीन से बेहतर प्रदर्शन कर सकता है।

CADET की कहानी: विज्ञापनों के लिए एक कहानीकार

तो, उन्होंने इसे कैसे बनाया? आइए CADET (कॉन्टेक्स्ट-कंडीशन्ड एड्स डिकोडर-ओनली ट्रांसफॉर्मर) के जादू को सरल, रोजमर्रा की अवधारणाओं में समझते हैं।

"मुर्गी और अंडे" की समस्या
कल्पना कीजिए कि आप एक शेफ हैं जो यह अनुमान लगाने की कोशिश कर रहे हैं कि एक ग्राहक भोजन का कितना आनंद लेगा। लेकिन यहाँ एक पेंच है: आपको यह अनुमान लगाना है कि आनंद कैसा होगा, इससे पहले कि आपको पता चले कि मेज कहाँ रखी है। यदि मेज रसोई के ठीक बगल में है, तो ग्राहक भूखा और उत्साहित हो सकता है। यदि यह एक अंधेरे कोने में है, तो वह चिड़चिड़ा हो सकता है। विज्ञापनों की दुनिया में, "मेज" स्क्रीन पर विज्ञापन की स्थिति है। AI को यह भविष्यवाणी करनी होती है कि आप विज्ञापन पर क्लिक करेंगे या नहीं, लेकिन उसे अभी तक यह नहीं पता कि वह विज्ञापन स्क्रीन के सबसे ऊपर होगा या बहुत नीचे। यह "मुर्गी और अंडे" की समस्या है: भविष्यवाणी स्थिति पर निर्भर करती है, लेकिन स्थिति भविष्यवाणी पर निर्भर करती है।

CADET इसे "क्या-अगर" परिदृश्यों का मास्टर बनकर हल करता है। एक एकल अनुमान लगाने के बजाय, इसमें कई "प्रेडिक्शन हेड्स" (सोचिए रसोई में अलग-अलग शेफ) हैं। एक शेफ अनुमान लगाता है, "यदि यह विज्ञापन ऊपर है, तो क्या आप क्लिक करेंगे?" दूसरा शेफ अनुमान लगाता है, "यदि यह नीचे है, तो क्या आप क्लिक करेंगे?" मॉडल इन सभी उत्तरों को एक साथ देने के लिए सीखता है। जब विज्ञापन वास्तव में रखा जाता है, तो सिस्टम बस उस शेफ का उत्तर चुन लेता है जो स्थान के बारे में सही था। इस तरह, AI कभी भी इस रहस्य से भ्रमित नहीं होता कि विज्ञापन कहाँ समाप्त होगा।

बाउंसर (सेल्फ-गेटेड अटेंशन)
एक भीड़भाड़ वाले कमरे में, कभी-कभी एक तेज़ आवाज़ वाला व्यक्ति बाकी सभी को दबा देता है। AI में, इसे "अटेंशन सिंक" कहा जाता है, जहाँ मॉडल एक टोकन (डेटा का एक टुकड़ा) पर बहुत अधिक ध्यान केंद्रित करता है और बाकी को अनदेखा कर देता है, जिससे गलत अनुमान लगते हैं। शोधकर्ताओं ने CADET को एक "सेल्फ-गेटेड अटेंशन मैकेनिज्म" नामक एक "बाउंसर" दिया।

AI के मस्तिष्क को एक व्यस्त गलियारे के रूप में सोचें। हर बार जब जानकारी का कोई टुकड़ा गुजरने की कोशिश करता है, तो बाउंसर उसकी जाँच करता है। यदि जानकारी शोर वाली या कम उपयोगी है, तो बाउंसर उसकी रोशनी धीमी (गेट डाउन) कर देता है ताकि वह मॉडल को विचलित न करे। यदि जानकारी महत्वपूर्ण है, तो बाउंसर उसे चमकने देता है। यह दो बार होता है: एक बार जब जानकारी पहली बार आती है (रिप्रेजेंटेशन लेवल) और दूसरी बार जब AI विभिन्न सूचनाओं को जोड़ने की कोशिश करता है (इंटरेक्शन लेवल)। यह प्रशिक्षण को सुचारू और स्थिर रखता है, जिससे AI के पागल होने या बुरे पैटर्न में फंसने की संभावना कम हो जाती है।

टाइम मशीन (टाइमस्टैम्प RoPE)
अधिकांश AI मॉडल चरणों को गिनते हैं: "चरण 1, चरण 2, चरण 3।" लेकिन वास्तविक दुनिया में, समय केवल चरणों के बारे में नहीं है; यह इस बारे में है कि चीजें कब हुईं। 10 सेकंड पहले हुआ क्लिक 10 महीने पहले हुए क्लिक से बहुत अलग है।

CADET एक विशेष प्रकार की "टाइम मशीन" का उपयोग करता है जिसे टाइमस्टैम्प-आधारित रोटरी पोजीशनल एम्बेडिंग (RoPE) कहा जाता है। चरणों को गिनने के बजाय, AI हर घटना के वास्तविक घड़ी के समय (यूनिक्स टाइमस्टैम्प) को देखता है। यह समझ सकता है कि दो घटनाओं के बीच का अंतर कम (जैसे सेकंड) या लंबा (जैसे महीने) है। यह मॉडल को यह समझने में मदद करता है कि आपका व्यवहार समय के साथ कैसे बदलता है। यदि आपने कल एक जॉब विज्ञापन पर क्लिक किया था, तो आप आज भी उसमें रुचि रख सकते हैं, लेकिन यदि आपने छह महीने पहले उस पर क्लिक किया था, तो शायद अब आप नहीं करेंगे। यह समय-बोध AI को तत्काल क्षण से लेकर दीर्घकालिक रुझानों तक, विभिन्न पैमानों पर पैटर्न सीखने में सक्षम बनाता है।

"नकल न करने" का नियम (सेशन मास्किंग)
जब आप एक AI को प्रशिक्षित करते हैं, तो आप चाहते हैं कि वह एक छात्र की तरह सीखे, न कि एक नकलची की तरह। वास्तविक दुनिया में, जब एक विज्ञापन दिखाया जाता है, तो सिस्टम को तुरंत पता नहीं चलता कि आपने उस पर क्लिक किया है या नहीं; डेटा के यात्रा करने में कुछ समय (जैसे कुछ सेकंड या मिनट) का विलंब होता है। यदि AI को ऐसे डेटा पर प्रशिक्षित किया जाता है जहाँ वह अनुमान लगाने से पहले ही क्लिक को "देख" सकता है, तो वह ऐसी जानकारी का उपयोग करना सीख जाता है जो उसके पास नहीं होनी चाहिए। वह सोचेगा, "ओह, मुझे पता था कि आपने क्लिक किया क्योंकि मैंने परिणाम देख लिया!" लेकिन वास्तविक दुनिया में, उसके पास वह जानकारी नहीं होगी।

इसे रोकने के लिए, शोधकर्ताओं ने सेशन मास्किंग का उपयोग किया। कल्पना कीजिए कि एक शिक्षक परीक्षा में उत्तर कुंजी को ढक देता है। प्रशिक्षण के दौरान, AI को केवल उस जानकारी को देखने के लिए मजबूर किया जाता है जो उस सटीक क्षण में उपलब्ध होती। यदि क्लिक 30 सेकंड बाद होता है, तो वर्तमान क्षण के प्रशिक्षण के दौरान AI उसके प्रति अंधा रहता है। यह सुनिश्चित करता है कि जब AI वास्तविक दुनिया (ऑनलाइन सर्विंग) में जाता है, तो वह भ्रमित न हो या गलत अनुमान न लगाए क्योंकि वह उस जानकारी पर भरोसा कर रहा है जो वास्तव में उसके पास नहीं है।

स्पीड बूस्ट (प्रोडक्शन इंजीनियरिंग)
अंत में, एक स्मार्ट AI बनाना एक बात है; इसे हर दिन अरबों विज्ञापनों को संभालने के लिए पर्याप्त तेज़ बनाना दूसरी बात है। टीम ने कुछ चतुर इंजीनियरिंग युक्तियों का उपयोग किया। उन्होंने डेटा को मजबूती से "पैक" किया, जैसे सूटकेस को व्यवस्थित करना ताकि कोई जगह बर्बाद न हो, जिससे उनका प्रशिक्षण बहुत तेज़ हो गया। उन्होंने कस्टम "फ्लैशअटेंशन" इंजन (विशेष सॉफ्टवेयर भाग) भी बनाए जो AI को एक ही बार में सैकड़ों विज्ञापनों को एक साथ स्कोर करने देते हैं, बजाय इसके कि वे एक-एक करके उनकी जाँच करें।

परिणाम: लिंक्डइन के लिए एक बड़ी जीत

जब टीम ने CADET को लिंक्डइन के मुख्य फीड पर परखा, तो परिणाम प्रभावशाली थे। उन्होंने अपने पुराने, अत्यधिक अनुकूलित सिस्टम (विभिन्न मॉडलों का मिश्रण) के मुकाबले इसका परीक्षण किया। नया CADET मॉडल न केवल बराबरी कर सका; बल्कि इसने प्रतियोगिता को पछाड़ दिया।

एक बड़े पैमाने पर ऑनलाइन परीक्षण में, CADET ने पुराने सिस्टम की तुलना में क्लिक-थ्रू रेट में 11.04% की वृद्धि हासिल की। इसका मतलब है कि दिखाए गए हर 100 विज्ञापनों में से, काफी अधिक लोग उन पर रुककर देखते हैं। दिलचस्प बात यह है कि चूंकि लिंक्डइन पर विज्ञापनदाता आमतौर पर स्वचालित रूप से अपना पूरा बजट खर्च करते हैं, इसलिए कुल खर्च में बहुत बदलाव नहीं आया, लेकिन उन क्लिकों का मूल्य बढ़ गया। प्रति क्लिक लागत में 10.9% की कमी आई, जिसका अर्थ है कि विज्ञापनदाताओं को उनके निवेश पर बेहतर रिटर्न मिला।

पेपर सुझाव देता है कि यह सफलता एक एकीकृत "कहानी सुनाने वाले" AI को विज्ञापनों की विशिष्ट समस्याओं (जैसे स्थिति और समय) के लिए स्मार्ट सुधारों के साथ जोड़ने से मिली है। यह दिखाता है कि एक एकल, अच्छी तरह से डिज़ाइन किया गया मॉडल, पुराने मॉडलों की एक जटिल टीम को हरा सकता है। हालांकि शोधकर्ता नोट करते हैं कि अभी भी बहुत कुछ किया जाना बाकी है—जैसे कि और भी अधिक प्रकार के "क्या-अगर" परिदृश्यों को संभालना—लेकिन उनका काम यह सिद्ध करता है कि डिकोडर-ओनली ट्रांसफॉर्मर ऑनलाइन विज्ञापन की दुनिया में नेतृत्व करने के लिए तैयार हैं।