Towards a Densing Law for User Representation Learning at Billion-Scale Capacity
यह शोध पत्र "यूज़र बिहेवियरल डेंसिंग लॉ" (User Behavioral Densing Law) प्रस्तावित करता है, जो डेटा आकार को न्यूनतम पर्याप्त टोकनाइजेशन क्षमता से जोड़ने वाला एक मात्रात्मक स्केलिंग पैटर्न है, और ALGN पेश करता है, जो एक अनुकूलन योग्य टोकनाइजेशन विधि है जो बिलियन-स्केल डेटा बाधाओं को दूर करती है और यूज़र रिप्रेजेंटेशन लर्निंग में मौजूदा बेसलाइन्स से बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल दुनिया में, हर क्लिक, खरीदारी और खोज एक निशान छोड़ देती है। उन कंपनियों के लिए जो हमारे दैनिक उपयोग के प्लेटफॉर्म बनाती हैं, ये निशान केवल रिकॉर्ड नहीं हैं; वे यह समझने के लिए कच्चा माल हैं कि हम कौन हैं। किसी व्यक्ति के कार्यों के लंबे, घुमावदार इतिहास का विश्लेषण करके, आर्टिफिशियल इंटेलिजेंस सिस्टम उस व्यक्ति की पसंद और आदतों का एक एकल, शक्तिशाली सारांश बनाने की कोशिश करते हैं। यह सारांश, जिसे अक्सर 'यूजर रिप्रेजेंटेशन' कहा जाता है, एक डिजिटल फिंगरप्रिंट के रूप में कार्य करता है जो यह तय करने में मदद करता है कि कौन सी खबरें दिखानी हैं, किन उत्पादों की सिफारिश करनी है, या कौन से विज्ञापन प्रदर्शित करने हैं। वर्षों तक, इंजीनियरों के बीच प्रचलित विश्वास सरल था: इन फिंगरप्रिंट्स को अधिक सटीक बनाने के लिए, आपको बस अधिक डेटा की आवश्यकता थी। तर्क तर्कसंगत लग रहा था—सिस्टम को अधिक उपयोगकर्ता, उनके जीवन का लंबा इतिहास और इसे संसाधित करने के लिए बड़े कंप्यूटर दिमाग खिलाएं, और परिणाम स्वाभाविक रूप से बेहतर हो जाएंगे।
हालांकि, एक नया अध्ययन "अधिक ही बेहतर है" इस धारणा को चुनौती देता है। एंट ग्रुप (Ant Group) और झेजियांग यूनिवर्सिटी के शोधकर्ताओं ने जांच की कि क्या वास्तविक दुनिया के डेटा, जैसे कि अलीपे (Alipay) द्वारा संसाधित किए जाने वाले अरबों लेनदेन के मामले में विस्तार की यह रणनीति वास्तव में काम करती है। उन्होंने पाया कि एक ऐसा बिंदु आता है जहाँ अधिक कच्ची जानकारी जोड़ना मदद करने के बजाय नुकसान पहुँचाने लगता है। ठीक वैसे ही जैसे एक कमरा फर्नीचर से इतना भर सकता है कि वहां हिलना-डुलना असंभव हो जाए, एक सिस्टम भी इतने अधिक दोहराव वाले, कम मूल्य वाले डेटा से भर सकता है कि वह अपनी वास्तव में महत्वपूर्ण चीजों को देखने की क्षमता खो देता है। टीम ने पाया कि बाधा कंप्यूटर मॉडल का आकार नहीं है, बल्कि उसमें फीड की जाने वाली सूचना की गुणवत्ता और घनत्व (density) है। वे एक नया दृष्टिकोण प्रस्तावित करते हैं जो इस विशाल इतिहास को एक संक्षिप्त, उच्च-मूल्य वाले सारांश में संकुचित करने पर ध्यान केंद्रित करता है, जिससे सिस्टम कम से कम में अधिक सीख पाता है।
शोधकर्ताओं ने सैकड़ों मिलियन उपयोगकर्ताओं वाले डेटासेट पर पारंपरिक दृष्टिकोण की सीमाओं का परीक्षण करके शुरुआत की। उन्होंने व्यवस्थित रूप से उपयोगकर्ताओं की संख्या, उनके द्वारा देखे गए समय के अंतराल की लंबाई और स्वयं कंप्यूटर मॉडल के आकार को बढ़ाया। उन्होंने पाया कि प्रदर्शन शुरू में तेजी से सुधरा, लेकिन फिर एक कठोर दीवार से टकरा गया। जब उन्होंने एक निश्चित बिंदु के बाद अधिक उपयोगकर्ता जोड़े, या लगभग साठ दिनों से अधिक लंबे इतिहास को देखा, तो सिस्टम ने कुछ भी नया सीखना बंद कर दिया। अतिरिक्त डेटा ज्यादातर वही पुराने दोहराए गए व्यवहार थे, जैसे कि एक व्यक्ति दस साल तक हर सुबह वही कॉफी खरीदता है। भले ही उन्होंने कंप्यूटर मॉडल को काफी बड़ा बनाया, लेकिन वह स्मार्ट होने में विफल रहा; इसने वास्तविक अंतर्दर्दृष्टि प्राप्त करने के बजाय केवल इन दोहराव वाले विवरणों को याद कर लिया। यह घटना, जिसे लेखक "रॉ बिहेवियरल स्केलिंग वॉल" (raw behavioral scaling wall) कहते हैं, ने दिखाया कि केवल समस्या पर अधिक डेटा डालना अब एक व्यवहार्य रणनीति नहीं थी।
इस दीवार को तोड़ने के लिए, टीम ने डेटा को "डेंसिंग" (densing) करने की एक विधि पेश की। कच्चे घटनाओं के संपूर्ण, अस्त-व्यस्त इतिहास को सिस्टम में डालने के बजाय, उन्होंने पहले उन घटनाओं को डिजिटल टोकन के एक संक्षिप्त सेट में अनुवादित किया, ठीक वैसे ही जैसे एक पुस्तक को उसकी कहानी खोए बिना कुछ प्रमुख वाक्यों में सारांशित किया जा सकता है। उन्होंने एक ऐसी तकनीक का उपयोग किया जो समान व्यवहारों को एक साथ समूहित करती है और अनावश्यकता (redundancy) को हटा देती है, केवल सबसे अधिक सूचनात्मक संकेतों को रखती है। जब उन्होंने इन संकुचित, टोकनाइज्ड यूजर इतिहासों पर अपने मॉडल को प्रशिक्षित किया, तो परिणाम आश्चर्यजनक थे। सिस्टम लगातार बेहतर होता गया क्योंकि डेटा बढ़ता गया, जबकि कच्चे डेटा पर प्रशिक्षित सिस्टम पहले ही रुक चुका था। संकुचित डेटा ने मॉडल को पेड़ों में खो जाने के बजाय जंगल को देखने में सक्षम बनाया, जिससे भारी मात्रा में इनपुट होने पर भी सीखने और अनुकूलित होने की इसकी क्षमता बनी रही।
अध्ययन ने आगे यह परिभाषित करने के लिए एक सटीक नियम विकसित किया कि डेटा बढ़ने पर कितने संपीड़न (compression) की आवश्यकता होती है। उन्होंने पाया कि एक उपयोगकर्ता के सारांश को संग्रहीत करने के लिए आवश्यक "स्थान" को कच्चे डेटा की मात्रा के सीधे अनुपात में बढ़ने की आवश्यकता नहीं है। इसके बजाय, यह एक अनुमानित पैटर्न का पालन करता है जहाँ आवश्यक क्षमता डेटा की मात्रा बढ़ने के साथ धीरे-धीरे बढ़ती है। इसका अर्थ यह है कि एक अरब उपयोगकर्ताओं को संभालने वाले सिस्टम के लिए, आपको एक अरब गुना अधिक मेमोरी या कंप्यूटिंग शक्ति की आवश्यकता नहीं है; आपको केवल सावधानीपूर्वक गणना किए गए, बहुत छोटे उच्च-गुणवत्ता वाले टोकन की आवश्यकता है। यह खोज, जिसे वे "बिहेवियरल डेंसिंग लॉ" (Behavioral Densing Law) कहते हैं, इंजीनियरों को एक गणितीय मार्गदर्शिका प्रदान करती है कि वे डेटा की किसी भी दी गई मात्रा के लिए वास्तव में कितना संपीड़न लागू करें, जिससे यह सुनिश्चित हो सके कि वे अनावश्यक जानकारी पर संसाधनों को बर्बाद न करें।
अंत में, शोधकर्ताओं ने इस कानून को व्यवहार में लाने के लिए "एडेप्टिव लेंथ गेटेड नेटवर्क" (Adaptive Length Gated Network) नामक एक नया टूल विकसित किया। पिछले तरीकों ने प्रत्येक उपयोगकर्ता के इतिहास के साथ एक जैसा व्यवहार किया, प्रत्येक को—चाहे उनका जीवन कितना भी जटिल क्यों न हो—एक ही समान संकुचित स्थान आवंटित किया। नया टूल अधिक स्मार्ट है; यह व्यक्तिगत रूप से प्रत्येक उपयोगकर्ता को देखता है और तय करता है कि कितनी डिटेल रखनी है। एक ऐसे उपयोगकर्ता के लिए जिसका जीवन बहुत नियमित और अनुमानित है, यह एक बहुत छोटा सारांश आवंटित करता है। एक ऐसे उपयोगकर्ता के लिए जिसके पास विविध रुचियों और आदतों का एक जटिल सेट है, यह एक लंबा, अधिक विस्तृत सारांश आवंटित करता है। यह गतिशील दृष्टिकोण सुनिश्चित करता है कि बोरिंग, दोहराव वाले डेटा पर कोई कंप्यूटिंग शक्ति बर्बाद न हो, जबकि जटिल उपयोगकर्ताओं को आवश्यक ध्यान मिले। उनके परीक्षणों में, इस एडेप्टिव पद्धति ने न केवल सटीकता में सभी पिछले सिस्टमों को पछाड़ दिया, बल्कि बहुत कम कंप्यूटिंग क्षमता का भी उपयोग किया, जिससे यह सिद्ध हुआ कि दक्षता और प्रदर्शन साथ-साथ चल सकते हैं।
इस कार्य के निहितार्थ केवल एक ऐप या वेबसाइट तक सीमित नहीं हैं। यह हमें भविष्य के लिए बुद्धिमान सिस्टम बनाने के तरीके में एक मौलिक बदलाव का सुझाव देता है। अधिक डेटा एकत्र करने और बड़े मॉडल बनाने की अंतहीन दौड़ के बजाय, आगे का रास्ता उस डेटा से अधिक मूल्य निकालने में निहित है जो हमारे पास पहले से ही है। सूचना की मात्रा के बजाय उसके घनत्व (density) पर ध्यान केंद्रित करके, हम ऐसे सिस्टम बना सकते हैं जो न केवल अधिक सटीक हैं बल्कि अधिक कुशल और टिकाऊ भी हैं। अध्ययन यह प्रदर्शित करता है कि बिग डेटा के युग में, सबसे शक्तिशाली उपकरण एक बड़ी बाल्टी नहीं, बल्कि एक बेहतर फिल्टर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।