How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning
यह शोध पत्र इस बात की जांच करता है कि विभिन्न अटेंशन मास्किंग रणनीतियां डिकोडर-ओनली (decoder-only) LLMs में यूजर एम्बेडिंग्स की गुणवत्ता को कैसे प्रभावित करती हैं और यूजर रिप्रेजेंटेशन लर्निंग के दौरान कॉज़ल (causal) से बायडायरेक्शनल (bidirectional) अटेंशन में एक स्थिर संक्रमण को सुगम बनाने के लिए "ग्रेडिएंट-गाइडेड सॉफ्ट मास्किंग" (Gradient-Guided Soft Masking) का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप केवल एक विशाल शॉपिंग मॉल में किसी को चलते हुए देखकर उनके व्यक्तित्व को समझने की कोशिश कर रहे हैं।
यदि आप उन्हें केवल एक रियर-व्यू मिरर (पीछे देखने वाले शीशे) के माध्यम से देखते हैं (केवल वही देखते हैं जो वे पहले ही कर चुके हैं), तो आप उनके कार्यों के पीछे के "क्यों" को समझने से चूक सकते हैं। यदि आप उनके पूरे जीवन की कहानी को एक साथ देखने की कोशिश करते हैं (अतीत, वर्तमान और भविष्य को एक साथ देखना), तो आपका मस्तिष्क एक साथ बहुत अधिक जानकारी से अभिभूत और भ्रमित हो सकता है।
यह शोध पत्र, जिसे Ant Group के शोधकर्ताओं द्वारा लिखा गया है, आर्टिफिशियल इंटेलिजेंस के लिए ठीक इसी समस्या का समाधान करता है।
समस्या: "वन-वे स्ट्रीट" की दुविधा
अधिकांश आधुनिक AI मॉडल (जैसे ChatGPT के पीछे के मॉडल) "डिकोडर-ओनली" (Decoder-only) मॉडल हैं। उन्हें कहानीकार बनाने के लिए डिज़ाइन किया गया है। क्योंकि वे वाक्य में अगले शब्द की भविष्यवाणी करते हैं, इसलिए उन्हें केवल अतीत को देखने के लिए प्रशिक्षित किया जाता है। वे बाएं से दाएं पढ़ते हैं, जैसे कोई व्यक्ति किताब पढ़ रहा हो। इसे कॉज़ल अटेंशन (Causal Attention) कहा जाता है।
हालाँकि, एक उपयोगकर्ता (जैसे Alipay पर एक खरीदार) को वास्तव में समझने के लिए, आपको केवल एक कहानीकार की आवश्यकता नहीं है; आपको एक जासूस की आवश्यकता है। एक जासूस को किसी व्यक्ति के व्यवहार को समग्र रूप से देखने की आवश्यकता होती है—यह देखने की कि सोमवार को की गई एक खरीदारी का संबंध शुक्रवार को की गई एक खोज से कैसे जुड़ता है—ताकि उनके वास्तविक इरादे को समझा जा सके।
शोधकर्ताओं ने एक संघर्ष पाया:
- कहानीकार (Causal): अगले कदम की भविष्यवाणी करने में माहिर, लेकिन भविष्य के संदर्भ के प्रति "अंधा"।
- जासूस (Bidirectional): पूरी तस्वीर देखने में माहिर, लेकिन इसे प्रशिक्षित करना कठिन है क्योंकि यह उस तरीके को तोड़ देता है जिससे AI मूल रूप से "पैदा" (प्री-ट्रेन) हुआ था।
समाधान: "क्रमिक स्पॉटलाइट" (GG-SM)
शोधकर्ताओं ने एक नई विधि बनाई जिसे ग्रेडिएंट-गाइडेड सॉफ्ट मास्किंग (GG-SM) कहा जाता है।
इसे एक छात्र को जासूस बनने के लिए प्रशिक्षित करने जैसा समझें। आप एक नौसिखिए को एक जटिल अपराध स्थल में नहीं फेंकेंगे और कहेंगे, "सब कुछ एक साथ देखो!" वह सुन्न होकर जम जाएगा। इसके बजाय, आप एक क्रमिक स्पॉटलाइट (Gradual Spotlight) का उपयोग करते हैं:
- चरण 1 (कहानीकार): शुरुआत में, आप AI को केवल अतीत को देखने देते हैं, ठीक वैसे ही जैसे इसे प्रशिक्षित किया गया था।
- चरण 2 (स्मार्ट स्पॉटलाइट): सब कुछ देखने के लिए अचानक आँखें खोलने के बजाय, AI "ग्रेडिएंट्स" (जिसे आप आंतरिक अंतर्ज्ञान मान सकते हैं) का उपयोग यह तय करने के लिए करता है कि कौन से भविष्य के सुराग वास्तव में महत्वपूर्ण हैं। यह एक जासूस के ऐसा कहने जैसा है, "मैं अभी सब कुछ नहीं देख रहा हूँ, लेकिन मैं उस संदिग्ध ब्रीफकेस की ओर एक नज़र डालूँगा।"
- चरण 3 (पूर्ण जासूस): धीरे-धीरे, स्पॉटलाइट चौड़ी होती जाती है जब तक कि AI पूरे दृश्य को एक साथ देख सके, क्योंकि उसने पहले ही सीख लिया है कि दृश्य के कौन से हिस्से सबसे अधिक महत्वपूर्ण हैं।
यह क्यों मायने रखता है?
इस "स्मार्ट ट्रांजिशन" का उपयोग करके, बजाय इसके कि केवल एक स्विच को चालू कर दिया जाए, AI "यूजर रिप्रेजेंटेशन" (User Representation) में बहुत बेहतर हो जाता है—जो कि केवल एक तकनीकी शब्द है जिसका अर्थ है "एक व्यक्ति वास्तव में क्या चाहता है, इसे समझना।"
परिणाम:
जब उन्होंने वास्तविक दुनिया के डेटा (Alipay से, जैसे कि लोग कौन सी फिल्में पसंद करते हैं, वे पैसा कैसे खर्च करते हैं, और वे ऐप्स का उपयोग कैसे करते हैं) पर इसका परीक्षण किया, तो उनके "डिटेक्टिव AI" ने बहुत बड़े और अधिक महंगे मॉडलों को भी पीछे छोड़ दिया।
संक्षेप में: उन्होंने यह साबित किया कि यह केवल इस बारे में नहीं है कि AI कितना बड़ा है, बल्कि इस बारे में है कि आप इसे दुनिया को कैसे देखना सिखाते हैं। इसे एक कहानीकार से एक जासूस में सहजता से बदलने के लिए प्रशिक्षित करके, उन्होंने एक ऐसा AI बनाया जो मानवीय व्यवहार को बहुत अधिक गहराई और स्थिरता के साथ समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।