Give it Space! Explicit Disentangling of Positional and Semantic Representations in Encoders
यह शोध पत्र एक ऐसे एनकोडर आर्किटेक्चर का प्रस्ताव करता है जो अर्थपूर्ण (semantic), पूर्ण (absolute) और सापेक्ष (relative) स्थिति संबंधी जानकारी को अलग-अलग स्ट्रीम्स में स्पष्ट रूप से विसंयोजित (disentangle) करता है, यह प्रकट करते हुए कि पृथक स्थिति संबंधी उप-स्थान (positional subspaces) स्वाभाविक रूप से दस्तावेज़ की संरचना को पकड़ने वाले निम्न-आयामी मैनिफोल्ड्स (low-dimensional manifolds) बनाते हैं और यह प्रदर्शित करते हुए कि यह दृष्टिकोण मानक संलग्नी (entangled) स्थिति एनकोडिंग की तुलना में भाषाई प्रतिनिधित्व में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ट्रांसफॉर्मर (जो आधुनिक AI टेक्स्ट मॉडल्स के पीछे का मस्तिष्क है) की कल्पना एक व्यस्त, हाई-स्पीड ट्रेन स्टेशन के रूप में करें। इस स्टेशन में, हर शब्द (टोकन) को अपना काम सही ढंग से करने के लिए दो चीजों की आवश्यकता होती है:
- यह क्या है: शब्द का अर्थ (जैसे, "कुत्ता," "दौड़ना," "नीला")।
- यह कहाँ है: वाक्य और दस्तावेज़ में इसकी स्थिति (जैसे, "पहला शब्द," "पैराग्राफ 2 के बीच में")।
समस्या: "बिखरा हुआ बैकपैक"
अधिकांश वर्तमान AI मॉडल्स में, जानकारी के इन दोनों टुकड़ों को हर शब्द के लिए एक ही "बैकपैक" (संख्याओं के एक ही सेट) में ठूंस दिया जाता है। यह शोध बताता है कि यह बहुत बिखरा हुआ है।
जब मॉडल अगले शब्द की भविष्यवाणी करने की कोशिश करता है (जिसे "मास्क्ड लैंग्वेज मॉडलिंग" कहा जाता है), तो वह अर्थ पर इतना केंद्रित हो जाता है कि वह अनजाने में बैकपैक से स्थिति (पोजीशन) की जानकारी को बाहर निकाल फेंकता है, खासकर नेटवर्क की अंतिम परतों (layers) में। यह एक छात्र की तरह है जो इतिहास के टेस्ट की पढ़ाई करने की कोशिश कर रहा है जबकि उसने नक्शों से भरा एक भारी बैकपैक उठाया हुआ है; अंततः, वह नक्शों के लिए जगह बनाने के लिए उन्हें गिरा देता है।
इसके अलावा, नए मॉडल्स जो केवल दूसरे शब्दों को देखते समय स्थिति की गणना करने की कोशिश करते हैं (रिलेटिव पोशनल एनकोडिंग), वे अक्सर दस्तावेज़ की "बड़ी तस्वीर" या संरचना को भूल जाते हैं, जैसे कि पैराग्राफ कहाँ शुरू होते हैं और कहाँ समाप्त होते हैं।
समाधान: "इसे जगह दें!"
लेखकों ने एक नए प्रकार का मॉडल बनाया जिसे DSTG-NeoBERT कहा जाता है। एक बिखरे हुए बैकपैक के बजाय, उन्होंने मॉडल को जानकारी के तीन अलग-अलग स्ट्रीम्स दिए:
- सिमेंटिक स्ट्रीम (नीला): शब्दों के अर्थ को ले जाता है।
- एब्सोल्यूट पोजीशन स्ट्रीम (लाल): "मैं पूरे दस्तावेज़ में कहाँ हूँ" वाली जानकारी ले जाता है।
- रिलेटिव पोजीशन स्ट्रीम (हरा): "मैं अपने पड़ोसी के सापेक्ष कहाँ हूँ" वाली जानकारी ले जाता है।
महत्वपूर्ण बात यह है कि उन्होंने मॉडल को बताया: "जब आप अगले शब्द का अनुमान लगाने की कोशिश कर रहे हों (टेस्ट), तो केवल नीली (अर्थ) स्ट्रीम को देखें। लाल (पोजीशन) स्ट्रीम को अकेला छोड़ दें।" यह मॉडल को उत्तर के लिए जगह बनाने के चक्कर में पोजीशन की जानकारी को गलती से डिलीट करने से रोकता है।
उन्होंने क्या खोजा (अहा! मोमेंट्स)
1. पोजीशन मैप एक सरल रेखा में सिमट जाता है
जब उन्होंने "लाल" स्ट्रीम (एब्सोल्यूट पोजीशन) को देखा, तो उन्हें उम्मीद थी कि यह एक जटिल, 48-डायमेंशनल बिखराव होगा। इसके बजाय, इसने स्वतः ही खुद को एक सरल, 2-डायमेंशनल मैप में व्यवस्थित कर लिया।
- उपमा: कल्पना कीजिए कि लोगों की एक अराजक भीड़ है। अचानक, वे सभी एक आदर्श, लो-फ्रीक्वेंसी वेव (लहर) में लाइन में लग जाते हैं। मॉडल को यह समझने के लिए कि वह दस्तावेज़ में कहाँ है, एक जटिल 3D मैप की आवश्यकता नहीं थी; एक सरल, सुचारू लहर पूरे टेक्स्ट की संरचना को पकड़ने के लिए पर्याप्त थी।
2. ट्रेन स्टेशन के स्टाफ ने विशेषज्ञता हासिल की
पुराने मॉडल्स में, हर "अटेंशन हेड" (स्टेशन में एक कार्यकर्ता) सब कुछ करने की कोशिश करता था। नए मॉडल में, कार्यकर्ता दो अलग-अलग टीमों में बंट गए:
- स्ट्रक्चर टीम: ये कार्यकर्ता केवल "लाल" स्ट्रीम को देखते हैं। वे जानते हैं कि वाक्य और पैराग्राफ कहाँ शुरू और समाप्त होते हैं।
- मीनिंग टीम: ये कार्यकर्ता केवल "नीली" स्ट्रीम को देखते हैं। वे शब्दों को समझते हैं।
- परिणाम: उन्होंने एक-दूसरे के काम में दखल देना बंद कर दिया। "रिलेटिव पोजीशन" की जानकारी (हरा) केवल मीनिंग टीम के लिए एक सहायक उपकरण बन गई, जिससे उन्हें पास के सही शब्दों पर ध्यान केंद्रित करने में मदद मिली।
3. "बड़ी तस्वीर" को बचा लिया गया
स्टैंडर्ड मॉडल्स में, "बड़ी तस्वीर" की संरचना (जैसे यह जानना कि आप एक लंबी कहानी के दूसरे पैराग्राफ में हैं) मॉडल के अंतिम लेयर तक पहुँचते-पहुँचते खो जाती है क्योंकि शब्दों की भविष्यवाणी करने का दबाव इसे ओवरराइट कर देता है।
- सुधार: क्योंकि नया मॉडल पोजीशन की जानकारी को एक अलग, सुरक्षित स्ट्रीम में रखता है जिसका उपयोग शब्दों के अनुमान के लिए नहीं किया जाता है, इसलिए "बड़ी तस्वीर" वाली संरचना अंत तक बरकरार रहती है।
परिणाम
जब उन्होंने इस नए मॉडल का परीक्षण मानक मॉडल्स के मुकाबले किया:
- मानक टेस्ट: यह सामान्य भाषा कार्यों (जैसे प्रश्नों के उत्तर देना या वाक्यों को समझना) पर मौजूदा सर्वश्रेष्ठ मॉडल्स के समान ही प्रदर्शन करता है।
- गहरी समझ: जब उन्होंने परीक्षण किया कि मॉडल विशिष्ट भाषाई विवरणों (जैसे व्याकरण, तर्क या डिस्कोर्स) को कितनी अच्छी तरह समझता है, तो नया मॉडल 65 में से 49 श्रेणियों में विजेता रहा।
- क्यों? क्योंकि मॉडल को शब्दों का अर्थ समझने के लिए यह बलिदान नहीं करना पड़ा कि वह टेक्स्ट में कहाँ था।
सारांश
यह पेपर दिखाता है कि "पोजीशन" और "मीनिंग" को हाईवे पर उनके अपने समर्पित लेन देने से, AI दुर्घटनाग्रस्त नहीं होता है। पोजीशन की जानकारी खुद को एक सरल, कुशल मैप में व्यवस्थित करती है, और मॉडल शब्दों को समझने की अपनी क्षमता खोए बिना लंबे दस्तावेज़ों की संरचना को बेहतर ढंग से समझने में सक्षम हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।