Just Pass Twice: Efficient Token Classification with LLMs for Zero-Shot NER
यह शोध पत्र "जस्ट पास ट्वाइस" (JPT) का प्रस्ताव करता है, जो एक ऐसी विधि है जो कॉज़ल लार्ज लैंग्वेज मॉडल्स को इनपुट टेक्स्ट को जोड़ने के माध्यम से कुशल, स्टेट-ऑफ-द-आर्ट ज़ीरो-शॉट नेमड एंटिटी रिकग्निशन करने में सक्षम बनाती है ताकि बिना किसी आर्किटेक्चरल बदलाव के पूर्ण द्विदिश संदर्भ (bidirectional context) प्राप्त किया जा सके, जिससे ऑटोरेग्रेसिव जनरेशन की सीमाओं को पार करते हुए 20 गुना से अधिक तेज़ इन्फरेंस प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा संदर्भों का एक जाल है, जहाँ एक अकेले शब्द का अर्थ पूरी तरह से उन शब्दों पर निर्भर करता है जो उसके बाद आते हैं। "पेरिस" (Paris) शब्द पर विचार करें। यदि आप इसे वाक्य की शुरुआत में देखते हैं, तो आपके मस्तिष्क को अभी तक यह नहीं पता होता कि यह फ्रांसीसी राजधानी के बारे में है या उस संगीतकार के बारे में जिसने एक नया एल्बम रिलीज़ किया है। इस अस्पष्टता को दूर करने के लिए, आपको पूरा वाक्य पढ़ना होगा। दशकों तक, कंप्यूटर इसी समस्या से जूझते रहे। टेक्स्ट में लोगों, स्थानों और संगठनों के नाम खोजने के लिए पारंपरिक उपकरण पीछे की ओर देखने के लिए बनाए गए थे, जो शब्दों का विश्लेषण एक-एक करके उनके प्रकट होने के क्रम में करते थे। वे भविष्य को नहीं देख सकते थे, इसलिए जब महत्वपूर्ण सुराग वाक्य में बाद में आता था, तो वे अक्सर गलत अनुमान लगाते थे। इस बीच, नवीनतम और सबसे शक्तिशाली कंप्यूटर भाषा मॉडल मानव ज्ञान की विशाल मात्रा को समझ सकते थे, लेकिन उन्हें टेक्स्ट लिखने के लिए बनाया गया था, उसे लेबल करने के लिए नहीं। उन्हें भी केवल पीछे की ओर देखने के लिए मजबूर किया गया था, जिससे टेक्स्ट के एक ब्लॉक में विशिष्ट शब्दों की पहचान करने के लिए वे धीमे और त्रुटियों के प्रति संवेदनशील हो जाते थे।
WitnessAI के शोधकर्ताओं ने इन शक्तिशाली मॉडलों को उनके मूल डिज़ाइन को बदले बिना पूरे चित्र को देखने की क्षमता देने का एक तरीका खोजा है। वे इस पद्धति को "जस्ट पास ट्वाइस" (Just Pass Twice - बस दो बार गुजरें) कहते हैं। समाधान आश्चर्यजनक रूप से सरल है: कंप्यूटर मॉडल को वाक्य को केवल एक बार खिलाने के बजाय, वे इसे दो बार, एक के बाद एक खिलाते हैं। पहली बार, मॉडल वाक्य को सामान्य रूप से पढ़ता है। दूसरी बार, वह बिल्कुल उसी वाक्य को फिर से पढ़ता है। क्योंकि मॉडल को वह सब कुछ याद रखने के लिए डिज़ाइन किया गया है जो उसने अब तक देखा है, दूसरी रीडिंग प्रत्येक शब्द को पहली रीडिंग के पूरे हिस्से को "पीछे मुड़कर देखने" की अनुमति देती है। इसका मतलब है कि जब मॉडल दूसरी पास के दौरान "पेरिस" शब्द का विश्लेषण करता है, तो वह पहले पास में बाद में आए "नया एल्बम" (new album) जैसे शब्दों को पहले से ही देख सकता है। यह युक्ति प्रभावी रूप से मॉडल को एक बार में पूरे वाक्य का दृश्य प्रदान करती है, जिससे वह प्रत्येक शब्द के अर्थ के बारे में सटीक निर्णय ले पाता है, और यह सब वह एक ऐसी गति से करता है जो पिछले सर्वोत्तम तरीकों की तुलना में बीस गुना से अधिक तेज़ है।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण विभिन्न प्रकार के कार्यों पर किया जहाँ कंप्यूटर को संगीत, राजनीति और विज्ञान जैसे विभिन्न क्षेत्रों में विशिष्ट प्रकार की जानकारी (जैसे लोगों, संगठनों और स्थानों के नाम) की पहचान करनी होती है। उन्होंने पाया कि इस "डबल रीडिंग" तकनीक को प्रत्येक प्रकार की इकाई के स्पष्ट, लिखित विवरणों के साथ जोड़कर, मॉडल अविश्वसनीय रूप से सटीक हो गया। परीक्षणों में, इसने मौजूदा सर्वोत्तम तरीकों को एक बड़े अंतर से पछाड़ दिया, और इसकी सटीकता में औसतन लगभग आठ अंकों का सुधार हुआ। यह उस कार्य के लिए प्रदर्शन में एक बड़ी छलांग है जिसका अध्ययन दशकों से किया जा रहा है। मॉडल ने केवल बेहतर अनुमान नहीं लगाया; इसने संदर्भ को अधिक गहराई से समझा। उदाहरण के लिए, यह प्रदान किए गए विशिष्ट विवरणों पर भरोसा करके, "व्यक्ति" और "राजनेता" या "देश" और "संगठन" के बीच अंतर कर सका, न कि केवल नामों की सूची को याद करके।
इस खोज को जो बात विशेष रूप से उल्लेखनीय बनाती है, वह यह है कि यह आर्टिफिशियल इंटेलिजेंस के सामान्य समझौतों (trade-offs) को दरकिनार कर देती है। आमतौर पर, किसी मॉडल को अधिक सटीक बनाने के लिए उसे धीमा या अधिक जटिल बनाना पड़ता है। जनरेटिव मॉडल, जो शब्द दर शब्द टेक्स्ट बनाते हैं, धीमे होते हैं क्योंकि उन्हें अगले शब्द को लिखने से पहले प्रत्येक शब्द का इंतजार करना पड़ता है। डिस्क्रिमिनेटिव मॉडल, जो केवल शब्दों को लेबल करते हैं, तेज़ होते हैं लेकिन उनमें नवीनतम, सबसे बड़े मॉडलों जैसी गहरी समझ की कमी होती है। "जस्ट पास ट्वाइस" विधि इस अंतर को पाटती है। यह एक बड़े, ज्ञान-समृद्ध मॉडल को टेक्स्ट को लेबल करने के कार्य को तेज़ और सटीक तरीके से करने की अनुमति देती है। शोधकर्ताओं ने इसे मॉडल के आर्किटेक्चर को बदले बिना या इसे शून्य से पुन: प्रशिक्षित किए बिना हासिल किया। उन्होंने केवल इनपुट को बदल दिया, टेक्स्ट को दोहरा दिया ताकि मॉडल इसे एक धीमी, क्रमिक गणना के बजाय एक एकल, समानांतर गणना के उछाल में संसाधित कर सके।
इस कार्य के निहितार्थ केवल टेक्स्ट में नाम खोजने तक ही सीमित नहीं हैं। यह प्रदर्शित करता है कि आधुनिक भाषा मॉडलों की सीमाएँ हमेशा उनकी बुद्धिमत्ता की कमी के कारण नहीं होतीं, बल्कि कभी-कभी इस कारण से होती हैं कि उन्हें कैसे काम करने के लिए कहा जाता है। इन मॉडलों को एक वाक्य के पूर्ण संदर्भ को देखने की अनुमति देकर, शोधकर्ताओं ने दक्षता और सटीकता के एक नए स्तर को अनलॉक किया है। उनकी विधि कोई जादुई ट्रिक या जटिल एल्गोरिदम ओवरहाल नहीं है; यह एक सीधा समायोजन है जो मॉडल की मौजूदा क्षमताओं का एक नए तरीके से लाभ उठाता है। परिणाम एक ऐसा सिस्टम है जो तेज़ भी है और स्मार्ट भी, जो मानव भाषा की बारीकियों को उस स्तर की सटीकता के साथ संभालने में सक्षम है जो पहले इस श्रेणी के उपकरणों के लिए पहुंच से बाहर थी। यह दृष्टिकोण सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस का मार्ग हमेशा बड़ी या अधिक जटिल मशीनें बनाने की आवश्यकता नहीं है, बल्कि हमारे पास पहले से मौजूद मशीनों का उपयोग करने के सरल, अधिक सुरुचिपूर्ण तरीके खोजने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।