DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models
यह शोध पत्र DIRECT का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो बेहतर संरेखण (alignment) के लिए डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन को एक नियंत्रित, टेम्पलेट-फिलिंग डिकोडिंग तंत्र के साथ जोड़कर सीक्वेंस लेबलिंग के लिए बड़े भाषा मॉडलों के प्रदर्शन और दक्षता को बढ़ाता है, जो अनावश्यक गणना को कम करता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने इंटरनेट पर मौजूद लगभग हर किताब को पढ़ लिया है। यह कविताएँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और इंसानों की तरह बातचीत कर सकता है। इसे वैज्ञानिक "लार्ज लैंग्वेज मॉडल" (LLM) कहते हैं। लेकिन यहाँ एक पेंच है: हालाँकि यह सामान्य बातचीत में जीनियस है, लेकिन जब आप इसे बहुत विशिष्ट, नियम-आधारित काम करने के लिए कहते हैं, तो यह थोड़ा गड़बड़ा सकता है। इनमें से एक काम है "सीक्वेंस लेबलिंग" (sequence labeling)। इसे "टैग" के खेल की तरह समझें जहाँ आपको एक वाक्य में जाना होता है और हर एक शब्द पर एक विशिष्ट स्टिकर चिपकाना होता है। क्या "Apple" एक कंपनी है? क्या "Tim" एक व्यक्ति है? क्या "March" एक तारीख है? रोबोट को हर एक स्टिकर बिल्कुल सही तरीके से, सटीक क्रम में, बिना किसी अतिरिक्त शब्द या टैग को छोड़े प्राप्त करना होगा।
समस्या यह है कि ये रोबोट रचनात्मक और स्वतंत्र रूप से बहने के आदी होते हैं। जब आप उन्हें सख्त नियमों का पालन करने के लिए कहते हैं, तो वे कभी-कभी भ्रमित हो जाते हैं, प्रारूप (format) भूल जाते हैं, या बस अपनी ओर से कुछ भी बना देते हैं। इसके अलावा, क्योंकि वे बहुत अधिक बातें करते हैं, इसलिए उन्हें हर एक शब्द के बारे में सोचने में बहुत समय लगता है, जिससे उन्हें चलाना धीमा और महंगा हो जाता है। वैज्ञानिक इन रोबोटों को बेहतर नियम पालन करने और अपने काम को तेज़ी से करने के लिए सिखाने की कोशिश कर रहे हैं, लेकिन यह एक गोल्डन रिट्रीवर को सटीक सर्जरी करने के लिए सिखाने जैसा रहा है।
यहीं पर एक नई विधि आती है जिसे DIRECT कहा जाता है। इस शोध के पीछे के शोधकर्ताओं ने दो बड़ी समस्याओं को ठीक करना चाहा: रोबोट का निर्देशों का ठीक से पालन न कर पाना, और रोबोट का बहुत धीमा होना। उन्होंने केवल रोबोट को कठिन प्रशिक्षण नहीं दिया; उन्होंने यह भी बदला कि रोबोट कैसे सीखता है और कैसे सोचता है।
सबसे पहले, उन्होंने रोबोट को एक विशेष प्रकार का प्रशिक्षण दिया जिसे डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) कहा जाता है। कल्पना कीजिए कि आप एक कुत्ते को गेंद लाना सिखा रहे हैं। केवल यह कहने के बजाय कि "जाओ गेंद लेकर आओ," आप कुत्ते को गेंद लाने के दो अलग-अलग तरीके दिखाते हैं: एक जिसमें वह गेंद को बिल्कुल सही लाता है, और दूसरा जहाँ वह उसे बीच में ही छोड़ देता है। फिर आप कुत्ते से कहते हैं, "मुझे पहला वाला बहुत अधिक पसंद है।" हजारों ऐसे "अच्छे बनाम बुरे" उदाहरण दिखाकर, वह यह समझ जाता है कि इंसान क्या पसंद करते हैं, जिससे उसके पहली बार में ही काम सही करने की संभावना बहुत बढ़ जाती है।
दूसरा, और यह वास्तव में बहुत चतुर हिस्सा है, उन्होंने वास्तविक परीक्षण के दौरान रोबोट के लिखने के तरीके को बदल दिया। आमतौर पर, एक रोबोट को पूरा वाक्य फिर से लिखना पड़ता है, जिसमें उन शब्दों को भी शामिल किया जाता है जिन्हें वह पहले से जानता है। यह एक छात्र को कहानी के अंत में ड्रेस का रंग बदलने के लिए पूरी "सिंड्रेला" की कहानी फिर से लिखने के लिए कहने जैसा है। DIRECT इस बर्बादी को रोकता है। पूरी कहानी को फिर से लिखने के बजाय, रोबोट को एक "रिक्त स्थान भरें" (fill-in-the-blank) टेम्पलेट दिया जाता है। उसे केवल विशिष्ट स्टिकर (लेबल) लिखने होते हैं और बाकी चीज़ों को छोड़ देना होता है। कंप्यूटर बाकी की कहानी को तुरंत याद रखता है, जिससे बहुत सारा समय और ऊर्जा बचती है।
इस नए दृष्टिकोण के परिणाम काफी प्रभावशाली हैं। शोधकर्ताओं ने DIRECT का परीक्षण आठ अलग-अलग डेटासेट पर किया, जो अभ्यास समस्याओं के विभिन्न सेटों की तरह हैं जिनमें लोगों, स्थानों और संगठनों के नाम खोजने जैसे कार्य शामिल हैं। उन्होंने पाया कि DIRECT न केवल अन्य शीर्ष तरीकों की तुलना में अधिक सटीक था, बल्कि काफी तेज़ भी था। वास्तव में, कुछ परीक्षणों में, यह मौजूदा सर्वोत्तम तरीकों से 9 गुना तक तेज़ था।
जब उन्होंने बारीकी से देखा कि यह इतना अच्छा क्यों काम कर रहा है, तो उन्होंने पाया कि उनके प्लान के दोनों हिस्से आवश्यक थे। यदि वे विशेष प्रशिक्षण (DPO) को हटा देते, तो रोबोट अधिक गलतियाँ करता। यदि वे "रिक्त स्थान भरें" वाले स्पीड ट्रिक को हटा देते, तो रोबोट सही उत्तर तो देता लेकिन उसे करने में बहुत समय लेता। सख्त नियम पालन प्रशिक्षण और अनावश्यक काम को छोड़ने के स्मार्ट तरीके को मिलाकर, DIRECT ने दोनों तरफ की सर्वश्रेष्ठ चीज़ें हासिल कीं: एक रोबोट जो एक पूर्णतावादी (perfectionist) और एक गतिवान (speedster) दोनों है।
यह शोध पत्र दिखाता है कि सही प्रशिक्षण और थोड़ी सी इंजीनियरिंग चतुराई के साथ, हम इन शक्तिशाली AI उपकरणों को बहुत अधिक उपयोगी बना सकते हैं। यह केवल रोबोट को स्मार्ट बनाने के बारे में नहीं है; यह उसे ध्यान केंद्रित करना और कुशलता से काम करना सिखाने के बारे में है, जिससे एक बातूनी जीनियस को एक भरोसेमंद, तेज़ कार्यकर्ता में बदला जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।