Token-Level Off-Policy Learning for Faithful Generation Under Distribution Shift
यह शोध पत्र टोकन-लेवल ऑफ-पॉलिसी लेबलिंग (TOPL) का प्रस्ताव करता है, जो एक प्रशिक्षण प्रतिमान (पैराडाइम) है जो पोस्ट-ट्रेनिंग को टोकन-स्तरीय शुद्धता भविष्यवाणी कार्य के रूप में पुनर्गठित करता है ताकि सारांशीकरण और मशीन अनुवाद जैसे निष्ठावान जनरेशन कार्यों में मजबूत आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण और व्याख्या योग्य मॉडल अपडेट प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट हैलुसिनेशन हंट: AI को अपनी गलतियों को पहचानना सिखाना
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत तेज़ रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। आप उसे एक किताब देते हैं, और उसे उसका सारांश (summary) लिखना होता है। लेकिन कभी-कभी, रोबोट थोड़ा ज़्यादा रचनात्मक हो जाता है। वह कह सकता है कि एक प्रसिद्ध वैज्ञानिक का जन्म किसी दूसरे शहर में या गलत दिन हुआ था। हम इन गलतियों को "हैलुसिनेशन" (hallucinations) कहते हैं। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, यह एक बड़ी समस्या है। यदि रोबोट मनगढ़ंत बातें बनाने लगता है, तो हम भाषाओं के अनुवाद या समाचारों का सारांश निकालने जैसे वास्तविक कार्यों में उस पर भरोसा नहीं कर सकते।
इसे ठीक करने के लिए, वैज्ञानिक विभिन्न प्रशिक्षण विधियों का उपयोग कर रहे हैं। एक लोकप्रिय तरीका "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) है, जो एक वीडियो गेम की तरह है जहाँ रोबốt को अच्छे उत्तरों के लिए अंक मिलते हैं और बुरे उत्तरों के लिए अंक कटते हैं। हालाँकि, यह अक्सर धीमा और जटिल होता है क्योंकि रोबोट को सीखने के लिए लाखों बार अभ्यास करना पड़ता है। एक अन्य तरीका "ऑफ-पॉलिसी" (Off-Policy) लर्निंग है, जो खुद टेस्ट देने के बजाय एक शिक्षक की उत्तर कुंजी (answer key) पढ़ने जैसा है। यह तेज़ है, लेकिन रोबोट तब भी भ्रमित हो जाता है जब वह ऐसे प्रश्न देखता है जो उसने पहले नहीं देखे हैं। शोधकर्ता एक बड़ा सवाल पूछ रहे हैं: हम इन तेज़, सरल विधियों को बेहतर कैसे बना सकते हैं, खासकर जब रोबोट नई, कठिन स्थितियों का सामना करता है?
नई रणनीति: "टोकन डिटेक्टिव" (The Token Detective)
यह शोध पत्र एक नई प्रशिक्षण विधि पेश करता है जिसे टोकन-लेवल ऑफ-पॉलिसी लेबलिंग (Token-Level Off-Policy Labeling), या संक्षेप में TOPL कहा जाता है। एक "टोकन" को वाक्य में एक एकल शब्द या शब्द का एक छोटा हिस्सा समझें। आमतौर पर, जब हम AI को प्रशिक्षित करते हैं, तो हम उससे वाक्य में अगले शब्द की भविष्यवाणी करने के लिए कहते हैं, जैसे कि "रिक्त स्थान भरें" का खेल। लेकिन TOPL इस खेल को पूरी तरह से बदल देता है। रोबोट को अगला शब्द लिखने के लिए कहने के बजाय, TOPL रोबोट को एक डिटेक्टिव (जासूस) में बदल देता है।
कल्पना कीजिए कि आपके पास रोबोट द्वारा लिखा गया एक सारांश है। कुछ हिस्से सच हैं (जैसे "मैरी क्यूरी पोलैंड में पैदा हुई थीं"), और कुछ हिस्से मनगढ़ंत झूठ हैं (जैसे "मैरी क्यूरी स्लोवाकिया में पैदा हुई थीं")। TOPL रोबोट को उस सारांश के हर एक शब्द को देखने और यह पूछने के लिए प्रशिक्षित करता है: "क्या यह शब्द सच है, या यह शब्द एक झूठ है?" यह प्रत्येक शब्द को एक सरल "हाँ" या "नहीं" का लेबल देता है। ऐसा करके, रोबोट केवल एक क्रम में अगले शब्द का अनुमान लगाने के बजाय, एक तथ्यात्मक टोकन और एक हैलुसिनेटेड (मनगढ़ंत) टोकन के बीच अंतर करना सीखता है।
यह कैसे काम करता है: "स्टीयरिंग" (Steering) का जादू
शोधकर्ताओं ने रोबोट को यह डिटेक्टिव कौशल सिखाने के लिए LoRA (Low-Rank Adaptation) नामक एक विशेष उपकरण का उपयोग किया। आप LoRA को रोबोट के मस्तिष्क पर लगाए जाने वाले छोटे, हटाने योग्य प्रशिक्षण पहियों या एक "स्टीयरिंग किट" के रूप में समझ सकते हैं।
यहाँ चतुर हिस्सा है: शोधकर्ताओं ने पाया कि इस तरह सीखने पर रोबोट का मस्तिष्क स्वाभाविक रूप से दो भागों में विभाजित हो जाता है।
- डिटेक्टर (LoRA-A): यह हिस्सा एक रडार की तरह काम करता है। यह रोबोट के छिपे हुए विचारों को स्कैन करता है और पता लगाता है, "क्या यह विशिष्ट शब्द तथ्यात्मक रूप से सही है?" यह "अच्छे" शब्दों को "बुरे" शब्दों से अलग करता है।
- स्टीयरिंग व्हील (LoRA-B): एक बार जब डिटेक्टर एक "बुरे" शब्द को पकड़ लेता है, तो यह स्टीयरिंग व्हील को रोबोट की सोच को एक अलग दिशा में धकेलने के लिए कहता है। यह एक GPS की तरह है जो कहता है, "आप एक झूठ की ओर बढ़ रहे हैं; बाईं ओर सच्चाई की तरफ मुड़ें।"
पत्र सुझाव देता है कि TOPL इसलिए इतना अच्छा काम करता है क्योंकि यह केवल सही उत्तरों को याद नहीं करता; यह झूठ से दूर जाने और तथ्यों की ओर अपनी सोच को स्टीयर (मोड़ना) करना सीखता है, भले ही इसे उन विषयों का सामना करना पड़े जिन्हें इसने पहले नहीं देखा है।
उन्होंने क्या पाया: बाकी सबसे बेहतर
शोधकर्ताओं ने दस्तावेज़ सारांश से जुड़े 11 विभिन्न डेटासेट्स पर इस नई "डिटेक्टिव" विधि का परीक्षण किया। उन्होंने TOPL की तुलना अन्य लोकप्रिय विधियों से की, जिसमें मानक प्रशिक्षण (SFT), सीक्वेंस-लेवल प्रिफरेंस ऑप्टिमाइज़ेशन (DPO), और अन्य टोकन-लेवल विधियाँ शामिल हैं।
- परिणाम: TOPL ने अन्य सभी विधियों की तुलना में लगातार बेहतर प्रदर्शन किया, विशेष रूप से तब जब रोबोट का परीक्षण नए, अनदेखे डेटा (out-of-distribution) पर किया गया। यह सारांशों को तथ्यात्मक बनाए रखने में सबसे सटीक था।
- आश्चर्य: शोधकर्ताओं ने अपनी विधि का एक संस्करण भी आज़माया जो व्यक्तिगत शब्दों के बजाय पूरे वाक्य को देखता था (जिसे SOPL कहा जाता है)। यह उतना अच्छा काम नहीं कर पाया। यह साबित करता है कि "डिटेक्टिव" दृष्टिकोण के लिए प्रभावी होने के लिए छोटे, व्यक्तिगत टुकड़ों (टोकन) को देखना आवश्यक है। बड़ी तस्वीर देखना पर्याप्त नहीं है; आपको एक-एक शब्द करके झूठ को पकड़ना होगा।
- ट्रांसफर: उन्होंने इसे मशीन ट्रांसलेशन (एक भाषा से दूसरी भाषा में बदलना) पर भी आज़माया। TOPL वहां भी बहुत अच्छा रहा, जिससे पता चलता है कि यह "डेक्टिव" कौशल केवल सारांशों के लिए ही नहीं, बल्कि लेखन के कई अन्य प्रकारों के लिए भी उपयोगी है।
उन्होंने किसे खारिज किया
यह शोध पत्र इस बात पर ध्यान देता है कि क्या काम नहीं करता है।
- रैंडम गेसिंग (यादृच्छिक अनुमान): यदि आप रोबोट को रैंडम लेबल देते हैं (उसे बताते हैं कि झूठ सच हैं और सच झूठ हैं), तो रोबोट भ्रमित हो जाता है और खराब प्रदर्शन करता है। यह दर्शाता है कि रोबोट को वास्तव में सच और झूठ के बीच अंतर सीखना चाहिए, न कि केवल एक पैटर्न को याद करना चाहिए।
- केवल "टोकन-लेवल" पर्याप्त नहीं है: केवल शब्दों को एक-एक करके देखना ही जादू नहीं है। अन्य विधियाँ जो शब्दों को एक-एक करके देखती थीं, वे TOPL जितना अच्छा प्रदर्शन नहीं कर पाईं। TOPL जिस विशिष्ट तरीके से रोबोट को सच और झूठ के बीच अंतर करने के लिए प्रशिक्षित करता है, वही अंतर पैदा करता है।
- "अंतिम" परतें (The Final Layers): शोधकर्ताओं ने पाया कि यदि आप रोबोट के मस्तिष्क की अंतिम परतों पर प्रशिक्षण पहिए (LoRA) लगाते हैं, तो यह वास्तव में चीज़ों को बदतर बना देता है। सबसे अच्छे परिणाम "मध्य" परतों को प्रशिक्षित करने से मिले। ऐसा लगता है कि मध्य परतें वह जगह हैं जहाँ रोबोट तथ्यों को समझने का भारी काम करता है, जबकि अंतिम परतें केवल अंतिम शब्दों को उगलने के लिए होती हैं।
निष्कर्ष
लेखक सुझाव देते हैं कि TOPL AI को अधिक ईमानदार बनाने का एक शक्तिशाली नया तरीका है। मॉडल को एक आलोचक के रूप में प्रशिक्षित करके जो हर एक शब्द की सच्चाई का न्याय करता है, और फिर उस निर्णय का उपयोग मॉडल की सोच को "स्टीयर" करने के लिए करके, उन्होंने एक ऐसी प्रणाली बनाई है जिसे धोखा देना बहुत कठिन है। हालांकि उन्होंने AI हैलुसिनेशन की समस्या को हमेशा के लिए "हल" नहीं किया है, उनके प्रयोगों से दृढ़ता से संकेत मिलता है कि यह "टोकन-लेवल डिटेक्टिव" दृष्टिकोण एक बड़ा कदम है, जो AI को तथ्यों पर टिके रहने के लिए सिखाने का एक सरल और अधिक प्रभावी तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।