Representation-Based Exploration for Language Models: From Test-Time to Post-Training
यह शोध पत्र यह प्रदर्शित करता है कि प्री-ट्रेंड हिडन स्टेट्स (pre-trained hidden states) से व्युत्पन्न एक सरल, रिप्रेजेंटेशन-आधारित डाइवर्सिटी बोनस को इन्फरेंस-टाइम सैंपलिंग और पोस्ट-ट्रेनिंग रीइन्फोर्समेंट लर्निंग दोनों में शामिल करने से भाषा मॉडल के प्रदर्शन और सैंपल दक्षता में महत्वपूर्ण वृद्धि होती है, क्योंकि यह मौजूदा व्यवहारों को केवल परिष्कृत करने के बजाय नवीन व्यवहारों की खोज को बढ़ावा देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल निर्देशों का पालन नहीं करते, बल्कि वास्तव में खुद सोचना सीखते हैं, पहेलियों को सुलझाते हैं और कोड लिखते हैं—कोशिश करके, असफल होकर और फिर से कोशिश करके। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) का क्षेत्र है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एक 'एजेंट' पुरस्कारों को अधिकतम करने के लिए अपने वातावरण के साथ अंतःक्रिया करके सीखता है। इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें: यदि वह बैठता है, तो उसे एक ट्रीट (इनाम) मिलता है; यदि वह कूदता है, तो उसे कुछ नहीं मिलता। समय के साथ, कुत्ता अधिक ट्रीट पाने के लिए सबसे अच्छे व्यवहार सीख जाता है।
लार्ज लैंग्वेज मॉडल्स (वे सुपर-स्मार्ट AI चैटबॉट्स जिनका हम आज उपयोग करते हैं) की दुनिया में, इस प्रक्रिया को "पोस्ट-ट्रेनिंग" कहा जाता है। वैज्ञानिक मॉडल को एक गणित की समस्या या कोडिंग कार्य देते हैं, उसे उत्तर उत्पन्न करने देते हैं, और जाँचते हैं कि क्या वह सही है। यदि वह सही है, तो मॉडल को एक "रिवॉर्ड" (पुरस्कार) मिलता है और वह अगली बार उस विशिष्ट कार्य को बेहतर ढंग से करना सीखता है। हालाँकि, इसमें एक पेच है। वर्तमान तरीके अक्सर एक ऐसे छात्र की तरह होते हैं जो केवल पाठ्यपुस्तक के उत्तरों को रट लेता है। वे उन विशिष्ट तरकीबों में बहुत अच्छे हो जाते हैं जिन्हें वे पहले से जानते हैं, लेकिन वे शायद ही कभी समस्याओं को हल करने के नए तरीके खोज पाते हैं। वे बस जो वे पहले से करते हैं, उसमें अधिक निपुण हो जाते हैं। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या हम इन AI मॉडल्स को केवल रटने वालों के बजाय जिज्ञासु खोजकर्ताओं के रूप में सिखा सकते हैं? क्या हम उन्हें उन समाधानों को खोजने के लिए अजीब, नवीन और विविध दृष्टिकोणों को आज़माने के लिए प्रोत्साहित कर सकते हैं जिन्हें उनके मूल प्रशिक्षण ने कभी नहीं दिखाया था?
यह शोध पत्र, जिसका शीर्षक "रिप्रजेंटेशन-बेस्ड एक्सप्लोरेशन फॉर लैंग्वेज मॉडल्स" (Representation-Based Exploration for Language Models) है, ठीक इसी प्रश्न में गहराई तक जाता है। शोधकर्ता, जेन्स ट्यूल्स, डायलन जे. फोस्टर, अक्षय कृष्णमूर्ति और जॉर्डन टी. ऐश, AI मॉडल्स को एक्सप्लोर (खोज/अन्वेषण) करने के लिए प्रेरित करने का एक चतुर नया तरीका प्रस्तावित करते हैं। केवल मॉडल को यादृच्छिक रूप से अनुमान लगाने या केवल वही दोहराने देने के बजाय, वे मॉडल को एक "डाइवर्सिटी बोनस" (विविधता बोनस) देते हैं। कल्पना कीजिए कि आप एक विशाल जंगल में छिपे हुए खजाने की तलाश कर रहे हैं। एक रैंडम वॉकर (यादृच्छिक रूप से चलने वाला) बस इधर-उधर भटक सकता है, जबकि एक स्मार्ट वॉकर हर अलग प्रकार के पेड़ को देखने की कोशिश कर सकता है ताकि वह कोई सुराग न छोड़ दे। यह शोध पत्र सुझाव देता है कि AI के अपने आंतरिक "विचारों" (हिडन स्टेट्स) का उपयोग यह मापने के लिए किया जाए कि एक नया विचार उसके पहले से आजमाए गए विचारों से कितना भिन्न है। यदि कोई विचार उसके पिछले प्रयासों की तुलना में "ताज़ा" या "नवीन" लगता है, तो उसे बोनस रिवॉर्ड मिलता है, जो मॉडल को उस नए पथ पर आगे बढ़ने के लिए प्रोत्साहित करता है।
टीम ने इस विचार का दो मुख्य तरीकों से परीक्षण किया। पहला, उन्होंने "इन्फरेंस-टाइम" एक्सप्लोरेशन को देखा, जो एक बार के परीक्षण जैसा है। उन्होंने एक एकल गणितीय समस्या के लिए हजारों उत्तर उत्पन्न किए और सबसे दिलचस्प उत्तरों को चुनने के लिए अपने "डाइवर्सिटी बोनस" का उपयोग किया। उन्होंने पाया कि यह तरीका अविश्वसनीय रूप से कुशल था। उदाहरण के लिए, MATH नामक एक कठिन गणितीय डेटासेट पर, Qwen-2.5-14b-Instruct नामक मॉडल का उपयोग करके, उनके तरीके ने यादृच्छिक रूप से उत्तर चुनने की तुलना में सही उत्तर खोजने की दक्षता में 50% से अधिक सुधार किया। वास्तव में, कुछ कार्यों के लिए, उनके एक्सप्लोरेशन स्ट्रैटेजी का उपयोग करने पर उन्हें सही समाधान खोजने के लिए 3 से 13 गुना कम प्रयासों की आवश्यकता पड़ी।
दूसв, उन्होंने इस एक्सप्लोरेशन स्ट्रैटेजी को वास्तविक प्रशिक्षण प्रक्रिया (पोस्ट-ट्रेनिंग) में एकीकृत किया। वे यह देखना चाहते थे कि क्या यह मॉडल को केवल पुराने कौशल को तेज करने के बजाय नए व्यवहार सीखने में मदद कर सकता है। परिणाम उत्साहजनक थे। जब उन्होंने मॉडल को इस एक्सप्लोरेशन बोनस के साथ प्रशिक्षित किया, तो इसने न केवल पुराने ही नहीं, बल्कि बहुत अधिक नवीन और रचनात्मक दिखने वाले उत्तर भी उत्पन्न करना शुरू कर दिया। AIME 2024 नामक एक कठिन गणित प्रतियोगिता डेटासेट पर, उनका एक्सप्लोरेशन-एन्हांस्ड मॉडल एक मानक प्रशिक्षण पद्धति के समान प्रदर्शन करता है जिसमें चार गुना अधिक सैंपल्स का उपयोग किया गया था। यह सुझाव देता है कि विविधता को जानबूझकर प्रोत्साहित करके, वे भारी मात्रा में अतिरिक्त डेटा या कंप्यूटिंग पावर की आवश्यकता के बिना AI मॉडल्स को नई क्षमताओं की खोज करने में मदद कर सकते हैं।
हालाँकि, लेखक सावधानीपूर्वक यह नोट करते हैं कि यह सब कुछ हल करने वाला कोई जादुई समाधान (मैजिक बुलेट) नहीं है। उन्होंने पाया कि यह तरीका मजबूत, अधिक सक्षम मॉडल्स के साथ सबसे अच्छा काम करता है; कमजोर मॉडल्स को इससे लाभ नहीं हुआ या वे और भी खराब हो गए। उन्होंने यह भी दिखाया कि हालांकि यह दृष्टिकोण मॉडल को नए समाधान खोजने में मदद करता है, लेकिन इसका मतलब यह नहीं है कि मॉडल सामान्य अर्थों में "स्मार्टर" (अधिक बुद्धिमान) हो गया है, बल्कि यह कि वह सही उत्तर खोजने के लिए संभावित उत्तरों के विशाल स्थान में नेविगेट करने में बेहतर है। यह शोध पत्र सुझाव देता है कि यह "जानबूझकर किया गया अन्वेषण" (डेलिब्रेट एक्सप्लोरेशन) एक व्यावहारिक मार्ग है, जो केवल मौजूदा कौशल को तेज करने से आगे बढ़ने और भाषा मॉडल्स में वास्तव में नए व्यवहारों की खोज करने की ओर जाने का एक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।