Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation
यह शोध पत्र ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (Group Relative Policy Optimization) के माध्यम से "NoThink," "Short," और "Long" रीजनिंग मोड के बीच चयन करना सीखकर टेस्ट-टाइम कंप्यूट को अनुकूल रूप से आवंटित करने के लिए रीजनिंग लैंग्वेज मॉडल्स को प्रशिक्षित करने की एक विधि प्रस्तुत करता है, जो विभिन्न बेंचमार्क पर सटीकता को बनाए रखते हुए या उसमें सुधार करते हुए महत्वपूर्ण टोकन कटौती प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) जटिल समस्याओं को हल करने में उल्लेखनीय रूप से कुशल हो गए हैं, जो अक्सर एक प्रश्न को मध्यवर्ती चरणों की एक लंबी श्रृंखला में तोड़कर किया जाता है, ठीक वैसे ही जैसे एक इंसान कागज के टुकड़े पर कठिन गणितीय समस्या को हल करते समय करता है। यह चरण-दर-चरण दृष्टिकोण, जिसे 'चेन-ऑफ-थॉट रीजनिंग' (chain-of-thought reasoning) कहा जाता है, इन प्रणालियों को गणित और कोडिंग से जुड़े कार्यों में उच्च स्तर की सटीकता प्राप्त करने में सक्षम बनाता है। हालांकि, इस क्षमता के साथ एक महत्वपूर्ण लागत भी आती है: मॉडल अक्सर आवश्यकता से कहीं अधिक टेक्स्ट उत्पन्न करते हैं, जिससे भारी मात्रा में कंप्यूटिंग शक्ति और समय खर्च होता है। यहाँ तक कि एक सरल समस्या होने पर भी, मॉडल एक लंबा, विस्तृत स्पष्टीकरण दे सकता है, जिससे उन कार्यों पर संसाधनों की बर्बादी होती है जिन्हें तुरंत हल किया जा सकता था। शोधकर्ताओं को लंबे समय से संदेह रहा है कि इन प्रणालियों में यह निर्णय लेने की क्षमता की कमी है कि किसी विशिष्ट समस्या के लिए वास्तव में कितने प्रयास की आवश्यकता है, जिससे एक ऐसी स्थिति पैदा होती है जहाँ आसान प्रश्नों के साथ भी कठिन प्रश्नों जैसा ही भारी उपचार किया जाता है।
फ्रीजे यूनिवर्सिटी एम्स्टर्डम (Vrije Universiteit Amsterdam) के शोधकर्ताओं की एक टीम ने एक मॉडल को खुद यह निर्णय लेना सिखाने का लक्ष्य रखा। उन्होंने एक अपेक्षाकृत छोटे रीजनिंग मॉडल के साथ काम किया, जिसमें 1.5 बिलियन पैरामीटर्स थे, जिसे गणितीय समस्याओं को हल करने के लिए प्रशिक्षित किया गया था। मॉडल को हमेशा एक निश्चित समय के लिए सोचने के लिए मजबूर करने के बजाय, उन्होंने उसे अपने उत्तर की शुरुआत में ही एक सरल विकल्प दिया: वह बिना सोचे तुरंत उत्तर देने, संक्षेप में तर्क करने, या विस्तृत, गहन तर्क करने का निर्णय ले सकती थी। मॉडल को 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) नामक पद्धति का उपयोग करके प्रशिक्षित किया गया था, जहाँ इसे इस आधार पर फीडबैक मिलता है कि इसका उत्तर सही है या नहीं और वह वहां तक कितनी कुशलता से पहुँचा। लक्ष्य यह देखना था कि क्या मॉडल समस्या की कठिनाई के अनुसार अपने प्रयास को मिलाना सीख सकता है, यानी आसान कार्यों पर समय बचाते हुए कठिन कार्यों को हल करने के लिए पर्याप्त संसाधन समर्पित करना।
शोधकर्ताओं ने एक ऐसी प्रणाली डिजाइन की जहाँ मॉडल अपने संचालन मोड का संकेत देने के लिए अपने पहले टोकन के रूप में एक एकल शब्द उत्सर्जित करता है। यदि मॉडल "NoThink" चुनता है, तो वह सीधे उत्तर देने का प्रयास करता है। यदि वह "Short" चुनता है, तो उसे एक संक्षिप्त स्पष्टीकरण देने की अनुमति है, लेकिन शब्दों की संख्या पर एक सख्त सीमा के साथ। यदि वह "Long" चुनता है, तो उसे बिना किसी सीमा के विस्तार से तर्क करने की अनुमति है। यह सुनिश्चित करने के लिए कि मॉडल वास्तव में इन विकल्पों पर टिका रहे, शोधकर्ताओं ने छोटे मोड के लिए प्रतिक्रिया की लंबाई पर कठोर सीमाएं लगा दीं। यदि कोई मॉडल "Short" मोड का उपयोग करने की कोशिश करता है लेकिन सीमा से आगे लिखता रहता है, तो सिस्टम उस प्रयास को गलत के रूप में चिह्नित करेगा, चाहे अंतिम उत्तर सही ही क्यों न हो। इसने मॉडल को यह सीखने के लिए मजबूर किया कि शुरुआत में चुने गए लेबल के वास्तविक परिणाम होते हैं।
मॉडल को हर बार सबसे लंबे, सुरक्षित विकल्प पर डिफ़ॉल्ट होने और चयन को अनदेखा करने से रोकने के लिए, शोधकर्ताओं ने इसे मिलने वाले रिवॉर्ड (पुरस्कार) को समायोजित किया। उन्होंने बहुत छोटे उत्तरों के लिए "NoThink" और "Short" मोड को अधिक रिवॉर्ड दिया, जबकि "Long" मोड ने लंबाई की परवाह किए बिना एक स्थिर रिवॉर्ड प्रदान किया। इससे एक ऐसा परिदृश्य बना जहाँ सबसे अच्छी रणनीति समस्या पर निर्भर थी: एक मामूली प्रश्न के लिए, सबसे तेज़ उत्तर उच्चतम स्कोर देता था, जबकि एक कठिन समस्या के लिए सफल होने के लिए "Long" मोड के विस्तृत प्रयास की आवश्यकता थी। उन्होंने एक संतुलन तंत्र भी जोड़ा जिसने मॉडल को सभी तीन विकल्पों का उपयोग करने के लिए धीरे से प्रेरित किया, यह सुनिश्चित करते हुए कि वह हर समस्या के लिए केवल एक ही रणनीति का उपयोग करने में सिमट न जाए।
परिणामों ने दिखाया कि मॉडल ने सफलतापूर्वक कठिनाई के आधार पर समस्याओं को वर्गीकृत करना सीख लिया। 500 होल्ड-आउट गणित समस्याओं के एक सेट पर, मॉडल ने आसान प्रश्नों को "NoThink" या "Short" मोड की ओर निर्देशित किया और कठिन प्रश्नों को "Long" मोड की ओर। प्रशिक्षण के दौरान, मॉडल की सटीकता मूल, अपरिवर्तित संस्करण के लगभग समान रही, लेकिन उसके उत्तरों की औसत लंबाई काफी कम हो गई। शोधकर्ताओं ने पाया कि नई नीति ने औसत शब्दों की संख्या में 41 प्रतिशत की कमी की, जिससे प्रतिक्रिया की लंबाई लगभग 4,800 टोकन से घटकर लगभग 2,800 रह गई। इसका अर्थ यह था कि मॉडल कम से बजाय आधे कंप्यूटिंग प्रयास का उपयोग करते हुए समान संख्या में समस्याओं को सही ढंग से हल कर रहा था।
महत्वपूर्ण रूप से, यह दक्षता उन समस्याओं पर प्रदर्शन की कीमत पर नहीं आई जिन्हें उसने पहले कभी नहीं देखा था। जब प्रारंभिक गणितीय शब्द समस्याओं के एक अलग सेट पर परीक्षण किया गया, तो मॉडल ने और भी अधिक टेक्स्ट बचाया, टोकन की संख्या में 76 प्रतिशत की कमी आई और उच्च सटीकता बनाए रखी। अत्यंत कठिन प्रतियोगिता गणित की समस्याओं के एक सेट पर, जहाँ गहरे तर्क की लगभग हमेशा आवश्यकता होती है, मॉडल ने लगभग हर प्रश्न के लिए "Long" मोड को सही ढंग से चुना, जो बेसलाइन के प्रदर्शन से मेल खाता था और बिना किसी शॉर्टकट के समय बर्बाद किए। यह अध्ययन प्रदर्शित करता है कि एक रीजनिंग मॉडल अपने प्रयास को स्वयं विनियमित करने के लिए प्रशिक्षित किया जा सकता है, जिससे वह केवल तभी अधिक सोचने का समय आवंटित करता है जब समस्या इसकी मांग करती है। यह कृत्रिम बुद्धिमत्ता को अधिक कुशल बनाने के लिए एक मार्ग सुझाता है, जिससे सिस्टम केवल अत्यधिक विस्तृत (verbose) होने के बजाय स्मार्ट और किफायती दोनों हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।