Policy of Thoughts: Scaling Test-Time Training for LLM Reasoning via Online Policy Evolution
यह शोध पत्र पॉलिसी ऑफ थॉट्स (PoT) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो टेस्ट-टाइम निष्पादन को एक ऑनलाइन ऑप्टिमाइज़ेशन प्रक्रिया के रूप में मानकर LLM तर्क क्षमता को बढ़ाता है, जहाँ फीडबैक को आत्मसात करने और मॉडल की तर्क रणनीति को विकसित करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन के माध्यम से एक क्षणिक LoRA एडेप्टर को गतिशील रूप से अपडेट किया जाता है, जिससे एक 4B मॉडल जटिल कोडिंग बेंचमार्क पर काफी बड़े अत्याधुनिक मॉडलों को भी पीछे छोड़ने में सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अविश्वसनीय रूप से कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई जटिल कोडिंग चुनौती या गणित की समस्या जिसके लिए सोचने की एक लंबी श्रृंखला की आवश्यकता होती है। आपके पास एक सुपर-स्मार्ट असिस्टेंट (एक लार्ज लैंग्वेज मॉडल) है जो बहुत सी बातें जानता है, लेकिन कभी-कभी वह एक ही लूप में फंस जाता है, बार-बार एक ही गलती दोहराता रहता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह असिस्टेंट आमतौर पर एक "फ्रोजन" (जमे हुए) दिमाग के साथ काम करता है: एक बार जब यह सोचना शुरू कर देता है, तो यह बीच में अपनी मौलिक रणनीति नहीं बदल सकता। यदि यह गलत दिशा में मुड़ जाता है, तो यह बस उसी गलत रास्ते पर चलता रहता है, इस उम्मीद में कि शायद किस्मत से सही उत्तर मिल जाए या कई अलग-अलग रास्तों को एक साथ आज़माया जा सके। यह एक भूलभुलैया से बाहर निकलने का रास्ता खोजने जैसा है जहाँ आप हर गलियारे में तब तक अंधाधुंध दौड़ते रहते हैं जब तक कि आप किसी दीवार से न टकरा जाएँ, बजाय इसके कि आप उन दीवारों से सीखें जिनसे आप पहले ही टकरा चुके हैं।
लंबे समय तक, इन कठिन समस्याओं को हल करने का सबसे अच्छा तरीका बस कंप्यूटर को अधिक समय और कंप्यूटिंग पावर देना था ताकि वह लाखों अलग-अलग अनुमान लगा सके। लेकिन यह पेपर एक स्मार्ट तरीका सुझाता है: केवल अधिक प्रयास करने के बजाय, कंप्यूटर को प्रयास करते समय सीखना चाहिए। इसे एक वीडियो गेम के पात्र की तरह समझें जो केवल मरकर फिर से स्पॉन (respawn) नहीं होता, बल्कि उस विशिष्ट जाल से सीखता है जिसने उसे अभी मारा है, और अगले प्रयास के लिए अपनी रणनीति को तुरंत बदल देता है। इस अध्ययन के पीछे के शोधकर्ता पूछ रहे हैं: क्या होगा अगर हमारा AI "अपने पैरों पर खड़ा होकर सोच" (think on its feet) सके, यानी अपने पिछले अनुमानों के विफल होने या सफल होने के आधार पर वास्तविक समय में अपने स्वयं के तर्क के नियमों को अपडेट कर सके? यह एक रोबोट और उसके बीच का अंतर है जो केवल एक स्क्रिप्ट का पालन करता है और एक ऐसा जो हर नई चुनौती के लिए अपने मस्तिष्क को तुरंत अनुकूलित और विकसित करता है।
"पॉलिसी ऑफ थॉट्स": AI को खेलते समय सीखने के लिए सिखाना
मिलिए PoT (पॉलिसी ऑफ थॉट्स) से, एक नया फ्रेमवर्क जो समस्या को हल करने को एक बार के अनुमान के रूप में नहीं, बल्कि AI और समस्या के बीच एक जीवंत, विकसित होती बातचीत के रूप में देखता है। लेखक, जो जेझियांग यूनिवर्सिटी और एलएमयू म्यूनिख जैसे विश्वविद्यालयों के शोधकर्ताओं की एक टीम है, का तर्क है कि पुराना तरीका—जहाँ AI की रणनीति उत्तरों की खोज के दौरान स्थिर रहती है—हमें पीछे खींच रहा है। वे एक ऐसी प्रणाली का प्रस्ताव करते हैं जहाँ AI को परीक्षण के दौरान ही अपनी विफलताओं से सीखने का "दूसरा मौका" मिलता है, प्रभावी रूप से खुद को चलते-फिरते प्रशिक्षित करता है।
पॉपरियन पहेली: अनुमान लगाओ, परीक्षण करो, और विकसित हो जाओ
इसका मूल विचार एक प्रसिद्ध दार्शनिक कार्ल पॉपर से प्रेरित है, जिनका मानना था कि विज्ञान "अनुमान और खंडन" (conjectures and refutations) के माध्यम से आगे बढ़ता है। सरल शब्दों में, इसका अर्थ है कि आप एक अनुमान लगाते हैं, वास्तविकता के विरुद्ध उसका परीक्षण करते हैं, और यदि वह विफल हो जाता है, तो आप सीखते हैं कि वह क्यों विफल हुआ ताकि अगली बार बेहतर अनुमान लगाया जा सके।
PoT इस दर्शन को AI के लिए जीवंत बनाता है। यह चक्र कैसे काम करता है, यहाँ देखें:
- अनुमान (The Conjecture - द गेस): AI एक समस्या को देखता है और कई अलग-अलग संभावित समाधान उत्पन्न करता है (जैसे कि एक मानचित्र पर तीन अलग-अलग मार्ग रेखांकित करना)।
- खंडन (The Refutation - द रियलिटी चेक): सिस्टम इन समाधानों को एक वास्तविक वातावरण (जैसे कि एक कोड कंपाइलर) में चलाता है। यदि कोड क्रैश हो जाता है या गलत उत्तर देता है, तो वह एक "खंडन" है।
- विकास (The Evolution - द लर्निंग): यह जादुई हिस्सा है। विफल अनुमान को केवल फेंक देने के बजाय, PoT विफलता का उपयोग AI की आंतरिक "पॉलिसी" (सोचने की रणनीति) को अपडेट करने के लिए करता है। यह AI के सोचने के तरीके में इस विशिष्ट समस्या के लिए सूक्ष्म, तात्कालिक समायोजन करता है।
- दोहराव (The Repeat): AI अपने नए अपडेटेड मस्तिष्क के साथ फिर से प्रयास करता है, जो अब उस विशिष्ट गलती से बचने के लिए बेहतर रूप से सुसज्जित है जो उसने अभी की थी।
"अस्थायी मस्तिष्क" वाली ट्रिक
आप सोच सकते हैं: "यदि AI हर समस्या से सीखता है, तो क्या वह भ्रमित नहीं हो जाएगा या जो वह पहले जानता था उसे भूल नहीं जाएगा?" लेखकों के पास एक चतुर समाधान है। वे LoRA (लो-रैंक अडैप्टेशन) नामक एक तकनीक का उपयोग करते हैं, जो AI को एक अस्थायी, हटाने योग्य "सोचने वाली टोपी" (thinking cap) देने जैसा है।
कल्पset लीजिए कि AI के पास ज्ञान का एक स्थायी, विशाल पुस्तकालय (उसका बेस मॉडल) है। जब वह किसी कठिन समस्या का सामना करता है, तो वह एक विशेष, हल्के वजन वाली "सोचने वाली टोपी" (LoRA एडैप्टर) पहन लेता है। यह टोपी AI को इस विशिष्ट पहेली के लिए अपनी रणनीति को जल्दी से सीखने और अनुकूलित करने की अनुमति देती है। एक बार जब पहेली हल हो जाती है (या समय समाप्त हो जाता है), तो टोपी उतार दी जाती है और फेंक दी जाती है। स्थायी पुस्तकालय अछूता और भ्रमित रह जाता है। इसका मतलब है कि AI अपने सामान्य ज्ञान को खराब किए बिना हर एक नई समस्या के लिए अनुकूलन का मास्टर बन सकता है।
परिणाम: छोटा मस्तिष्क, बड़ी जीत
शोधकर्ताओं ने इस विचार का परीक्षण कोडिंग चुनौतियों पर किया, जो अपनी सटीक, चरण-दर-चरण तर्क की आवश्यकता के कारण कुख्यात रूप से कठिन होती हैं। उन्होंने एक अपेक्षाकृत छोटा AI मॉडल (केवल 4 बिलियन पैरामीटर) इस्तेमाल किया और उसे PoT फ्रेमवर्क दिया।
परिणाम आश्चर्यजनक थे। इस छोटे से मॉडल ने, PoT का उपयोग करते हुए, LiveCodeBench V6 नामक एक कठिन बेंचमार्क पर 49.71% समस्याओं को हल करने में सफलता प्राप्त की। इसे समझने के लिए:
- इसने GPT-4o को पीछे छोड़ दिया, जो एक विशाल व्यावसायिक मॉडल है, जिसने उसी विशिष्ट बेंचमार्क पर 29.71% स्कोर किया।
- इसने इस विशिष्ट परीक्षण पर अन्य बड़े मॉडलों के बेसलाइन प्रदर्शन को काफी बेहतर प्रदर्शन किया, जिससे यह सिद्ध हुआ कि गतिशील शिक्षण वाला एक छोटा मॉडल बड़े सिस्टमों की स्थिर तर्क क्षमता को पछाड़ सकता है।
- जबकि Gemini-2.5-Flash (60.91% समग्र) और Claude-Opus-4 (55.22% समग्र) जैसे मॉडलों ने व्यापक, मिश्रित बेंचमार्क पर उच्च स्कोर हासिल किया, PoT-एन्हांस्ड 4B मॉडल का कठोर LiveCodeBench V6 पर 49.71% स्कोर, उससे 50 गुना छोटे मॉडल के लिए एक बड़ी छलांग है, जो यह साबित करता है कि अनुकूलन योग्य तर्क जटिल, विशिष्ट कार्यों पर दिग्गजों के अंतर को पाट सकता है।
सबसे प्रभावशाली बात यह है कि PoT-एन्हांस्ड मॉडल उन विशाल मॉडलों की तुलना में 50 गुना से अधिक छोटा है जिनके साथ यह प्रतिस्पर्धा कर रहा है। इसने बड़े मस्तिष्क के कारण जीत हासिल नहीं की; इसने अपने पास मौजूद मस्तिष्क का स्मार्ट तरीके से उपयोग करके जीत हासिल की।
यह क्यों मायने रखता है
पेपर सुझाव देता है कि AI तर्क का भविष्य केवल बड़े और बड़े मॉडल बनाने के बारे में नहीं है। यह मॉडलों को "अपने पैरों पर खड़े होकर सोचने" की क्षमता देने के बारे में है। परीक्षण प्रक्रिया को एक प्रशिक्षण सत्र में बदलकर, AI विफल रास्तों पर ऊर्जा बर्बाद करना बंद कर देता है और उस ऊर्जा का उपयोग अपनी रणनीति को तुरंत सुधारने के लिए करने लगता है।
शोधकर्ताओं ने पाया कि यह तरीका तब सबसे अच्छा काम करता है जब फीडबैक स्पष्ट हो (जैसे कि कोड जो या तो चलता है या क्रैश होता है)। जब फीडबैक अस्पष्ट होता है, तो लाभ कम होते हैं, लेकिन फिर भी सकारात्मक होते हैं। उन्होंने यह भी दिखाया कि यह दृष्टिकोण विभिन्न प्रकार के मॉडलों पर काम करता है, न कि केवल उसी पर जिससे उन्होंने शुरुआत की थी।
संक्षेप में, PoT सुझाव देता है कि एक कठिन समस्या को हल करने का सबसे अच्छा तरीका केवल अधिक प्रयास करना नहीं है; यह तेजी से सीखना है। AI को हर चुनौती के लिए अपनी तर्क रणनीति को विकसित करने की अनुमति देकर, हम बहुत छोटे, अधिक कुशल कंप्यूटरों से सुपर-स्मार्ट परिणाम प्राप्त कर सकते हैं। यह "सही उत्तर खोजने की खोज" से "सही उत्तर कैसे खोजा जाए, यह सीखने" की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।