SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning

लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण हैं जो जटिल समस्याओं को हल कर सकते हैं, कोड लिख सकते हैं और डिजिटल वातावरण में नेविगेट कर सकते हैं, लेकिन वे अक्सर तब संघर्ष करते हैं जब किसी कार्य के लिए तर्क की एक लंबी श्रृंखला (chain of reasoning) की आवश्यकता होती है। कल्पना कीजिए कि आप एक छात्र को एक कठिन गणितीय समस्या हल करने या खरीदारी की बहु-चरणीय यात्रा की योजना बनाने के लिए कह रहे हैं। यदि छात्र अंतिम उत्तर गलत देता है, तो उसे एक साधारण "गलत" का संकेत मिलता है। यह फीडबैक उन्हें बताता है कि परिणाम बुरा था, लेकिन यह यह नहीं बताता कि उनके विचार की लंबी श्रृंखला में किस विशिष्ट चरण के कारण त्रुटि हुई। क्या यह बीच में कोई गणना संबंधी गलती थी? क्या शुरुआत में कोई गलत धारणा थी? यह जाने बिना कि कहाँ चूक हुई, मॉडल अगली बार बेहतर करने के लिए आसानी से नहीं सीख सकता। इसे 'क्रेडिट असाइनमेंट प्रॉब्लम' (credit assignment problem) के रूप में जाना जाता है, जो कृत्रिम बुद्धिमत्ता (AI) को लंबे, जटिल कार्यों को संभालने के लिए सिखाने में एक बड़ी बाधा है।

शोधकर्ताओं ने मॉडल को अपनी गलतियों पर आत्मचिंतन (reflect) करने के लिए कहकर इसे हल करने का प्रयास किया है, ठीक वैसे ही जैसे कोई इंसान यह समझने के लिए कि क्या गलत हुआ, एक परीक्षा की समीक्षा करता है। हालाँकि, प्रशिक्षण के दौरान इस आत्मचिंतन का उपयोग करने के पिछले प्रयास अक्सर अक्षम या अस्थिर थे। वे कभी-कभी मॉडल को उसके अपने संचित विचारों से भ्रमित कर देते थे या "मुझे पता है कि यह गलत है" की अस्पष्ट भावना को उसके द्वारा उत्पन्न प्रत्येक शब्द के लिए एक ठोस सबक में बदलने में विफल रहते थे। 'सेल्फ-रिफ्लेक्टिव पॉलिसी ऑप्टिमाइजेशन' (SRPO) नामक एक नया दृष्टिकोण एक अलग मार्ग प्रदान करता है। अंतिम ग्रेड का इंतजार करने के बजाय, यह विधि मॉडल को अपने पूरे प्रयासों का विश्लेषण करके, यह पहचानकर कि वह वास्तव में कहाँ भटक गया था, और उस अंतर्दृष्टि का उपयोग करके अपने अगले प्रयास को निर्देशित करने के लिए खुद का शिक्षक बनने के लिए सिखाती है।

SRPO के पीछे के शोधकर्ताओं ने, जिसका नेतृत्व जियालोंग लियू और सहयोगियों ने किया, एक ऐसी प्रणाली डिजाइन की जहाँ एक भाषा मॉडल अपने स्वयं के कार्य को देखकर सीखता है। यह प्रक्रिया दो विशिष्ट चरणों में होती है। पहले, मॉडल एक कार्य का प्रयास करता है, जैसे गणित की समस्या हल करना या वर्चुअल स्टोर में नेविगेट करना। एक बार प्रयास समाप्त हो जाने के बाद, मॉडल चिंतन (reflect) करने के लिए रुकता है। वह अपने कार्यों के पूरे क्रम और अंतिम परिणाम की समीक्षा करता है, और फिर एक संक्षिप्त नोट लिखता है जो यह सारांश देता है कि क्या गलत हुआ या कौन से प्रमुख निर्णय सही ढंग से लिए गए। यह नोट, जिसे लेखक "रिफ्लेक्शन पैच" (reflection patch) कहते हैं, कोई लंबा निबंध नहीं बल्कि क्रियात्मक सुझावों का एक संक्षिप्त सेट है, जो आमतौर पर कुछ बुलेट पॉइंट्स मात्र होता है।

दूसरे चरण में, मॉडल उसी कार्य को फिर से करने का प्रयास करता है, लेकिन इस बार वह मूल प्रश्न और उस रिफ्लेक्शन नोट के साथ शुरू करता है जो उसने अभी लिखा है। यह नया संयोजन एक मार्गदर्शक के रूप में कार्य करता है, जो प्रभावी रूप से मॉडल को पूर्वज्ञान (hindsight) के लाभ के साथ दूसरा मौका देता है। मॉडल इस समृद्ध संदर्भ के आधार पर एक नया, उच्च-गुणवत्ता वाला प्रयास उत्पन्न करता है। महत्वपूर्ण बात यह है कि शोधकर्ता इस दूसरे, बेहतर प्रयास का उपयोग अंतिम उत्तर के रूप में नहीं करते हैं। इसके बजाय, वे इसे एक शिक्षण संकेत (teaching signal) के रूप में उपयोग करते हैं। वे मॉडल के नए, बेहतर विचारों की तुलना उसके मूल, बिना मार्गदर्शन वाले विचारों से करते हैं। दोनों के बीच अंतर का विश्लेषण करके, सिस्टम लर्निंग सिग्नल्स की एक सघन धारा (dense stream) बनाता है। मॉडल के मूल प्रयास का प्रत्येक शब्द ग्रेड किया जाता है: यदि कोई शब्द रिफ्लेक्शन के ज्ञान के अनुरूप है, तो उसे पुरस्कृत किया जाता है; यदि वह विचलित होता है, तो उसे सुधारा जाता है। यह किसी कार्य के अंत में मिलने वाले एकल "सही" या "गलत" ग्रेड को मॉडल द्वारा लिखे गए प्रत्येक शब्द के लिए हजारों छोटे, विशिष्ट पाठों में बदल देता है।

यह विधि उल्लेखनीय रूप से प्रभावी सिद्ध हुई। टीम ने उन्नत गणित प्रतियोगिताओं और जटिल एजेंट कार्यों सहित विभिन्न चुनौतीपूर्ण बेंचमार्क पर SRPO का परीक्षण किया, जिनमें डिजिटल वातावरण में नेविगेट करने के लिए आवश्यक कार्य शामिल हैं। AIME'24 नामक एक कठिन गणित परीक्षण पर, SRPO का उपयोग करने वाले मॉडल ने औसतन 73.3 प्रतिशत का स्कोर प्राप्त किया (पाँच स्वतंत्र रन में ±1.4 के मानक विचलन के साथ)। यह अन्य अग्रणी तरीकों की तुलना में एक महत्वपूर्ण सुधार था और इसे समान प्रशिक्षण के लिए आवश्यक सामान्य FLOPs के केवल 8 प्रतिशत का उपयोग करके हासिल किया गया था। सिस्टम ने लॉन्ग-होरिजन कार्यों में भी उत्कृष्टता दिखाई, जैसे कि WebShop, जहाँ इसने 64.7 प्रतिशत शॉपिंग मिशन सफलतापूर्वक पूरे किए, और ALFWorld, जहाँ इसने 76.8 प्रतिशत घरेलू सिमुलेशन कार्यों को हल किया। ये परिणाम बताते हैं कि आत्मचिंतन की क्षमता को आंतरिक रूप से अपनाकर, मॉडल ने बिना किसी बड़े, बाहरी शिक्षक के मार्गदर्शन के अपने तर्क पथ को सुधारना सीख लिया।

अध्ययन ने कृत्रिम बुद्धिमत्ता अनुसंधान की एक आम आशंका को भी संबोधित किया: कि मॉडल को एक नया कौशल सिखाने से वह जो पहले से जानता है उसे भूल सकता है। जब शोधकर्ताओं ने गणित सीखने के बाद मॉडल को कोडिंग कार्यों पर प्रशिक्षित किया, तो SRPO पद्धति ने मॉडल को उसकी मूल गणितीय क्षमताओं का 95.2 प्रतिशत बनाए रखने में मदद की। इसके विपरीत, अन्य तरीकों में प्रदर्शन में काफी गिरावट देखी गई। यह सुझाव देता है कि क्योंकि मॉडल किसी बाहरी विशेषज्ञ के अनुकरण के बजाय अपने स्वयं के विचारों के वितरण से सीखता है, इसलिए यह अपनी क्षमताओं की अधिक स्थिर समझ बनाए रखता है।

शोधकर्ता इस बात को सत्यापित करने में सावधानी बरतते रहे कि सफलता रिफ्लेक्शन की सामग्री से आई थी, न कि केवल जोड़े गए अतिरिक्त टेक्स्ट से। उन्होंने पूरी तरह से अलग समस्याओं के लिए बनाए गए रिफ्लेक्शन को फीड करके सिस्टम का परीक्षण किया। जब रिफ्लेक्शन कार्य से मेल नहीं खाया, तो मॉडल का प्रदर्शन वापस बेसलाइन स्तर पर गिर गया, जिससे यह सिद्ध हुआ कि विशिष्ट, प्रासंगिक सलाह ही सुधार का मुख्य चालक थी। उन्होंने यह भी पाया कि रिफ्लेक्शन का संक्षिप्त होना आवश्यक था; अत्यधिक लंबे या विस्तृत नोट वास्तव में प्रदर्शन को नुकसान पहुँचाते थे, संभवतः इसलिए क्योंकि वे शोर और भ्रम पैदा करते थे।

अंततः, SRPO यह प्रदर्शित करता है कि एक भाषा मॉडल खुद की आलोचना और मार्गदर्शन करके अधिक सक्षम बन सकता है। बिखरे हुए, अंतिम परिणामों को सघन, शब्द-दर-शब्द मार्गदर्शन में बदलकर, यह विधि मॉडल्स को पहले की तुलना में बहुत कम उदाहरणों और कम कंप्यूटिंग शक्ति के साथ जटिल तर्क पैटर्न सीखने की अनुमति देती है। यह कार्य एक ऐसे भविष्य का सुझाव देता है जहाँ कृत्रिम बुद्धिमत्ता प्रणालियाँ अपनी तर्क प्रक्रियाओं में निरंतर सुधार कर सकती हैं, जिससे वे वास्तविक दुनिया की चुनौतियों को परिभाषित करने वाली लंबी, जटिल समस्याओं को हल करने में अधिक विश्वसनीय और कुशल बन सकती हैं।