Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States
यह शोध पत्र POISE प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो एक पॉलिसी मॉडल की आंतरिक अवस्थाओं पर प्रशिक्षित एक हल्के प्रोब (lightweight probe) का लाभ उठाकर नगण्य लागत पर वैल्यू बेसलाइन का अनुमान लगाता है, जिससे अलग क्रिटिक्स या कई रोलआउट्स के कम्प्यूटेशनल ओवरहेड के बिना स्थिर और कुशल पॉलिसी अनुकूलन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन बहुत महंगे छात्र (एक लार्ज लैंग्वेज मॉडल) को जटिल गणित की समस्याएं हल करना सिखा रहे हैं। आप उन्हें बेहतर बनाना चाहते हैं, इसलिए आप रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक एक विधि का उपयोग करते हैं। इस विधि में, छात्र एक समस्या को हल करने का प्रयास करता है, और यदि वह उत्तर सही देता है, तो आप उसे एक स्कोर (रिवॉर्ड) देते हैं।
उन्हें प्रभावी ढंग से सिखाने के लिए, आपको उन्हें केवल यह नहीं बताना है कि उन्होंने क्या सही किया, बल्कि यह भी बताना है कि उन्होंने अपने सामान्य प्रदर्शन की तुलना में कितना बेहतर किया। इस "अंतर" को एडवांटेज (advantage) कहा जाता है। इसकी गणना करने के लिए, आपको एक बेसलाइन (baseline) की आवश्यकता होती है—एक अनुमान कि वह छात्र उस विशिष्ट समस्या पर आमतौर पर कितना स्कोर करेगा।
समस्या: अनुमान लगाने की लागत
वर्तमान में, बेसलाइन प्राप्त करने के दो मुख्य तरीके हैं, और दोनों ही महंगे हैं:
- "विशाल ट्यूटर" विधि (PPO): आप एक दूसरे, समान रूप से बड़े और महंगे AI मॉडल को नियुक्त करते हैं जो एक आलोचक (critic) के रूप में कार्य करता है। यह आलोचक छात्र के काम को देखता है और स्कोर का अनुमान लगाता है। इससे आपकी कंप्यूटिंग लागत दोगुनी हो जाती है क्योंकि आप एक साथ दो विशाल मॉडल चला रहे होते हैं।
- "समूह औसत" विधि (GRPO): आप छात्र से उसी समस्या को लगातार 8 बार हल करने के लिए कहते हैं। आप उन 8 स्कोर्स का औसत लेते हैं ताकि एक बेसलाइन प्राप्त की जा सके। यह बहुत सारा समय और पैसा बर्बाद करता है क्योंकि बेसलाइन प्राप्त करने के लिए आप 7 अतिरिक्त उत्तर उत्पन्न करते हैं, जिससे नई समस्याओं को आज़माने के लिए कम जगह बचती है।
समाधान: POISE (छात्र का अपना अंतर्ज्ञान)
लेखक इस शोध पत्र में एक नई विधि प्रस्तावित करते हैं जिसे POISE (पॉलिसी ऑप्टिमाइज़ेशन विद इंटरनल स्टेट वैल्यू एस्टिमेशन) कहा जाता है।
मूल विचार यह है: छात्र समस्या को पूरा करने से पहले ही जानता है कि वह कितनी कठिन है।
जब एक बड़ा AI मॉडल सोचता है, तो वह प्रश्न से उत्तर तक पहुँचने के दौरान "आंतरिक विचारों" (हिडन स्टेट्स) की एक श्रृंखला उत्पन्न करता है। शोध पत्र का तर्क है कि इन आंतरिक विचारों में एक छिपा हुआ संकेत होता है कि मॉडल के सफल होने की कितनी संभावना है। यह एक सहज अहसास (gut feeling) की तरह है: "मैं इस चरण में संघर्ष कर रहा हूँ; शायद मैं इसे सही नहीं कर पाऊँगा," या "यह आसान लग रहा है; मैं आश्वस्त हूँ।"
POISE इस प्रकार कार्य करता है:
- हल्का प्रोब (Lightweight Probe): दूसरे विशाल AI को नियुक्त करने के बजाय, वे छात्र के मस्तिष्क से एक छोटा, सस्ता "प्रोब" (जैसे एक साधारण कैलकुलेटर) जोड़ते हैं।
- संकेतों को पढ़ना: यह प्रोब छात्र के आंतरिक विचारों (हिडन स्टेट्स) और उनके सोचने के दौरान उनकी "अनिश्चितता" (एंट्रॉपी) को देखता है।
- पूर्वानुमान: प्रोब उन आंतरिक संकेतों के आधार पर स्कोर का अनुमान लगाता है।
- निष्पक्षता का तरीका (क्रॉस-रोलआउट): यह सुनिश्चित करने के लिए कि छात्र स्कोर का अनुमान लगाने के लिए अपने स्वयं के उत्तर को देखकर धोखाधड़ी न करे, सिस्टम एक चतुर तकनीक का उपयोग करता है। यह छात्र को समस्या को दो बार हल करने के लिए कहता है। पहले प्रयास को ग्रेड करने के लिए, प्रोब दूसरे प्रयास के आंतरिक विचारों को देखता है, और इसके विपरीत भी। यह सुनिश्चित करता है कि बेसलाइन निष्पक्ष और निष्पक्ष (unbiased) हो।
यह एक बड़ी बात क्यों है
- यह सस्ता है: आपको दूसरे विशाल AI मॉडल की आवश्यकता नहीं है। आप बस छात्र द्वारा उत्पन्न किए जा रहे संकेतों पर एक छोटा प्रोब उपयोग करते हैं।
- यह तेज़ है: बेसलाइन प्राप्त करने के लिए आपको 8 उत्तर उत्पन्न करने की आवश्यकता नहीं है। आपको केवल 2 की आवश्यकता है (एक हल करने के लिए, एक ग्रेड करने में मदद के लिए)। यह आपके कंप्यूटर बजट को कई अलग-अलग समस्याओं को आज़माने के लिए मुक्त करता है, जिससे छात्र तेजी से सीख सकता है।
- यह स्थिर है: क्योंकि आप अधिक अलग-अलग समस्याओं को आज़मा सकते हैं, इसलिए सीखने की प्रक्रिया कम "शोर भरी" (noisy) और अधिक स्थिर होती है।
परिणाम
शोधकर्ताओं ने गणितीय तर्क कार्यों (जैसे ओलंपियाड गणित) पर इसका परीक्षण किया। उन्होंने पाया कि:
- POISE ने उतना ही अच्छा प्रदर्शन किया जितना कि अत्याधुनिक विधियों (जैसे DAPO) ने, जो महंगे आलोचकों या उत्तरों के बड़े समूहों का उपयोग करती हैं।
- इसने कम कंप्यूटिंग शक्ति का उपयोग किया और प्रशिक्षण तेजी से पूरा किया।
- "सहज अहसास" सटीक था: छोटे प्रोब ने पूर्ण आकार के AI क्रिटिक मॉडल के लगभग उतने ही सटीक रूप से सफलता दर का अनुमान लगाया।
- यह अन्य जगहों पर भी काम करता है: उन्होंने इसे कोडिंग और टूल-यूज़ कार्यों पर भी परखा, और यह वहां भी अच्छी तरह से काम करता है, जो यह साबित करता है कि छात्र के आंतरिक संकेत सफलता के सार्वभौमिक संकेतक हैं।
संक्षेप में
POISE इस बात को पहचानने जैसा है कि आपके छात्र को यह बताने के लिए दूसरे शिक्षक की आवश्यकता नहीं है कि वह कैसा प्रदर्शन कर रहा है। उनके आंतरिक "सोचने की प्रक्रिया" को सुनकर, आप तुरंत जान सकते हैं कि क्या वे सही रास्ते पर हैं। यह पैसे बचाता है, समय बचाता है, और बिना प्रदर्शन से समझौता किए सीखने की प्रक्रिया को सुचारू बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।