Likelihood-Based Reward Designs for General LLM Reasoning
यह शोध पत्र व्यवस्थित रूप से यह प्रदर्शित करता है कि चेन-ऑफ-थॉट रीजनिंग पर बड़े भाषा मॉडलों को फाइन-ट्यून करने के लिए संदर्भ उत्तर के लॉग-प्रोबेबिलिटी (log-probability) का उपयोग करना एक श्रेष्ठ और बहुमुखी विधि है, जो सत्यापन योग्य (verifiable) सेटिंग्स में बाइनरी रिवॉर्ड्स से बेहतर प्रदर्शन करती है और गैर-सत्यापन योग्य (non-verifiable) परिदृश्यों में सुपरवाइज्ड फाइन-ट्यूनिंग के बराबर होती है, जबकि संभाव्यता-आधारित विकल्पों के दोषों से बचती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन छात्र (एक लार्ज लैंग्वेज मॉडल) को जटिल समस्याओं को हल करना सिखा रहे हैं। छात्र बात करने में बहुत अच्छा है, लेकिन उसे उत्तर देने से पहले "ज़ोर से सोचने" (चेन-ऑफ-थॉट) की कला सीखनी होगी।
यह शोध पत्र एक विशिष्ट समस्या पर चर्चा करता है: आप इस छात्र को कैसे ग्रेड देंगे जब आपके पास कोई उत्तर कुंजी (answer key) नहीं है?
पुराना तरीका: "पास/फेल" क्विज़
पारंपरिक रूप से, इन मॉडलों को सिखाने के लिए, शोधकर्ता एक सख्त गणित शिक्षक जैसी विधि का उपयोग करते हैं।
- छात्र ज़ोर से सोचता है।
- छात्र एक उत्तर देता है।
- शिक्षक उत्तर कुंजी की जाँच करता है।
- सही? आपको एक गोल्ड स्टार मिलता है (रिवॉर्ड = 1)।
- गलत? आपको एक लाल 'X' मिलता है (रिवॉर्ड = 0)।
समस्या: यह गणित या कोडिंग के लिए बहुत अच्छा काम करता है जहाँ एक ही सही उत्तर होता है। लेकिन क्या होगा यदि आप छात्र को एक लंबी कहानी, कविता, या एक जटिल प्रमाण लिखने के लिए कह रहे हों जहाँ कोई एक सही उत्तर नहीं है? आप एक साधारण "पास/फेल" ग्रेड नहीं दे सकते। साथ ही, यदि छात्र 99% बार गलत होता है, तो उसे कभी गोल्ड स्टार नहीं मिलता, और वह सीखना बंद कर देता है क्योंकि संकेत बहुत कम (sparse) हो जाता है।
नया विचार: "संभावना" (Likelihood) स्कोर
लेखक ग्रेड देने का एक अलग तरीका प्रस्तावित करते हैं। यह जाँचने के बजाय कि उत्तर सही है या नहीं, वे यह जाँचते हैं कि छात्र अपने स्वयं के उत्तर को लेकर कितना आश्वस्त है।
इसे इस तरह सोचें:
- पुराना तरीका: "क्या आपने सही उत्तर दिया? हाँ/नहीं।"
- नया तरीका: "इस बात की कितनी संभावना थी कि आप ठीक उन्हीं शब्दों का उपयोग करते?"
यदि छात्र प्रशिक्षण डेटा (training data) में दिए गए संदर्भ उत्तर के समान ही शब्द कहता है, तो शिक्षक उन्हें लॉग-प्रोबेबिलिटी (एक गणितीय तरीका जो बताता है कि "आप इस घटना से कितने हैरान थे?") के आधार पर एक स्कोर देता है।
- यदि छात्र बहुत आश्वस्त था और सही शब्द बोला, तो उसे उच्च स्कोर मिलता है।
- यदि छात्र केवल अनुमान लगा रहा था, तो उसे कम स्कोर मिलता है।
बड़ी खोज: "लॉग-प्रोबेबिलिटी" एक जादुई कुंजी है
शोधकर्ताओं ने इस "आत्मविश्वास" स्कोर का उपयोग करने के कई तरीकों का परीक्षण किया। उन्होंने पाया कि एक विशिष्ट विधि—संदर्भ उत्तर की लॉग-प्रोबेबिलिटी का उपयोग करना—ही एकमात्र तरीका था जो हर जगह काम करता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. "लघु उत्तर" परीक्षण (गणित और कोडिंग)
- सेटअप: स्पष्ट सही उत्तर वाले छोटे प्रश्न (जैसे गणित की क्विज़)।
- परिणाम: "लॉग-प्रोबेबिलिटी" विधि सही उत्तर पाने के लिए पुराने "पास/फेल" तरीके जितनी ही प्रभावी रही।
- बोनस: इसने छात्र के उत्तरों को बहुत अधिक "प्राकृतिक" और कम अस्थिर बनाया। जहाँ पुराने तरीके ने छात्र को गोल्ड स्टार पाने के लिए बेतहाशा अनुमान लगाने पर मजबूर किया, वहीं नए तरीके ने छात्र को अधिक आत्मविश्वासी और सुचारू बनाया, भले ही वह गलत हो।
2. "लंबा निबंध" परीक्षण (कहानियाँ और प्रमाण)
- सेटअप: लंबे, खुले कार्यों के लिए जहाँ कोई एक सही उत्तर नहीं है।
- अन्य विधियों के साथ समस्या: कुछ विधियों ने सरल "संभावना" (केवल सही होने की कच्ची संभावना) का उपयोग करने की कोशिश की। लेकिन लंबे निबंधों के लिए, सटीक सही शब्द बोलने की संभावना बहुत कम होती है (जैसे लॉटरी जीतना)। स्कोर इतना छोटा हो गया कि वह लगभग शून्य हो गया, और छात्र ने सीखना बंद कर दिया।
- विजेता: "लॉग-प्रोबेबिलिटी" विधि ने इसे पूरी तरह से संभाला। यह क्रैश नहीं हुआ। इसने बिल्कुल वैसा ही प्रदर्शन किया जैसा कि तब होता यदि शिक्षक ने छात्र को उत्तर दिखा दिया होता और कहा होता, "इसे याद कर लो।"
3. "सोचने में संक्षिप्तता" का आश्चर्य
उनकी सबसे दिलचस्प खोजों में से एक यह थी कि छात्र कितनी देर तक सोचता था।
- जब नए "लॉग-प्रोबेबिलिटी" रिवॉर्ड का उपयोग किया गया, तो छात्र ने शुरू में कम सोचना शुरू कर दिया। उसने अपनी "चेन ऑफ थॉट" (सोचने की प्रक्रिया) को घटाकर केवल कुछ शब्दों तक सीमित कर दिया।
- क्यों? मॉडल ने महसूस किया कि शुरुआती चरणों में, एक लंबा और जटिल सोचने के बजाय एक छोटा और सरल विचार प्रक्रिया वास्तव में बेहतर स्कोर की ओर ले जाता है।
- गणित में: छात्र अंततः फिर से लंबा सोचने के लिए सीख गया।
- निबंधों में: वह संक्षिप्त रहा। उसने मूल रूप से "ज़ोर से सोचना" बंद कर दिया और सीधे उत्तर देने लगा, एक मानक रटने वाले की तरह व्यवहार करने लगा। शोध पत्र सुझाव देता है कि लंबे, खुले कार्यों के लिए, मॉडल शायद अपने स्वयं के मस्तिष्क (हिडन लेयर्स) के भीतर "सोच" रहा है, न कि उसे लिखकर दिखा रहा है, इसलिए लंबी चेन ऑफ थॉट लिखने के लिए मजबूर करना प्रदर्शन को नुकसान पहुँचाता है।
निष्कर्ष (The Takeaway)
पत्र यह निष्कर्ष निकालता है कि लॉग-प्रोबेबिलिटी को रिवॉर्ड के रूप में उपयोग करना AI प्रशिक्षण के लिए एक "यूनिवर्सल ट्रांसलेटर" है।
- यह सत्यापन योग्य (verifiable) कार्यों (गणित) और गैर-सत्यापन योग्य (non-verifiable) कार्यों (लेखन) के बीच के अंतर को पाटता है।
- इसके लिए किसी विशेष "वेरिफायर" या उत्तर कुंजी की आवश्यकता नहीं है।
- यह AI को किसी भी ऐसे डेटासेट से सीखने की अनुमति देता है जहाँ एक संदर्भ उत्तर मौजूद है, चाहे वह गणित की छोटी समस्या हो या लंबा प्रमाण।
संक्षेप में, AI से यह पूछने के बजाय कि "क्या आप सही थे?", यह पूछना कि "आप यह कहने के प्रति कितने आश्वस्त थे?", AI को सिखाने का एक सरल और अधिक शक्तिशाली तरीका है, जो गणितीय पहेलियों से लेकर लंबे निबंधों तक सब कुछ कवर करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।