💬 NLP

Text2Grad: Reinforcement Learning from Natural Language Feedback

Text2Grad एक नया सुदृढीकरण शिक्षण (reinforcement learning) प्रतिमान पेश करता है जो मुक्त-रूप प्राकृतिक भाषा फीडबैक को स्पैन-स्तरीय ग्रेडिएंट्स में परिवर्तित करता है ताकि भाषा मॉडलों में विशिष्ट टोकन स्पैन को सीधे परिष्कृत किया जा सके, जिससे पारंपरिक स्केलर-रिवॉर्ड विधियों की तुलना में बेहतर प्रदर्शन और व्याख्यात्मकता प्राप्त होती है।

मूल लेखक: Hanyang Wang, Lu Wang, Chaoyun Zhang, Tianjun Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

प्रकाशित 2026-01-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hanyang Wang, Lu Wang, Chaoyun Zhang, Tianjun Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना, गणित की समस्या हल करना या कंप्यूटर कोड लिखना सिखा रहे हैं। अतीत में, जब रोबोट कोई गलती करता था, तो शिक्षक (कंप्यूटर सिस्टम) केवल कहता था, "खराब काम। स्कोर: -1।"

यह वैसा ही है जैसे एक शिक्षक किसी छात्र को 10 पन्नों के निबंध पर बिना एक भी गलती को घेरे या यह बताए बिना कि अंत क्यों भ्रमित करने वाला था, फेल कर दे। रोबोट जानता है कि वह असफल रहा है, लेकिन उसे यह पता नहीं होता कि वह कहाँ गलत हुआ। उसे अनुमान लगाना पड़ता है, फिर से प्रयास करना पड़ता है और उम्मीद करनी पड़ती है कि वह भाग्यशाली होगा। यह धीमा, निराशाजनक है और अक्सर इससे रोबोट गलत सबक सीख जाता है।

TEXT2GRAD सिखाने का एक नया तरीका है जो खेल बदल देता है। साधारण "खराब काम" के बजाय, अब शिक्षक कहता है:

"पहला पैराग्राफ बहुत अच्छा है! लेकिन 'नीले ड्रैगन' के बारे में वाक्य भ्रमित करने वाला है क्योंकि इस कहानी में ड्रैगन नीले नहीं होते हैं। साथ ही, अंत बहुत छोटा है। उन विशिष्ट हिस्सों को ठीक करें।"

यहाँ बताया गया है कि TEXT2GRAD कैसे काम करता है, जिसे सरल चरणों में विभाजित किया गया है:

1. "हाइलाइटर" शिक्षक (फीडबैक)

पुराने तरीके (जिसे RLHF कहा जाता है) में, शिक्षक एक एकल संख्या (एक स्केलर रिवॉर्ड) देता है। यह एक थर्मामीटर की तरह है जो केवल "गर्म" या "ठंडा" बताता है, बिना यह बताए कि सूप बहुत नमकीन है या आग बहुत बड़ी है।

TEXT2GRAD में, शिक्षक रोबोट के आउटपुट को पढ़ता है और एक प्राकृतिक भाषा आलोचना (natural language critique) लिखता है। यह केवल "गलत" नहीं कहता। यह उन सटीक शब्दों (या "स्पैन") की ओर इशारा करता है जो समस्याग्रस्त हैं और बताता है कि वे क्यों हैं।

उपमा: कल्पना कीजिए कि एक शिक्षक छात्र के निबंध में एक विशिष्ट वर्तनी की गलती को लाल पेन से घेरता है और उसके बगल में "यहाँ वर्तनी की जाँच करें" लिखता है, जबकि एक अच्छी तरह से लिखे गए वाक्य के बगल में एक गोल्ड स्टार रखता है।

2. "अनुवादक" (शब्दों को गणित में बदलना)

कंप्यूटर लाल पेन से नहीं सीखते; वे गणित से सीखते हैं। TEXT2GRAD का जादू उस लाल-पेन वाले फीडबैक को गणितीय निर्देशों (ग्रेडिएंट्स) में अनुवाद करने की इसकी क्षमता है।

उपमा: सोचिए कि रोबोट का मस्तिष्क एक विशाल, जटिल मशीन है जिसमें लाखों छोटे-छोटे नॉब्स (knobs) हैं।
- पुराना तरीका: शिक्षक पूरी मशीन को थोड़ा सा किसी यादृच्छिक दिशा में धकेलता है, इस उम्मीद में कि इसमें सुधार होगा।
- TEXT2GRAD का तरीका: शिक्षक "नीले ड्रैगन" वाली गलती के लिए जिम्मेदार सटीक नॉब्स को ढूँढता है और उसे ठीक करने के लिए केवल उन्हीं विशिष्ट नॉब्स को घुमाता है। यह मशीन के बाकी हिस्सों को अनदेखा कर देता है।

3. "त्वरित सुधार" (ट्रेनिंग लूप)

एक बार जब फीडबैक को इन सटीक गणितीय निर्देशों में अनुवादित कर दिया जाता है, तो रोबोट अपने मस्तिष्क को तुरंत अपडेट करता है।

उपमा: यदि आप पियानो सीखने में थे और आपके शिक्षक ने कहा, "C-मेजर स्केल पर आपकी उंगलियां बहुत सख्त हैं," तो आप अपने पूरे जीवन के बारे में सोचने के लिए एक महीने तक पियानो खेलना नहीं छोड़ेंगे। आप तुरंत उस विशिष्ट स्केल पर अपनी उंगलियों को समायोजित करेंगे। TEXT2GRAD एआई को यह करने की अनुमति देता है: यह अपने मस्तिष्क के उन विशिष्ट हिस्सों में सूक्ष्म, सटीक समायोजन करता है जिन्होंने त्रुटि पैदा की थी, न कि पूरे सिस्टम को फिर से प्रशिक्षित करता है।

यह बेहतर क्यों है?

इस पेपर का परीक्षण तीन मुख्य कार्यों पर किया गया: समाचारों का सारांश बनाना, कोड लिखना, और प्रश्नों के उत्तर देना।

गति: क्योंकि रोबोट को पता है कि क्या ठीक करना है, वह बहुत तेज़ी से सीखता है। वह अनुमान लगाने में समय बर्बाद नहीं करता।
सटीकता: कोडिंग में, एक गलत अक्षर भी पूरे प्रोग्राम को तोड़ सकता है। TEXT2GRAD उस एक अक्षर को ढूंढ सकता है और उसे ठीक कर सकता है, जबकि पुराना तरीका केवल यह कह सकता है कि "कोड खराब है" और पूरी चीज़ को फिर से लिखने की कोशिश कर सकता है।
समझ: रोबोट वास्तव में सीखता है कि वह क्यों गलत था क्योंकि फीडबैक मानव भाषा में है, जिसे वह तर्क को समझने के लिए प्रोसेस कर सकता है।

निचोड़

TEXT2GRAD एक ऐसे शिक्षक से अपग्रेड करने जैसा है जो आपको केवल ग्रेड (A, B, या F) देता है, बजाय एक ऐसे शिक्षक के जो आपको सुधारने के लिए विशिष्ट सलाह के साथ एक विस्तृत रिपोर्ट कार्ड देता है। यह "आप असफल रहे" को "यहाँ वह है जिसे आपको बदलना है" में बदल देता है, और फिर इस सलाह का उपयोग एआई के मस्तिष्क को सर्जिकल रूप से अपडेट करने के लिए करता है। परिणाम एक स्मार्ट, तेज़ सीखने वाला एआई है जो कम गलतियाँ करता है और मानव फीडबैक को बहुत बेहतर समझता है।

तकनीकी सारांश: TEXT2GRAD

समस्या विवरण

पारंपरिक सुदृढीकरण शिक्षण (Reinforcement Learning from Human Feedback - RLHF) आमतौर पर लार्ज लैंग्वेज मॉडल्स (LLMs) को मानव प्राथमिकताओं के साथ संरेखित करने के लिए स्केलर रिवॉर्ड्स (scalar rewards) पर निर्भर करता है। हालांकि यह प्रभावी है, लेकिन यह दृष्टिकोण बहुआयामी आलोचनाओं को एक एकल संख्या में संकुचित कर देता है, जिससे त्रुटियों के विशिष्ट टोकन-स्तर के स्थान अस्पष्ट हो जाते हैं। यह "खुरदरा" (coarse) सिग्नल अपूर्ण क्रेडिट असाइनमेंट, धीमी अभिसरण (convergence) और कम व्याख्यात्मकता की ओर ले जाता है। इसके विपरीत, मौजूदा विधियाँ जो प्राकृतिक भाषा फीडबैक का उपयोग करती हैं (जैसे, ReAct, Reflexion), अक्सर केवल इन्फरेंस के समय सुधार के लिए आलोचनाओं को लागू करती हैं, जिससे फीडबैक क्षणिक रहता है और भविष्य की पीढ़ियों के लिए सीखों को आत्मसात करने में विफल रहता है।

यह कार्य जिस मुख्य चुनौती को संबोधित करता है वह यह है कि मुक्त-रूप (free-form), प्राकृतिक भाषा फीडबैक को क्रियाशील, अवकलनीय (differentiable) प्रशिक्षण संकेतों में कैसे बदला जाए जो सूक्ष्म, टोकन-स्तर के नीति अनुकूलन (policy optimization) की अनुमति दे सकें।

कार्यप्रणाली: TEXT2GRAD

लेखक TEXT2GRAD प्रस्तावित करते हैं, जो एक ढांचा है जो प्राकृतिक भाषा की आलोचनाओं को "नेचुरल लैंग्वेज ग्रेडिएंट्स" (NL-Gradients) में परिवर्तित करता है ताकि नीति अपडेट संचालित की जा सके। यह विधि तीन चरणों वाली पाइपलाइन के माध्यम से कार्य करती है:

1. द्वैत-फीडबैक रिवॉर्ड एनोटेशन (Dual-Feedback Reward Annotation)

उच्च गुणवत्ता वाला प्रशिक्षण डेटा उत्पन्न करने के लिए, लेखक एक मजबूत LLM (GPT-4o) का उपयोग करके एक तर्क-संवर्धित (reasoning-augmented) एनोटेशन पाइपलाइन का उपयोग करते हैं। एक दिए गए प्रॉम्प्ट और मॉडल रिस्पॉन्स के लिए, एनोटेटर निम्नलिखित उत्पन्न करता है:

प्राकृतिक भाषा आलोचना ( $c$ ): ताकत और कमजोरियों की एक मुक्त-पाठ व्याख्या।
स्पैन-स्तरीय रिवॉर्ड मैप ( $A(y)$ ): एक संरचित JSON ऑब्जेक्ट जो विशिष्ट टेक्स्ट स्पैन को "सकारात्मक" या "नकारात्मक" के रूप में पहचानता है, जो चेन-ऑफ-थॉट (CoT) तर्क के माध्यम से आलोचना में स्पष्ट रूप से निहित है।
टोकन-स्तरीय मैपिंग: इन स्पैन लेबल को एक टोकन-स्तरीय छद्म-रिवॉर्ड वेक्टर $\delta = (\delta_1, \dots, \delta_T)$ में परिवर्तित किया जाता है, जहाँ सकारात्मक स्पैन के भीतर के टोकन $+1$ प्राप्त करते हैं, नकारात्मक स्पैन $-1$ प्राप्त करते हैं, और तटस्थ (neutral) टोकन $0$ प्राप्त करते हैं।

2. जनरेटिव रिवॉर्ड मॉडल प्रशिक्षण

एक एकीकृत रिवॉर्ड मॉडल ( $R_\phi$ ) को एक ही ऑटोरेग्रेसिव पास में प्राकृतिक भाषा आलोचना और संरचित स्पैन-स्तरीय रिवॉर्ड मैप को संयुक्त रूप से उत्पन्न करने के लिए प्रशिक्षित किया जाता है। एक सशर्त टेक्स्ट जनरेशन कार्य के रूप में, मॉडल प्रॉम्प्ट $x$ और रिस्पॉन्स $y$ दिए जाने पर अनुक्रम $z = [c; A(y)]$ आउटपुट करना सीखता है। यह दृष्टिकोण अलग-अलग स्केलर रिवॉर्ड मॉडल्स की आवश्यकता को समाप्त करता है और सुनिश्चित करता है कि फीडबैक संरचित लेबल के साथ अर्थपूर्ण रूप से संरेखित है।

3. NL-ग्रेडिएंट पॉलिसी ऑप्टिमाइज़ेशन

मुख्य नवाचार अनुकूलन चरण में निहित है। अनुक्रम-स्तरीय स्केलर रिवॉर्ड के बजाय, TEXT2GRAD एक नेचुरल लैंग्वेज ग्रेडिएंट की गणना करता है:
$\nabla_{NL}(c \to y) = \sum_{t=1}^{T} \delta_t \nabla_\theta \log \pi_\theta(y_t | x, y_{<t})$
यहाँ, $\delta_t$ एक टोकन-स्तरीय भार (weight) के रूप में कार्य करता है जो पाठ्य फीडबैक से प्राप्त होता है। इन भारों को एक संशोधित प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) उद्देश्य में एकीकृत किया जाता है। टोकन-स्तरीय छद्म-रिवॉर्ड्स का उपयोग जनरलाइज्ड एडवांटेज एस्टीमेशन (GAE) के माध्यम से सघन (dense) एडवांटेज की गणना करने के लिए किया जाता है, जिससे नीति आउटपुट के विशिष्ट दोषपूर्ण या सफल हिस्सों को अपडेट कर सकती है जबकि अन्य हिस्सों को अछूता छोड़ सकती है।

मुख्य योगदान

NL-ग्रेडिएंट्स का सूत्रीकरण: पेपर प्राकृतिक भाषा फीडबैक से ग्रेडिएंट-आधारित अनुकूलन के माध्यम से सीखने की समस्या को सूत्रबद्ध करता है, TEXT2GRAD को सीधे नीति अपडेट के लिए स्पैन-स्तरीय ग्रेडिएंट्स में मुक्त-रूप पाठ को बदलने वाले पहले पूर्ण ढांचे के रूप में प्रस्तुत करता है।
एकीकृत पाइपलाइन: लेखक एक स्केलेबल एनोटेशन पाइपलाइन और एक एकीकृत जनरेटिव रिवॉर्ड मॉडल विकसित करते हैं जो व्याख्यात्मक, स्पैन-स्तरीय पर्यवेक्षण (supervision) उत्पन्न करता है, जो भाषाई तर्क और अवकलनीय क्रेडिट असाइनमेंट के बीच के अंतर को पाटता है।
अनुभवजन्य सत्यापन (Empirical Validation): इस विधि को तीन विविध डोमेन में मान्य किया गया है: सारांशीकरण (SLF5K), कोड जनरेशन (KodCode), और ओपन-डोमेन प्रश्न उत्तर (UltraFeedback)।

प्रयोगात्मक परिणाम

TEXT2GRAD का मूल्यांकन मजबूत बेसलाइन्स के विरुद्ध किया गया, जिसमें स्केलर-रिवॉर्ड PPO, डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO), प्रोसेस रिवॉर्ड मॉडल्स (PRM-PPO), और प्रॉम्प्ट-आधारित रिफ्लेक्शन विधियाँ शामिल हैं।

सारांशीकरण (SLF5K): TEXT2GRAD ने अत्याधुनिक प्रदर्शन हासिल किया, जिसने स्केलर-रिवॉर्ड PPO की तुलना में BLEU में +25.3% और ROUGE-L में +6.7 की वृद्धि दर्ज की। इसने PPO की तुलना में 22% तेज़ अभिसरण (convergence) भी प्रदर्शित किया।
कोड जनरेशन (KodCode): इस विधि ने pass@1 सटीकता में महत्वपूर्ण सुधार किया, PPO पर MBPP+ पर +5.8 अंक और HumanEval+ पर +3.6 अंक प्राप्त किए, जो प्रतिकूल टेस्ट केस के प्रति बेहतर मजबूती प्रदर्शित करता है।
प्रश्न उत्तर (UltraFeedback): TEXT2GRAD ने बेस मॉडल और PPO की तुलना में निरंतर सुधार दिखाया, जिसमें AlpacaEval 2.0 पर 2.3-पॉइंट की वृद्धि और ARC-Challenge पर बेहतर तर्क स्कोर देखा गया।
एब्लेशन अध्ययन (Ablation Studies): चेन-ऑफ-थॉट (CoT) तर्क घटक को हटाने से निरंतर प्रदर्शन में गिरावट आई, जिससे पुष्टि हुई कि संरचित प्राकृतिक भाषा स्पष्टीकरण प्रभावी टोकन-स्तरीय क्रेडिट असाइनमेंट के लिए आवश्यक हैं।
दक्षता: रिवॉर्ड मॉडल के फॉरवर्ड पास के कारण मामूली कम्प्यूटेशनल ओवरहेड (~9–11% प्रति स्टेप) के बावजूद, स्पैन-स्तरीय एनोटेशन ने सघन टोकन-स्तरीय लेबलिंग की तुलना में टोकन लागत को 85–90% कम कर दिया।

महत्व और दावे

पेपर का दावा है कि TEXT2GRAD प्राकृतिक भाषा फीडबैक को न केवल एक व्याख्यात्मक उपकरण या इन्फरेंस-टाइम गाइड के रूप में, बल्कि एक प्रत्यक्ष, क्रियाशील प्रशिक्षण संकेत के रूप में स्थापित करता है। फीडबैक वाक्यांशों को प्रासंगिक टोकन स्पैन के साथ संरेखित करके और उन्हें ग्रेडिएंट्स में बदलकर, यह विधि सक्षम बनाती है:

सटीक क्रेडिट असाइनमेंट: मॉडल वैश्विक बदलावों के बजाय विशिष्ट त्रुटियों को सुधारना सीखता है।
व्याख्यात्मकता: प्रत्येक अपडेट चरण मानवीय रूप से पठनीय फीडबैक पर आधारित है।
नमूना दक्षता (Sample Efficiency): यह विधि स्केलर-रिवॉर्ड RLHF की तुलना में कम प्रशिक्षण नमूनों के साथ तेजी से अभिसरित होती है और उच्च कार्य मेट्रिक्स प्राप्त करती है।

लेखक निष्कर्ष निकालते हैं कि भाषा को ग्रेडिएंट्स में बदलना भाषा मॉडलों को मानव जैसी निगरानी से सीखने के लिए एक नया मार्ग खोलता है, जो स्केलर पर्यवेक्षण से आगे बढ़कर अधिक सूक्ष्म, व्याख्यात्मक और प्रभावी संरेखण की ओर ले जाता है।