← नवीनतम पेपर
🤖 AI

rePIRL: Learn PRM with Inverse RL for LLM Reasoning

यह शोध पत्र rePIRL को प्रस्तुत करता है, जो एक इनवर्स रिइन्फोर्समेंट लर्निंग से प्रेरित ढांचा है जो विशेषज्ञ नीतियों के बारे में न्यूनतम धारणाओं के साथ LLM रीजनिंग के लिए प्रभावी प्रोसेस रिवॉर्ड मॉडल को प्रशिक्षित करने के लिए एक दोहरी शिक्षण प्रक्रिया का उपयोग करता है, जो मौजूदा विधियों की तुलना में गणित और कोडिंग कार्यों में बेहतर प्रदर्शन और सामान्यीकरण प्रदर्शित करता है।

मूल लेखक: Xian Wu, Kaijie Zhu, Ying Zhang, Lun Wang, Wenbo Guo

प्रकाशित 2026-07-07
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Xian Wu, Kaijie Zhu, Ying Zhang, Lun Wang, Wenbo Guo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (एक AI) को एक बहुत ही कठिन गणित की समस्या हल करना या कंप्यूटर कोड का एक जटिल हिस्सा लिखना सिखा रहे हैं।

पुराना तरीका: "अंतिम ग्रेड" की समस्या
परंपरागत रूप से, इन AI छात्रों को प्रशिक्षित करने के लिए, हम उन्हें केवल अंत में फीडबैक देते हैं। हम अंतिम उत्तर देखते हैं और कहते हैं, "सही!" या "गलत!"

  • समस्या: यदि छात्र उत्तर गलत देता है, तो उसे पता नहीं चलता कि उसने कहाँ गलती की। क्या उसने स्टेप 1 में गलती की? स्टेप 10 में? या अंतिम गणना बस थोड़ी गलत थी? यह एक शिक्षक की तरह है जो बिना किसी व्यक्तिगत प्रश्न पर टिप्पणी किए, टेस्ट पेपर पर एक बड़ा लाल "F" (फेल) लिख कर वापस दे देता है। छात्र को यह अनुमान लगाने के लिए मजबूर होना पड़ता है कि क्या गलत हुआ, जिससे सीखना धीमा और अक्षम हो जाता है।

मौजूदा "स्टेप-बाय-स्टेप" समाधान
कुछ शोधकर्ताओं ने हर एक स्टेप पर फीडबैक देकर इस समस्या को ठीक करने की कोशिश की। हालाँकि, उनके तरीकों में एक बड़ी कमी थी:

  1. "मानव ट्यूटर" की बाधा: उन्हें हर एक स्टेप को पढ़ने और ग्रेड करने के लिए एक मानव विशेषज्ञ (या एक बहुत बुद्धिमान AI) की आवश्यकता होती थी। यह अविश्वसनीय रूप से महंगा और समय लेने वाला है।
  2. "जादुई अनुमान" की बाधा: अन्य तरीकों ने AI के आत्मविश्वास के आधार पर एक स्टेप की गुणवत्ता का अनुमान लगाने की कोशिश की, लेकिन इससे अक्सर AI बहुत अधिक आत्मविश्वासी हो जाता था और बार-बार एक ही तरह की गलतियाँ करता रहता था (एक समस्या जिसे पेपर "एंट्रॉपी कोलैप्स" कहता है)।

नया समाधान: rePIRL ("रिवर्स इंजीनियर" विधि)
यह पेपर AI को सिखाने का एक नया तरीका पेश करता है, जिसे rePIRL कहा जाता है। हर स्टेप को ग्रेड करने के लिए मानव विशेषज्ञ की आवश्यकता के बजाय, rePIRL इन्वर्स रिइन्फोर्समेंट लर्निंग (Inverse Reinforcement Learning) से प्रेरित एक चतुर तकनीक का उपयोग करता है।

यहाँ उपमा (Analogy) दी गई है:
कल्पना कीजिए कि आप एक रोबोट को बिल्कुल सही तरीके से चलना सिखाना चाहते हैं। आपके पास कोई मैनुअल नहीं है जो कहता हो "बायां पैर 2 इंच उठाएं, फिर दायां पैर 2 इंच उठाएं।" इसके बजाय, आपके पास एक पेशेवर एथलीट के चलने का वीडियो है जो बिल्कुल सही तरीके से चल रहा है।

  • rePIRL कैसे काम करता है:
    1. प्रो (Pro) को देखना: AI "विशेषज्ञ" (पेशेवर एथलीट) को कार्य को पूरी तरह से करते हुए देखता है। इसे यह जानने की आवश्यकता नहीं है कि प्रो ने ऐसा क्यों किया; वह बस सफल पथ (path) को देखता है।
    2. नियमों को रिवर्स इंजीनियर करना: AI उस "छिपे हुए नियम पुस्तिका" (hidden rulebook) को समझने की कोशिश करता जिसका पालन विशेषज्ञ कर रहा था। वह पूछता है, "ऐसे कौन से नियमों का समूह होगा जो इस विशिष्ट पथ को सबसे अच्छा संभव पथ बना देगा?"
    3. दोहरा नृत्य (The Dual Dance): AI फिर कार्य का अभ्यास करता है।
      • यदि वह विशेषज्ञ के समान कुछ करता है, तो "नियम पुस्तिका" (Process Reward Model) कहती है, "अच्छा काम किया!"
      • यदि वह भटक जाता है, तो नियम पुस्तिका कहती है, "फिर से प्रयास करें।"
      • AI कार्य में बेहतर होता जाता है, और नियम पुस्तिका भी स्टेप्स को परखने में बेहतर होती जाती है। वे एक लूप में एक-दूसरे को सुधारते हैं।

यह विशेष क्यों है?

  • मानव ग्रेडर्स की आवश्यकता नहीं: यह विशेषज्ञ के सफल पथ को देखकर ही "नियमों" को सीख लेता है। इसे यह लिखने के लिए किसी मानव की आवश्यकता नहीं है कि "स्टेप 3 अच्छा था, स्टेप 4 बुरा था।"
  • कोई जादुई अनुमान नहीं: यह AI के आत्मविश्वास पर निर्भर नहीं है, इसलिए यह "अति-आत्मविश्वास" के जाल से बच जाता है।
  • यह हर जगह काम करता है: पेपर में परीक्षण किया गया कि कठिन गणितीय समस्याओं (जैसे AIME प्रतियोगिता) और कोडिंग चुनौतियों (जैसे LeetCode) पर rePIRL के साथ प्रशिक्षित AI ने पुराने "केवल अंतिम ग्रेड" वाले तरीकों या महंगे "मानव-ग्रेडर" तरीकों की तुलना में अधिक समस्याओं को हल किया और कम गलतियाँ कीं।

पेपर में बताए गए वास्तविक दुनिया के उपयोग
लेखक दिखाते हैं कि एक बार जब AI इन "स्टेप-बाय-स्टेप नियमों" को सीख लेता है, तो इसका उपयोग तीन विशिष्ट तरीकों से किया जा सकता है:

  1. चलते समय प्रशिक्षण (Training on the Fly): आप सीखे गए नियमों का उपयोग समस्याओं के एक नए सेट पर एक नए AI मॉडल को सिखाने के लिए कर सकते हैं, जिसके लिए आपको अंतिम उत्तरों की आवश्यकता नहीं है (केवल विशेषज्ञ का पथ चाहिए)।
  2. सर्वश्रेष्ठ उत्तर चुनना: जब AI एक समस्या के 10 अलग-अलग समाधान उत्पन्न करता है, तो "नियम पुस्तिका" उन 10 में से प्रत्येक के स्टेप्स को देख सकती है और उस एक को चुन सकती है जिसने सबसे अच्छे पथ का पालन किया है, यहाँ तक कि यह जांचने से पहले कि अंतिम उत्तर सही है या नहीं।
  3. कठिन समस्याओं का सामना करना: बहुत कठिन समस्याओं के लिए जहाँ AI आमतौर पर तुरंत विफल हो जाता है, स्टेप-दर-स्टेप फीडबैक इसे केवल "गलत" सिग्नल का इंतजार करने की तुलना में तेजी से सीखने में मदद करता है।

सारांश में
rePIRL एक ऐसे कोच की तरह है जो एक चैंपियन एथलीट को जीतने के लिए केवल उन्हें देखते हुए उनके "सीक्रेट सॉस" (गुप्त सफलता के सूत्र) को सीख जाता है। खेल के अंत तक यह कहने के बजाय कि "आप हार गए," कोच उस सीक्रेट सॉस का उपयोग करके टीम को हर चाल पर तत्काल फीडबैक देता है, जिससे वे बिना किसी मानव द्वारा हर एक प्ले को ग्रेड किए, तेजी से, सस्ते में और बेहतर तरीके से सीख पाते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →