← नवीनतम पेपर
🤖 machine learning

RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards

RubricEM एक मेटा-रीइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो चरणवार नीति अपघटन (stagewise policy decomposition) को संरचित करने के लिए रूब्रिक्स को एक केंद्रीय इंटरफ़ेस के रूप में उपयोग करके, स्टेज-स्ट्रक्चर्ड GRPO के माध्यम से सघन सिमेंटिक फीडबैक प्रदान करके, और एक रिफ्लेक्शन मेटा-पॉलिसी को विकसित करके डीप रिसर्च एजेंटों को उन्नत करता है, जिससे लंबे शोध बेंचमार्क पर प्रोप्रायटरी सिस्टम के तुलनीय प्रदर्शन को प्राप्त किया जाता है।

मूल लेखक: Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister

प्रकाशित 2026-05-12
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप जूनियर शोधकर्ताओं की एक टीम को रख रहे हैं ताकि वे "नींद उम्र बढ़ने की प्रक्रिया को कैसे प्रभावित करती है?" जैसे विषय पर एक जटिल, विस्तृत रिपोर्ट लिख सकें। अतीत में, इन AI शोधकर्ताओं को प्रशिक्षित करना एक अंतिम ग्रेड देने जैसा था जो केवल निबंध जमा करने के बाद दिया जाता था। यदि निबंध खराब था, तो AI को यह समझ नहीं आता था कि—क्या शोध उथला था? क्या वे कोई महत्वपूर्ण तथ्य भूल गए थे? क्या निष्कर्ष कमजोर था? उन्हें बस इतना पता चलता था कि वे असफल रहे और अगली बार क्या करना है, इसका केवल अनुमान लगाना पड़ता था।

RubricEM एक नया प्रशिक्षण तरीका है जो खेल बदल देता है। अंत तक इंतजार करने के बजाय, यह AI को काम शुरू करने से पहले एक "रुब्रिक" (एक विस्तृत चेकलिस्ट कि एक अच्छा उत्तर कैसा होता है) देता है, और प्रक्रिया के हर एक चरण को निर्देशित करने के लिए इस चेकलिस्ट का उपयोग करता है।

यह यहाँ कैसे काम करता है, इसे सरल उपमाओं में विभाजित किया गया है:

1. "रुब्रिक" एक साझा दिशा-सूचक यंत्र (Shared Compass) के रूप में

एक रुब्रिक को केवल एक शिक्षक की ग्रेडिंग शीट के रूप में नहीं, बल्कि पूरी टीम के लिए एक साझा दिशा-सूचक यंत्र के रूप में देखें।

  • पुराना तरीका: AI अंदाज़ा लगाता है कि क्या करना है, जानकारी खोजता है, और लिखता है। अंत में, एक जज कहता है, "बुरा काम किया।"
  • RubricEM का तरीका: AI के शुरू करने से पहले ही, वह अपनी खुद की चेकलिस्ट लिखता है: "मुझे केवल सह-संबंधों (correlations) के बजाय कारण संबंधों (causal links) पर साक्ष्य खोजने की आवश्यकता है। मुझे विभिन्न प्रकार के स्मृति नुकसान (memory loss) के बीच अंतर करने की आवश्यकता है।"
  • जादू: यही चेकलिस्ट AI द्वारा योजना बनाने, AI द्वारा अपने काम की जांच करने, और "जज" (एक अन्य AI) द्वारा काम को ग्रेड देने के लिए उपयोग की जाती है। सभी एक ही भाषा बोल रहे हैं।

2. यात्रा को "चरणों" में तोड़ना (असेंबली लाइन)

लंबे शोध कार्य घर बनाने की तरह होते हैं। आप केवल "घर बनाओ" नहीं कह सकते और एक अच्छे परिणाम की उम्मीद नहीं कर सकते। आपको चरणों की आवश्यकता होती है: योजना (Plan), अनुसंधान (Research), समीक्षा (Review), और निर्माण (Build)।

RubricEM AI को मजबूर करता है कि वह विशिष्ट बिंदुओं पर रुक जाए और अपनी भूमिका बदले:

  • चरण 1 (योजना): "यह मेरी चेकलिस्ट है। मुझे क्या खोजने की आवश्यकता है?"
  • चरण 2 (अनुसंधान): "मुझे यह मिला। क्या यह मेरी चेकलिस्ट से मेल खाता है? क्या मुझे और अधिक खोजने की आवश्यकता है?"
  • चरण 3 (समीक्षा): "आइए अपने नोट्स देखें। क्या मैंने वास्तव में प्रश्न का उत्तर दिया है, या मैं बस बड़बड़ा रहा हूँ?"
  • चरण 4 (उत्तर): "ठीक है, अब मैं समीक्षा के आधार पर अंतिम रिपोर्ट लिखता हूँ।"

लाभ: अंत में एक बड़ा "F" (फेल) मिलने के बजाय, AI को प्रत्येक चरण के लिए एक स्कोर मिलता है। यदि "अनुसंधान" चरण कमजोर था, तो AI अगली बार सुधार करने के लिए ठीक जानता है कि कहाँ सुधार करना है। यह एक कोच की तरह है जो धावक से कहता है, "आपकी शुरुआत शानदार थी, लेकिन मोड़ पर आपकी गति धीमी थी," बजाय इसके कि केवल यह कहे कि "आप दौड़ हार गए।"

3. "रिफ्लेक्शन" नोटबुक (गलतियों से सीखना)

यह सबसे अनूठा हिस्सा है। आमतौर पर, जब कोई AI गलती करता है, तो वह केवल अपने आंतरिक गणित (weights) को अपडेट करता है और विशिष्ट विवरणों को भूल जाता है कि वह क्यों विफल हुआ।

RubricEM एक Reflection Meta-Policy जोड़ता है। इसे एक साझा नोटबुक या टीम विकी के रूप में समझें।

  • कार्य समाप्त होने और ग्रेड दिए जाने के बाद, AI से पूछा जाता है: "इस प्रयास से सबसे महत्वपूर्ण सबक क्या है?"
  • वह एक छोटा, स्मार्ट नोट (एक "रिफ्लेक्शन") लिखता है जैसे: "अगली बार, केवल यह न कहें कि 'नींद स्मृति के लिए बुरी है।' विशिष्ट बनें: 'गहरी नींद मस्तिष्क के विषाक्त पदार्थों को साफ करती है, जो वास्तविक कारण है।'"
  • इस नोट को एक Rubric Bank में सहेजा जाता है।
  • प्रतिफल: यदि AI (या समान AI) बाद में किसी समान प्रश्न का सामना करता है, तो वह बैंक में इस नोट को देख सकता है। यह एक वरिष्ठ इंजीनियर की तरह है जो फुसफुसा रहा है, "हे, मैंने यह पहले भी देखा है; यहाँ वह ट्रिक है जो पिछली बार काम आई थी।"

4. "एसिंक्रोनस" नृत्य (दो चीजें एक साथ करना)

इन प्रणालियों को प्रशिक्षित करना आमतौर पर धीमा होता है क्योंकि आपको AI के कार्य पूरा करने, ग्रेड प्राप्त करने, रिफ्लेक्शन लिखने और फिर अगला कार्य शुरू करने का इंतजार करना पड़ता है।

RubricEM एक चतुर असेंबली लाइन ट्रिक का उपयोग करता है:

  • जबकि AI अगले बैच की रिपोर्टों के अनुसंधान और लेखन का भारी काम कर रहा होता है, एक अलग हिस्सा चुपचाप पिछले बैच की ग्रेडिंग कर रहा होता है और रिफ्लेक्शन लिख रहा होता है।
  • जब तक AI नया बैच पूरा करता है, पुराने बैच के सबक पहले से ही उपयोग के लिए तैयार होते हैं। यह प्रशिक्षण प्रक्रिया को बहुत तेज़ और अधिक कुशल बनाता है।

परिणाम

इसने RubricEM-8B (एक अपेक्षाकृत छोटा AI मॉडल) पर परीक्षण किया।

  • प्रदर्शन: इसने अन्य ओपन-सोर्स AI शोधकर्ताओं को पीछे छोड़ दिया और जटिल शोध कार्यों पर महंगे, प्रोप्राइटरी सिस्टम (जैसे गूगल या OpenAI के सिस्टम) के प्रदर्शन के बहुत करीब पहुँच गया।
  • दक्षता: इसने पिछले तरीकों की तुलना में कम प्रशिक्षण चरणों के साथ ये परिणाम प्राप्त किए।
  • बहुमुखी प्रतिभा: भले ही इसे लंबी, जटिल रिपोर्टों पर प्रशिक्षित किया गया था, लेकिन यह छोटे, सरल प्रश्नों के उत्तर देने में भी बेहतर हो गया, जिससे पता चलता है कि इसने केवल रिपोर्ट प्रारूपों को याद करने के बजाय सामान्य "शोध कौशल" सीख लिए हैं।

संक्षेप में

RubricEM AI शोधकर्ताओं को सिखाता है:

  1. उन्हें हर चरण में पालन करने के लिए एक चेकलिस्ट (रुब्रिक) देकर।
  2. केवल अंतिम परिणाम के बजाय प्रक्रिया के प्रत्येक चरण पर उन्हें ग्रेड देकर।
  3. भविष्य में उपयोग के लिए एक साझा नोटबुक में सीखे गए सबक (रिफ्लेक्शन) लिखकर।
  4. प्रशिक्षण को कुशलतापूर्वक चलाकर ताकि वे तेजी से सीख सकें।

यह AI को एक ऐसे छात्र से बदलकर एक पेशेवर बना देता है जिसके पास एक मेंटर, एक चेकलिस्ट और सर्वोत्तम प्रथाओं की एक व्यक्तिगत नोटबुक है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →