🤖 machine learning

Internalizing Curriculum Judgment for LLM Reinforcement Fine-Tuning

यह शोध पत्र METIS को प्रस्तुत करता है, जो एक नवीन ढांचा है जो LLM सुदृढीकरण फाइन-ट्यूनिंग (Reinforcement Fine-Tuning) के लिए प्रॉम्प्ट-के-भीतर रिवॉर्ड वेरिएंस (within-prompt reward variance) का लाभ उठाकर पाठ्यक्रम निर्णय (curriculum judgment) को एक मूल मेटाकॉग्निटिव क्षमता के रूप में आंतरिक रूप से स्थापित करता है, जिससे बाहरी ह्यूरिस्टिक्स पर निर्भरता समाप्त होती है और काफी तेज़ अभिसरण (convergence) के साथ बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Han Zheng, Yining Ma, Karthick Gunasekaran, Bharathan Balaji, Zheng Du, Shiv Vitaladevuni, Cathy Wu

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Han Zheng, Yining Ma, Karthick Gunasekaran, Bharathan Balaji, Zheng Du, Shiv Vitaladevuni, Cathy Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र हैं जो गणित के सवालों को हल करने में बेहतर बनने की कोशिश कर रहे हैं। आपके पास अभ्यास प्रश्नों का एक बहुत बड़ा ढेर है।

पुराना तरीका (वर्तमान विधियाँ):
अभी, अधिकांश AI प्रशिक्षण प्रणालियाँ एक सख्त, बाहरी शिक्षक की तरह काम करती हैं जो यह तय करती है कि आपको आगे कौन से प्रश्न हल करने चाहिए। यह शिक्षक एक निश्चित नियम पुस्तिका (जैसे "पहले आसान प्रश्नों से शुरू करें, फिर मध्यम की ओर बढ़ें") का उपयोग करता है या एक अलग, छोटे AI से यह अनुमान लगाने के लिए कहता है कि कौन से प्रश्न आपके लिए "बिल्seits सही" हैं।

समस्या: यह बाहरी शिक्षक आपकी वर्तमान स्थिति को वास्तव में नहीं जानता। यदि आप अचानक किसी विषय में बहुत अच्छे हो जाते हैं, तो शिक्षक आपको वही आसान प्रश्न दे सकता है जिन्हें आपने पहले ही मास्टर कर लिया है। यदि आप किसी नई चीज़ में संघर्ष करते हैं, तो वह आपको उसे बार-बार छोड़ने के लिए कह सकता है। यह एक ऐसे कोच की तरह है जो खेल को करीब से नहीं देख रहा है ताकि यह जान सके कि प्रशिक्षण योजना को कब बदलना है।

नया तरीका (METIS):
यह शोध पत्र METIS पेश करता है, जो AI को अपना खुद का कोच बनने के लिए सिखाता है। एक बाहरी शिक्षक पर निर्भर रहने के बजाय, AI खुद को देखना सीखता है और तय करता है, "ठीक है, मैं इन विषयों में अच्छा कर रहा हूँ, लेकिन मैं उन विषयों पर अभी भी थोड़ा कमजोर हूँ।"

METIS कैसे काम करता है, इसे एक सरल उपमा (analogy) से समझते हैं:

1. "गोल्डिलॉक्स" ज़ोन (Goldilocks Zone)

सीखने में, सबसे अच्छा अभ्यास "गोल्डिलॉक्स" ज़ोन में होता है:

बहुत आसान: आप हर उत्तर सही पाते हैं। आप कुछ भी नया नहीं सीखते।
बहुत कठिन: आप हर उत्तर गलत पाते हैं। आप कुछ नहीं सीख पाते क्योंकि आपको पता ही नहीं चलता कि आप कहाँ गलत हुए।
बिल्कुल सही: आप कुछ उत्तर सही और कुछ गलत पाते हैं। यहीं पर आपका मस्तिष्क (या AI) सुधार के लिए सबसे उपयोगी संकेत प्राप्त करता है।

2. "आंतरिक कोच" (स्व-निर्णय)

METIS AI को एक विशेष क्षमता देता है जिसे मेटाकॉग्निशन (सोचने के बारे में सोचना) कहा जाता है। प्रश्नों के एक समूह को हल करने से पहले, AI रुकता है और खुद से पूछता है:

"हाल ही के समान प्रश्नों पर मेरे प्रदर्शन के आधार पर, इनमें से कौन से नए प्रश्न मुझे सबसे अधिक 'मिश्रित' परिणाम देंगे? कौन से प्रश्न मुझे सीखने के लिए पर्याप्त संघर्ष कराएंगे?"

यह एक "स्मृति" (memory) को देखकर ऐसा करता है (जैसे पिछले खेल का स्कोरकार्ड देखना) और वैरिएंस (परिणामों का फैलाव) की भविष्यवाणी करता है।

यदि यह भविष्यवाणी करता है कि इसे 100% सही या 100% गलत मिलेगा, तो यह उस प्रश्न को छोड़ देता है।
यदि यह 50/50 के विभाजन (कुछ सही, कुछ गलत) की भविष्यवाणी करता है, तो यह उस प्रश्न को चुनता है।

3. "फीडबैक लूप" (Feedback Loop)

यही वह चतुर हिस्सा है: AI केवल अनुमान नहीं लगाता और उम्मीद नहीं करता।

पूर्वानुमान (Predict): यह अनुमान लगाता है कि कौन से प्रश्न "बिल्कुल सही" हैं।
अभ्यास (Practice): यह वास्तव में उन्हें हल करने की कोशिश करता है।
जांच (Check): यह देखता है कि क्या इसका अनुमान सही था। क्या परिणाम वास्तव में भिन्न थे?
सीखना (Learn): यदि इसने गलत अनुमान लगाया, तो इसे अपने आंतरिक कोच को समायोजित करने के लिए एक छोटा "दंड" (लॉस सिग्नल) मिलता है। यदि इसने सही अनुमान लगाया, तो इसे एक "पुरस्कार" मिलता है।
समय के साथ, AI अपने स्वयं के सीखने की जरूरतों को समझने में अविश्वसनीय रूप से कुशल हो जाता है। यह एक बाहरी नियम पुस्तिका या किसी अलग सहायक मॉडल की आवश्यकता को समाप्त कर देता है। यह आत्मनिर्भर बन जाता है।

यह एक बड़ी बात क्यों है?

गति (Speed): क्योंकि AI अपने लिए सही प्रश्न खुद चुनता है, इसलिए यह बहुत तेज़ी से सीखता है। शोध पत्र कहता है कि यह प्रशिक्षण के समय को 67% तक कम कर सकता है। यह वार्म-अप और कूल-डाउन को छोड़कर सीधे उन व्यायामों पर जाने जैसा है जो वास्तव में मांसपेशियां बनाते हैं।
दक्षता (Efficiency): इसे बैकग्राउंड में चलाने के लिए किसी अलग "कोच" AI की आवश्यकता नहीं होती है, जिससे कंप्यूटर की शक्ति बचती है।
बहुमुखी प्रतिभा (Versatility): यह गणित, कोडिंग और जटिल एजेंट कार्यों (जैसे AI को फ्लाइट बुक करने या शेड्यूल प्रबंधित करने के लिए कहना) पर काम करता है, जिसके लिए प्रत्येक विशिष्ट प्रकार के प्रश्न के लिए इसे फिर से ट्यून करने की आवश्यकता नहीं होती है।

संक्षेप में:
METIS AI को एक निष्क्रिय छात्र से बदलकर एक सक्रिय शिक्षार्थी बना देता है जो जानता है कि सबसे तेज़ी से बेहतर होने के लिए उसे आगे क्या अभ्यास करने की आवश्यकता है। यह "पाठ्यक्रम" (अध्ययन की योजना) को आंतरिक रूप से आत्मसात कर लेता है ताकि AI महारत हासिल करने के लिए अपना स्वयं का रास्ता डिज़ाइन कर सके।

तकनीकी सारांश: LLM सुदृढीकरण फाइन-ट्यूनिंग के लिए आंतरिक पाठ्यक्रम निर्णय (Internalizing Curriculum Judgment)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) सुदृढीकरण फाइन-ट्यूनिंग (RFT) में, सीखने की दक्षता और अंतिम प्रदर्शन काफी हद तक करिकुलम लर्निंग (curriculum learning)—अर्थात यह चुनने की रणनीति कि किन प्रॉम्प्ट्स पर प्रशिक्षण दिया जाए—पर निर्भर करते हैं। प्रभावी शिक्षण के लिए उन समस्याओं पर ध्यान केंद्रित करना आवश्यक है जो "प्रॉक्सिमल डेवलपमेंट के क्षेत्र" (zone of proximal development) के निकट हों, जहाँ पॉलिसी न तो लगातार सफल हो रही हो और न ही लगातार विफल। हालाँकि, वर्तमान करिकुलम विधियाँ एक गंभीर मिसअलाइनमेंट (misalignment) से ग्रस्त हैं: वे प्रॉम्प्ट की सूचनात्मकता (informativeness) के निर्णय को बाह्य रूप से निर्धारित करती हैं।

मौजूदा दृष्टिकोण निम्नलिखित पर निर्भर करते हैं:

हस्तनिर्मित ह्यूरिस्टिक्स (Handcrafted heuristics): ऑफलाइन कठिनाई या डोमेन श्रेणियों पर आधारित स्थिर नियम।
सहायक मॉडल (Auxiliary models): अलग से सीखे गए मॉडल (स्कोरर) जो प्रॉम्प्ट की कठिनाई का अनुमान लगाते हैं।
पोस्ट-होक फ़िल्टरिंग (Post-hoc filtering): सांख्यिकी के आधार पर रोलआउट के बाद प्रॉम्प्ट का चयन करना।

ये विधियाँ पॉलिसी को बाहरी रूप से परिभाषित करिकुलम प्राप्त करने वाले एक निष्क्रिय प्राप्तकर्ता के रूप में देखती हैं। चूँकि पॉलिसी की सक्षमता की सीमा (competence frontier) जैसे-जैसे वह सीखती है, गतिशील रूप से बदलती रहती है, इसलिए बाहरी चयनकर्ता (selectors) उसके वर्तमान स्तर के साथ तालमेल खो सकते हैं, जिससे कंप्यूट का उप-इष्टतम आवंटन होता है। इसके अलावा, कई मौजूदा ह्यूरिस्टिक्स (जैसे, पास-रेट थ्रेशोल्ड) बाइनरी रिवॉर्ड्स तक ही सीमित हैं और कोड जनरेशन या एजेंटिक कार्यों जैसे निरंतर (continuous) रिवॉर्ड सेटिंग्स में सामान्यीकरण करने में विफल रहते हैं।

कार्यप्रणाली: METIS

लेखक METIS (METacognitive Internalized Self-judgment) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो करिकुलम जजमेंट को स्वयं पॉलिसी की एक मूल क्षमता के रूप में आंतरिक बनाता है। METIS करिकुलम लर्निंग को केवल डेटा चयन के रूप में नहीं, बल्कि मॉडल को यह तय करने के लिए प्रशिक्षित करने के रूप में पुनर्परिभाषित करता है कि उसे आगे क्या सीखना चाहिए।

मुख्य तंत्र

METIS इस अवलोकन पर कार्य करता है कि प्रॉम्प्ट-भीतर रिवॉर्ड वेरिएंस (within-prompt reward variance) एक सामान्य, पॉलिसी-निर्भर संकेत है जो प्रॉम्प्ट की सूचनात्मकता को दर्शाता है।

कम वेरिएंस (Low Variance): पॉलिसी किसी प्रॉम्प्ट को लगातार हल करती है या लगातार विफल होती है (कम लर्निंग सिग्नल)।
उच्च वेरिएंस (High Variance): पॉलिसी एक ही प्रॉम्प्ट के लिए विविध परिणाम उत्पन्न करती है, जो यह दर्शाता है कि प्रॉम्प्ट सक्षमता की सीमा (competence frontier) पर स्थित है (उच्च लर्निंग सिग्नल)।

METIS इस निर्णय को आंतरिक बनाने के लिए दो-स्तरीय डिज़ाइन लागू करता है:

इन-कॉन्टेक्स्ट सेल्फ-जजमेंट (रोलआउट-पूर्व):
एक बाहरी स्कोरर के बजाय, पॉलिसी $\pi_\theta$ स्वयं उम्मीदवार प्रॉम्प्ट्स के लिए अपेक्षित रिवॉर्ड वेरिएंस की भविष्यवाणी करती है। यह इन-कॉन्टेक्स्ट लर्निंग (ICL) के माध्यम से किया जाता है।
- पॉलिसी को एक "कैलिब्रेशन मेमोरी" ( $\mathcal{M}_t$ ) प्रदान की जाती है जिसमें हालिया प्रॉम्प्ट्स और उनके वर्तमान प्रशिक्षण इतिहास से प्राप्त वास्तविक रिवॉर्ड वेरिएंस के जोड़े होते हैं।
- प्रत्येक उम्मीदवार प्रॉम्प्ट के लिए, पॉलिसी वेरिएंस $\hat{v}_\theta(x)$ की भविष्यवाणी करने वाला एक संरचित रिस्पॉन्स जेनरेट करती है।
- प्रॉम्प्ट्स को इन भविष्यवाणियों द्वारा रैंक किया जाता है, और शीर्ष- $B$ सबसे सूचनात्मक प्रॉम्प्ट्स को रोलआउट के लिए चुना जाता है।
संयुक्त अनुकूलन (रोलआउट-पश्चात):
METIS एक ही पॉलिसी के भीतर दो उद्देश्यों को संयुक्त रूप से अनुकूलित करके इस लूप को पूरा करता है:
- टास्क लॉस ( $\mathcal{L}_{policy}$ ): समस्या सुलझाने की क्षमताओं में सुधार के लिए मानक ग्रुप-रिलेटिव RFT लॉस (जैसे, GRPO)।
- सेल्फ-जजमेंट लॉस ( $\mathcal{L}_{judge}$ ): एक कैलिब्रेशन रिवॉर्ड जो अनुमानित वेरिएंस $\hat{v}_\theta(x)$ और रोलआउट से प्राप्त वास्तविक वेरिएंस $v(x)$ के बीच के अंतर को दंडित करता है।
कुल उद्देश्य $\mathcal{L}_{total} = \mathcal{L}_{policy} + \lambda \mathcal{L}_{judge}$ है। यह पॉलिसी को न केवल कार्यों को हल करने के लिए, बल्कि अपने स्वयं के सीखने की स्थिति का सटीक आकलन करने के लिए भी मजबूर करता है, जो प्रभावी रूप से एक मेटाकॉग्निटिव कौशल (metacognitive skill) विकसित करता है।

सामान्यीकरण (Generalization)

बाइनरी रिवॉर्ड्स (पास/फेल) तक सीमित पिछले कार्यों के विपरीत, METIS रिवॉर्ड्स के वेरिएंस $v_\theta(x) = \text{Var}_{y \sim \pi_\theta} [r(x, y)]$ का उपयोग करके सूचनात्मकता को औपचारिक रूप देता है। यह फॉर्मूलेशन बिना किसी कार्य-विशिष्ट कठिनाई परिभाषा के निरंतर रिवॉर्ड्स (जैसे, कोड जनरेशन में आंशिक क्रेडिट, एजेंटिक कार्यों में ट्रजेक्टरी स्कोर) तक स्वाभाविक रूप से विस्तार करता है।

प्रमुख योगदान

समस्या का निरूपण: लेखकों ने LLM RFT के लिए करिकुलम लर्निंग को एक पॉलिसी-डिपेंडेंट कॉम्पिटेंस-फ्रंटियर ट्रैकिंग समस्या के रूप में औपचारिक रूप दिया है, जो बाइनरी और निरंतर दोनों रिवॉर्ड्स के लिए एक एकीकृत संकेत के रूप में प्रॉम्प्ट-भीतर रिवॉर्ड वेरिएंस की पहचान करता है।
METIS फ्रेमवर्क: उन्होंने पहला LLM RFT फ्रेमवर्क पेश किया है जो करिकुलम जजमेंट को आंतरिक बनाता है। टास्क परफॉरमेंस और सेल्फ-जजमेंट सटीकता को संयुक्त रूप से अनुकूलित करके, METIS करिकुलम चयन को एक बाहरी तंत्र से बदलकर एक सीखे गए कौशल में बदल देता है।
अनुभवजन्य सत्यापन (Empirical Validation): METIS को विविध बेंचमार्क (गणितीय तर्क, कोड जनरेशन, एजेंटिक फंक्शन-कॉलिंग) और मॉडल बैकबोन (Qwen, Llama, DeepSeek) पर सत्यापित किया गया है।

प्रयोगात्मक परिणाम

पेपर में डिस्क्रीट (मैथ) और कंटीन्यूअस (कोड, एजेंटिक) रिवॉर्ड टास्क पर व्यापक प्रयोग रिपोर्ट किए गए हैं।

प्रदर्शन: METIS बेसलाइन्स (No Curriculum, Category Scheduling, Handcrafted Heuristics, और Auxiliary Model selectors) की तुलना में लगातार बेहतर अंतिम सटीकता प्राप्त करता है।
दक्षता: METIS महत्वपूर्ण रूप से अभिसरण (convergence) को तेज करता है, जो यूनिफॉर्म सैंपलिंग की तुलना में पीक परफॉरमेंस तक पहुँचने के लिए 67% तक वॉल-क्लॉक टाइम में कमी लाता है।
ओवरहेड: यह विधि न्यूनतम कम्प्यूटेशनल ओवरहेड (लगभग 3.9% प्रति-स्टेप) पेश करती है क्योंकि सेल्फ-जजमेंट एक छोटा ICL प्रेडिक्शन है, जो पूर्ण टास्क रोलआउट जेनरेट करने की तुलना में बहुत सस्ता है।
अभिसरण गतिशीलता (Convergence Dynamics): METIS पूरे प्रशिक्षण के दौरान उच्च माध्य ग्रुप-रिलेटिव एडवांटेज बनाए रखता है, जो यह दर्शाता है कि यह सफलतापूर्वक उच्चतम लर्निंग सिग्नल वाले प्रॉम्प्ट्स पर कंप्यूट को केंद्रित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- इन-कॉन्टेक्स्ट उदाहरणों को हटाने ( $K=0$ ) से पॉलिसी कार्य को समझने में विफल हो जाती है, और प्रॉम्प्ट्स को वेरिएंस प्रेडिक्शन के बजाय मानक समस्याओं के रूप में मान लेती है।
- जजमेंट लॉस को हटाने ( $\lambda=0$ ) से अनकैलिब्रेटेड भविष्यवाणियां होती हैं जो मूविंग फ्रंटियर को प्रभावी ढंग से ट्रैक नहीं कर पाती हैं, हालांकि केवल ICL अभी भी कुछ लाभ प्रदान करता है।
- यह विधि निरंतर रिवॉर्ड कार्यों पर प्रभावी ढंग से काम करती है जहाँ पास-रेट-आधारित बेसलाइन्स विफल हो जाते हैं या जिन्हें एड-हॉक एक्सटेंशन की आवश्यकता होती है।

महत्व और दावे

पेपर का दावा है कि METIS LLM सुदृढीकरण फाइन-ट्यूनिंग के लिए एक सरल, क्लोज्ड-लूप, और अत्यधिक कुशल प्रतिमान स्थापित करता है। हस्तनिर्मित ह्यूरिस्टिक्स और सहायक मॉडलों को दरकिनार करके, METIS यह प्रदर्शित करता है कि एक LLM अपने स्वयं के सीखने की स्थिति की निगरानी करना और अपना स्वयं का करिकुलम चुनना सीख सकता है।

लेखक इसे "डेटा चुनने" से "मॉडल को यह तय करने के लिए प्रशिक्षित करने" की ओर एक बदलाव के रूप में देखते हैं। वे नोट करते हैं कि जबकि METIS बेस पॉलिसी की इन-कॉन्टेक्ट लर्निंग क्षमता पर निर्भर करता है, यह बाहरी ट्यूनिंग या अलग से सेलेक्टर मॉडल की आवश्यकता को समाप्त करता है। यह कार्य निष्कर्ष निकालता है कि प्रॉम्प्ट-स्तरीय करिकुलम जजमेंट को विश्वसनीय रूप से पॉलिसी के भीतर अवशोषित किया जा सकता है, जो विविध डोमेन में RFT के लिए एक मेटाकॉग्निटिव फ्रेमवर्क प्रदान करता है।

स्वीकृत सीमाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि METIS उनकी ICL क्षमताओं पर निर्भर करता है, जो कमजोर बैकबोन में भिन्न हो सकती है। वे यह भी कहते हैं कि हालांकि प्रशिक्षण गतिशीलता स्थिर दिखती है, वे इस कार्य में प्रशिक्षण स्थिरता को औपचारिक रूप से मात्रात्मक रूप से नहीं मापते हैं।