🤖 machine learning

ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning

एक्स्ट्रा (ExTra) एक GRPO-संगत फ्रेमवर्क है जो विविध सही समाधानों के लिए नवीनता पुरस्कारों (novelty rewards) और आसान एवं कठिन रीजनिंग कार्यों पर मानक RLVR की सीमाओं को दूर करने के लिए एंट्रॉपी-निर्देशित प्रीफिक्स पुनर्जनन (entropy-guided prefix regeneration) को जोड़कर भाषा मॉडल सुदृढीकरण शिक्षण (reinforcement learning) को बढ़ाता है, जिससे सटीकता और इन्फरेंस-टाइम कवरेज में महत्वपूर्ण सुधार होता है।

मूल लेखक: Wenyang Hu, Junxiang Jia, Zhen Shu, Daniel Dahlmeier, See-Kiong Ng, Bryan Kian Hsiang Low

प्रकाशित 2026-06-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenyang Hu, Junxiang Jia, Zhen Shu, Daniel Dahlmeier, See-Kiong Ng, Bryan Kian Hsiang Low

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक AI भाषा मॉडल) को कठिन गणित की समस्याएं हल करना सिखा रहे हैं। आप एक विधि का उपयोग करते हैं जिसे Reinforcement Learning कहा जाता है, जहाँ छात्र समस्या को हल करने का प्रयास करता है, यदि वह सही है तो उसे "थम्स अप" (अंगूठा ऊपर) मिलता है, और यदि वह गलत है तो "थम्स डाउन" (अंगूठा नीचे) मिलता है। लक्ष्य छात्र को इन थम्स अप और थम्स डाउन से सीखने में मदद करना है ताकि वह समय के साथ बेहतर हो सके।

यह शोध पत्र एक नई शिक्षण विधि पेश करता है जिसे ExTra (Exploratory Trajectory Optimization) कहा जाता है। यह दो विशिष्ट समस्याओं को ठीक करता है जो तब होती हैं जब छात्र प्रयासों के एक समूह से सीखने की कोशिश करता है।

वे दो समस्याएँ जिन्हें ExTra हल करता है

1. "बहुत आसान" वाली समस्या (बोरिंग क्लास)
कल्पना कीजिए कि आप छात्र को एक बहुत ही आसान गणित की समस्या देते हैं, जैसे $2+2$ ।

क्या होता है: छात्र 10 बार प्रयास करता है, और हर बार वह "4" लिखता है।
समस्या: चूंकि हर उत्तर एक जैसा और सही है, इसलिए शिक्षक (AI सिस्टम) भ्रमित हो जाता है। सीखने के लिए प्रयासों के बीच कोई अंतर नहीं रह जाता। छात्र सोचने के नए तरीके आज़माना बंद कर देता है और बस उसी उबाऊ पैटर्न को दोहराता रहता है। वह एक ढर्रे में "फँस" जाता है, जिससे उसकी रचनात्मक रूप से सोचने की क्षमता कम हो जाती है।
ExTra का समाधान: यह एक "Novelty Bonus" (नवीनता बोनस) जोड़ता है। यदि छात्र सही उत्तर ( $2+2=4$ ) प्राप्त करता है लेकिन इसे पहले के मुकाबले एक अनोखे, अलग तरीके से समझाता है, तो उसे अतिरिक्त अंक मिलते हैं। यह छात्र को आसान समस्याओं को हल करने के अलग-अलग तरीकों को आज़माने के लिए प्रोत्साहित करता है, जिससे उसका मस्तिष्क सक्रिय और विविध बना रहता है।

2. "बहुत कठिन" वाली समस्या (डेड एंड/बंद रास्ता)
अब कल्पना कीजिए कि आप छात्र को एक अत्यंत कठिन समस्या देते हैं, जैसे कि एक जटिल ओलंपियाड गणित का प्रश्न।

क्या क्या होता है: छात्र 10 बार प्रयास करता है, और हर बार वह या तो अटक जाता है या गलत उत्तर देता है।
समस्या: शिक्षक देखता है कि 10 बार विफलता मिली है और उसे समझ नहीं आता कि क्या किया जाए। सीखने के लिए कोई "थम्स अप" नहीं है। आमतौर पर, सिस्टम उन सभी 10 प्रयासों को फेंक देता है और शून्य से फिर से शुरू कर देता है, जिससे छात्र द्वारा किए गए पिछले पूरे काम की बर्बादी होती है।
ExTra का समाधान: सब कुछ फेंक देने के बजाय, ExTra एक स्मार्ट हाइकिंग गाइड की तरह काम करता है।
- यह छात्र के असफल प्रयासों को देखता है और पूछता है: "वे कहाँ लगभग सही थे?"
- यह एक विशेष संकेत का उपयोग करता है जिसे Entropy (जो कि यह मापने जैसा है कि प्रत्येक चरण पर छात्र कितना "भ्रमित" या "अनिश्चित" था) कहा जाता है। यह उत्तर के उस हिस्से को ढूंढता है जहाँ छात्र सबसे कम भ्रमित था।
- यह उस विशिष्ट "लगभग-सही" हिस्से को लेता है और कहता है: "ठीक है, इस हिस्से को बनाए रखते हुए बाकी समस्या को यहाँ से पूरा करने की कोशिश करो।"
- यह छात्र की प्रगति को बचाता है और उसे एक मजबूत शुरुआती बिंदु से नए रास्तों को खोजने के लिए निर्देशित करता है, न कि शून्य से शुरू होने के लिए।

यह मिलकर कैसे काम करता है

सोचिए कि ExTra एक कोच की तरह है जो दो चीजें एक साथ करता है:

आसान कार्यों के लिए: वे छात्र से कहते हैं, "बहुत अच्छा! लेकिन अगली बार इसे बिल्कुल नए तरीके से समझाने की कोशिश करें ताकि हम और सीख सकें।" (यह Novelty Reward है)।
कठिन कार्यों के लिए: वे कहते हैं, "आप यहाँ अटक गए थे, लेकिन आप इस वाक्य तक बहुत अच्छा कर रहे थे। आइए इस वाक्य को रखें और वहीं से पहेली को पूरा करने की कोशिश करें।" (यह Entropy-Guided Regeneration है)।

परिणाम

शोधकर्ताओं ने इसका परीक्षण छह अलग-अलग गणितीय बेंचमार्क (जैसे AIME और MATH) पर किया। उन्होंने ExTra की तुलना मानक विधि (जिसे GRPO कहा जाता है) से की।

बेहतर सटीकता (Better Accuracy): AI ने पहली बार में ही अधिक सही उत्तर दिए।
बेहतर कवरेज (Better Coverage): यदि आप AI को समस्या हल करने के लिए 16 बार प्रयास करने देते हैं, तो ExTra के पास उन 16 प्रयासों में से कम से कम एक सही उत्तर खोजने की बहुत अधिक संभावना होती है। इसका मतलब है कि AI केवल सोचने के एक विशिष्ट तरीके में बेहतर नहीं हुआ; इसने समस्याओं को हल करने के कई विविध तरीके सीखे।
दक्षता (Efficiency): इसने अतिरिक्त कंप्यूटर समय खर्च किए बिना या हर चरण के लिए मानव ग्रेडिंग की आवश्यकता के बिना ये परिणाम प्राप्त किए। इसने यह पता लगा लिया कि क्या काम कर रहा है, सिर्फ AI की अपनी सोचने की प्रक्रिया को देखकर।

संक्षेप में, ExTra AI को सिखाता है कि जब चीजें आसान हों तो विविध (diverse) कैसे बनें और जब चीजें कठिन हों तो लचीला (resilient) कैसे बनें, जिससे यह सुनिश्चित होता है कि वह दोहराव के चक्र में या चुनौती का सामना करते समय हार मान लेने में न फँसे।

तकनीकी सारांश: ExTra - भाषा मॉडल सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए अन्वेषणात्मक प्रक्षेपवक्र अनुकूलन (Exploratory Trajectory Optimization)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र भाषा मॉडल तर्क (reasoning) के लिए सत्यापन योग्य पुरस्कारों (Verifiable Rewards) के साथ सुदृढीकरण शिक्षण (RLVR) में, विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) ढांचे के भीतर, महत्वपूर्ण विफलता मोड को संबोधित करता है। लेखक कार्य की कठिनाई के चरम स्तरों पर दो संरचनात्मक कमजोरियों की पहचान करते हैं:

आसान प्रॉम्प्ट्स (विविधता पतन - Diversity Collapse): जब समस्याएँ आसान होती हैं, तो मॉडल लगभग एकसमान सही प्रतिक्रियाएँ उत्पन्न करता है। इससे समूह के भीतर पुरस्कार भिन्नता (within-group reward variance) शून्य के करीब गिर जाती है, जिसके परिणामस्वरूप नगण्य ग्रेडिएंट सिग्नल प्राप्त होता है। फलस्वरूप, पॉलिसी तर्क के एक संकीर्ण सेट के लिए अत्यधिक अनुकूलित (over-optimize) हो जाती है, जिससे प्रक्षेपवक्र विविधता (trajectory diversity) दब जाती है। यह गिरावट इन्फरेंस-टाइम स्केलिंग मेट्रिक्स जैसे कि pass@k (k > 1 के लिए) को सीधे नुकसान पहुँचाती है, जो विविध सही समाधानों के नमूनाकरण (sampling) पर निर्भर करते हैं।
कठिन प्रॉम्प्ट्स (सिग्नल हानि - Signal Loss): जब समस्याएँ कठिन होती हैं, तो मॉडल एक रोलआउट समूह के भीतर कोई भी सही प्रतिक्रिया उत्पन्न करने में विफल हो सकता है। इस परिदृश्य में, सभी एडवांटेज (advantages) लुप्त हो जाते हैं, जिससे पॉलिसी को कोई ग्रेडिएंट सिग्नल नहीं मिल पाता।

मौजूदा शमन रणनीतियाँ, जैसे कि कठिनाई-आधारित डेटा फ़िल्टरिंग (जैसे DAPO), इसे चरम पास दरों वाले प्रश्नों को हटाकर या एक "गोल्डिलॉक्स" (Goldilocks) समूह मिलने तक पुन: नमूनाकरण (resampling) करके हल करने का प्रयास करती हैं। लेखक तर्क देते हैं कि यह दृष्टिकोण अक्षम है: यह कठिन समस्याओं को त्याग देता है (जिनमें फ्रंटियर रीजनिंग के लिए सघन लर्निंग सिग्नल होते हैं) और रिटेन किए गए आसान समस्याओं पर विविधता पतन को रोकने में भी विफल रहता है। इसके अलावा, शून्य से पुन: नमूनाकरण करना उन संभावित उपयोगी मध्यवर्ती संरचनाओं को अनदेखा करता है जो विफल प्रक्षेपपथों (failed trajectories) में पहले से ही एनकोडेड हैं।

2. कार्यप्रणाली: ExTra ढांचा (Methodology: ExTra Framework)

ExTra (एक्सप्लोरेटरी ट्राजेक्टरी ऑप्टिमाइज़ेशन) एक GRPO-संगत ढांचा है जिसे अतिरिक्त रिवॉर्ड मॉडल या बाइनरी शुद्धता के अलावा किसी अन्य पर्यवेक्षण की आवश्यकता के बिना, मॉडल के अपने रोलआउट से सीधे अन्वेषण संकेतों को निकालने के लिए डिज़ाइन किया गया है। यह दो पूरक तंत्रों के माध्यम से कार्य करता है:

A. नवीनता-संचालित आंतरिक पुरस्कार (आसान प्रॉम्प्ट्स को संबोधित करने के लिए)

आसान समस्याओं पर विविधता पतन का मुकाबला करने के लिए, ExTra एक एम्बेडिंग-आधारित नवीनता पुरस्कार (novelty reward) पेश करता है।

तंत्र: प्रत्येक प्रॉम्प्ट के लिए, सिस्टम पिछले उत्तरों के सेंटेंस एम्बेडिंग की एक मेमोरी बनाए रखता है। एक नया उत्तर $y$ केवल तभी आंतरिक पुरस्कार $r_{int}$ प्राप्त करता है जब वह सही हो और मेमोरी के सापेक्ष अर्थपूर्ण रूप से नवीन (semantically novel) हो।
फॉर्मूलेशन: $r_{int}(y) = \mathbb{1}[R(x,y)>0] \cdot (1 - \max_{z' \in \Phi(x)} \cos(z, z'))$ ।
एकीकरण: महत्वपूर्ण रूप से, यह नवीनता बोनस GRPO के ग्रुप नॉर्मलाइजेशन के बाद जोड़ा जाता है। यह सुनिश्चित करता है कि अन्वेषण सिग्नल समूह के माध्य (mean) और विचरण (variance) द्वारा विकृत न हो, जिससे बाइनरी टास्क रिवॉर्ड प्राथमिक चालक बना रहता है जबकि नवीनता शब्द विविध सही रणनीतियों को प्रोत्साहित करता है।
प्रतिबंध: शुद्धता गेट (correctness gate) यह सुनिश्चित करता है कि पॉलिसी को कभी भी विविध विफलताओं (diverse failures) को उत्पन्न करने के लिए प्रोत्साहित न किया जाए।

B. एंट्रॉपी-गाइडेड प्रीफिक्स रिजनरेशन (कठिन प्रॉम्प्ट्स को संबोधित करने के लिए)

कठिन प्रॉम्प्ट्स से सिग्नल प्राप्त करने के लिए, जहाँ कोई सही प्रतिक्रिया उत्पन्न नहीं की गई है, ExTra शून्य से पुन: नमूनाकरण करने के बजाय आशाजनक मध्यवर्ती चरणों से प्रक्षेपवक्र को पुनर्जीवित करने का प्रस्ताव करता है।

अनुमानी (Heuristic): यह विधि एक तर्कपूर्ण प्रीफिक्स (reasoning prefix) की गुणवत्ता के अनसुपरवाइज्ड प्रॉक्सी के रूप में मीन टोकन एंट्रॉपी (MTE) का उपयोग करती है। परिकल्पना यह है कि सुसंगत तर्क श्रृंखलाएं (coherent reasoning chains) ड्रिफ्टिंग या असंगत श्रृंखलाओं की तुलना में कम अनिश्चितता (कम एंट्रॉपी) के साथ उत्पन्न होती हैं।
प्रक्रिया:
1. कठिन प्रॉम्प्ट के लिए, रोलआउट समूह से सभी मध्यवर्ती तर्क चरण (prefixes) निकाले जाते हैं।
2. प्रत्येक प्रीफिक्स के लिए MTE की गणना की जाती है।
3. शोर को कम करने के लिए स्कोर को सिमेंटिक समानता (semantic similarity) का उपयोग करके स्मूथ किया जाता है।
4. सबसे कम स्मूथ किए गए MTE वाले प्रीफिक्स को "गाइडेड प्रॉम्प्ट" के रूप में चुना जाता है।
5. इस प्रीफिक्स पर आधारित नए सफिक्स (suffixes) का नमूना लिया जाता है ( $y_{>t} \sim \pi_\theta(\cdot | x, p^*)$ )।
दक्षता: पॉलिसी ग्रेडिएंट लॉस केवल नए उत्पन्न सफिक्स टोकन पर कंप्यूट किया जाता है, जबकि फिक्स्ड प्रीफिक्स संदर्भ (context) के रूप में कार्य करता है। यह अन्वेषण को उस अवस्था पर केंद्रित करता है जिसे मॉडल ने पहले से ही उच्च विश्वास के साथ प्राप्त कर लिया है, जिससे प्रभावी रूप से सर्च स्पेस छोटा हो जाता है।

3. मुख्य योगदान (Key Contributions)

विफलता मोडों की पहचान: पेपर ने मानक GRPO की संरचनात्मक सीमाओं के रूप में "विविधता पतन" (easy tasks पर) और "सिग्नल हानि" (hard tasks पर) को औपचारिक रूप से वर्णित किया है।
नवीन एल्गोरिदम (ExTra): एक ढांचा जो विविधता (आसान कार्यों पर) और संरचनात्मक संभावना (कठिन कार्यों पर) दोनों के लिए प्रक्षेपवक्रों को अनुकूलित करने के लिए पोस्ट-नॉर्मलाइजेशन नवीनता पुरस्कारों और एंट्रॉपी-गाइडेड प्रीफिक्स रिजनरेशन को जोड़ता है।
अनसुपरवाइज्ड इंटरमीडिएट सुपरविजन: MTE का एक मजबूत, अनसुपरवाइज्ड प्रेडिक्टर के रूप में सत्यापन। प्रयोग दर्शाते हैं कि MTE, सही पूर्णता (correct completions) की ओर ले जाने वाले प्रीफिक्स की पहचान करने में ग्राउंड-ट्रुथ उत्तरों सहित अन्य मेट्रिक्स से बेहतर प्रदर्शन करता है।
सैद्धांतिक औचित्य: एक सर्च-स्पेस विश्लेषण (प्रपोजिशन 1) जो प्रदर्शित करता है कि यदि एक "एवरेज से ऊपर" वाला प्रीफिक्स मौजूद है, तो रिजनरेशन स्क्रैच सैंपलिंग की तुलना में प्रति-प्रयास सफलता दर को सख्ती से बढ़ाता है और समाधान खोजने के लिए अपेक्षित प्रयासों की संख्या को कम करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen3-1.7B और Nemotron-1.5B का उपयोग करके छह गणितीय तर्क बेंचमार्क (MATH-500, AMC23, Minerva, OlympiadBench, AIME24, AIME25) पर ExTra का मूल्यांकन किया।

प्रदर्शन लाभ:
- Qwen3-1.7B: ExTra ने औसत pass@1 पर +4.9 पॉइंट्स और औसत pass@16 पर +6.8 पॉइंट्स का सुधार किया।
- कठिन बेंचमार्क: सुधार कठिन डेटासेट जैसे AIME24 (+8.0 pass@1, +20.0 pass@16) और AIME25 पर सबसे अधिक स्पष्ट थे।
- एब्लेशन अध्ययन (Ablation Studies):
  - ExTra-N (केवल नवीनता): इसने pass@1 और pass@16 दोनों में सुधार किया, जो विविधता पुरस्कारों के मूल्य की पुष्टि करता है।
  - ExTra-R (केवल रिजनरेशन): इसने pass@1 में सुधार किया लेकिन pass@16 में थोड़ी कमी आई, जो यह दर्शाता है कि रिजनरेशन अकेले विविधता बफर प्रदान किए बिना सर्च स्पेस को सीमित कर सकता है।
  - Full ExTra: इसने एक सुपर-एडिटिव प्रभाव दिखाया, जहाँ दोनों तंत्रों के संयोजन ने उनके व्यक्तिगत भागों के योग से अधिक लाभ दिया।
विविधता मेट्रिक्स: ExTra ने GRPO और DAPO की तुलना में कम Self-BLEU और उच्च LogDet स्कोर प्राप्त किया, जो तर्क प्रक्षेपवक्रों के व्यापक अर्थपूर्ण कवरेज को दर्शाता है।
नमूना दक्षता (Sample Efficiency): ExTRA ने DAPO की तुलना में बहुत कम उत्पन्न प्रॉम्प्ट इंस्टेंस (136k बनाम 392k) का उपयोग करते हुए उच्च pass@16 स्कोर प्राप्त किया, जो दर्शाता है कि यह डायनेमिक रिसंपलिंग के ओवरहेड के बिना प्रति रोलआउट अधिक सिग्नल निकालता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ExTra स्पष्ट रूप से प्रक्षेपवक्यों को विविध और संरचनात्मक रूप से आशाजनक बनाने के लिए अनुकूलित करके RLVR के लिए एक अधिक कुशल और मजबूत दृष्टिकोण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

परिचालन सरलता (Operational Simplicity): यह पूरी तरह से मानक GRPO लूप के भीतर काम करता है, जिसमें अतिरिक्त रिवॉर्ड मॉडल, मानव एनोटेशन, या मानक जनरेशन लॉजिट्स के अलावा कोई भारी कम्प्यूटेशनल ओवरहेड की आवश्यकता नहीं होती है।
सिग्नल निष्कर्षण: यह प्रदर्शित करता है कि मूल्यवान अन्वेषण संकेत (विविधता और मध्यवर्ती संरचना) मॉडल की अपनी जनरेशन प्रक्रिया के भीतर अंतर्निहित हैं और उन्हें कठिन डेटा को हटाने या अंधाधुंध पुन: नमूनाकरण के बिना निकाला जा सकता है।
स्केलेबिलिटी: सिंगल-सैंपल सटीकता और इन्फरेंस-टाइम कवरेज (pass@k) दोनों में सुधार करके, यह विधि मेजरिटी वोटिंग या बेस्ट-ऑफ-N सैंपलिंग रणनीतियों के माध्यम से रीजनिंग क्षमताओं के बेहतर स्केलिंग का समर्थन करती है।

लेखक एक मध्यम स्वर बनाए रखते हैं, यह नोट करते हुए कि हालांकि MTE एक मजबूत प्रेडिक्टर है, मॉन्टे कार्लो प्रीफिक्स मूल्यांकन की अंतर्निहित शोर के कारण सहसंबंध मध्यम है, और यह विधि "एवरेज से ऊपर" के प्रीफिक्स के अनुभवजन्य अस्तित्व पर निर्भर करती है जिसे MTE सफलतापूर्वक पहचानता है।