🤖 machine learning

Single-Rollout Hidden-State Dynamics for Training-Free RLVR Data Selection

यह शोध पत्र SHIFT को प्रस्तुत करता है, जो 'वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) के लिए एक ट्रेनिंग-मुक्त डेटा चयन पद्धति है, जो एकल इन्फरेंस रोलआउट के दौरान रीजनिंग-प्रेरित हिडन-स्टेट शिफ्ट को मापकर उच्च-उपयोगिता वाले इंस्टेंस की पहचान करती है, जिससे लेबल या रिवॉर्ड सिग्नल तक पहुंच के बिना प्रभावी मॉडल प्रशिक्षण सक्षम होता है।

मूल लेखक: Jianghao Wu, Jianfei Cai, Weiqiang Wang, Jin Ye, Daniel F. Schmidt, Yasmeen George

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jianghao Wu, Jianfei Cai, Weiqiang Wang, Jin Ye, Daniel F. Schmidt, Yasmeen George

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन अप्रशिक्षित छात्र (एक AI मॉडल) है जो एक बहुत ही कठिन परीक्षा देने वाला है। आपके पास हजारों अभ्यास प्रश्नों का एक विशाल पुस्तकालय है, लेकिन आपके पास केवल पांच प्रश्नों को पढ़ने के लिए ही समय और पैसा है।

बड़ी समस्या यह है कि वे पांच प्रश्न कौन से होने चाहिए?

यदि आप गलत प्रश्न चुनते हैं, तो छात्र कुछ भी नहीं सीखता। यदि आप सही प्रश्न चुनते हैं, तो वह परीक्षा में उत्कृष्ट प्रदर्शन कर सकता है। यह RLVR (वैरिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग) की चुनौती है: बहुत कम उदाहरणों से भारी सुधार प्राप्त करना। लेकिन आमतौर पर, यह पता लगाने के लिए कि कौन से उदाहरण "गोल्डन टिकट" हैं, या तो:

आपको हर एक प्रश्न की उत्तर कुंजी (answer key) चाहिए (जो महंगी और कठिन है)।
आपको छात्र को पहले सभी प्रश्नों को पढ़ने देने की आवश्यकता होती है ताकि यह देखा जा सके कि वे किस तरह मदद करते हैं (जो गणनात्मक रूप से बहुत अधिक संसाधनों की बर्बादी है)।

इस शोध पत्र के लेखक, SHIFT कहते हैं: "रुको, हम उत्तर देखे बिना और छात्र को उन्हें पहले से पढ़ने दिए बिना सबसे अच्छे पांच प्रश्न चुन सकते हैं।"

वे इसे कैसे करते हैं, यहाँ एक सरल उपमा (analogy) दी गई है:

"मानसिक खिंचाव" (Mental Stretch) की उपमा

कल्पना कीजिए कि आपका छात्र एक रबर बैंड है।

प्रश्न: कागज का एक टुकड़ा जिस पर एक पहेली लिखी है।
सोचने की प्रक्रिया: छात्र पहेली को पढ़ता है और जोर से सोचना शुरू करता है (इसे "रीज़निंग ट्रेस" कहा जाता है)।
"हिडन स्टेट" (Hidden State): यह छात्र की आंतरिक मस्तिष्क अवस्था (internal brain state) है, सोचने की प्रक्रिया शुरू करने से पहले और सोचने की प्रक्रिया पूरी करने के बाद।

लेखकों ने पाया कि जब एक छात्र एक अच्छे प्रश्न को हल करता है, तो उसका मस्तिष्क एक महत्वपूर्ण "मानसिक खिंचाव" से गुजरता है। वह एक मानसिक अवस्था से शुरू होता है और पूरी तरह से एक अलग, अधिक जटिल अवस्था में समाप्त होता है। यदि समस्या बहुत आसान या उबाऊ है, तो उसका मस्तिष्क बहुत कम हिलता है।

SHIFT इस प्रकार कार्य करता है:

वन-शॉट टेस्ट: पुस्तकालय के प्रत्येक प्रश्न के लिए, सिस्टम छात्र को एक बार (बिना ग्रेड दिए, चुपचाप) समस्या पर विचार करने के लिए कहता है।
खिंचाव को मापना: यह छात्र के विचार की प्रक्रिया के बिल्कुल शुरुआत और अंत के बीच की दूरी को मापता है। इस दूरी को रीज़निंग-इंड्यूस्ड रिप्रेजेंटेशन शिफ्ट (RIRS) कहा जाता है।
- बड़ा खिंचाव? वह प्रश्न संभवतः एक "उच्च-प्रभाव" वाला उदाहरण है जो छात्र को बहुत कुछ सिखाएगा।
- छोटा खिंचाव? वह प्रश्न प्रशिक्षण के लिए बेकार हो सकता है।
सबसे अच्छा मिश्रण चुनना: सिस्टम केवल सबसे बड़े खिंचाव वाले 5 प्रश्न नहीं चुनता है। यह यह भी सुनिश्चित करता है कि वे 5 प्रश्न एक-दूसरे से अलग हों (विभिन्न विषयों को कवर करें), ताकि छात्र को एक संतुलित वर्कआउट मिले।

यह एक बड़ी बात क्यों है?

अन्य अधिकांश तरीके एक ऐसे कोच की तरह हैं जो कहता है, "चलो 1,000 प्रश्न आजमाते हैं, देखते हैं कि छात्र किन पर सही उत्तर देता है, और फिर विजेताओं को चुनते हैं।" इसमें बहुत समय लगता है और बहुत खर्च होता है।

SHIFT एक ऐसे कोच की तरह है जो छात्र के सोचने के दौरान उसकी आँखों और मुद्रा (posture) को देखता है और कहता है, "यह वाला देखकर लग रहा है कि यह वास्तव में उसके दिमाग को कड़ी मेहनत करवा रहा है। चलिए इसे चुनते हैं।"

उन्होंने क्या पाया?

शोध पत्र ने दो बहुत कठिन विषयों पर इसका परीक्षण किया: गणित और चिकित्सा संबंधी प्रश्न।

परिणाम: भले ही बजट बहुत कम था (उपलब्ध प्रश्नों के केवल 2% या 0.1% को चुनना), SHIFT द्वारा चुने गए प्रश्नों पर प्रशिक्षित AI ने यादृच्छिक (random) प्रश्नों या अन्य "स्मार्ट" तरीकों द्वारा चुने गए प्रश्नों पर प्रशिक्षित AI की तुलना में बेहतर प्रदर्शन किया।
आश्चर्य: कभी-कभी, केवल कुछ SHIFT-चुने गए प्रश्नों पर प्रशिक्षण देना पूरे पुस्तकालय के प्रश्नों पर प्रशिक्षण देने से भी बेहतर रहा। यह सुझाव देता है कि गुणवत्ता (सही मानसिक खिंचाव) मात्रा से बेहतर है।
जांच: उन्होंने सिद्ध किया कि यह "खिंचाव" केवल इसलिए नहीं था क्योंकि प्रश्न लंबे थे या उत्तर अधिक विस्तृत थे। यह वास्तव में सोचने की प्रक्रिया की जटिलता के बारे में था।

संक्षेप में

यह शोध पत्र SHIFT को पेश करता है, जो AI के लिए सबसे अच्छे प्रशिक्षण उदाहरणों को चुनने का एक उपकरण है, जो यह मापकर काम करता है कि पहली बार किसी समस्या पर विचार करते समय AI का "मस्तिष्क" कितना खिंचता है। यह बिना किसी उत्तर कुंजी या महंगे ट्रायल-एंड-एरर प्रशिक्षण के किया जाता है, जिससे बहुत कम डेटा के साथ शक्तिशाली AI मॉडल को बेहतर ढंग से सोचने (reasoning) के लिए प्रशिक्षित करना संभव हो जाता है।

तकनीकी सारांश: प्रशिक्षण-मुक्त RLVR डेटा चयन के लिए सिंगल-रोलआउट हिडन-स्टेट डायनेमिक्स

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र रिनफोर्समेंट लर्निंग विद वरीफिएबल रिवॉर्ड्स (RLVR) में एक महत्वपूर्ण बाधा को संबोधित करता है: एक बड़े, बिना लेबल वाले पूल से उच्च-प्रभाव वाले प्रशिक्षण उदाहरणों का चयन करना। जबकि RLVR अत्यधिक डेटा-कुशल (data-efficient) होने के लिए जाना जाता है—जो बहुत कम उदाहरणों से महत्वपूर्ण रीजनिंग लाभ प्रदान कर सकता है—इसका प्रदर्शन इस बात के प्रति अत्यंत संवेदनशील है कि कौन से उदाहरण चुने गए हैं।

मौजूदा डेटा चयन पाइपलाइन आमतौर पर निम्नलिखित पर निर्भर करती हैं:

प्रशिक्षण-समय संकेत (Training-time signals): उम्मीदवार पूल पर आंशिक फाइन-ट्यूनिंग या RL चलाकर अनुकूलन गतिकी (जैसे, रिवॉर्ड ट्रेजेक्टरीज, ग्रेडिएंट वेरिएंस) का अवलोकन करना।
ग्राउंड-ट्रुथ निर्भरता (Ground-truth dependencies): पूरे उम्मीदवार पूल के लिए सत्यापन योग्य रिवॉर्ड्स या सही उत्तरों तक पहुँच, ताकि उदाहरणों को रैंक किया जा सके।

ये आवश्यकताएँ विशिष्ट, कम-संसाधन वाले डोमेन (जैसे, मेडिकल QA) में अक्सर अव्यवहारिक होती हैं जहाँ एनोटेशन महंगे होते हैं और हजारों उम्मीदवारों पर ट्रायल ट्रेनिंग चलाना कम्प्यूटेशनल रूप से व्यर्थ होता है। लेखक एक प्री-RL रिजीम (pre-RL regime) को औपचारिक रूप देते हैं जहाँ चयन को बिना किसी ग्राउंड-ट्रुथ लेबल, सत्यापन योग्य रिवॉर्ड, या प्रशिक्षण-समय अनुकूलन संकेत के, एक बड़े अनलेबल पूल पर किया जाना चाहिए।

कार्यप्रणाली: SHIFT

लेखक SHIFT का प्रस्ताव करते हैं, जो एक वन-शॉट, प्रशिक्षण-मुक्त, और लेबल-मुक्त सेलेक्टर है। SHIFT बिना कोई प्रशिक्षण किए, डाउनस्ट्रीम RLVR के लिए किसी उदाहरण की उपयोगिता (utility) का अनुमान लगाने के लिए इन्फरेंस-टाइम हिडन-स्टेट डायनेमिक्स का लाभ उठाता है।

मुख्य तंत्र: रीजनिंग-इंड्यूस्ड रिप्रेजेंटेशन शिफ्ट (RIRS)

केंद्रीय परिकल्पना यह है कि एक रीजनिंग ट्रेस के दौरान मॉडल की आंतरिक गतिकी (internal dynamics) इसकी सीखने की क्षमता को एनकोड करती है।

सिंगल डिटर्मिनिस्टिक रोलआउट: प्रत्येक उम्मीदवार उदाहरण $x$ के लिए, SHIFT ग्रीडी डिकोडिंग ( $T=0$ ) का उपयोग करके एक एकल डिटर्मिनिस्टिक रीजनिंग ट्रेस चलाता है।
एंकर एक्सट्रैक्शन (Anchor Extraction): यह रीजनिंग ट्रेस (विशेष रूप से, चेन-ऑफ-थॉट सेगमेंट के प्रारंभ और अंत) के आरंभ ( $s(x)$ ) और अंत ( $e(x)$ ) पर हिडन स्टेट्स की पहचान करता है।
RIRS गणना: रीजनिंग-इंड्यूस्ड रिप्रेजेंटेशन शिफ्ट इन स्टेट्स के बीच के अंतर (डेल्टा) के रूप में परिकलित किया जाता है:
$\Delta(x) = e(x) - s(x)$
$\|\Delta(x)\|_2$ का परिमाण इस उदाहरण की उपयोगिता (informativeness) के लिए एक हल्का प्रॉक्सी (proxy) है, यह परिकल्पना करते हुए कि बड़े शिफ्ट अधिक गहन आंतरिक गणना (internal computation) के संकेत हैं।

चयन एल्गोरिदम: क्वालिटी-वेटेड फारथेस्ट-फर्स्ट कोरसेट (Quality-Weighted Farthest-First CoreSet)

यह सुनिश्चित करने के लिए कि चयनित उपसमूह उच्च-गुणवत्ता वाला और विविध (diverse) दोनों हो, SHIFT एक संवर्धित फीचर स्पेस में एक ग्रीडी चयन रणनीति का उपयोग करता है:

फीचर निर्माण: प्रत्येक उदाहरण को एक संकलित वेक्टर $\phi(x) = [s(x); \Delta(x)]$ द्वारा दर्शाया जाता है, जिसे यूनिट स्फीयर पर सामान्यीकृत (normalized) किया जाता है। यह प्रारंभिक संदर्भ ( $s(x)$ ) और रीजनिंग ट्रांसफॉर्मेशन ( $\Delta(x)$ ) दोनों को कैप्चर करता है।
उपयोगिता स्कोरिंग: एक उपयोगिता स्कोर $\tilde{q}(x)$ को RIRS परिमाण (स्थिरता के लिए लॉग-ट्रांसफॉर्म किया गया) से प्राप्त किया जाता है।
ग्रीडी चयन:
- सेट $S$ को उच्चतम उपयोगिता वाले उदाहरण के साथ शुरू करें।
- अगला उदाहरण $x^*$ चुनें जो इसकी उपयोगिता और वर्तमान सेट से इसकी दूरी के गुणनफल को अधिकतम करता है:
  $x^* = \arg\max_{x \in U \setminus S} \tilde{q}(x) \cdot \min_{x' \in S} \|\phi(x) - \phi(x')\|_2$
  यह इनफॉर्मेटिवनेस (उच्च RIRS) को कवरेज (RIRS-संवर्धित स्पेस में विविधता) के साथ संतुलित करता है।

मुख्य योगदान

समस्या का औपचारिक रूप देना: एक सख्त प्री-RL सेटिंग में RLVR डेटा चयन समस्या को परिभाषित किया गया जहाँ चयन के दौरान कोई लेबल, रिवॉर्ड, या प्रशिक्षण संकेत उपलब्ध नहीं हैं।
// 2. SHIFT फ्रेमवर्क: इन्फरेंस-टाइम हिडन-स्टेट डायनेमिक्स, विशेष रूप से RIRS मीट्रिक पर आधारित एक प्रशिक्षण-मुक्त सेलेक्टर पेश किया गया।
एल्गोरिद्मिक नवाचार: एक सिंगल-रोलआउट, क्वालिटी-वेटेड फारथेस्ट-फर्स्ट कोरसेट एल्गोरिदम विकसित किया गया जो बड़े अनलेबल पूल्स तक स्केल कर सकता है।
अनुभवजन्य सत्यापन (Empirical Validation): अल्ट्रा-लो बजट (0.1%–4% डेटा) के तहत गणितीय तर्क और मेडिकल QA बेंचमार्क पर ट्रेनिंग-फ्री बेसलाइन्स (डाइवर्सिटी सैंपलिंग, डिफिकल्टी ह्यूरिस्टिक्स, अनसर्टेन्टी-बेस्ड मेथड्स) की तुलना में निरंतर सुधार प्रदर्शित किया गया।

प्रयोगात्मक परिणाम

लेखकों ने दो डोमेन में Qwen मॉडल्स (1.5B और 1.7B) पर SHIFT का मूल्यांकन किया:

मैथमेटिकल रीजनिंग (MATH-500 और AMC): 2% बजट के तहत, SHIFT ने MATH-500 पर 62.67% सटीकता और AMC (OOD) पर 38.55% प्राप्त की, जो रैंडम सैंपलिंग (+8.94 / +12.77) और अन्य बेसलाइन्स से काफी बेहतर है। विशेष रूप से, इसने OOD AMC बेंचमार्क पर फुल-डेटा RLVR रेफरेंस को भी पीछे छोड़ दिया।
मेडिकल QA (MEDQA और ट्रांसफर): 0.1% बजट के तहत, SHIFT ने MEDQA पर 50.35% प्राप्त किया, जो रैंडम (45.28%) और अन्य ह्यूरिस्टिक्स से बेहतर है। इसने क्लिनिकली चुनौतीपूर्ण सबसेट्स (MedXpertQA) में विशेष रूप से मजबूत ट्रांसफर दिखाया, जो केवल 0.1% डेटा के साथ लगभग फुल-डेटा प्रदर्शन के बराबर पहुँच गया।

एब्लेशन और विश्लेषण (Ablation and Analysis)

RIRS की वैधता: सहसंबंध विश्लेषण ने पुष्टि की कि RIRS केवल इनपुट/आउटपुट लंबाई का प्रॉक्सी नहीं है (रिस्पॉन्स लेंथ के साथ स्पीयरमैन $\rho \approx 0$ )।
उपयोगिता सहसंबंध: एक पायलट अध्ययन ने प्री-RL RIRS रैंकिंग और वास्तविक डाउनस्ट्रीम RLVR गेन के बीच एक मजबूत सकारात्मक सहसंबंध (Spearमैन $\rho = 0.818$ ) दिखाया।
एब्लेशन: RIRS-आधारित कवरेज ( $\phi_{s+\Delta}$ ) या क्वालिटी-वेटिंग ( $\tilde{q}(x)$ ) में से किसी एक को हटाने से प्रदर्शन में गिरावट आई, जिससे पुष्टि हुई कि विविधता और उपयोगिता दोनों संकेत पूरक (complementary) हैं।
कम्प्यूटेशनल दक्षता: SHIFT के लिए प्रत्येक उम्मीदवार के लिए केवल एक डिटर्मिनिस्टिक रोलआउट की आवश्यकता होती है, जिससे यह चयन के समय सेल्फ-कंसिस्टेंसी बेसलाइन्स (जिनके लिए ~32 स्टोकेस्टिक रोलआउट की आवश्यकता होती है) की तुलना में काफी सस्ता हो जाता है।

महत्व और दावे

शोध पत्र का दावा है कि SHIFT उन परिदृश्यों में प्रभावी RLVR अनुकूलन सक्षम बनाता है जो एनोटेशन लागत और कम्प्यूटेशनल बाधाओं के कारण पहले अव्यवहारिक माने जाते थे। "इम्पैक्टफुल" उदाहरणों की पहचान करके, SHIFT निम्नलिखित को सक्षम बनाता है:

एनोटेशन और प्रशिक्षण ओवरहेड में भारी कमी: <1% डेटा के साथ मजबूत प्रदर्शन प्राप्त करना।
पहुँच (Accessibility): उन विशिष्ट डोमेन (जैसे चिकित्सा) के लिए RL अनुकूलन को व्यवहार्य बनाना जहाँ ग्राउंड-ट्रुथ लेबल दुर्लभ हैं।
सामान्यीकरण (Generalization): मानक डाइवर्सिटी या डिफिकल्टी-आधारित चयन की तुलना में कठिन, आउट-ऑफ-डिस्ट्रीब्यूशन मूल्यांकन सेटिंग्स में बेहतर ट्रांसफर।

लेखक एक मध्यम रुख बनाए रखते हैं, यह स्वीकार करते हुए कि RIRS एक अनुभवजन्य सरोगेट (empirical surrogate) है जो औपचारिक व्युत्पत्ति के बजाय ब्लॉक-लेवल डायनेमिक्स से प्रेरित है, और व्यापक मॉडल परिवारों और सुरक्षा-संवेदनशील त्रुटि स्तरीकरण (error stratification) में मजबूती एक भविष्य के कार्य के लिए खुला विषय है।