🤖 machine learning

IRDS: Interpretable RLVR Data Selection via Verifier-Coupled Sparse Autoencoder Coverage

यह शोध पत्र IRDS को प्रस्तुत करता है, जो 'वेरिफिएबल रिवार्ड्स' (verifiable rewards) के साथ सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए एक व्याख्या योग्य डेटा चयन पद्धति है, जो उच्च गुणवत्ता वाले प्रशिक्षण उदाहरणों को कुशलतापूर्वक चुनने के लिए एक 'वेरिफायर-कपल्ड स्पार्स ऑटोएन्कोडर कवरेज' (verifier-coupled sparse autoencoder coverage) उद्देश्य का उपयोग करता है, जिससे गणितीय बेंचमार्क पर तर्क क्षमता (reasoning performance) में उल्लेखनीय सुधार होता है और साथ ही गणनात्मक लागत भी कम होती है।

मूल लेखक: Yuhan Li, Mingxu Zhang, Dazhong Shen, Ying Sun

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuhan Li, Mingxu Zhang, Dazhong Shen, Ying Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कोच हैं जो एक प्रतिभाशाली लेकिन अक्षम छात्र (एक AI मॉडल) को जटिल गणितीय समस्याओं को हल करने के लिए प्रशिक्षित कर रहे हैं। आपके पास अभ्यास प्रश्नों का एक विशाल पुस्तकालय है, लेकिन आपके पास अंतिम प्रशिक्षण शिविर के लिए केवल उनके एक छोटे से अंश का उपयोग करने का ही समय है।

समस्या यह है: आप सही प्रश्न कैसे चुनेंगे?

यदि आप ऐसे प्रश्न चुनते हैं जिन्हें छात्र पहले से ही जानता है, तो वे कुछ भी नहीं सीखते। यदि आप ऐसे प्रश्न चुनते हैं जिन्हें वे हर बार गलत करते हैं, तो वे निराश हो जाते हैं और कुछ भी नहीं सीखते। यदि आप "भिन्नों को जोड़ने" (adding fractions) के बारे में दस प्रश्न चुनते हैं, तो आपने एक विषय पर बहुत अधिक समय बर्बाद कर दिया जबकि "ज्यामिति" (geometry) या "तर्क" (logic) जैसे विषयों को अनदेखा कर दिया।

यह पेपर IRDS (Interpretable RLVR Data Selection) नामक एक नई विधि पेश करता है जो इस पहेली को सुलझाने के लिए है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है।

1. समस्या: "अंधा" कोच

डेटा चुनने के वर्तमान तरीके उस कोच की तरह हैं जो केवल प्रश्नों की सतह को देखता है।

विधि A केवल सबसे कठिन प्रश्न चुनती है (लेकिन छात्र सीखने के लिए बहुत अधिक अटक सकता है)।
विधि B विषयों का एक विविध मिश्रण चुनती है (लेकिन इसमें वे विषय भी शामिल हो सकते हैं जिनमें छात्र पहले से ही महारत हासिल कर चुका है)।
विधि C छात्र की पिछली गलतियों को देखती है (लेकिन इसके लिए छात्र को बार-बार असफल होते हुए देखने की आवश्यकता होती है, जो धीमा और महंगा है)।

इनमें से कोई भी विधि आसानी से यह नहीं बता सकती कि उन्होंने एक विशिष्ट प्रश्न क्यों चुना, न ही वे "कठिनाई" और "सिखाने की क्षमता" (teachability) के बीच पूर्ण संतुलन बना सकती हैं।

2. समाधान: "सिमेंटिक मैप" (SAE)

IRDS एक विशेष उपकरण का उपयोग करता है जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है। इसे एक जादुई फाइलिंग कैबिनेट या एक सिमेंटिक मैप के रूप में समझें।

गणित की समस्या में शब्दों को देखने के बजाय, IRDS समस्या को उसके "सामग्रियों" या "अवधारणाओं" (concepts) में तोड़ देता है।

कैबिनेट का एक दराज "ज्यामिति" (Geometry) लेबल किया गया है।
दूसरा "भाजक गणना" (Divisor Counting)।
तीसरा "बहुविकल्पीय जाल" (Multiple-Choice Traps)।

जब IRDS किसी गणित की समस्या को देखता है, तो वह केवल टेक्स्ट नहीं देखता; वह इन दराजों के मिश्रण को देखता है। यह सिस्टम को समस्या की लंबाई या फॉर्मेटिंग के बजाय उसके "सार" को समझने की अनुमति देता है।

3. रणनीति: "गोल्डिलॉक्स" फ़िल्टर (The Goldilocks Filter)

एक बार जब समस्याओं को इन अवधारणात्मक दराजों में छाँट दिया जाता है, तो IRDS प्रशिक्षण के लिए उन्हें रखने का निर्णय लेने हेतु दो-चरणीय फ़िल्टर लागू करता है:

"विफलता" की जाँच (कठिनाई): क्या छात्र वर्तमान में इस अवधारणा में विफल हो रहा है? यदि वे इसे पहले से ही सही कर रहे हैं, तो हमें इसका अभ्यास करने की आवश्यकता नहीं है। हमें "गोल्डिलॉक्स" क्षेत्र चाहिए: वे प्रश्न जो चुनौती देने के लिए पर्याप्त कठिन हों, लेकिन असंभव न हों।
"सीखने" की जाँच (सिखाने की क्षमता): यदि छात्र किसी समस्या पर हर बार विफल होता है, तो वे अभी इससे सीख नहीं सकते। हमें ऐसे प्रश्नों की आवश्यकता है जहाँ छात्र कुछ उत्तर सही और कुछ गलत देता है। यही भिन्नता AI को सीखने की अनुमति देती है।

IRDS इन दोनों जाँचों को जोड़ता है। यह उन समस्याओं की तलाश करता है जो छात्र के लिए अभी कठिन हैं लेकिन अभी भी उन्हें कुछ सिखाने के लिए पर्याप्त सुलभ हैं।

4. चयन: "अनावश्यकता" (Redundancy) से बचना

कल्पना कीजिए कि आपके पास 100 अभ्यास प्रश्न खरीदने का बजट है।

एक बुरा कोच "भिन्नों को जोड़ने" के बारे में 100 प्रश्न खरीद सकता है।
IRDS एक स्मार्ट खरीदार की तरह कार्य करता है। यह "सिमेंटिक मैप" को देखता है और कहता है, "हमारे पास 'भिन्नों को जोड़ने' के बारे में पहले से ही 5 प्रश्न हैं। आइए अपना बजट 'ज्यामिति' और 'प्रायिकता' (probability) पर खर्च करें।"

यह सुनिश्चित करने के लिए कि प्रत्येक प्रश्न छात्र के मस्तिष्क में ज्ञान का एक नया हिस्सा जोड़ता है, न कि जो वे पहले से ही जानते हैं उसे दोहराता है, यह एक गणितीय ट्रिक (log-determinant maximization) का उपयोग करता है।

5. यह क्यों विशेष है: "ऑडिटेबल" कोच

अधिकांश AI डेटा चयन विधियाँ "ब्लैक बॉक्स" की तरह होती हैं। आप डेटा डालते हैं, और एक सूची बाहर आती है, लेकिन आपको पता नहीं चलता कि क्यों।

IRDS व्याख्या योग्य (interpretable) है। क्योंकि यह समस्याओं को मानव-पठनीय श्रेणियों (जैसे "ज्यामिति" या "भाजक") में वर्गीकृत करता है, एक मानव शोधकर्ता चयनित सूची को देख सकता है और कह सकता है, "आह, सिस्टम ने ये 50 प्रश्न इसलिए चुने क्योंकि छात्र 'वृत्त ज्यामिति' (Circle Geometry) में कमजोर था और उसे वहां अधिक अभ्यास की आवश्यकता थी।" यह AI की शिक्षण योजना को पारदर्शी और समझने योग्य बनाता है।

परिणाम

इस पेपर ने तीन अलग-अलग AI मॉडल पर छह विभिन्न गणितीय बेंचमार्क (जैसे MATH डेटासेट और AIME प्रतियोगिताएं) का उपयोग करके इस पद्धति का परीक्षण किया।

बेहतर स्कोर: IRDS ने लगातार अन्य सभी विधियों को पछाड़ दिया, जिससे मॉडलों की सटीकता में महत्वपूर्ण अंतर (4 प्रतिशत अंक तक, जो AI में बहुत बड़ा है) से सुधार हुआ।
सस्ता: यह पिछले सर्वोत्तम तरीकों की तुलना में लगभग 10 गुना तेज़ और सस्ता था क्योंकि इसे चुनने के लिए यह सीखने की आवश्यकता नहीं थी कि AI को हजारों बार विफल होते हुए देखना पड़े।
मजबूत (Robust): यह तब भी अच्छा काम करता है जब AI को कम डेटा या अधिक डेटा दिया गया हो।

सारांश

IRDS गणित पर AI को प्रशिक्षित करने के लिए एक स्मार्ट, पारदर्शी डेटा चयनकर्ता है। यह समस्याओं के सही मिश्रण को खोजने के लिए एक "अवधारणा मानचित्र" (concept map) का उपयोग करता है: वे जो AI को चुनौती देने के लिए पर्याप्त कठिन हैं, लेकिन सिखाने के लिए पर्याप्त आसान हैं, यह सुनिश्चित करते हुए कि कोई भी दो प्रश्न एक ही चीज़ को दोहराकर समय बर्बाद न करें। यह AI प्रशिक्षण प्रक्रिया को तेज़, सस्ता और समझने में आसान बनाता है।

तकनीकी सारांश: IRDS – वर्िफायर-कपल्ड स्पार्स ऑटोएन्कोडर कवरेज के माध्यम से व्याख्या योग्य RLVR डेटा चयन

1. समस्या विवरण

रीइन्फोर्समेंट लर्निंग विद वेरीफिएबल रिवार्ड्स (RLVR) लार्ज लैंग्वेज मॉडल (LLM) की तर्क क्षमता (reasoning) को बढ़ाने के लिए एक प्रमुख प्रतिमान बन गया है, विशेष रूप से गणित में। हालाँकि, RLVR डेटा अक्षमता (data inefficiency) से ग्रस्त है। मौजूदा डेटा चयन विधियाँ तीन महत्वपूर्ण आवश्यकताओं को एक साथ संबोधित करने में विफल रहती हैं:

विफलता प्रासंगिकता (Failure Relevance): उन उदाहरणों का चयन करना जिन पर मॉडल वर्तमान में विफल हो रहा है।
प्रशिक्षण क्षमता (Trainability): उन उदाहरणों का चयन करना जहाँ मॉडल अभी भी सीख सकता है (अर्थात, उन "सभी-विफल" और "सभी-सफल" छोरों से बचना जहाँ ग्रुप-रिलेटिव ग्रेडिएंट्स शून्य हो जाते हैं)।
गैर-अतिरेक और व्याख्यात्मकता (Non-Redundancy & Interpretability): एक विविध उपसमुच्चय (subset) चुनना जो बिना किसी अतिरेक के विशिष्ट कमजोरियों को कवर करता है, जबकि यह सुनिश्चित करता है कि चयन प्रक्रिया मनुष्यों द्वारा ऑडिट की जा सके।

वर्तमान दृष्टिकोण आमतौर पर इन्हें अलग-अलग संबोधित करते हैं: स्केलर विधियाँ कठिनाई के आधार पर रैंक करती हैं लेकिन अतिरेक (redundancy) को अनदेखा करती हैं; विविधता विधियाँ एम्बेडिंग का उपयोग करती हैं लेकिन उनमें वर्िफायर सिग्नल का अभाव होता है; और ग्रेडिएंट-आधारित विधियाँ सघन (dense), व्याख्याहीन पैरामीटर स्पेस में कार्य करती हैं।

2. कार्यप्रणाली: IRDS

लेखक IRDS (इंटरप्रिटेबल RLVR डेटा सिलेक्शन) प्रस्तावित करते हैं, जो एक स्पार्स ऑटोएन्कोडर (SAE) क्लस्टर बेसिस और वर्िफायर सिग्नल्स पर आधारित एक गैर-अतिरेक उपसमुच्चय चुनने की एक ऑफलाइन विधि है।

A. SAE क्लस्टर कोऑर्डिनेट्स
सतही विशेषताओं (जैसे टोकन लंबाई) या सघन हिडन स्टेट्स के बजाय, IRDS उदाहरणों को मॉडल के अंतिम-परत एक्टिवेशन पर प्रशिक्षित एक स्पार्स ऑटोएन्कोडर का उपयोग करके निरूपित करता है।

SAE प्रशिक्षण: एक 'BatchTopK SAE' को लक्षित मॉडल के फ्रोजन एक्टिवेशन का उपयोग करके एक बड़े गणितीय संग्रह (OpenMathInstruct-2) पर अनसुपरवाइज्ड तरीके से प्रशिक्षित किया जाता है। डिक्शनरी दिशाएँ पहचानने योग्य अवधारणाओं (जैसे ज्यामिति, भाजक गणना) के अनुरूप होती हैं।
क्लस्टरिंग: एक ग्राफ-हाइब्रिड प्रतिनिधित्व (प्रेजेंस और रेसिडुअल दिशाओं को जोड़कर) का उपयोग करके व्यक्तिगत स्पार्स लेटेंट्स को $F=256$ सिमेंटिक क्लस्टर्स में क्लस्टर किया जाता है। प्रत्येक उदाहरण को इन 256 क्लस्टर्स में एक्टिवेशन मास के एक वेक्टर द्वारा संक्षिप्त किया जाता है।

B. वर्िफायर-कपल्ड कवरेज ऑब्जेक्टिव
IRDS एक ऐसा मीट्रिक बनाता है जो SAE कोऑर्डिनेट स्पेस पर कठिनाई और प्रशिक्षण क्षमता के बीच संतुलन बनाता है।

कठिनाई भार ( $d_i$ ): इसे बीटा पोस्टीरियर का उपयोग करके वर्िफायर की सफलता गणना ( $s_i$ ) से प्राप्त किया जाता है। यह तब उच्च होता है जब मॉडल अक्सर विफल होता है ( $s_i$ कम होता है)।
प्रशिक्षण क्षमता भार ( $r_i$ ): यह भी सफलता गणना से प्राप्त होता है, और यह मध्यवर्ती सफलता दरों ( $s_i \approx G/2$ ) पर चरम पर होता है, जहाँ ग्रुप-रिलेटिव एडवांटेज वेरिएंस अधिकतम होता है। यह "सभी-विफल" और "सभी-सफल" दोनों छोरों को कम महत्व देता है।
मीट्रिक निर्माण: विधि एक कठिनाई-भारित कोवेरिएंस ( $\Sigma_d$ ) और एक प्रशिक्षण-क्षमता-भारित कोवेरिएंस ( $\Sigma_r$ ) की गणना करती है। इसके बाद यह एक विटनड (whitened) मीट्रिक $M = (\Sigma_r + \rho I)^{-1/2} (\Sigma_d + \rho I) (\Sigma_r + \rho I)^{-1/2}$ बनाती है। $M$ की अग्रणी दिशाएँ उन SAE क्लस्टर्स की पहचान करती हैं जहाँ कठिनाई, प्रशिक्षण क्षमता द्रव्यमान (mass) से अधिक है।
डिज़ाइन वेक्टर: प्रत्येक उदाहरण को एक डिज़ाइन वेक्टर $\phi_i$ में मैप किया जाता है जो SAE ब्लॉक (प्रशिक्षण क्षमता और मीट्रिक $M$ द्वारा भारित) और एक वैकल्पिक ग्रेडिएंट ब्लॉक (SAE कोऑर्डिनेट्स के विरुद्ध रेसिडुअलाइज्ड, ताकि अपडेट-डायरेक्शन जानकारी कैप्चर की जा सके) को जोड़ता है।

C. उपसमुच्चय चयन (Subset Selection)
चयन समस्या को एक D-ऑप्टिमल डिज़ाइन समस्या के रूप में तैयार किया गया है: $K$ आकार के उपसमुच्चय $S$ को खोजना जो डिज़ाइन वेक्टर्स के ग्राम मैट्रिक्स के लॉग-डिटरमिनेंट को अधिकतम करता है।
$S^* = \arg \max_{|S|=K} \log \det \left( \lambda I + \sum_{i \in S} \phi_i \phi_i^\top \right)$
इस ऑब्जेक्टिव को शेर्मन-मोरिसन रैंक-वन अपडेट के साथ एक ग्रीडी एल्गोरिदम के माध्यम से हल किया जाता है, जो $(1 - 1/e)$ एप्रोक्सिमेशन गारंटी प्रदान करता है। यह सुनिश्चित करता है कि चयनित उपसमुच्चय बिना किसी अतिरेक के विविध, उच्च-मूल्य वाली दिशाओं को कवर करता है।

3. मुख्य योगदान

प्रथम SAE-आधारित RLVR चयन: IRDS पहला डेटा चयन तरीका है जो स्पार्स ऑटोएन्कोडर क्लस्टर बेसिस पर निर्मित है, जिससे चयन प्रक्रिया को पहचानने योग्य समस्या मोटिफ्स (जैसे "पॉलीनोमियल-रूट अलजेब्रा") पर ऑडिट किया जा सकता है।
वर्िफायर-कपल्ड कवरेज ऑब्जेक्टिव: लेखक एक नवीन ऑब्जेक्टिव डिजाइन करते हैं जो SAE बेसिस पर कठिनाई और प्रशिक्षण क्षमता भारों को अलग करके, विफलता प्रासंगिकता और प्रशिक्षण क्षमता के लिए संयुक्त रूप से अनुकूलित करता है, जिसे ग्रीडी लॉग-डिटरमिनेंट मैक्सिमाइजेशन के माध्यम से हल किया जाता है।
अनुभवजन्य श्रेष्ठता और दक्षता: प्रयोगों से पता चलता है कि IRDS कई मॉडलों और बेंचमार्क पर अत्याधुनिक सटीकता प्राप्त करता है और यह प्रक्षेपवक्र-आधारित (trajectory-based) बेसलाइन की तुलना में एक क्रम अधिक सस्ता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन तीन इंस्ट्रक्शन-ट्यून मॉडल्स (Qwen3-4B, Qwen3-1.7B, Llama-3.1-8B-Instruct) पर छह गणितीय तर्क बेंचमार्क (MATH500, AIME, AMC, और OlympiadBench सहित) पर किया गया।

सटीकता में वृद्धि: IRDS ने सभी तीन मॉडलों पर उच्चतम समग्र सटीकता प्राप्त की, जिसने सबसे मजबूत बेसलाइन (LIMR) को Qwen3-4B पर +3.9 pp, Qwen3-1.7B पर +4.0 pp, और Llama-3.1-8B पर +0.5 pp से पीछे छोड़ा।
प्रतिस्पर्धा बेंचमार्क: लाभ विशेष रूप से कठिन प्रतियोगिता उपसमुच्चयों पर स्पष्ट थे (जैसे Qwen3-4B के लिए AIME24 पर +11.4 pp)।
लागत दक्षता: IRDS के लिए चयन प्रक्रिया में एक 8-GPU नोड पर लगभग 7 घंटे लगे (SAE प्रशिक्षण और स्कोरिंग सहित), जबकि प्रक्षेपवक्र-आधारित बेसलाइन (LIMR) को 70 घंटे की आवश्यकता थी (एक क्रम अधिक)।
एब्लेशन अध्ययन (Ablation Studies):
- प्रशिक्षण क्षमता भार ( $r_i$ ) को हटाने से प्रदर्शन में गिरावट आई (4.1 pp तक की कमी), जो यह पुष्टि करता है कि प्रशिक्षण क्षमता पर विचार किए बिना केवल "कठिन" उदाहरणों का चयन करना हानिकारक है।
- पाया गया कि SAE क्लस्टर बेस महत्वपूर्ण था, विशेष रूप से मजबूत बेस मॉडल्स के लिए, जो सघन ग्रेडिएंट प्रोजेक्शन से बेहतर प्रदर्शन करता है।
- ग्रेडिएंट ब्लॉक ने मामूली लेकिन गैर-अतिरेक सुधार प्रदान किया।
व्याख्यात्मकता: ऑडिट ने पुष्टि की कि चयनित उपसमुच्चय सतह के आर्टिफैक्ट्स (जैसे टोकन लंबाई) के बजाय उच्च-कठिनाई सामग्री दिशाओं (जैसे विशिष्ट गणितीय मोटिफ्स) के साथ संरेखित थे, और चयन लेबल शफलिंग के प्रति मजबूत था।

5. महत्व और दावे

यह पेपर दावा करता है कि IRDS यह प्रदर्शित करता है कि RLVR में वर्िफायर-कपल्ड डेटा चयन को डोमेन-सटीकता से समझौता किए बिना ऑडिट योग्य बनाया जा सकता है। चयन आधार को अपारदर्शी सघन एम्बेडिंग या सतही विशेषताओं से बदलकर व्याख्या योग्य SAE क्लस्टर्स पर ले जाकर, शोधकर्ता यह सत्यापित कर सकते हैं कि मॉडल को किन "समस्या मोटिफ्स" पर प्रशिक्षित किया जा रहा है।

लेखक IRDS को RLVR में "डेटा अक्षमता" के समाधान के रूप में प्रस्तुत करते हैं, जो एक ऐसी विधि प्रदान करता है जो:

ऑडिट योग्य है: चयन को मानव-पठनीय समस्या प्रकारों तक ट्रैक किया जा सकता है।
कुशल है: प्रक्षेपवपथ-आधारित ऑनलाइन विधियों की तुलना में काफी सस्ती है।
प्रभावी है: विभिन्न आर्किटेक्चर और डेटा बजट के तहत लगातार मॉडल प्रदर्शन में सुधार करती है।

पेपर सीमाओं को स्वीकार करता है, जिसमें उल्लेख है कि विधि वजन अनुमान (weight estimation) के लिए एक फ्रोजन मॉडल पर निर्भर करती है (जो अपडेट के बाद भटक सकती है), SAE प्रशिक्षण के लिए मॉडल एक्टिवेशन तक पहुंच की आवश्यकता होती है, और वर्तमान में मुख्य रूप से GRPO रेसिपी के तहत गणित RLVR पर मान्य की गई है।