← नवीनतम पेपर
🤖 AI

Online Difficulty Filtering for Reasoning Oriented Reinforcement Learning

मूल लेखक: Sanghwan Bae, Jiwoo Hong, Min Young Lee, Hanbyul Kim, JeongYeon Nam, Donghyun Kwak

प्रकाशित 2026-01-27
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Sanghwan Bae, Jiwoo Hong, Min Young Lee, Hanbyul Kim, JeongYeon Nam, Donghyun Kwak

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बुद्धिमान लेकिन अनुभवहीन छात्र (AI) को जटिल गणितीय समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं। आपके पास अभ्यास प्रश्नों का एक विशाल पुस्तकालय है, जो "2+2 क्या है?" से लेकर "इस अनसुलझे भौतिकी विरोधाभास को हल करें" तक फैला हुआ है।

यह शोध पत्र तर्क देता है कि यदि आप बस ये सभी प्रश्न छात्र के सामने बेतरतीब ढंग से फेंक देते हैं, तो वे कुशलतापूर्वक नहीं सीखेंगे। यहाँ इसका सरल विवरण दिया गया है कि ऐसा क्यों होता है, और लेखकों ने इसे ठीक करने के लिए क्या किया।

समस्या: "बहुत आसान" और "बहुत कठिन" का जाल

लेखकों ने पाया कि छात्र सबसे अच्छा तब सीखता है जब प्रश्न बिल्कुल सही हों—न बहुत आसान, न बहुत कठिन।

  • "बहुत आसान" प्रश्न: यदि कोई प्रश्न इतना सरल है कि छात्र उसका उत्तर 100% बार सही जानता है, तो वे ऊब जाते हैं। यहाँ सीखने के लिए कोई नई जानकारी नहीं है। यह एक मास्टर शेफ से पानी उबालने के लिए कहने जैसा है; वे पहले से ही जानते हैं कि इसे कैसे करना है, इसलिए वे बेहतर नहीं होते।
  • "बहुत कठिन" प्रश्न: यदि कोई प्रश्न इतना कठिन है कि छात्र उसे 100% बार गलत करता है, तो वे निराश और भ्रमित हो जाते हैं। उन्हें यह नहीं पता होता कि वे क्यों गलत हैं या इसे कैसे ठीक करें। यह एक छोटे बच्चे को कैलकुलस समीकरण हल करने के लिए कहने जैसा है; उनके पास सीखने के लिए कोई शुरुआती बिंदु ही नहीं है।
  • "बिल्कुल सही" ज़ोन: वह सटीक स्थान (sweet spot) जहाँ छात्र लगभग आधे समय (मान लीजिए 50%) उत्तर सही देता है। इस ज़ोन में, वे संघर्ष कर रहे होते हैं लेकिन सफल होने की संभावना रखते हैं। हर बार जब वे प्रयास करते हैं, तो उन्हें सुधार के लिए एक स्पष्ट संकेत मिलता है। यहीं पर वास्तविक "सीखने का जादू" होता है।

समाधान: "स्मार्ट फ़िल्टर"

शोधकर्ताओं ने ऑनलाइन डिफिकल्टी फ़िल्टरिंग (Online Difficulty Filtering) नामक एक प्रणाली बनाई। इसे एक स्मार्ट शिक्षक के रूप में समझें जो वास्तविक समय में छात्र को देखता रहता है।

  1. टेस्ट रन: वास्तविक पाठ से पहले, शिक्षक छात्र को कई प्रश्न हल करने के लिए कहता है।
  2. स्कोर चेक: शिक्षक यह जाँचता है कि छात्र कितनी बार प्रत्येक प्रश्न को सही करता है।
    • यदि छात्र इसे 100% समय सही करता है? इसे हटा दें। (बहुत आसान)।
    • यदि छात्र इसे 0% समय सही करता है? इसे हटा दें। (बहुत कठिन)।
    • यदि छात्र इसे 20% और 80% के बीच सही करता है? इसे रखें! यह "गोल्डिलॉक्स" (Goldilocks) ज़ोन है।
  3. जादुई बैच: शिक्षक वास्तविक प्रशिक्षण सत्र के लिए केवल इन "गोल्डिलॉक्स" प्रश्नों का उपयोग करता है।

"एसिंक्रोनस" ट्रिक (कक्षा को भरा हुआ रखना)

एक व्यावहारिक समस्या थी: यदि आप बहुत सारे प्रश्न फेंक देते हैं, तो आपके पास एक क्लास सत्र को भरने के लिए पर्याप्त प्रश्न नहीं बच सकते। लेखकों ने एसिंक्रोनस सैंपलिंग (Asynchronous Sampling) नामक एक चतुर ट्रिक से इस समस्या को हल किया।

कल्पनों कीजिए कि प्रश्नों का एक कन्वेयर बेल्ट है। बेल्ट को रोकने के बजाय यह जाँचने के लिए कि क्या कोई प्रश्न "बिल्कुल सही" है (जो सब कुछ धीमा कर देता है), शिक्षक के पास समानांतर (parallel) में काम करने वाले सहायकों की एक टीम है।

  • यदि कोई प्रश्न "बिल्कुल सही" है, तो उसे अंतिम प्रशिक्षण प्लेट पर रख दिया जाता है।
  • यदि यह बहुत आसान या बहुत कठिन है, तो इसे एक तरफ फेंक दिया जाता है, और तुरंत शेल्फ से एक नया प्रश्न निकाला जाता है ताकि उसकी जगह ली जा सके।
  • परिणाम: प्रशिक्षण बैच (प्लेट) हमेशा भरा हुआ और तैयार रहता है, लेकिन इसमें केवल उच्च गुणवत्ता वाले, "बिल्कुल सही" प्रश्न होते हैं।

जब उन्होंने इसे आजमाया तो क्या हुआ?

लेखकों ने विभिन्न आकार के AI मॉडल (जैसे 3-बिलियन पैरामीटर वाला मॉडल और 7-बिलियन पैरामीटर वाला मॉडल) का उपयोग करके गणितीय समस्याओं पर इसका परीक्षण किया।

  • तेज़ सीखना: AI ने समस्याओं को हल करना बहुत तेज़ी से सीखा। इसने बिना फ़िल्टर के प्रशिक्षण लेने की तुलना में आधे समय से भी कम समय में उच्च स्कोर प्राप्त कर लिया।
  • बेहतर परिणाम: लंबे समय तक प्रशिक्षण के बाद भी, फ़िल्टर्ड AI अधिक स्मार्ट था। उदाहरण के लिए, बहुत कठिन गणित प्रतियोगिताओं (जैसे AIME) पर, फ़िल्टर्ड AI ने मानक पद्धति की तुलना में अपने स्कोर में 12% तक सुधार किया।
  • दक्षता: उन्हें सर्वोत्तम परिणाम प्राप्त करने के लिए उतने अधिक प्रशिक्षण चरणों की आवश्यकता नहीं पड़ी। यह कम पाठ्यपुस्तकों के साथ बेहतर शिक्षा प्राप्त करने जैसा था।

मुख्य निष्कर्ष

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि सीखने के लिए परिवर्तनशीलता (variability) महत्वपूर्ण है। यदि AI बहुत आत्मविश्वासी है (हमेशा सही) या बहुत भ्रमित है (हमेशा गलत), तो वह सीखना बंद कर देता है। चरम सीमाओं को हटाकर और केवल उस "संघर्ष क्षेत्र" (struggle zone) पर ध्यान केंद्रित करके जहाँ AI अनिश्चित है लेकिन सक्षम है, आप स्मार्ट और तेज़ तरीके से प्रशिक्षित कर सकते हैं, और कम डेटा के साथ।

यह पुराने कहावत का डिजिटल संस्करण है: "मछली को पेड़ पर चढ़ना न सिखाएं, और पक्षी को तैरना न सिखाएं। उन्हें उड़ना सिखाएं।" इस मामले में, "उड़ना" गणित की समस्याओं को ठीक उसी स्तर पर हल करना है जहाँ AI अगले स्तर पर जाने के लिए तैयार है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →