← नवीनतम पेपर
📊 statistics

AIS: Adaptive Importance Sampling for Quantized RL

यह शोध पत्र अडैप्टिव इम्पोर्टेंस सैंपलिंग (AIS) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो लार्ज लैंग्वेज मॉडल्स के लिए रिइन्फोर्समेंट लर्निंग में लो-प्रिसिजन (FP8) रोलआउट्स के कारण होने वाले पॉलिसी ग्रेडिएंट बायस को गतिशील रूप से ठीक करता है, जिससे फुल-प्रिसिजन बेसलाइन्स के समान प्रशिक्षण स्थिरता और प्रदर्शन बनाए रखते हुए महत्वपूर्ण इन्फरेंस स्पीडअप सक्षम होता है।

मूल लेखक: Jiajun Zhou, Wei Shao, Lingchao Zheng, Yuwei Fan, Ngai Wong

प्रकाशित 2026-05-15
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Jiajun Zhou, Wei Shao, Lingchao Zheng, Yuwei Fan, Ngai Wong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "तेज़ लेकिन अस्थिर" छात्र

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (एक लार्ज लैंग्वेज मॉडल) को जटिल गणित की समस्याएं हल करने के लिए प्रशिक्षित कर रहे हैं। प्रशिक्षण को तेज़ और सस्ता बनाने के लिए, आप निर्णय लेते हैं कि छात्र अभ्यास करने के लिए एक कम-रिज़ॉल्यूशन वाली पाठ्यपुस्तक (FP8 क्वांटाइजेशन) का उपयोग करेगा, जबकि शिक्षक काम को ग्रेड करने के लिए एक उच्च-रिज़ॉल्यूशन वाली पाठ्यपुस्तक (BF16 प्रिसिजन) का उपयोग करेगा।

समस्या:

  • गति में उछाल: कम-रिज़ॉल्यूशन वाली पाठ्यपुस्तक पढ़ने में बहुत हल्की और तेज़ है। छात्र (रोलआउट्स) 1.5 से 2.7 गुना तेज़ी से अभ्यास कर सकता है और यह आधी मेमोरी का उपयोग करता है।
  • खराबी (द ग्लिच): क्योंकि पाठ्यपुस्तक धुंधली है, छात्र कभी-कभी छोटी गलतियाँ कर देता है या चीज़ों को थोड़ा अलग तरह से देखता है जैसा कि शिक्षक उम्मीद करता है।
    • शुरुआत में: ये धुंधली गलतियाँ वास्तव में मददगार होती हैं! वे एक "भाग्यशाली दुर्घटना" की तरह काम करती हैं, जो छात्र को ऐसे अजीब समाधान खोजने के लिए मजबूर करती हैं जो उसने अन्यथा नहीं सोचे होते। यह एक ऐसे छात्र की तरह है जो पागलों की तरह अंदाज़ा लगा रहा है और गलती से सही उत्तर ढूंढ लेता है।
    • बाद में: जैसे-जैसे छात्र बेहतर होता जाता है, ये धुंधली गलतियाँ खतरनाक हो जाती हैं। वे शिक्षक को भ्रमित करने लगती हैं, जिससे छात्र गलत सबक सीख जाता है और अंततः "कोलैप्स" (कठिन टेस्ट में पूरी तरह विफल) हो जाता है।

पुराना समाधान:
पिछले तरीकों ने इसे ठीक करने की कोशिश की, या तो:

  1. सब कुछ करने के लिए भारी, धीमी, उच्च-रिज़ॉल्यूशन वाली पाठ्यपुस्तक का उपयोग किया (बहुत धीमा)।
  2. धुंधली पाठ्यपुस्तक को ठीक करने के लिए एक "एक ही आकार के सभी के लिए" (one-size-fits-all) फ़िल्टर का उपयोग किया। यह छात्र की आँखों पर पट्टी बांधने जैसा था: कभी-कभी यह मदद करता था, लेकिन अक्सर यह बहुत सख्त (अच्छी किस्मत को खत्म करना) या बहुत ढीला (बुरी गलतियों को अंदर आने देना) था।

नया समाधान: AIS (एक स्मार्ट कोच)

लेखक एडेप्टिव इम्पॉर्टेंस सैंपलिंग (AIS) का प्रस्ताव करते हैं। AIS को एक स्मार्ट कोच के रूप में सोचें जो वास्तविक समय में छात्र के अभ्यास को देखता है और ज़रूरत के अनुसार नियमों को बदलता है।

एक स्थिर फ़िल्टर के बजाय, कोच छात्र के काम को कितना सुधारना है, यह तय करने के लिए तीन "सेंसरों" का उपयोग करता है:

  1. विश्वसनीयता सेंसर (क्या छात्र का अंदाज़ा भरोसेमंद है?):
    • उपमा: यदि छात्र पागलों की तरह अंदाज़ा लगा रहा है, तो कोच जानता है कि "सुधार" (कि सही उत्तर क्या होना चाहिए था) बहुत जोखिम भरा है। कोच कहता है, "अभी इस सुधार पर भरोसा न करें।"
  2. डाइवर्जेंस सेंसर (धुंधली किताब कितनी अलग है?):
    • उपमा: यदि धुंधली किताब असली किताब के लगभग समान दिखती है, तो कोच कहता है, "सुधार की कोई आवश्यकता नहीं है; आप ठीक हैं।" लेकिन यदि धुंधली किताब पूरी तरह से गलत है, तो कोच कहता है, "हमें इसे तुरंत ठीक करने की आवश्यकता है।"
  3. वैरिएंस सेंसर (क्या सुधार चीज़ों को अराजक बना रहा है?):
    • उपमा: यदि सुधार इतना चरम है कि वह छात्र के दिमाग को घुमा देता है (उच्च वैरिएंस), तो कोच स्थिरता बनाए रखने के लिए पीछे हट जाता है।

यह कैसे काम करता है:
कोच दो दृष्टिकोणों को मिलाता है:

  • दृष्टिकोण A: छात्र को धुंधली किताब के साथ स्वतंत्र रूप से चलने दें (शुरुआती अन्वेषण के लिए अच्छा)।
  • दृष्टिकोण B: उच्च-रिज़ॉल्यूशन वाले गणित का उपयोग करके छात्र को सख्ती से सुधारें (देर के चरण की सटीकता के लिए अच्छा)।

कोच हर एक बैच के अभ्यास के लिए एक "मिक्सिंग स्कोर" की गणना करता है।

  • प्रशिक्षण की शुरुआत में: स्कोर दृष्टिकोण A की ओर झुकता है। कोच "धुंधले शोर" को छात्र को नए विचार खोजने में मदद करने देता है।
  • प्रशिक्षण के अंत में: स्कोर दृष्टिकोण B की ओर स्थानांतरित हो जाता है। कोच खतरनाक गलतियाँ करने से रोकने के लिए नियमों को कड़ा कर देता है।

परिणाम: तेज़, सस्ता और सटीक

टीम ने इस "स्मार्ट कोच" का परीक्षण दो प्रकार के AI मॉडल पर किया:

  1. मानक मॉडल (Qwen): "ऑटोरेग्रेसिव" प्रकार के जो एक बार में एक शब्द लिखते हैं।
  2. डिफ्यूजन मॉडल (LLaDA): एक नया प्रकार जो टेक्स्ट को "डीनॉइज़िंग" (जैसे स्टैटिक को स्पष्ट तस्वीर में बदलना) के माध्यम से उत्पन्न करता है।

क्या हुआ?

  • गति: उन्होंने तेज़, धुंधली पाठ्यपुस्तक का उपयोग करने से मिलने वाला 1.5x से 2.7x का स्पीडअप बरकरार रखा।
  • मेमोरी: उन्होंने लगभग 50% मेमोरी बचाई।
  • सटीकता: AI ने ठीक उतना ही अच्छा प्रदर्शन किया (और कभी-कभी इससे भी बेहतर) जितना कि यदि उन्होंने पूरे समय धीमी, भारी पाठ्यपुस्तक का उपयोग किया होता।
    • क्यों बेहतर? पेपर सुझाव देता है कि "धुंधले शोर" ने एक सहायक "एक्सप्लोरेशन बोनस" के रूप में कार्य किया, जिससे AI को उन बेहतर समाधानों को खोजने में मदद मिली जो शायद एक पूरी तरह से सटीक छात्र अपने आप नहीं खोज पाता।

सारांश

यह पेपर AI प्रशिक्षण की एक कठिन समस्या को हल करता है: हम AI को मूर्ख बनाए बिना उसे तेज़ी से कैसे प्रशिक्षित कर सकते हैं?

उन्होंने पाया कि अभ्यास के लिए AI के "धुंधले" संस्करण का उपयोग करना गति के लिए अच्छा है, लेकिन इसे यह जानने के लिए एक स्मार्ट, एडेप्टिव कोच की आवश्यकता है कि कब AI को बेतहाशा अंदाज़ा लगाने देना है और कब हस्तक्षेप करके उसे सुधारना है। उनका नया तरीका, AIS, उस कोच के रूप में कार्य करता है, जिससे AI अपनी बुद्धिमत्ता खोए बिना दोगुना तेज़ी से प्रशिक्षित हो सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 📊 stat →