← नवीनतम पेपर
🤖 AI

Data-Efficient On-Policy Distillation for Automatic Speech Recognition

यह शोध पत्र प्रदर्शित करता है कि शिक्षक-निर्देशित ऑन-पॉलिसी डिस्टिलेशन (teacher-guided on-policy distillation) केवल 100k घंटों के स्पीच पर प्रशिक्षित एक कॉम्पैक्ट 0.6B-पैरामीटर वाले ASR मॉडल को सुपरवाइज्ड फाइन-ट्यूनिंग से काफी बेहतर प्रदर्शन करने और बड़े बेसलाइन्स के लगभग बराबर होने में सक्षम बनाता है, जिससे प्रतिस्पर्धी ऑटोमैटिक स्पीच रिकग्निशन के लिए डेटा की आवश्यकताओं को कम किया जा सकता है।

मूल लेखक: Yu Lin, Yiming Wang, Runyuan Cai, Xiaodong Zeng

प्रकाशित 2026-05-28
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yu Lin, Yiming Wang, Runyuan Cai, Xiaodong Zeng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छोटे, उत्साही प्रशिक्षु (Apprentice) को सिखाने की कोशिश कर रहे हैं (जिसे Student कहा गया है) कि बोले गए शब्दों के अनुवाद में महारत कैसे हासिल की जाए। आमतौर पर, मास्टर बनने के लिए आपको रिकॉर्ड की गई बातचीत के लाखों घंटों को सुनने की आवश्यकता होती है। लेकिन क्या होगा यदि आपके पास केवल 1,00,000 घंटे हों? यह अभी भी बहुत है, लेकिन यह उन दिग्गजों (जैसे कि Teacher) द्वारा उपयोग किए गए डेटा का एक बहुत छोटा हिस्सा है।

यह शोध पत्र एक चतुर प्रशिक्षण पद्धति का वर्णन करता है जिसे Ark-ASR कहा जाता है, जो इस छोटे प्रशिक्षु को सीमित अभ्यास समय के साथ भी आश्चर्यजनक रूप से कुशल बनने में मदद करती है, और इसके लिए एक "स्मार्ट कोच" दृष्टिकोण का उपयोग करती है।

यह प्रक्रिया कैसे काम करती है, इसे सरल चरणों में यहाँ दिया गया है:

1. सेटअप: प्रशिक्षु और कोच

  • स्टूडेंट (Ark-ASR): एक छोटा, कुशल कंप्यूटर मॉडल (0.6 बिलियन पैरामीटर्स) जिसने पहले ही 1,00,000 घंटों पर एक बुनियादी शिक्षा (Supervised Fine-Tuning) प्राप्त कर ली है। वह बुनियादी बातें जानता है लेकिन अभी भी पूर्ण नहीं है।
  • टीचर (Qwen-ASR): एक बहुत बड़ा, अत्यधिक अनुभवी मॉडल जिसने भारी मात्रा में डेटा (लाखों घंटे) देखा है। वह किसी भी अन्य की तुलना में "सही" उत्तरों को बेहतर जानता है।

2. पुराना तरीका बनाम नया तरीका

  • पुराना तरीका (Off-Policy): कल्पना कीजिए कि शिक्षक छात्र को पहले से लिखे गए आदर्श स्क्रिप्ट का एक ढेर थमाता है और कहता है, "इन्हें याद कर लो।" छात्र इन स्थिर स्क्रिप्ट्स पर अभ्यास करता है, लेकिन वास्तविक दुनिया में, छात्र शुरुआत में एक गलती कर सकता है जो उसे पूरी तरह से अलग वाक्य की ओर ले जा सकती है। पुराने स्क्रिप्ट्स उन विशिष्ट गलतियों में मदद नहीं करते हैं।
  • नया तरीका (On-Policy Distillation): यही इस शोध पत्र का मुख्य नवाचार है। केवल छात्र को एक स्क्रिप्ट देने के बजाय, शिक्षक छात्र को वास्तविक समय (real-time) में देखता है।
    1. छात्र अपने आप एक वाक्य का अनुवाद करने की कोशिश करता है।
    2. शिक्षक देखता है कि छात्र ने अब तक वास्तव में क्या लिखा है।
    3. शिक्षक कहता है, "ठीक है, चूंकि तुमने यह विशिष्ट शब्द लिखा है, तो आगे का सबसे अच्छा रास्ता यह है।"
    4. छात्र अपनी विशिष्ट गलतियों और विकल्पों से सीखता है, जिससे उसे तत्काल, व्यक्तिगत फीडबैक मिलता है।

3. सीक्रेट सॉस: "यूनियन" रणनीति

एक पेचीदा हिस्सा है: छात्र और शिक्षक अलग-अलग "शब्दावलियों" (जैसे एक विशिष्ट स्लैंग शब्द का उपयोग करता है जबकि दूसरा औपचारिक शब्द का) का उपयोग कर सकते हैं।

  • इसे ठीक करने के लिए, शोध पत्र एक Union Top-K विधि का उपयोग करता है। कल्पना कीजिए कि शिक्षक और छात्र दोनों अगले शब्द के लिए अपने शीर्ष 5 अनुमान लिखते हैं। सिस्टम इन सूचियों को संभावनाओं के एक साझा "सुरक्षित क्षेत्र" (safe zone) में जोड़ देता है।
  • इसके बाद छात्र को इस साझा सुरक्षित क्षेत्र के भीतर शिक्षक के आत्मविश्वास से मेल खाने के लिए प्रशिक्षित किया जाता है। यह एक नृत्य की तरह है जहाँ दोनों साथी अभ्यास करने के लिए कदमों का एक विशिष्ट सेट तय करते हैं, जिससे यह सुनिश्चित होता है कि वे अलग-अलग शब्दावलियों के कारण भ्रमित न हों।

4. "वार्म-अप" (टीचर-डेटा चरण)

वास्तविक समय की कोचिंग शुरू होने से पहले, लेखकों ने एक "वार्म-अप" चरण जोड़ा।

  • उन्होंने पहले छात्र को शिक्षक द्वारा जनरेट किए गए 2,000 घंटों के ट्रांसक्रिप्ट्स पर अभ्यास करने दिया।
  • क्यों? यह छात्र और शिक्षक को एक ही तरंग दैर्ध्य (wavelength) पर लाने में मदद करता है। यह एक प्रशिक्षु के वास्तविक प्रशिक्षण शुरू करने से पहले कुछ दिनों तक गुरु का अनुसरण करने जैसा है।
  • परिणाम: इस "वार्म-अप" ने छात्र और शिक्षक को बहुत अधिक सुसंगत बना दिया। जब उन्होंने वास्तविक समय की कोचिंग शुरू की, तो वे पहले से ही एक ही भाषा बोल रहे थे, जिससे प्रशिक्षण बहुत अधिक कुशल हो गया।

5. परिणाम: छोटा लेकिन शक्तिशाली

शोध पत्र ने अंग्रेजी और मंदारिन स्पीच रिकग्निशन पर इसका परीक्षण किया।

  • लक्ष्य: क्या एक छोटा मॉडल जिसे कम बजट (100k घंटे) पर प्रशिक्षित किया गया है, एक समान आकार के मॉडल को हरा सकता है जिसे विशाल बजट पर प्रशिक्षित किया गया है?
  • परिणाम: हाँ! इस "स्मार्ट कोच" पद्धति (Ark-Base + TD + OPD) के साथ प्रशिक्षित छोटा मॉडल पांच में से चार परीक्षणों में मानक छोटे मॉडल (Qwen3-ASR-0.6B) को हरा देता है।
  • कमी: यह अभी भी विशाल मॉडल (Qwen3-ASR-1.7B) को नहीं हरा सका, जो स्वाभाविक है क्योंकि वह मॉडल शारीरिक रूप से बड़ा है और उसके पास अधिक "मस्तिष्क शक्ति" है। लेकिन अपने आकार के हिसाब से, यह जितना संभव हो सके उतना सर्वश्रेष्ठ था।

मुख्य निष्कर्ष

यह शोध पत्र सिद्ध करता है कि एक महान स्पीच रिकॉग्नाइज़र बनाने के लिए आपको हमेशा लाखों घंटों के डेटा की आवश्यकता नहीं होती है। यदि आपके पास एक मजबूत "कोच" (एक बड़ा टीचर मॉडल) है और आप एक ऐसी पद्धति का उपयोग करते हैं जहाँ छात्र वास्तविक समय में अपनी विशिष्ट गलतियों से सीखता है (On-Policy Distillation), तो आप थोड़े से डेटा के साथ उत्कृष्ट परिणाम प्राप्त कर सकते हैं।

यह कहने जैसा है कि: "आपको एक महान लेखक बनने के लिए पुस्तकालय की हर किताब पढ़ने की आवश्यकता नहीं है; आपको बस एक महान संपादक की आवश्यकता है जो आपके ड्राफ्ट को आपके लिखते समय पढ़ता रहे और आपको बताता रहे कि वाक्यों को ठीक करने के लिए आपको कहाँ सुधार करना है।"

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →