Fine-tuning Whisper for Pashto ASR: strategies and scale
यह शोध पत्र यह प्रदर्शित करते हुए कि कॉमनवॉइस पश्तो डेटा पर वैनिला फुल फाइन-ट्यूनिंग, पैरामीटर-कुशल और ट्रांसफर लर्निंग रणनीतियों की तुलना में काफी बेहतर प्रदर्शन करती है, पश्तो पर प्री-ट्रेंड व्हिस्पर (Whisper) मॉडलों की विफलता को संबोधित करता है, जो उपलब्ध 113 घंटों के प्रशिक्षण डेटा के लिए व्हिस्पर-स्मॉल (whisper-small) को इष्टतम मॉडल आकार के रूप में स्थापित करता है और विशिष्ट रूपात्मक (morphological) एवं ध्वन्यात्मक (phonological) त्रुटि पैटर्न की पहचान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, बहुभाषी अनुवादक है जिसका नाम Whisper है। इस अनुवादक ने 99 अलग-अलग भाषाओं के 680,000 घंटों के ऑडियो का अध्ययन किया है। वे अंग्रेजी, स्पेनिश, मंदारिन और यहाँ तक कि अरबी में भी जीनियस हैं। लेकिन एक पेंच है: Whisper ने कभी पश्तो नहीं सुनी है।
पश्तो अफगानिस्तान और पाकिस्तान में बोली जाने वाली एक भाषा है, जो अपनी कविता और समृद्ध मौखिक परंपराओं के लिए प्रसिद्ध है। इसमें अनूठी ध्वनियाँ हैं (जैसे कि एक "गले से निकलने वाली" घर्षण ध्वनि और "रेट्रोफ्लेक्स" जीभ की क्लिक्स) जो उन भाषाओं में मौजूद नहीं हैं जिन्हें Whisper ने पढ़ा है।
जब आप अनट्रेंड (untrained) Whisper को पश्तो सुनने के लिए कहते हैं, तो यह भ्रमित हो जाता है। यह ध्वनियों को सुनता है लेकिन उन्हें उन भाषाओं में फिट करने की कोशिश करता है जिन्हें यह पहले से जानता है। यह पश्तो के बजाय अरबी, उर्दू या दारी टेक्स्ट आउटपुट करता है। यह ऐसा है जैसे किसी शेफ से पारंपरिक अफगान स्टू बनाने के लिए कहना जिसे केवल इतालवी पास्ता बनाना आता है; वह शायद पास्ता के आकार का उपयोग करने की कोशिश करेगा, लेकिन परिणाम एक आपदा होगा। तकनीकी शब्दों में, त्रुटि दर (error rate) 100% से अधिक है—जिसका अर्थ है कि मॉडल वास्तव में बोले गए शब्दों से अधिक शब्द बना रहा है!
यह पेपर एक गाइड है कि कैसे विशेष रूप से पश्तो के लिए Whisper को रीट्रेन (retrain) किया जाए। लेखक, हनीफ रहमान, एक कोच की तरह कार्य करते हैं, यह देखने के लिए चार अलग-अलग प्रशिक्षण विधियों का परीक्षण करते हैं कि कौन सा एक भ्रमित अनुवादक को एक धाराप्रवाह पश्तो वक्ता में बदल देता है।
यहाँ प्रयोग का विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है:
1. चार प्रशिक्षण रणनीतियाँ (The "Coaching Styles")
लेखक ने Whisper को पश्तो सिखाने के चार तरीके आजमाए:
वैनिला फुल फाइन-ट्यूनिंग (The "Total Immersion" Method - पूर्ण विसर्जन विधि):
- उपमा: आप पूरे अनुवादक को लेते हैं और उनसे कहते हैं, "पुराने नियमों के बारे में जो कुछ भी तुम जानते हो उसे भूल जाओ। हम केवल पश्तो के उदाहरणों का उपयोग करके सब कुछ फिर से सीखेंगे।" आप उनके मस्तिष्क के हर न्यूरॉन को अपडेट करते हैं।
- परिणाम: विजेता। यह सबसे अच्छा काम कर गया। मॉडल को अपने पूरे आंतरिक ढांचे को बदलने की अनुमति देकर, इसने अनूठी पश्तो ध्वनियों को पूरी तरह से सीख लिया।
फ्रोजन एनकोडर (The "Keep the Foundation" Method - आधार बनाए रखें विधि):
- उपमा: आप अनुवादक से कहते हैं, "अपने बुनियादी सुनने के कौशल (निचली परतों) को बिल्कुल वैसा ही रखें जैसा वे हैं क्योंकि वे अच्छे हैं। केवल अपनी शब्दावली और व्याकरण (ऊपरी परतों) को बदलें।" यह बड़े मॉडलों के लिए एक लोकप्रिय ट्रिक है।
- परिणाम: एक विफलता। Whisper के छोटे "Base" मॉडल के लिए, यह उल्टा पड़ गया। "आधार" (सुनने के कौशल) वास्तव में पश्तो की अनूठी ध्वनियों के लिए पर्याप्त अच्छे नहीं थे। मस्तिष्क के 1/3 हिस्से को फ्रीज करके, आपने मॉडल को पश्तो की विशिष्ट "गले से निकलने वाली" ध्वनियों को सीखने से रोक दिया। यह एक पियानो वादक को संगीत की नई शैली सिखाने की कोशिश करने जैसा है लेकिन उसकी उंगलियों को एक विशिष्ट स्थिति में लॉक कर देना; वह अनुकूलित नहीं हो सकता।
LoRA (The "Sticky Notes" Method - स्टिकी नोट्स विधि):
- उपमा: पूरी किताब को फिर से लिखने के बजाय, आप पश्तो नियम जोड़ने के लिए पन्नों पर कुछ "स्टिकी नोट्स" (छोटे एडेप्टर) चिपकाते हैं। आप केवल इन छोटे नोट्स को प्रशिक्षित करते हैं, मूल पुस्तक को अछूता छोड़ देते हैं। यह आमतौर पर कंप्यूटर पावर बचाने के लिए बहुत अच्छा होता है।
- परिणाम: बहुत कमजोर। "स्टिकी नोट्स" (केवल 3% मस्तिष्क) मॉडल को जटिल पश्तो ध्वनियाँ सिखाने के लिए पर्याप्त नहीं थे। यह एक डिक्शनरी के हाशिए में केवल नोट्स लिखकर एक पूरी नई भाषा सीखने की कोशिश करने जैसा था।
मल्टीस्टेज ट्रांसफर (The "Urdu Detour" Method - उर्दू डायवर्ट विधि):
- उपमा: चूंकि पश्तो और उर्दू कागज पर समान दिखते हैं (वे एक ही लिपि का उपयोग करते हैं), टीम ने एक दो-चरणीय प्रक्रिया आजमाई: पहले, मॉडल को उर्दू सिखाएं, फिर पश्तो सिखाएं।
- परिणाम: एक डेड एंड (Dead End)। यह तीन कारणों से विफल रहा:
- जिस "उर्दू शिक्षक" से उन्होंने शुरुआत की थी, वह वास्तव में बहुत अच्छा नहीं था।
- उर्दू में अनूठी पश्तो ध्वनियाँ नहीं हैं, इसलिए मॉडल ने उन्हें सुनना कभी नहीं सीखा।
- प्रशिक्षण का दूसरा चरण गलतियों को ठीक करने के लिए बहुत छोटा था।
2. डेटा डाइट (मॉडल ने कितना भोजन खाया?)
लेखक ने यह भी परीक्षण किया कि मॉडल को कितने "भोजन" (डेटा) की आवश्यकता थी।
- छोटा मॉडल (Whisper-Base): छोटे डेटासेट के लिए अच्छा है।
- मध्यम मॉडल (Whisper-Small): "गोल्डिलॉक्स" ज़ोन (सही संतुलन)। लगभग 113 घंटों के पश्तो ऑडियो के साथ, यह मॉडल बहुत अच्छा प्रदर्शन करता है।
- विशाल मॉडल (Whisper-Large-Turbo): यह दिग्गज है। हालांकि यह थोड़ा अधिक सटीक था, लेकिन आवश्यक भारी कंप्यूटर पावर की तुलना में सुधार बहुत कम था।
- सबक: पश्तो के लिए, Medium मॉडल व्यावहारिक रूप से सबसे अच्छा विकल्प है। विशाल मॉडल एक किराने के सामान के लिए फेरारी खरीदने जैसा है; यह बहुत ज्यादा है और यह खर्च को सही ठहराने के लिए पर्याप्त अतिरिक्त गति नहीं देता है।
3. सीक्रेट सॉस: ऑग्मेंटेशन (Augmentation)
पेपर ने पाया कि डेटा ऑग्मेंटेशन (प्रशिक्षण के दौरान ऑडियो में शोर जोड़ना और गति बदलना) एक गेम-चेंजर था।
- उपमा: कल्पना कीजिए कि आप भाषण प्रतियोगिता के लिए अभ्यास कर रहे हैं। यदि आप केवल एक शांत पुस्तकालय में अभ्यास करते हैं, तो यदि वास्तविक कार्यक्रम एक शोर वाले स्टेडियम में होता है, तो आप विफल हो सकते हैं। लेखक ने मॉडल को पश्तो सुनते समय तेज़ स्टैटिक शोर और आवाज़ की गति बढ़ाकर अभ्यास कराया।
- परिणाम: इसने मॉडल को बहुत मजबूत बनाया। इसने सटीकता में महत्वपूर्ण सुधार किया, यह साबित करते हुए कि "कीचड़ में अभ्यास करना" आपको बारिश में बेहतर प्रदर्शन करने में मदद करता है।
4. मॉडल कहाँ लड़खड़ाया? (त्रुटि विश्लेषण)
सबसे अच्छे मॉडल ने भी गलतियाँ कीं, लेकिन वे विशिष्ट थीं:
- "सफिक्स" (Suffix) भ्रम: पश्तो एक शब्द के अंत में एक छोटी ध्वनि जोड़कर अर्थ बदल देता है (जैसे अंग्रेजी में बहुवचन के लिए "-s" जोड़ना, लेकिन यह अधिक जटिल है)। मॉडल अक्सर गलत अंत बदल देता था, जिससे "वह (पुरुष)" से "वह (स्त्री)" या "एकवचन" से "बहुवचन" में परिवर्तन हो जाता था।
- "अनूठी ध्वनियाँ" की समस्या: प meskipun पश्तो में ऐसी ध्वनियाँ हैं जो अरबी या फारसी में नहीं हैं। मॉडल कभी-कभी इन अनूठी ध्वनियों को उस निकटतम चीज़ से बदल देता था जिसे वह जानता था, जिससे गलत शब्द बन जाते थे।
- "हैलुसिनेशन" (Hallucination): कभी-कभी, जब मॉडल भ्रमित हो जाता था, तो वह ऐसे वाक्य बनाने लगता था जो पश्तो की तरह लगते थे लेकिन उनका वास्तव में कहे गए शब्दों से कोई लेना-देना नहीं था।
अंतिम निर्णय
यदि आप आज एक पश्तो स्पीच-टू-टेक्स्ट सिस्टम बनाना चाहते हैं:
- "फ्रोजन लेयर्स" या "उर्दू ट्रांसफर" के साथ चतुर होने की कोशिश न करें; बस पूरे मॉडल को फाइन-ट्यून करें।
- Whisper-Small मॉडल का उपयोग करें। यह गति और सटीकता का सबसे कुशल संतुलन है।
- अपने प्रशिक्षण डेटा में शोर (noise) जोड़ें ताकि मॉडल अधिक मजबूत बने।
- उम्मीद करें कि यह बहुत ही अनूठी पश्तो ध्वनियों और व्याकरणिक अंत के साथ थोड़ा संघर्ष करेगा, लेकिन यह "ऑफ-द-शेल्फ" संस्करण की तुलना में बहुत बेहतर होगा।
लेखक ने अपना सारा कोड, प्रशिक्षित मॉडल और डेटा HuggingFace पर जारी कर दिया है, ताकि अब कोई भी शून्य से शुरुआत किए बिना पश्तो अनुवादक बना सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।