💬 NLP

Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR

यह शोध पत्र यूनिफाइड ग्रेडिएंट प्रोजेक्शन (UGP) का प्रस्ताव करता है, जो एक निरंतर सीखने (continual learning) की विधि है जो बहुभाषी कम-संसाधन वाले ASR में प्रमुख-भाषा पूर्वाग्रह और कैटास्ट्रोफिक फॉरगेटिंग को कम करने के लिए भाषा-संतुलित संदर्भ ग्रेडिएंट्स का उपयोग करके पैरामीटर अपडेट को सीमित करती है, जिससे Whisper-large-v3 जैसे मॉडलों पर लगभग शून्य फॉरगेटिंग प्राप्त होती है।

मूल लेखक: Ziang Ren, Guodong Lin, Yuchen Ai, Kaize Tan, Wei-Qiang Zhang

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziang Ren, Guodong Lin, Yuchen Ai, Kaize Tan, Wei-Qiang Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास विस्पर (Whisper) नाम का एक सुपर-स्मार्ट रोबोट है, जिसने पहले से ही दर्जनों भाषाएँ सीख ली हैं। यह एक बहुभाषी जीनियस की तरह है जो बिना किसी कठिनाई के अंग्रेजी, फ्रेंच और थाई में बातचीत कर सकता है। लेकिन यहाँ एक पेंच है: जब आप इस रोबोट को कुछ उदाहरण दिखाकर एक नई, दुर्लभ भाषा (जैसे जावानीस या माओरी) सिखाने की कोशिश करते हैं, तो यह अक्सर नई चीज़ों को लेकर इतना उत्साहित हो जाता है कि यह पुरानी भाषाओं को पूरी तरह से भूल जाता है। यह एक ऐसे छात्र की तरह है जो इतिहास की परीक्षा के लिए रट रहा है और अचानक अपनी गुणा करने की क्षमता भूल जाता है। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (विस्मृति) कहा जाता है, और यह वास्तव में सार्वभौमिक स्पीच रोबोट बनाने के लिए एक बड़ी समस्या है।

त्सिंहुआ विश्वविद्यालय के शोधकर्ताओं ने यूनिफाइड ग्रेडिएंट प्रोजेक्शन (UGP) नामक एक विधि का उपयोग करके इसे ठीक करने की कोशिश की। इसे समझने के लिए, आइए एक मनोरंजक उपमा का उपयोग करें।

समस्या: शोर भरा क्लासरूम

कल्पना कीजिए कि रोबोट एक क्लासरूम में है जहाँ वह एक नई भाषा (लक्ष्य/Target) सीख रहा है और साथ ही पुरानी भाषाओं (रिप्ले/Replay) को याद रखने की कोशिश भी कर रहा है।

पुरानी विधि 1 (सिर्फ सीखो): यदि आप बस रोबोट को नई भाषा पर ध्यान केंद्रित करने के लिए कहते हैं, तो वह तेज़ी से सीखता है लेकिन पुरानी भाषाओं को तुरंत भूल जाता है।
पुरानी विधि 2 (रैंडम रिहर्सल): आप रोबोट को पुराने और नए नोट्स का मिश्रण देते हैं। इससे थोड़ी मदद मिलती है, लेकिन यदि नए नोट्स बहुत तेज़ (प्रमुख भाषाएँ) हैं, तो वे शांत भाषाओं की फुसफुसाहट को दबा देते हैं। रोबोट फिर भी भ्रमित हो जाता है।
पुरानी विधि 3 (कठोर गार्ड): कुछ विधियाँ एक सख्त गार्ड की तरह काम करती हैं, जो कहती हैं, "तुम अपने दिमाग में कोई बदलाव नहीं कर सकते यदि इससे पुरानी यादें प्रभावित होती हैं!" यह पुरानी यादों को सुरक्षित रखता है, लेकिन रोबोट कुछ भी नया सीखने के लिए बहुत सख्त हो जाता है।

समाधान: संतुलित कोच (UGP)

लेखकों ने एक नया कोच, UGP प्रस्तावित किया है, जो रोबोट को खुश और स्मार्ट रखने के लिए एक ही समय में दो सुपरपावर्स का उपयोग करता है।

1. "भाषा-संतुलित" प्लेलिस्ट (ग्रेडिएंट प्रोजेक्शन)
आमतौर पर, जब रोबोट पढ़ाई करता है, तो "तेज़" भाषाएँ (जैसे अंग्रेजी या फ्रेंच) उसके दिमाग में सबसे ज़ोर से चिल्लाती हैं, जिससे "शांत" भाषाएँ पीछे छूट जाती हैं। UGP एक डीजे (DJ) की तरह कार्य करता है जो यह सुनिश्चित करता है कि रिहर्सल प्लेलिस्ट में हर भाषा को बिल्कुल समान समय मिले।

यह कैसे काम करता है: रोबोट के दिमाग को अपडेट करने से पहले, कोच जाँचता है: "क्या यह नया विचार उस चीज़ से टकराने वाला है जिसे हम पहले से जानते हैं?" यदि नया विचार रोबोट को पुरानी भाषा भुलाने पर मजबूर करता है, तो कोच उस विचार को धीरे से एक नई दिशा देता है।
जादू: तेज़ भाषाओं को सीखने की दिशा पर हावी होने देने के बजाय, UGP रोबोट को एक ऐसा रास्ता खोजने के लिए मजबूर करता है जहाँ नई भाषा और पुरानी भाषाएँ बिना आपस में लड़े सह-अस्तित्व में रह सकें। यह एक ऐसे डांस मूव को खोजने जैसा है जहाँ हर कोई एक-दूसरे के पैरों पर पैर रखे बिना घूम सके।

2. "मेमोरी जिम" (एक्सपीरियंस रिप्ले)
जबकि कोच रोबोट के विचारों को निर्देशित कर रहा होता है, रोबोट पुराने और नए नोट्स के मिश्रण के साथ शारीरिक रूप से अभ्यास भी कर रहा होता है। यह पुरानी यादों को ताज़ा रखता है, जैसे मस्तिष्क के लिए एक जिम वर्कआउट।

परिणाम: एक लगभग पूर्ण संतुलन

टीम ने तीन संस्करणों पर परीक्षण किया: एक छोटा, एक मध्यम और एक विशाल Whisper-large-v3।

"पहले" की तबाही: जब उन्होंने बिना UGP के रोबोट को नई भाषाएँ सिखाईं, तो रोबोट पुरानी भाषाओं को बुरी तरह भूल गया। मध्यम आकार के रोबोट पर, भूलने की दर (forgetting rate) चौंका देने वाली 89.80% थी। यह लगभग पूर्ण विस्मृति है!
UGP का चमत्कार: जब उन्होंने विशाल Whisper-large-v3 पर UGP का उपयोग किया, तो रोबोट ने नई भाषाएँ सीखीं और लगभग कुछ भी नहीं भूला। भूलने की दर घटकर मात्र 0.04% रह गई। यह व्यावहारिक रूप से शून्य के करीब विस्मृति है।
समझौता (Trade-off): आमतौर पर, आपको तेज़ सीखने (प्लास्टिसिटी) और अच्छी तरह याद रखने (स्थिरता) के बीच चुनाव करना पड़ता है। UGP सुझाव देता है कि आप दोनों पा सकते हैं। बड़े मॉडल पर, इसने नई भाषा की त्रुटि दर (12.91%) को कम रखते हुए पुरानी भाषा की त्रुटि दर (6.68%) को भी कम रखा।

अत्यंत दुर्लभ डेटा के बारे में क्या?

शोधकर्ताओं ने सोचा: "अगर हमारे पास बहुत कम डेटा हो, जैसे कि केवल 5 घंटे का भाषण?"

उन्होंने छोटे रोबोट पर इसका परीक्षण किया। इतने कम डेटा के बावजूद, UGP ने सुझाव दिया कि यह अन्य विधियों की तुलना में पुरानी यादों की रक्षा बेहतर तरीके से कर सकता है। हालांकि रोबोट नई भाषा पर कुछ गलतियाँ करता है (क्योंकि सीखने के लिए बहुत कम डेटा है), लेकिन उसने अपने पुराने कौशल नहीं खोए। भूलने की दर कम (8.17%) रही, जबकि अन्य विधियों ने रोबोट को बहुत अधिक भूलने दिया।

उन्होंने क्या खारिज किया?

पेपर स्पष्ट रूप से बताता है कि अकेले क्या काम नहीं करता है:

सिर्फ फाइन-ट्यूनिंग (Fine-Tuning): बिना किसी विशेष सुरक्षा के रोबोट को नई चीजें सिखाने से भारी विस्मृति होती है।
स्टैंडर्ड रिप्ले (Standard Replay): केवल पुराने और नए डेटा को मिलाने से मदद मिलती है, लेकिन यह "तेज़" भाषाओं के प्रभाव को रोकने के लिए पर्याप्त नहीं है।
स्टैंडर्ड "गार्ड" विधियाँ (A-GEM): वे विधियाँ जो पुरानी यादों की रक्षा के लिए बदलावों को रोकने की कोशिश करती हैं, अक्सर रोबند को प्रभावी ढंग से नई चीजें सीखने से रोक देती हैं। वे बहुत कठोर हैं।

मुख्य निष्कर्ष

लेखक सुझाव देते हैं कि एक "संतुलित प्लेलिस्ट" (ताकि तेज़ भाषाएँ शांत भाषाओं को परेशान न करें) को "मेमोरी जिम" (पुरानी स्किल्स को ताज़ा रखने के लिए) के साथ जोड़कर, हम विशाल स्पीच रोबोट को पुरानी चीज़ों को भूले बिना नई भाषाएँ सिखा सकते हैं।

उनके द्वारा परीक्षण किए गए सबसे बड़े मॉडल पर, यह दृष्टिकोण एक ऐसे भविष्य का सुझाव देता है जहाँ हम स्पीच रिकग्निशन को लगभग किसी भी भाषा (यहाँ तक कि दुर्लभ भाषाओं) के अनुकूल बना सकते हैं, बिना सामान्य भाषाओं को बोलने की क्षमता खोए। यह कोई जादू की छड़ी नहीं है जो सब कुछ तुरंत हल कर देती है, लेकिन यह स्पीच टेक्नोलॉजी को वास्तव में सार्वभौमिक बनाने के लिए एक बहुत ही मजबूत और स्थिर मार्ग सुझाती है।

तकनीकी सारांश: बहुभाषी निम्न-संसाधन ASR के लिए एकीकृत ग्रेडिएंट प्रोजेक्शन (Unified Gradient Projection)

समस्या विवरण
विस्पर (Whisper) जैसे बड़े पैमाने के प्रीट्रेंड ऑटोमैटिक स्पीच रिकग्निशन (ASR) मॉडल, उत्कृष्ट क्रॉस-लिंगुअल सामान्यीकरण (cross-lingual generalization) प्रदर्शित करते हैं। हालांकि, अनुक्रमिक फाइन-ट्यूनिंग (sequential fine-tuning) के माध्यम से इन फाउंडेशन मॉडल्स को निम्न-संसाधन भाषाओं (low-resource languages) के अनुकूल बनाना एक मौलिक "प्लास्टिसिटी-स्टेबिलिटी" (plasticity–stability) द्वंद्व उत्पन्न करता है। नई भाषाओं के लिए प्लास्टिसिटी में सुधार करने से अक्सर पहले से सीखी गई भाषाओं का विनाशकारी विस्मरण (catastrophic forgetting) हो जाता है। जबकि निरंतर शिक्षण (Continual Learning - CL) रणनीतियाँ मौजूद हैं, वे बहुभाषी सेटिंग्स में संघर्ष करती हैं जहाँ असंतुलित भाषा वितरण अनुकूलन (optimization) को पक्षपाती बना देता है। मौजूदा विधियाँ जैसे पैरामीटर आइसोलेशन (जैसे LoRA), स्पष्ट रूप से क्रॉस-टास्क इंटरफेरेंस को नियंत्रित करने में विफल रहती हैं, जबकि रेगुलराइजेशन-आधारित दृष्टिकोण (जैसे EWC) उच्च ओवरहेड वाले अनुमानित महत्व अनुमान (approximate importance estimation) पर निर्भर करते हैं। इसके अलावा, A-GEM जैसी ग्रेडिएंट-आधारित विधियाँ अपने संदर्भ ग्रेडिएंट अनुमान में डोमिनेंट-लैंग्वेज बायस (dominant-language bias) से ग्रस्त होती हैं, जिससे असमान स्थिरता आती है जहाँ निम्न-संसाधन कार्य विस्मरण के प्रति संवेदनशील बने रहते हैं।

कार्यप्रणाली: यूनिफाइड ग्रेडिएंट प्रोजेक्शन (UGP)
लेखक यूनिफाइड ग्रेडिएंट प्रोजेक्शन (UGP) का प्रस्ताव करते हैं, जो क्रॉस-लिंगुअल इंटरफेरेंस को संबोधित करने के लिए लैंग्वेज-बैलेंस्ड ग्रेडिएंट रेगुलेशन को एक्सपीरियंस रिप्ले (Experience Replay - ER) के साथ एकीकृत करता है।

भाषा-संतुलित ग्रेडिएंट रेगुलेशन (Language-Balanced Gradient Regulation):
मानक A-GEM के विपरीत, जो रैंडमली सैंपल किए गए ऐतिहासिक डेटा का उपयोग करके बाधाओं का अनुमान लगाता है, UGP एक भाषा-संतुलित समग्र संदर्भ ग्रेडिएंट ( $g_{ref}$ ) का निर्माण करता है। प्रत्येक प्रशिक्षण चरण में, विधि प्रत्येक ऐतिहासिक भाषा से समान संख्या में रिप्ले सैंपल्स को समान रूप से (uniformly) सैंपल करती है। यह सुनिश्चित करता है कि संदर्भ ग्रेडिएंट डोमिनेंट भाषाओं की ओर झुका हुआ न हो।
- प्रोजेक्शन मैकेनिज्म (Projection Mechanism): वर्तमान ग्रेडिएंट ( $g_{cur}$ ) की तुलना इनर प्रोडक्ट के माध्यम से $g_{ref}$ से की जाती है। यदि कोई संघर्ष (conflict) पाया जाता है (obtuse angle), तो $g_{cur}$ को $g_{ref}$ के ऑर्थोगोनल कॉम्प्लीमेंट (orthogonal complement) पर प्रोजेक्ट किया जाता है। यह पैरामीटर अपडेट को उन दिशाओं तक सीमित करता है जो पिछले संतुलित भाषाओं के ज्ञान को कम नहीं करती हैं।
एक्सपीरियंस रिप्ले (ER) के साथ एकीकरण:
UGP डेटा स्तर पर ER के साथ तालमेल बिठाता है। एक मिश्रित प्रशिक्षण बैच का निर्माण रिप्ले बफर से सभी भाषाओं से समान रूप से ऐतिहासिक डेटा को सैंपल करके किया जाता है।
- दो-स्तरीय विनियमन (Two-Level Regulation): फ्रेमवर्क दो स्तरों पर कार्य करता है:
  - डेटा स्तर (ER): ऑब्जेक्टिव फंक्शन ( $L_{total} = L_{cur} + \lambda L_{replay}$ ) को बढ़ाता है ताकि पैरामीटर्स को पिछले कार्यों से जोड़ा जा सके और सकारात्मक क्रॉस-लिंगुअल ट्रांसफर को प्रोत्साहित किया जा सके।
  - ग्रेडिएंट स्तर (प्रोजेक्शन): संतुलित ऐतिहासिक ज्ञान के साथ संघर्ष करने वाले घटकों को हटाने के लिए परिणामी ग्रेडिएंट्स को नियंत्रित करता है।
- यह समन्वित डिज़ाइन मानक ER से परे अतिरिक्त मेमोरी ओवरहेड की आवश्यकता के बिना, पिछले ज्ञान को संरक्षित करने और वर्तमान लक्ष्य भाषा के प्रति मजबूत अनुकूलन क्षमता बनाए रखने का लक्ष्य रखता है।

मुख्य योगदान

भाषा-संतुलित ग्रेडिएंट रेगुलेशन: एक नवीन रणनीति जो अनुकूलन ज्यामिति (optimization geometry) को नया आकार देती है जहाँ प्रत्येक भाषा समान योगदान देती है, जिससे डोमिनेंट-लैंग्वेज बायस कम होता है।
एकीकृत फ्रेमवर्क (UGP): एक एकीकृत CL फ्रेमवर्क जो ग्रेडिएंट रेगुलेशन मैकेनिज्म के भीतर ER को समाहित करता है। यह ग्रेडिएंट स्तर पर क्रॉस-लिंगुअल ज्ञान को अलग करता है जबकि डेटा-स्तरीय जॉइंट ट्रेनिंग का उपयोग सकारात्मक ट्रांसफर को बढ़ावा देने के लिए करता है।
स्केल और स्कैरसिटीिटी विश्लेषण (Scale and Scarcity Analysis): प्रयोगात्मक साक्ष्य जो दिखाते हैं कि UGP की प्रभावशीलता मॉडल क्षमता के साथ स्केल करती है और अत्यधिक डेटा की कमी (प्रति भाषा 5 घंटे तक) के तहत भी मजबूत बनी रहती है।

प्रायोगिक परिणाम
FLEURS और CommonVoice डेटासेट का उपयोग करके Whisper-small (244M), medium (769M), और large-v3 (1550M) मॉडल्स पर प्रयोग किए गए।

स्केल के अनुसार प्रदर्शन: Whisper-large-v3 पर, UGP ने 0.04% का फॉरगेटिंग WER (FWER) प्राप्त किया, जो प्रभावी रूप से लगभग शून्य औसत विस्मरण है, जबकि 12.91% का प्रतिस्पर्धी टारगेट WER (TWER) बनाए रखा। इसके परिणामस्वरूप 9.80% का असाधारण एवरेज WER (AWER) प्राप्त हुआ।
बेसलाइन के साथ तुलना: स्टैंडर्ड फाइन-ट्यूनिंग (FT) गंभीर विस्मरण (medium मॉडल्स पर FWER 89.80% तक) से ग्रस्त रही। स्टैंडर्ड ER सीमित शमन (mitigation) प्रदान करता है, और स्टैंडर्ड A-GEM ने पिछले ज्ञान की रक्षा की लेकिन टारगेट प्लास्टिसिटी को गंभीर रूप से सीमित कर दिया (उच्च TWER)। UGP ने सभी मॉडल स्केल्स पर इस ट्रेड-ऑफ को सफलतापूर्वक संतुलित किया।
डेटा की कमी: अत्यधिक निम्न-संसाधन परिदृश्यों (प्रति भाषा 5 घंटे) में, UGP ने Full FT की तुलना में लगातार विनाशकारी विस्मरण को न्यूनतम किया, जो डेटा वॉल्यूम के गंभीर रूप से सीमित होने पर भी मजबूती प्रदर्शित करता है।
मैकेनिज्म विश्लेषण: ग्रेडिएंट कोसाइन सिमिलैरिटी विश्लेषण ने खुलासा किया कि जबकि स्टैंडर्ड FT लक्ष्य और ऐतिहासिक भाषाओं के बीच निरंतर नकारात्मक कोसाइन मान (ग्रेडिएंट संघर्ष) की ओर ले जाता है, UGP अपडेट को ऑर्थोगोनैलिटी (orthogonality) के पास स्थिर करता है, जिससे विनाशकारी हस्तक्षेप संरचनात्मक रूप से कम हो जाता है।

महत्व
यह पेपर दावा करता है कि UGP महत्वपूर्ण ऐतिहासिक रिप्रजेंटेशन को ओवरराइड किए बिना निम्न-संसाधन भाषाओं के प्रभावी अनुकूलन को सक्षम करके यूनिवर्सल स्पीच रिकग्निशन के लिए एक कुशल समाधान प्रदान करता है। डेटा-स्तरीय रिप्रजेंटेशन अलाइनमेंट को ग्रेडिएंट-स्तरीय इंटरफेरेंस करेक्शन के साथ जोड़कर, यह विधि बड़े पैमाने के मल्टीलिंगुअल ASR सिस्टम में क्रॉस-लिंगुअल इंटरैक्शन को प्रबंधित करने के लिए संतुलित ग्रेडिएंट रेगुलेशन को महत्वपूर्ण बताते हुए, बड़े मॉडल्स पर लगभग शून्य विस्मरण दर प्राप्त करती है। लेखकों ने उल्लेख किया कि जेनेरेटिव AI टूल्स का उपयोग केवल भाषा पॉलिशिंग और सामग्री विश्लेषण के लिए किया गया था, जबकि सभी शोध विचार और प्रयोगात्मक परिणाम स्वतंत्र रूप से पूर्ण किए गए थे।