💬 NLP

Task Arithmetic with Support Languages for Low-Resource ASR

यह शोध पत्र उच्च-संसाधन सहायता वाली भाषाओं से प्राप्त फाइन-ट्यून्ड व्हिस्पर (Whisper) मॉडल वेक्टर्स को टास्क अरिथमेटिक (task arithmetic) का उपयोग करके रैखिक रूप से संयोजित करके, लो-रिसोर्स ऑटोमैटिक स्पीच रिकग्निशन में सुधार करने की एक विधि प्रस्तावित करता है, जिससे 23 लक्षित भाषाओं में वर्ड एरर रेट (word error rate) में 10% तक की कमी आती है।

मूल लेखक: Emma Rafkin, Dan DeGenaro, Xiulin Yang

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Emma Rafkin, Dan DeGenaro, Xiulin Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके पेपर का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: एक "भाषा साथी" के साथ स्पीच रोबोट को सिखाना

कल्पित कीजिए कि आप एक रोबोट को एक बहुत ही दुर्लभ भाषा (जैसे कि एक छोटे समुदाय द्वारा बोली जाने वाली क्वेचुआ की एक विशिष्ट बोली) बोलना सिखाने की कोशिश कर रहे हैं। समस्या क्या है? आपके पास उसे सिखाने के लिए रिकॉर्ड की गई आवाज़ का केवल एक बहुत छोटा, कण-मात्र हिस्सा (crumbs) उपलब्ध है। यदि आप केवल उन कुछ कणों का उपयोग करके रोबोट को सिखाने की कोशिश करेंगे, तो वह शब्दों में लड़खड़ाएगा और बहुत सारी गलतियाँ करेगा।

आमतौर पर, इसे ठीक करने के लिए, शोधकर्ता एक "कजिन" (सहोदर) भाषा खोजने की कोशिश करते हैं जो समान हो और जिसमें बहुत सारा डेटा हो (जैसे कि लाखों बोलने वालों वाली एक प्रमुख भाषा)। वे रोबोट को एक साथ दोनों भाषाएँ सिखाने की कोशिश करते हैं। लेकिन यह पेपर एक अलग, चतुर तकनीक का उपयोग करता है जिसे टास्क अरिथमेटिक (Task Arithmetic) कहा जाता है।

मुख्य विचार: "रेसिपी" की उपमा

एक प्रशिक्षित AI मॉडल (जैसे कि लेखक द्वारा उपयोग किया गया Whisper सिस्टम) को एक मास्टर शेफ के रूप में सोचें जो 100 अलग-अलग व्यंजन (भाषाएँ) बनाना जानता है, लेकिन वह 101वें व्यंजन को बनाने में बहुत बुरा है क्योंकि उसने कभी उसकी रेसिपी नहीं देखी है।

बेस शेफ (Base Chef): आप मास्टर शेफ (प्री-ट्रेंड AI) से शुरुआत करते हैं। वे कई चीजों में अच्छे हैं लेकिन वे आपका विशिष्ट दुर्लभ व्यंजन नहीं जानते।
"सपोर्ट" शेफ (Support Chef): आप एक ऐसा शेफ ढूंढते हैं जो एक समान व्यंजन (एक संबंधित, उच्च-संसाधन वाली भाषा) में विशेषज्ञ है (एक संबंधित, अधिक डेटा वाली भाषा)। मान लीजिए कि वे "इतालवी पास्ता" बनाने में माहिर हैं।
"टारगेट" शेफ (Target Chef): आप एक छात्र को लेते हैं जिसने केवल नोट्स के कुछ टुकड़ों का उपयोग करके आपका दुर्लभ व्यंजन सीखने की कोशिश की है। वह संघर्ष कर रहा है।

टास्क अरिथमेटिक (Task Arithmetic) "इतालवी पास्ता शेफ" और "मास्टर शेफ" के बीच के अंतर (difference) को निकालने जैसा है।

मास्टर शेफ + अंतर (इतालवी कौशल) = नया शेफ जो इतालवी जानता है।

लेखक इसे गणितीय रूप से करते हैं। वे विशेषज्ञ शेफ और बेस शेफ के बीच "रेसिपी अंतर" (जिसे टास्क वेक्टर कहा जाता है) की गणना करते हैं। फिर, वे उस "रेसिपी अंतर" को संघर्ष कर रहे छात्र के नोट्स में जोड़ देते हैं।

यह कहने जैसा है: "आप इस दुर्लभ बोली को सीखने की कोशिश कर रहे हैं। यहाँ एक समान, प्रसिद्ध भाषा के व्याकरण और ध्वनियों की एक 'चीट शीट' (cheat sheet) है। इस चीट शीट को अपने नोट्स में मिला लें, और आप अचानक बहुत बेहतर हो जाएंगे।"

उन्होंने यह कैसे किया (प्रयोग)

लेखकों ने 26 कम-संसाधन वाली भाषाओं के लिए स्पीच-टू-टेक्स्ट सिस्टम बनाने की एक प्रतियोगिता में भाग लिया। उन्होंने दो मुख्य उपकरणों का उपयोग किया:

Whisper-Tiny: एक छोटा, हल्का AI मॉडल।
Whisper-Large: एक विशाल, शक्तिशाली AI मॉडल।

रणनीति:

उन्होंने Whisper-Tiny मॉडल को लिया और उसे उपलब्ध कुछ डेटा पॉइंट्स का उपयोग करके दुर्लभ भाषा सिखाई।
उन्होंने एक "सपोर्ट भाषा" (एक आनुवंशिक रूप से संबंधित भाषा जिसमें अधिक डेटा है) ढूंढी।
उन्होंने सपोर्ट भाषा मॉडल और बेस मॉडल के बीच "टास्क वेक्टर" (गणितीय अंतर) की गणना की।
उन्होंने एक विशेष "मिक्सिंग नॉब" (जिसे $\lambda$ कहा जाता है) का उपयोग करके इस वेक्टर को दुर्लभ भाषा वाले मॉडल में मिला दिया।

परिणाम: यह छोटे मॉडल के लिए जादू की तरह काम कर गया। संबंधित भाषा से "ज्ञान" जोड़ने से, त्रुटि दर (रोबोट कितनी गलतियाँ करता है) काफी कम हो गई—कभी-कभी लगभग 10% तक। यह एक संघर्ष कर रहे छात्र को एक ऐसे ट्यूटर देने जैसा था जो एक समान भाषा बोलता था; वह अचानक संदर्भ को बहुत बेहतर समझने लगा।

हालाँकि, Whisper-Large उतना अच्छा प्रदर्शन नहीं कर सका। क्यों?

उपमा: कल्पना कीजिए कि "लार्ज शेफ" इतना विशाल और जटिल है कि एक छोटी "इतालवी रेसिपी" को उसमें मिलाने की कोशिश ने उन्हें भ्रमित कर दिया। या, शायद "लार्ज शेफ" के पास वास्तव में नई रेसिपी सीखने के लिए पर्याप्त समय नहीं था क्योंकि डेटा बहुत कम था। कभी-कभी, जब आपके पास बहुत कम डेटा होता है, तो एक बड़ा, सर्वव्यापी उपकरण होने के बजाय एक छोटा, केंद्रित उपकरण बेहतर काम करता है।

सभी के लिए मुख्य बातें

पहिए का पुन: आविष्कार न करें: आपको हर नई भाषा के लिए शून्य से शुरुआत करने की आवश्यकता नहीं है। आप संबंधित भाषाओं से "ज्ञान" उधार ले सकते हैं।
गणित जादू है: आपको पूरे AI को शून्य से फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस थोड़ा सा गणित (वेक्टर जोड़ना) करके एक भाषा से दूसरी भाषा में कौशल स्थानांतरित कर सकते हैं।
बड़ा हमेशा बेहतर नहीं होता: कम-संसाधन वाली भाषाओं की दुनिया में, एक छोटा, अच्छी तरह से ट्यून किया गया मॉडल एक विशाल मॉडल को हरा देता है।
"चीट शीट" काम करती है: भले ही "सपोर्ट" भाषा एकदम सही न हो, लेकिन संबंधित भाषा से AI को संकेत देने से वह सही शब्दों का अनुमान लगाने में बहुत बेहतर मदद पाता है।

एक कमी (सीमाएँ)

लेखक स्वीकार करते हैं कि उनके पास इन भाषाओं को मिलाने का परफेक्ट तरीका खोजने के लिए पर्याप्त समय या कंप्यूटर पावर नहीं थी। उन्होंने यह भी नोट किया कि उनका AI एक बार में केवल 30 सेकंड का ऑडियो सुन सकता है, जिससे इसे लंबी बातचीत में संघर्ष करना पड़ता है।

निष्कर्ष

यह पेपर दिखाता है कि बहुत कम डेटा वाली भाषाओं के लिए, हम एक बेहतर स्पीच रिकॉग्निज़र बना सकते हैं, जो एक ऐसे अनुवादक की तरह काम करता है जो दो भाषाएँ जानता है। हम एक सुविख्यात भाषा के "सार" को लेते हैं और गणितीय रूप से उसे दुर्लभ भाषा में मिला देते हैं, जिससे AI को बिना लाखों नए रिकॉर्डिंग की आवश्यकता के एक बड़ी बढ़त मिलती है।

यहाँ "Task Arithmetic with Support Languages for Low-Resource ASR" नामक शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र कम-संसाधन वाली भाषाओं (low-resource languages) के लिए स्वचालित भाषण पहचान (ASR) की चुनौती को संबोधित करता है, विशेष रूप से 2025 मोज़िला कॉमन वॉयस स्पोंटेनियस स्पीच एएसआर (Mozilla Common Voice Spontaneous Speech ASR) साझा कार्य के संदर्भ में।

डेटा की कमी: कई कम-संसाधन वाली भाषाओं में पर्याप्त लेबल वाले प्रशिक्षण डेटा का अभाव होता है, जिससे मानक पर्यवेक्षित प्रशिक्षण (supervised training) अप्रभावी हो जाता है।
डोमेन विसंगति (Domain Mismatch): यह कार्य 'स्पोंटेनियस' (स्वाभाविक) भाषण पर केंद्रित है, जबकि कई मौजूदा बेंचमार्क और पूर्व-प्रशिक्षित मॉडल 'स्क्रिप्टेड' (लिखित) भाषण के लिए अनुकूलित हैं।
मॉडल की सीमाएँ: हालांकि OpenAI के Whisper जैसे फाउंडेशन मॉडल बहुभाषी हैं, लेकिन उच्च-संसाधन वाली भाषाओं के प्रभुत्व के कारण विभिन्न भाषाओं में उनका प्रदर्शन काफी भिन्न होता है। इसके अलावा, बड़े मॉडल अक्सर बहुत सीमित डेटा के साथ छोटे, अधिक लक्षित मॉडलों की तुलना में प्रभावी ढंग से अनुकूलित होने में संघर्ष करते हैं।
लक्ष्य: जेनेटिक रूप से संबंधित "सपोर्ट भाषाओं" (support languages) के डेटा का लाभ उठाकर 26 कम-संसाधन वाली भाषाओं (21 प्रशिक्षण डेटा के साथ, 5 अनदेखी) के लिए ASR प्रदर्शन में सुधार करना, बिना भारी कंप्यूटेशनल संसाधनों के पूर्ण पुन: प्रशिक्षण की आवश्यकता के।

2. कार्यप्रणाली (Methodology)

लेखक विभिन्न भाषाओं पर प्रशिक्षित मॉडलों को मिलाने के लिए टास्क अरिथमेटिक (Task Arithmetic) को लो-रैंक अडैप्टेशन (LoRA) के साथ संयोजित करने वाला एक ढांचा प्रस्तावित करते हैं।

A. मॉडल आर्किटेक्चर और प्रशिक्षण

बेस मॉडल (Base Models): यह अध्ययन Whisper मॉडल के दो वेरिएंट का उपयोग करता है:
- Whisper-tiny: सभी लक्षित भाषाओं के लिए पूर्ण रूप से फाइन-ट्यून किया गया।
- Whisper-large-v3: LoRA अडैप्टर का उपयोग करके फाइन-ट्यून किया गया (मेमोरी और पैरामीटर्स बचाने के लिए)। संसाधन सीमाओं के कारण इस मॉडल को 4-बिट में क्वांटाइज़ किया गया था।
टास्क वेक्टर्स (Task Vectors - TVs): Ilharco et al. (2023) के अनुसरण में, एक "टास्क वेक्टर" को फाइन-ट्यून किए गए मॉडल और प्री-ट्रेंड बेस मॉडल के बीच भार (weights) के अंतर के रूप में परिभाषित किया गया है ( $\tau = \theta_{fine-tuned} - \theta_{base}$ )।
सपोर्ट लैंग्वेज रणनीति:
- प्रत्येक लक्षित भाषा के लिए, लेखक जेनेटिक रूप से संबंधित "सपोर्ट भाषाओं" की पहचान करते हैं (जैसे, पुनो क्वेचुआ (Puno Quechua) को सपोर्ट करने के लिए 13 क्वेचुआ भाषाओं का उपयोग करना)।
- इन सपोर्ट भाषाओं पर कॉमन वॉयस (CV) डेटा का उपयोग करके अलग-अलग मॉडल (या LoRA अडैप्टर) प्रशिक्षित किए जाते हैं।
- प्रॉक्सी लैंग्वेज इनिशियलाइजेशन: टोकन ओवरलैप को अधिकतम करने के लिए, प्रशिक्षण के दौरान भाषा टोकन को लक्षित भाषा के बजाय एक "प्रॉक्सी भाषा" (एक पूर्व-प्रशिक्षण भाषा जो उसी लिपि साझा करती है) पर स्थिर किया जाता है।

B. टास्क अरिथमेटिक एकीकरण

अंतिम मॉडल बनाने के लिए टास्क वेक्टर्स का रैखिक संयोजन (linear combination) मुख्य नवाचार है:
$\theta_{final} = \theta_{target} + \lambda \tau_{support}$

$\theta_{target}$ : लक्षित भाषा पर फाइन-ट्यून किया गया मॉडल।
$\tau_{support}$ : सपोर्ट भाषा(ओं) से प्राप्त टास्क वेक्टर।
$\lambda$ : लक्षित भाषा के वैलिडेशन सेट पर बायेसियन ऑप्टिमाइज़ेशन के माध्यम से अनुकूलित एक स्केलिंग हाइपरपैरामीटर (सीमा $[0, 1]$ )।
LoRA के लिए: इस प्रक्रिया में सपोर्ट अडैप्टर के भार को स्केल करना और बेस मॉडल पर लागू करने से पहले टारगेट अडैप्टर के भार में जोड़ना शामिल है।

C. डेटा प्रोसेसिंग

डेटा स्रोत: सपोर्ट भाषाओं और अनदेखी लक्षित भाषाओं के लिए स्क्रिप्टेड स्पीच; 21 प्रशिक्षित लक्ष्यों के लिए स्पोंटेनियस स्पीच।
क्वालिटी फ़िल्टरिंग: शून्य-लंबाई वाले ऑडियो, खाली ट्रांसक्रिप्ट, या समस्याग्रस्त ध्वजांकित नमूनों को हटा दिया गया। 30 सेकंड से अधिक के ऑडियो को ट्रंकेट (छोटा) कर दिया गया।
अपसैंपलिंग: उच्च गुणवत्ता वाले ट्रांसक्रिप्शन को प्राथमिकता देने के लिए, कॉमन वॉयस मेटाडेटा में "वोट्स" (अपवोट माइनस डाउनवोट) के आधार पर नमूनों को अपसैंपल किया गया।

3. प्रमुख योगदान (Key Contributions)

ASR में टास्क अरिथमेटिक का विस्तार: यह शोध पत्र केवल विभिन्न कार्यों के बजाय विभिन्न भाषाओं के बीच मॉडलों को संयोजित करने में टास्क अरिथमेटिक के अनुप्रयोग को विस्तारित करता है।
सपोर्ट लैंग्वेज इंटीग्रेशन: यह कम-संसाधन वाले प्रदर्शन को बढ़ाने के लिए जेनेटिक रूप से संबंधित सपोर्ट भाषाओं को पहचानने और एकीकृत करने की एक व्यवस्थित विधि पेश करता है, जो पिछले कार्यों के सीमित दायरे (जो Whisper के प्रशिक्षण डेटा में मौजूद 4 भाषाओं तक सीमित थे) से आगे बढ़ता है।
LoRA-आधारित टास्क अरिथमेटिक: लेखक सफलतापूर्वक प्रदर्शित करते हैं कि टास्क अरिथमेटिक का प्रदर्शन केवल पूर्ण पैरामीटर टास्क वेक्टर्स के बजाय LoRA लेयर्स के रैखिक संयोजन के माध्यम से किया जा सकता है।
मॉडल आकार का अनुभवजन्य विश्लेषण: यह अध्ययन प्रमाण देता है कि डेटा-दुर्लभ सेटिंग्स में, टास्क अरिथमेटिक के साथ मिलकर छोटे मॉडल (Whisper-tiny) अक्सर बड़े मॉडलों (Whisper-large-v3) से बेहतर प्रदर्शन करते हैं, जो इस धारणा को चुनौती देता है कि बड़े मॉडल हमेशा श्रेष्ठ होते हैं।

4. परिणाम (Results)

इस प्रणाली का मूल्यांकन वर्ड एरर रेट (WER) का उपयोग करके 23 कम-संसाधन वाली लक्षित भाषाओं में किया गया।

Whisper-tiny प्रदर्शन:
- सपोर्ट भाषा टास्क वेक्टर्स को शामिल करने से सभी लागू लक्षित मॉडलों में सुधार हुआ।
- औसत WER सुधार: -3.51%।
- अधिकतम सुधार: विशिष्ट भाषाओं के लिए -9.93% तक।
- यह दृष्टिकोण एक सुरक्षा जाल (safety net) के रूप में कार्य करता; सबसे खराब स्थिति में भी, प्रदर्शन केवल लक्षित भाषा मॉडल के बेसलाइन से नीचे नहीं गिरा।
Whisper-large-v3 प्रदर्शन:
- अधिकांश भाषाओं के लिए यह आमतौर पर Whisper-tiny और टास्क बेसलाइन से खराब प्रदर्शन करता है, जिसका कारण संभवतः उप-इष्टतम हाइपरपैरामीटर और LoRA अडैप्टर का सीमित अभिसरण (convergence) है।
- हालाँकि, जब सपोर्ट भाषाओं को जोड़ा गया तो इसने औसतन -5.43% का WER सुधार दिखाया।
- एडिग (Adyghe) केस स्टडी: इस पद्धति ने एडिग मॉडल में -49.72% का सुधार किया, जो इस बात को रेखांकित करता है कि जब बेसलाइन कमजोर होती है, तो भारी लाभ की संभावना होती है।
सहसंबंध विश्लेषण (Correlation Analysis):
- Whisper-tiny के लिए, टोकन ओवरलैप समानता (टोकन गणना की कोसाइन समानता) और WER सुधार के बीच एक मध्यम सकारात्मक सहसंबंध ( $r=0.52$ ) पाया गया। यह सुझाव देता है कि अधिक भाषाई रूप से समान सपोर्ट भाषाएं बेहतर परिणाम देती हैं।
- Whisper-large-v3 के लिए, समानता और सुधार के बीच कोई महत्वपूर्ण सहसंबंध नहीं पाया गया, जो संभवतः अधूरे अडैप्टर प्रशिक्षण के कारण है। इसके बजाय, सुधार का बेसलाइन WER के साथ गहरा संबंध था (जहाँ बेसलाइन खराब थी, वहाँ अधिक लाभ हुआ)।

5. महत्व और सीमाएँ (Significance and Limitations)

महत्व:

दक्षता: यह दृष्टिकोण विशाल फाउंडेशन मॉडलों को स्क्रैच से पुन: प्रशिक्षित किए बिना संबंधित भाषाओं से मौजूदा डेटा का लाभ उठाने का एक कम्प्यूटेशनल रूप से कुशल तरीका प्रदान करता है।
स्वदेशी भाषा समर्थन: यह विधि विशेष रूप से उन स्वदेशी और कम-संसाधन वाली भाषाओं के लिए मूल्यवान है जहाँ डेटा दुर्लभ है, जिससे इन समुदायों के लिए अधिक सुलभ तकनीक की संभावना बढ़ती है।
मॉडल चयन: यह "बड़ा ही बेहतर है" (bigger is better) के प्रतिमान को चुनौती देता है, यह सुझाव देता है कि छोटे मॉडलों का लक्षित फाइन-ट्यूनिंग और टास्क अरिथमेटिक एक बेहतर रणनीति है।

सीमाएँ:

हाइपरपैरामीटर खोज: कंप्यूटेशनल बाधाओं के कारण, इष्टतम प्रशिक्षण हाइपरपैरामीटर और स्केलिंग फैक्टर $\lambda$ की खोज व्यापक नहीं थी।
बेस मॉडल का चुनाव: लेखक नोट करते हैं कि कम-संसाधन कार्यों के लिए Whisper की तुलना में 'मैसिवली मल्टीलिंगुअल स्पीच' (MMS) मॉडल एक बेहतर बेस मॉडल हो सकता है, क्योंकि MMS का उपयोग करने वाला टास्क बेसलाइन उनके सिस्टम से बेहतर प्रदर्शन करता है।
कॉन्टेक्स्ट विंडो: Whisper की 30-सेकंड की इनपुट सीमा ने लंबे स्पोंटेनियस स्पीच रिकॉर्डिंग पर प्रदर्शन को नकारात्मक रूप से प्रभावित किया।
सपोर्ट भाषा चयन: सपोर्ट भाषाओं का वर्तमान चयन जेनेटिक संबंध और स्क्रिप्ट उपलब्धता पर निर्भर था; भविष्य के कार्य बेहतर चयन के लिए ध्वन्यात्मक (phonological) या शाब्दिक (lexical) ओवरलैप मेट्रिक्स का उपयोग कर सकते हैं।

निष्कर्षतः, यह पेपर प्रदर्शित करता है कि टास्क अरिथमेटिक कम-संसाधन वाले ASR को बढ़ाने के लिए एक मजबूत तकनीक है, विशेष रूप से जब जेनेटिक रूप से संबंधित भाषाओं के डेटा के साथ छोटे, कुशलतापूर्वक फाइन-ट्यून किए गए मॉडलों को जोड़ा जाता है।