Multilingual Long-Form Speech Instruction Following: KIT's Submission to IWSLT 2026
KIT का IWSLT 2026 इंस्ट्रक्शन फॉलोइंग ट्रैक के लिए सबमिशन एक बहुभाषी लॉन्ग-फॉर्म स्पीच इंस्ट्रक्शन सिस्टम प्रस्तुत करता है जो 10 लाख से अधिक प्रशिक्षण उदाहरण उत्पन्न करने के लिए एक डेटा ऑग्मेंटेशन पाइपलाइन का लाभ उठाता है और लॉन्ग-फॉर्म इन्फरेंस में सिमेंटिक डिग्रेडेशन (अर्थ संबंधी गिरावट) को दूर करने के लिए मिनिमम बेयस रिस्क के साथ लाइकलीहुड-आधारित री-रैंकिंग को संयोजित करने वाली एक हाइब्रिड डिकोडिंग रणनीति का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी तस्वीर: AI को लंबी कहानियों को सुनना सिखाना
कल्पना कीजिए कि आपके पास एक स्मार्ट असिस्टेंट है जो छोटे वाक्यों को समझने में बहुत अच्छा है, जैसे "मौसम कैसा है?" या "इस शब्द का अनुवाद करें।" लेकिन अगर आप उससे 15 मिनट का लेक्चर या लंबा पॉडकास्ट सुनने के लिए कहते हैं, तो वह भ्रमित हो जाता है, शुरुआत की बातें भूल जाता है, या गलत जानकारी (hallucinating) देने लगता है।
KIT (कार्ल्सरूहे इंस्टीट्यूट ऑफ टेक्नोलॉजी) के शोधकर्ताओं ने इसे ठीक करने का फैसला किया। वे IWSLT 2026 नामक एक प्रतियोगिता में शामिल हुए, जिसका लक्ष्य एक ऐसा AI बनाना था जो लंबे भाषणों (15 मिनट तक) के आधार पर निर्देशों का पालन कर सके। यह चार भाषाओं में था: अंग्रेजी, जर्मन, इतालवी और चीनी। उन्हें एक "सरप्राइज टास्क" को भी संभालना था जिसके बारे में उन्हें पहले से पता नहीं था।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, जिसे चार मुख्य भागों में बांटा गया है।
1. डेटा की समस्या: छोटे टुकड़ों को मैराथन में बदलना
चुनौती: अधिकांश AI ट्रेनिंग डेटा 15-सेकंड के छोटे वॉयस नोट्स के संग्रह जैसा है। लेकिन प्रतियोगिता के लिए AI को 15 मिनट की ऑडियो फाइलों को संभालने की आवश्यकता थी। यह एक मैराथन धावक को केवल 100 मीटर की स्प्रिंट का उपयोग करके प्रशिक्षित करने जैसा है।
समाधान: उन्होंने लंबे खंड बनाने के लिए छोटे क्लिप्स को खींचकर एक "डेटा फैक्ट्री" बनाई।
- द ग्लू मेथड (The Glue Method): उन्होंने हजारों छोटे ऑडियो क्लिप्स को आपस में जोड़कर लंबे सेगमेंट बनाए।
- द ट्रांसलेटर (The Translator): चूंकि अधिकांश डेटा केवल अंग्रेजी में था, इसलिए उन्होंने अंग्रेजी, जर्मन, इतालवी और चीनी संस्करण बनाने के लिए एक सुपर-स्मार्ट AI ट्रांसलेटर का उपयोग किया।
- द लेबल मेकर (The Label Maker): उन्होंने नए लंबे क्लिप्स के लिए निर्देश और उत्तर लिखने के लिए AI का उपयोग किया, जिससे प्रभावी रूप से 10 लाख से अधिक नए प्रशिक्षण उदाहरण तैयार हुए।
परिणाम: उन्होंने छोटे वॉयस नोट्स की लाइब्रेरी को लंबे व्याख्यानों और बातचीत की एक विशाल लाइब्रेरी में बदल दिया, जो प्रशिक्षण के लिए तैयार थी।
2. प्रशिक्षण रणनीति: आहार को संतुलित करना
चुनौती: AI को छह अलग-अलग कार्य सीखने थे:
- ASR: भाषण को टेक्स्ट में बदलना (Transcription)।
- ST: दूसरी भाषा में भाषण का अनुवाद करना।
- SQA: सुनी गई बातों पर आधारित प्रश्नों के उत्तर देना।
- SSUM: ऑडियो का सारांश (Summary) बनाना।
- ACHAP: ऑडियो को शीर्षकों के साथ अध्यायों में तोड़ना।
- Surprise: किसी अज्ञात कार्य को करना।
इनमें से कुछ कार्यों के पास दूसरे की तुलना में बहुत अधिक डेटा था (जैसे ब्रोकली से भरपूर लेकिन गाजर की कमी वाला आहार)। यदि वे AI को रैंडम तरीके से डेटा खिलाते, तो वह सामान्य कार्यों में तो अच्छा हो जाता लेकिन दुर्लभ कार्यों को भूल जाता।
समाधान: उन्होंने डेटा को मिलाने के दो तरीके आजमाए:
- फिक्स्ड प्लान (Fixed Plan): मैन्युअल रूप से यह तय करना कि AI को 10% ASR, 30% Q&A आदि दिया जाए।
- टेम्परेचर स्केलिंग (The "Square Root" Trick): उन्होंने एक गणितीय सूत्र (टेम्परेचर = 2) का उपयोग किया जो स्वाभाविक रूप से आहार को संतुलित करता है। यह एक स्मार्ट शेफ की तरह है जो आपको हर चीज़ का थोड़ा-थोड़ा हिस्सा देता है, लेकिन यह सुनिश्चित करता है कि सबसे आम सामग्री दुर्लभ चीजों को दबा न दे।
खोज: "स्क्वायर रूट" (Square Root) विधि सबसे अच्छी रही। इसने AI को बिना भ्रमित हुए सभी कार्यों को समान रूप से सीखने में मदद की।
3. "सीक्रेट कोड" की विफलता (चेन-ऑफ-थॉट)
चुनौती: टीम ने "चेन-ऑफ-थॉट" नामक एक लोकप्रिय तकनीक आजमाई। यह AI को यह बताने जैसा है कि, "जवाब देने से पहले, पहले सोचें कि यह कौन सा कार्य है।" उन्होंने AI को विशेष "टोकन" (जैसे गुप्त कोड) दिए ताकि वह कह सके, "यह एक अनुवाद कार्य है" या "यह एक सारांश कार्य है।"
विफलता: यह उल्टा असर कर गया। AI आलसी हो गया। क्योंकि "सारांश बनाना" (Summarization) थोड़ा अधिक सामान्य था और "ट्रांसक्रिप्शन" जैसा ही दिखता था, AI लगभग हर चीज़ के लिए "सारांश" का अनुमान लगाने लगा, भले ही उसे अनुवाद करना था। उसने निर्देशों को सुनना बंद कर दिया और सबसे आसान रास्ता चुनने लगा।
सबक: आप केवल एक सरल लेबल के साथ AI को यह नहीं बता सकते कि "क्या करना है" यदि कार्य बहुत समान हैं; उसे केवल एक प्रीफिक्स के माध्यम से नहीं, बल्कि अभ्यास के माध्यम से अंतर सीखना होगा।
4. अंतिम पॉलिश: "री-रैंकिंग" फ़िल्टर
चुनौती: जब AI कोई उत्तर बनाता है, तो वह अक्सर 17 अलग-अलग संस्करण बनाता है। कुछ बेहतरीन होते हैं, कुछ बकवास। टीम को यह जानने के बिना सबसे अच्छा चुनना था कि वे कौन सा कार्य कर रहे हैं (क्योंकि "सरप्राइज टास्क" अज्ञात था)।
मानक तरीकों की विफलता:
- लाइकलीहुड (Likelihood - "कॉन्फिडेंस" चेक): AI उस उत्तर को चुनता था जिसके बारे में वह सबसे अधिक आश्वस्त होता था। यह ट्रांसक्रिप्शन (ASR) के लिए बहुत अच्छा काम करता था, लेकिन सारांश (Summarization) के लिए बहुत खराब था। यह उन उत्तरों को चुनता रहता था जो छोटे-छोटे टुकड़ों में टूटे हुए थे क्योंकि गणितीय रूप से वे सही लग रहे थे, भले ही उनका अर्थ खो गया हो।
- MBR (Consensus - "कंसेंसस" चेक): यह तरीका उस उत्तर को चुनता था जो अन्य सभी उत्तरों के सबसे समान था। यह सुरक्षित था और अर्थ के लिए अच्छा था, लेकिन इसने सर्वश्रेष्ठ ट्रांसक्रिप्शन उम्मीदवारों को अनदेखा कर दिया।
जीतने वाली रणनीति (Likelihood + MBR):
उन्होंने दोनों को मिला दिया। इसे एक भर्ती समिति की तरह समझें:
- Likelihood वह "आत्मविश्वासी उम्मीदवार" है जो तेज और स्पष्ट बोलता है।
- MBR वह "सुरक्षित उम्मीदवार" है जो सुसंगत है।
- द कॉम्बो (The Combo): उन्होंने "आत्मविश्वासी उम्मीदवार" को जीतने दिया, जब तक कि "सुरक्षित उम्मीदवार" दृढ़ता से असहमत न हो। इसने AI को सारांश कार्यों के लिए टूटे-फूटे उत्तर चुनने से रोका, जबकि बेहतरीन ट्रांसक्रिप्शन को बरकरार रखा।
अंतिम परिणाम
टीम ने दो सिस्टम प्रस्तुत किए:
- प्राइमरी सिस्टम (एंड-टू-एंड): AI सीधे ऑडियो सुनता है और उत्तर देता है। यह अर्थ (प्रश्नों के उत्तर देना, सारांश बनाना) समझने में बहुत अच्छा था।
- कॉन्ट्रास्टिव सिस्टम (कैस्केडेड): AI पहले जो कहा गया है उसे सटीक रूप से लिखता है (Transcription), और फिर उस टेक्स्ट को पढ़कर उत्तर देता है। यह शब्दों को सही ढंग से पकड़ने (Transcription) और अनुवाद करने में अद्भुत था, लेकिन गहरी समझ (Deep Understanding) में थोड़ा कमजोर था।
आश्चर्य: जब "सरप्राइज टास्क" (क्वालिटी एस्टीमेशन) सामने आया, तो वह सिस्टम जिसने पहले टेक्स्ट लिखा था (Cascaded), उसने प्रतियोगिता में सबको पछाड़ दिया, जबकि डायरेक्ट सिस्टम पूरी तरह विफल रहा। इसने दिखाया कि कभी-कभी, एक जटिल समस्या को चरणों में तोड़ना (सुनना -> लिखना -> सोचना) एक साथ सब कुछ करने की कोशिश करने से बेहतर होता है।
सारांश
यह पेपर दिखाता है कि लंबे भाषणों को सुनने के लिए AI बनाने हेतु आपको चाहिए:
- छोटे डेटा को लंबे डेटा में खींचना (Stretch)।
- "स्क्वायर रूट" गणितीय ट्रिक का उपयोग करके प्रशिक्षण आहार को संतुलित (Balance) करना।
- सरल "टास्क लेबल्स" से बचना (Avoid) जो AI को आलसी बना देते हैं।
- सबसे अच्छा उत्तर चुनने के लिए आत्मविश्वास और निरंतरता को मिलाना (Combine)।
उन्होंने सफलतापूर्वक एक ऐसा सिस्टम बनाया जो लंबे, बहुभाषी ऑडियो को संभाल सकता है, यह साबित करते हुए कि सही डेटा और उत्तरों के लिए एक स्मार्ट "वोटिंग" सिस्टम के साथ, AI आखिरकार पूरी कहानी सुन सकता है, न कि केवल पहली पंक्ति।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।