← नवीनतम पेपर
🤖 AI

Speech Meets ELF: Audio Conditional Continuous-Target Diffusion for Speech Recognition and Translation

यह शोध पत्र ELF-S2T का प्रस्ताव करता है, जो एक ऑडियो-कंडीशन्ड कंटीन्यूअस-टारगेट डिफ्यूजन मॉडल है जो प्रतिस्पर्धी स्पीच रिकग्निशन और ट्रांसलेशन प्रदर्शन प्राप्त करने के लिए ELF बैकबोन का लाभ उठाता है और यह भी प्रकट करता है कि दोनों कार्यों में त्रुटियां एक ही अंतर्निहित लेटेंट स्पेस कन्फ्यूजन से उत्पन्न होती हैं।

मूल लेखक: Xuanchen Li, Tianrui Wang, Yuheng Lu, Zikang Huang, Yu Jiang, Chenghan Lin, Chenrui Cui, Ziyang Ma, Xingyu Ma, Chunyu Qiang, Guochen Yu, Xie Chen, Longbiao Wang, Jianwu Dang

प्रकाशित 2026-06-10
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Xuanchen Li, Tianrui Wang, Yuheng Lu, Zikang Huang, Yu Jiang, Chenghan Lin, Chenrui Cui, Ziyang Ma, Xingyu Ma, Chunyu Qiang, Guochen Yu, Xie Chen, Longbiao Wang, Jianwu Dang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी व्यक्ति की शोर भरी रिकॉर्डिंग को लिखित पाठ में अनुवाद करने की कोशिश कर रहे हैं। आमतौर पर, कंप्यूटर ऐसा एक बार में एक शब्द का अनुमान लगाकर करते हैं, जैसे कि एक क्रॉसवर्ड पहेली भरना जहाँ हर वर्ग को एक विशिष्ट, अलग अक्षर की आवश्यकता होती है।

यह शोध पत्र इस कार्य को करने का एक नया तरीका पेश करता है जिसे ELF-S2T कहा जाता है। शब्द-दर-शब्द अनुमान लगाने के बजाय, यह पूरे वाक्य को एक एकल, सुचारू, निरंतर आकार (shape) के रूप में मानता है जो "स्थिर शोर" (static noise) से धीरे-धीरे एक स्पष्ट वाक्य में बदल जाता है।

यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. पुराना तरीका बनाम नया तरीका

  • पुराना तरीका (डिस्क्रीट टोकन): कल्पना कीजिए कि आप केवल व्यक्तिगत लेगो (LEGO) ब्रिक्स का उपयोग करके एक चित्र बनाने की कोशिश कर रहे हैं। आपको एक विशिष्ट ईंट (शब्द) चुननी होगी और उसे अपनी जगह पर फिट करना होगा। यदि आप गलत ईंट चुनते हैं, तो चित्र अधूरा या टूटा हुआ दिखेगा। अधिकांश स्पीच सिस्टम इसी तरह काम करते हैं: वे एक शब्द चुनते हैं, फिर अगला, और फिर अगला।
  • नया तरीका (निरंतर स्थान): कल्पना कीजिए कि वाक्य मिट्टी का एक ढेला है। शुरुआत में, यह केवल एक अस्त-व्यst शोर का ढेर है। कंप्यूटर का काम उस ढेले को धीरे-धीरे आकार देना है, उसे तब तक चिकना बनाना है जब तक कि वह वाक्य का सही आकार न ले ले। यह अंतिम क्षण तक किसी विशिष्ट "ईंट" का निर्णय नहीं लेता, जब वह अंततः मिट्टी को शब्दों में काटता है। इसे कंटीन्यूअस-टारगेट डिफ्यूजन कहा जाता है।

2. समस्या: कंप्यूटर "दिन में सपने" देख रहा है

शोधकर्ताओं ने इस नए "मिट्टी को आकार देने" वाले दृष्टिकोण के साथ एक बड़ी समस्या पाई। क्योंकि कंप्यूटर पहले से ही वाक्यों को बहुत अच्छी तरह से लिखना जानता है (इसे भारी मात्रा में टेक्स्ट पर प्रशिक्षित किया गया था), यह वास्तविक ऑडियो रिकॉर्डिंग को अनदेखा करने लगता है।

  • उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है जबकि शिक्षक प्रश्नों को पढ़ रहा है। यदि छात्र उत्तर पहले से ही जानते हैं, तो वे वही लिख सकते हैं जो उन्हें लगता है कि शिक्षक ने कहा था, वास्तविक आवाज को अनदेखा करते हुए। कंप्यूटर बिल्कुल यही कर रहा था: यह भाषण को अनदेखा कर रहा था और अपनी स्मृति के आधार पर टेक्स्ट का केवल "अनुमान" लगा रहा था।

3. समाधान: "ऑडियो फोर्सिंग" और "ऑडियो गाइडेंस"

इसे ठीक करने के लिए, लेखकों ने दो तरकीबें बनाईं ताकि कंप्यूटर ऑडियो को सुनने के लिए मजबूर हो सके:

  • ऑडियो फोर्सिंग (द "ब्लाइंडफोल्ड" ट्रिक): प्रशिक्षण के दौरान, उन्होंने जानबूझकर "टेक्स्ट क्ले" (पाठ की मिट्टी) को बहुत अस्त-व्यस्त और पढ़ने में कठिन बना दिया। उन्होंने मूल रूप से कहा, "आप अब केवल टेक्स्ट के संकेतों को नहीं देख सकते; टेक्स्ट बहुत धुंधला है। आपको वाक्य का पता लगाने के लिए ऑडियो रिकॉर्डिंग पर निर्भर रहना ही होगा।" इसने मॉडल को ध्वनि पर भरोसा करने के लिए मजबूर किया।
  • ऑडियो गाइडेंस (द "डबल चेक"): जब कंप्यूटर वास्तव में कार्य कर रहा होता है (इन्फरेंस), तो वे इसे दो बार चलाते हैं: एक ऑडियो सुनते हुए, और एक बार यह मानकर कि ऑडियो मौजूद नहीं है। फिर, वे परिणामों को मिलाते हैं, और अंतिम उत्तर को ऑडियो सुनने वाले संस्करण की ओर मजबूती से धकेलते हैं। यह दो लोगों से दिशा-निर्देश पूछने जैसा है, लेकिन उस व्यक्ति के उत्तर को बहुत अधिक महत्व देना जिसने वास्तव में मानचित्र देखा है।

4. परिणाम: यह काम करता है!

टीम ने दो कार्यों पर इसका परीक्षण किया:

  1. स्पीच रिकग्निशन (ASR): अंग्रेजी भाषण को अंग्रेजी टेक्स्ट में बदलना।
  2. स्पीच ट्रांसलेशन (S2TT): जर्मन भाषण को अंग्रेजी टेक्स्ट में बदलना।

उन्होंने पाया कि उनका नया सिस्टम बहुत प्रतिस्पर्धी था। यह अन्य "डिफ्यूजन" सिस्टम (जो "शोर-से-मिट्टी" विधि का भी उपयोग करते हैं) को पीछे छोड़ देता है और अनुवाद के लिए मानक "शब्द-दर-शब्द" सिस्टम से भी बेहतर प्रदर्शन करता है। यह अनुवाद के लिए परिणाम सफलतापूर्वक रिपोर्ट करने वाला अपनी तरह का पहला सिस्टम है।

5. बड़ी खोज: गलतियाँ क्यों होती हैं

शोध का सबसे दिलचस्प हिस्सा यह है कि उन्होंने गलतियों का विश्लेषण कैसे किया।

  • सतह पर:

    • रिकग्निशन त्रुटियाँ टाइपो की तरह दिखीं (जैसे, "circumvention" के बजाय "circumcession" लिखना)।
    • ट्रांसलेशन त्रुटियाँ ऐसी दिखीं जैसे पूरे वाक्य का अर्थ ही भटक गया हो (जैसे, "safety" को "security" में बदलना)।
    • ऐसा लगा जैसे ये दो अलग-अलग समस्याएँ हों।

  • अंदरूनी स्तर पर (द लेटेंट स्पेस):
    शोधकर्ताओं ने शब्दों में कटने से पहले "मिट्टी" के अंदर देखा। उन्होंने पाया कि दोनों प्रकार की त्रुटियाँ ठीक एक ही कारण से आती हैं।

    • उपमा: कल्पना कीजिए कि सही उत्तर जंगल में एक विशिष्ट पेड़ है।
      • रिकग्निशन में, कंप्यूटर का "क्ले" एक ऐसे पेड़ पर उतरा जो सही वाले के बहुत करीब था, लेकिन थोड़ा अलग था (जैसे पाइन की एक अलग प्रजाति)। जब इसे शब्दों में काटा गया, तो यह वर्तनी की गलती की तरह लगा।
      • ट्रांसलेशन में, कंप्यूटर का "क्ले" भी एक ऐसे पेड़ पर उतरा जो सही वाले के बहुत करीब था, लेकिन अनुवाद कठिन होने के कारण, वह छोटी सी दूरी एक पूरी तरह से अलग वाक्य में बदल गई।
    • निष्कर्ष: दोनों त्रुटियाँ वास्तव में एक ही चीज़ हैं: कंप्यूटर ने अर्थ के "आकार" को थोड़ा गलत समझ लिया था। यह उनके आंतरिक "मिट्टी" स्थान में लक्ष्य से बस थोड़ा सा ही भटक गया था। यह छोटी सी गलती एक कार्य में छोटी और दूसरे में बड़ी लग सकती थी, लेकिन मूल कारण समान था।

सारांश

यह शोध पत्र शब्दों को एक-एक करके जोड़ने के बजाय भाषा के एक निरंतर "आकार" को गढ़कर भाषण को टेक्स्ट में बदलने का एक नया तरीका प्रस्तुत करता है। उन्होंने कंप्यूटर को सुनने के लिए मजबूर करके ऑडियो को अनदेखा करने की समस्या को हल किया। अंत में, उन्होंने खोजा कि चाहे कंप्यूटर एक छोटी सी टाइपो करे या एक बड़ी अनुवाद त्रुटि, यह अक्सर इसलिए होता है क्योंकि वह अपने आंतरिक मानसिक मानचित्र में "गलत पेड़" पर उतर गया है, बस थोड़े से अंतर के कारण।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →