⚡ electrical engineering

Whisfusion: Parallel ASR Decoding with Masked Diffusion

विस्फ्यूजन (Whisfusion) एक समानांतर मास्क किया हुआ डिफ्यूजन डिकोडर पेश करता है जिसे फ्रोजन विस्पर-लार्ज-v3 (Whisper-large-v3) एम्बेडिंग्स पर प्रशिक्षित किया गया है, जो अत्याधुनिक बहुभाषी एएसआर (ASR) सटीकता प्राप्त करता है और साथ ही इन्फरेंस स्पीड में ऑटोरेग्रेसिव बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Taeyoun Kwon, Junhyuk Ahn, Taegeun Yun, Heeju Jwa, Yoonchae Choi, Siwon Park, Jongchan Kim, Hyungon Ryu, Hyuk-Jae Lee, Nam-Joon Kim

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taeyoun Kwon, Junhyuk Ahn, Taegeun Yun, Heeju Jwa, Yoonchae Choi, Siwon Park, Jongchan Kim, Hyungon Ryu, Hyuk-Jae Lee, Nam-Joon Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ Whisfusion पेपर का एक स्पष्टीकरण दिया गया है, जिसे सरल भाषा और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।

समस्या: "धीमा पाठक" बनाम "तेज़ नज़र डालने वाला"

कल्पना कीजिए कि आप एक भाषण को टेक्स्ट में लिख रहे हैं।

पुराना तरीका (Autoregressive/AR): इसे एक बहुत ही सावधान, धीमे पाठक की तरह समझें जो एक समय में एक शब्द करके वाक्य लिखता है। वह "The" लिखता है, फिर सोचने के लिए रुकता है, फिर "cat" लिखता है, फिर रुकता है, फिर "sat" लिखता है। वह अगला शब्द नहीं लिख सकता जब तक कि वह वर्तमान शब्द को पूरा न कर ले। यदि वाक्य लंबा है, तो इसमें बहुत समय लगता है। अधिकांश उच्च-गुणवत्ता वाले स्पीच-टू-टेक्स्ट सिस्टम (जैसे प्रसिद्ध Whisper) इसी तरह काम करते हैं। वे सटीक हैं लेकिन धीमे हैं क्योंकि उन्हें अगला शब्द शुरू करने से पहले प्रत्येक शब्द के समाप्त होने का इंतज़ार करना पड़ता है।
तेज़ तरीका (Non-Autoregressive/CTC): एक तेज़ नज़र डालने वाले की कल्पना करें जो पूरे वाक्य को एक साथ देखता है और सभी शब्दों का अनुमान एक साथ लगा लेता है। यह अविश्वसनीय रूप से तेज़ है। हालाँकि, क्योंकि वे पिछले शब्दों के संदर्भ की जाँच किए बिना सब कुछ एक साथ अनुमान लगा रहे हैं, वे अक्सर गलतियाँ करते हैं या निरर्थक (gibberish) शब्द पैदा करते हैं। वे तेज़ हैं, लेकिन बहुत सटीक नहीं हैं।

लक्ष्य: शोधकर्ता एक ऐसा सिस्टम बनाना चाहते थे जो सटीक भी हो (सावधान पाठक की तरह) और तेज़ भी (नज़र डालने वाले की तरह)।

समाधान: Whisfusion (द "डिनोइजिंग आर्टिस्ट")

लेखकों ने Whisfusion नामक एक नया सिस्टम बनाया है। शब्दों को एक-एक करके लिखने या एक साथ अनुमान लगाने के बजाय, वे Masked Diffusion नामक तकनीक का उपयोग करते हैं।

यह कैसे काम करता है, इसे "क्षतिग्रस्त पेंटिंग को बहाल करने" की उपमा से समझते हैं:

सेटअप: कल्पना कीजिए कि आपके पास एक सुंदर पेंटिंग (ऑडियो रिकॉर्डिंग) है और एक कैनवास है जिसमें पेंटिंग का एक खाली, मास्क किया हुआ संस्करण (वह टेक्स्ट जिसे आपको लिखना है) है।
प्रक्रिया: एक बार में एक ब्रशस्ट्रोक लगाने के बजाय, Whisfusion एक ही बार में पूरे खाली कैनवास को देखता है। यह हर एक शब्द के लिए एक साथ अनुमान लगाता है।
पुनरावृत्ति (Iteration): यह पहली कोशिश में परफेक्ट नहीं होता। इसलिए, यह एक कदम पीछे हटता है, अपने बिखरे हुए अनुमान को देखता है, और पूरी तस्वीर को फिर से "डिनोइज़" (साफ) करता है। यह पूरे वाक्य के लिए समानांतर (parallel) रूप से ऐसा करता है।
जादू: यह सफाई की प्रक्रिया को केवल कुछ ही बार दोहराता है (लग लगभग 3 स्टेप्स)। प्रत्येक स्टेप के साथ, टेक्स्ट अधिक स्पष्ट और सटीक होता जाता है, जिससे पूरा वाक्य शब्द-दर-शब्द के बजाय एक साथ सुधरता है।

उन्होंने इसे कैसे सफल बनाया

पेपर में तीन मुख्य "सीक्रेट सॉस" का विवरण दिया गया है जिन्होंने इसे काम करने के योग्य बनाया:

1. फ्रोजन ब्रेन (Whisper-large-v3)
उन्होंने सिस्टम को शून्य से ध्वनि समझने के लिए प्रशिक्षित नहीं किया। इसके बजाय, उन्होंने एक विशाल, प्री-ट्रेन्ड "दिमाग" (Whisper-large-v3) लिया जो ऑडियो समझने में पहले से ही विशेषज्ञ है, उसे फ्रीज कर दिया ताकि वह बदल न सके, और उसके साथ एक नया "हाथ" (डेकोडर) जोड़ दिया। यह नया हाथ सीखता है कि उस ऑडियो की समझ को ऊपर वर्णित "डिनोइजिंग" विधि का उपयोग करके टेक्स्ट में कैसे बदला जाए।

2. "हाई-मास्क" ट्रेनिंग (शून्य से अनुमान लगाना सीखना)
आमतौर पर, जब आप किसी मॉडल को क्षतिग्रस्त पेंटिंग ठीक करने के लिए प्रशिक्षित करते हैं, तो आप एक ऐसी पेंटिंग से शुरू कर सकते हैं जो केवल 10% ढकी हुई है। लेकिन असल जीवन में, Whisfusion एक ऐसे कैनवास से शुरू करता है जो 100% ढका हुआ (पूरी तरह से मास्क किया हुआ) है।

समाधान: शोधकर्ताओं ने मॉडल को विशेष रूप से "कठिन" उदाहरणों पर प्रशिक्षित किया जहाँ लगभग सारा टेक्स्ट छिपा हुआ था (हाई-मास्क)। इसने मॉडल को यह सीखने के लिए मजबूर किया कि जब उसके पास शुरू करने के लिए टेक्स्ट के बहुत कम संकेत हों, तब भी अच्छे अनुमान कैसे लगाए जाएं, जो कि वास्तविक जीवन में इसके उपयोग से बिल्कुल मेल खाता है।

3. "ग्रुप थिंक" रणनीति (पैरेलल डिफ्यूजन डिकोडिंग)
जब मॉडल अपने 3 सफाई स्टेप्स पूरे कर लेता है, तो वह केवल एक उत्तर नहीं चुनता। यह एक ही समय में ट्रांसक्रिप्ट के 5 अलग-अलग संस्करण तैयार करता है (जैसे 5 अलग-अलग लोगों से पहेली सुलझाने के लिए कहना)।

फिर, यह एक वोटिंग सिस्टम (जिसे MBR consensus कहा जाता है) का उपयोग करता है कि समूह किस बात पर सबसे अधिक सहमत है। यदि 5 में से 4 संस्करण "cat" कहते हैं, और एक "bat" कहता है, तो यह "cat" चुनता है। यह काम को बहुत धीमा किए बिना सटीकता को बढ़ाता है।

परिणाम: गति बनाम सटीकता

पेपर वर्तमान चैंपियन्स के साथ तुलना करता है:

Whisper-large-v3 (सावधान पाठक) के मुकाबले: Whisfusion 4 से 5 गुना तेज़ है और औसतन वास्तव में अधिक सटीक भी है।
Whisper-turbo (तेज़ संस्करण) के मुकाबले: Whisfusion तेज़ और अधिक सटीक है।
अन्य तेज़ सिस्टम के मुकाबले: यह सटीकता में अन्य "तेज़" सिस्टमों को बड़े अंतर से पछाड़ देता है।

मुख्य निष्कर्ष:
Whisfusion साबित करता है कि आपको गति और गुणवत्ता के बीच चुनाव करने की आवश्यकता नहीं है। "डिनोइजिंग" दृष्टिकोण का उपयोग करके जहाँ मॉडल समानांतर चरणों में पूरे वाक्य को परिष्कृत करता है, यह धीमे, सावधान पाठकों की सटीकता प्राप्त करता है, लेकिन तेज़ नज़र डालने वालों की गति से चलता है।

पेपर में बताई गई सीमाएँ

लंबाई: यह वर्तमान में 30 सेकंड तक के स्पीच क्लिप्स को संभाल सकता है। इसे अभी तक घंटों लंबे लेक्चर के लिए डिज़ाइन नहीं किया गया है।
सिलेक्शन बॉटलनेक: मॉडल वास्तव में उन उत्तरों को उत्पन्न करने में सक्षम है जो वर्तमान में चुने गए उत्तरों से भी बेहतर हो सकते हैं, लेकिन अंतिम उत्तर चुनने के लिए जो "वोटिंग" सिस्टम यह उपयोग करता है, उसे भविष्य में सुधारा जा सकता है।
दायरा: यह विशेष रूप से स्पीच को टेक्स्ट में ट्रांसक्राइब करने के लिए है, न कि सवालों के जवाब देने या बातचीत करने के लिए।

संक्षेप में, Whisfusion सुनने का एक नया तरीका है जो एक टीम के संपादकों की तरह काम करता है जो एक साथ ड्राफ्ट को रिफाइन करते हैं, न कि एक व्यक्ति के शब्द-दर-शब्द टाइप करने की तरह, जिसके परिणामस्वरूप एक ट्रांसक्रिप्ट मिलती है जो बिजली की तरह तेज़ और अत्यधिक सटीक होती है।

तकनीकी सारांश: व्हिसफ्यूजन (Whisfusion)

समस्या विवरण
ऑटोरेग्रेसिव (AR) एनकोडर-डिकोडर मॉडल, जैसे कि विस्पर (Whisper), कैनरी (Canary), और Qwen3-ASR, वर्तमान में उच्च गुणवत्ता वाले बहुभाषी ऑटोमैटिक स्पीच रिकग्निशन (ASR) पर प्रभुत्व रखते हैं। हालाँकि, उनकी लेफ्ट-टू-राइट डिकोडिंग प्रक्रिया एक संरचनात्मक विलंबता (latency) बाधा उत्पन्न करती है: अनुमान का समय ट्रांसक्रिप्ट की लंबाई के साथ रैखिक रूप से बढ़ता है क्योंकि डिकोडर को समान ऑडियो एम्बेडिंग्स पर बार-बार ध्यान (attend) देते हुए टोकन को क्रमिक रूप से ( $y_1, y_2, \dots, y_T$ ) जेनरेट करना पड़ता है।

नॉन-ऑटोरेग्रेसिव (NAR) विकल्प, मुख्य रूप से CTC-आधारित सिस्टम, फ्रेम-लेवल अलाइनमेंट को समानांतर (parallelize) करके इस बाधा से बचते हैं। हालाँकि, उनकी कंडीशनल इंडिपेंडेंस धारणाएं अक्सर ट्रांसक्रिप्ट-लेवल जेनेरेटिव मॉडलिंग का त्याग कर देती हैं, जिसके परिणामस्वरूप आधुनिक AR सिस्टम की तुलना में कम सटीकता प्राप्त होती है। रिफाइनमेंट-आधारित NAR विधियाँ (जैसे Mask-CTC) वन-शॉट CTC में सुधार करती हैं, लेकिन वे अभी भी अलाइनमेंट-व्युत्पन्न परिकल्पनाओं (hypotheses) तक ही सीमित रहती हैं। लेखक तर्क देते हैं कि मास्क किया गया डिफ्यूजन लैंग्वेज मॉडल (जैसे LLaDA, MDLM), जो एक मास्क किए गए अनुक्रम को समानांतर में पुन: शोर मुक्त (denoise) करता है, ASR के लिए एक आशाजनक NAR दृष्टिकोण प्रदान करते हैं, बशर्ते उन्हें AR सटीकता से मेल खाने के लिए मजबूत ऑडियो कंडीशनिंग के साथ जोड़ा जा सके।

कार्यप्रणाली: व्हिसफ्यूजन (Whisfusion)
लेखक व्हिसफ्यूजन का प्रस्ताव करते हैं, जो एक स्पीच-कंडीशन्ड मास्क डिफ्यूजन फ्रेमवर्क है जिसे लेफ्ट-टू-राइट टोकन जनरेशन को फिक्स्ड-स्टेप ट्रांसक्रिप्ट डिनोइजिंग से बदलने के लिए डिज़ाइन किया गया है।

आर्किटेक्चर: व्हिसफ्यूजन एक फ्रोजन Whisper-large-v3 एनकोडर का उपयोग करता है ताकि ऑडियो एम्बेडिंग्स बनाई जा सकें। इसके ऊपर एक नया, स्क्रैच से बनाया गया मास्क्ड डिफ्यूजन डिकोडर (24 लेयर्स, ~830M पैरामीटर्स) स्टैक किया गया है। डिकोडर एक आधुनिक LLaMA-स्टाइल स्टैक (RMSNorm, SwiGLU, RoPE) का उपयोग करता है जिसमें आंशिक रूप से मास्क किए गए ट्रांसक्रिप्ट पर बायडायरेक्शनल सेल्फ-अटेंशन और प्रत्येक ब्लॉक में फ्रोजन ऑडियो एम्बेडिंग्स पर क्रॉस-अटेंशन होता है।
प्रशिक्षण रणनीति (हाई-मास्क स्पेशलाइजेशन): प्रशिक्षण को अनुमान प्रक्षेपवक्र (inference trajectory) के साथ संरेखित करने के लिए (जो एक पूरी तरह से मास्क किए गए ट्रांसक्रिप्ट से शुरू होता है), लेखक दो-चरणीय प्रशिक्षण विधि का उपयोग करते हैं:
1. चरण 1: एक यूनिफॉर्म मास्क रेश्यो डिस्ट्रीब्यूशन ( $t \sim U(0, 1)$ ) के साथ मानक मास्क डिफ्यूजन ट्रेनिंग, ताकि सामान्य ऑडियो-कंडीशन्ड इनफिलिंग सिखाई जा सके।
2. चरण 2: एक विशिष्ट हाई-मास्क डिस्ट्रीब्यूशन ( $t \sim U(0.7, 1.0)$ ) के साथ फाइन-ट्यूनिंग। यह मॉडल को उस "पूरी तरह से मास्क किए गए" शासन (regime) में विशेषज्ञता हासिल करने के लिए मजबूर करता है जहाँ बहुत कम या कोई टेक्स्टुअल संदर्भ उपलब्ध नहीं होता, जिससे प्रारंभिक डिनोइजिंग स्टेप की गुणवत्ता में सुधार होता है।
डिकोडिंग (पैरेलल डिफ्यूजन डिकोडिंग - PDD): अनुमान की शुरुआत एक पूरी तरह से मास्क किए गए ट्रांसक्रिप्ट से होती है। डिकोडर निश्चित संख्या में डिनोइजिंग स्टेप्स (डिफ़ॉल्ट $N=3$ ) करता है। प्रत्येक स्टेप पर, सभी मास्क किए गए पदों (positions) को समानांतर में प्रेडिक्ट किया जाता है। महत्वपूर्ण रूप से, लेखक स्टेप्स के बीच कॉन्फिडेंस-आधारित चयन के बजाय रैंडम बर्नौली रीमास्किंग का उपयोग करते हैं। यह कॉन्फिडेंस-आधारित ह्यूरिस्टिक्स के कारण होने वाले 'ट्रेन-इन्फरेंस मिसमैच' से बचाता है और हाई-मास्क शासन में खराब कैलिब्रेटेड कॉन्फिडेंस की समस्याओं को कम करता है।
कैंडिडेट सिलेक्शन: PDD प्रक्रिया $K$ कैंडिडेट ट्रांसक्रिप्ट (डिफ़ॉल्ट $K=5$ ) जेनरेट करती है। अंतिम परिकल्पना का चयन मिनिमम बेयस रिस्क (MBR) कंसेंसस के माध्यम से किया जाता है, जो अन्य उम्मीदवारों के साथ पेयरवाइज एडिट डिस्टेंस के योग को न्यूनतम करने वाले उम्मीदवार को चुनता है। एक वैकल्पिक विस्पर लाइकलीहुड रेंकिंग स्टेप फ्रोजन एनकोडर के लाइकलीहुड स्कोर का उपयोग करके चयन को और अधिक परिष्कृत कर सकता है।

प्रमुख योगदान

व्हिसफ्यूजन मॉडल: एक स्पीच-कंडीशन्ड मास्क डिफ्यूजन ASR मॉडल का परिचय, जो क्रॉस-अटेंशन के माध्यम से फ्रोजन Whisper-large-v3 एम्बेडिंग्स में एक फ्रॉम-स्क्रैच नॉन-ऑटोरेग्रेसिव डिकोडर को ग्राउंड करता है।
प्रशिक्षण और डिकोडिंग रेसिपी: एक हाई-मास्क स्पेशलाइजेशन प्रशिक्षण रणनीति और एक पैरेलल डिफ्यूजन डिकोडिंग (PDD) पाइपलाइन का विकास जो रैंडम रीमास्किंग और MBR कंसेंसस का उपयोग करते हुए, प्रशिक्षण वितरण को पूरी तरह से मास्क किए गए इन्फरेंस स्टार्ट पॉइंट के साथ संरेखित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): इंग्लिश, यूरोपियन और CJK बेंचमार्क पर व्यापक मूल्यांकन प्रदर्शित करता है कि मास्क डिफ्यूजन आधुनिक AR सिस्टम के साथ प्रतिस्पर्धी सटीकता प्राप्त कर सकता है, जबकि समानांतर इन्फरेंस के उच्च थ्रूपुट लाभों को बनाए रखता है।

परिणाम
11 भाषाओं के लगभग 68k घंटों के स्पीच पर मूल्यांकन करते हुए, व्हिसफ्यूजन एक पारेटो-ऑप्टिमल स्पीड-एक्यूरेसी ट्रेड-ऑफ प्रदर्शित करता है:

सटीकता: व्हिसफ्यूजन इंग्लिश, यूरोपियन और CJK बेंचमार्क में ग्रुप-एवरेज एक्यूरेसी पर Whisper-large-v3 को पछाड़ता है। वैकल्पिक रेंकिंग के साथ, यह Canary-1b-v2 और Qwen3-ASR की सटीकता के करीब पहुँच जाता है।
- इंग्लिश: 6.55% WER (डिफ़ॉल्ट) बनाम Whisper-large-v3 के लिए 7.11%।
- यूरोपियन: 8.19% WER (डिफ़ॉल्ट) बनाम Whisper-large-v3 के लिए 9.27%।
- CJK: 11.08% CER (डिफ़ॉल्ट) बनाम Whisper-large-v3 के लिए 13.77%।
थ्रूपुट: व्हिसफ्यूजन Whisper-large-v3 की तुलना में 4–5× तेज़ और Canary तथा Qwen3-ASR की तुलना में 3–7× तेज़ चलता है।
- यह 173.45 का RTFx (डिफ़ॉल्ट) और 143.27 (रेंकिंग के साथ) प्राप्त करता है, जो सटीकता में Whisper-turbo (143.99) को पीछे छोड़ते हुए उसके थ्रूपुट के बराबर है।
NAR बेसलाइन्स के साथ तुलना: यह उच्च थ्रूपुट बनाए रखते हुए सटीकता में CTC-आधारित सिस्टम (OWSM-CTC, MMS-all) को काफी बेहतर प्रदर्शन करता है, और एकीकृत प्रोटोकॉल के तहत गति और सटीकता दोनों में अन्य डिफ्यूजन/फ्लो-आधारित बेसलाइन्स (Drax, Whisper-LLaDA) से आगे निकल जाता है।

महत्व और दावे
यह पेपर मास्क्ड डिफ्यूजन को उच्च-थ्रूपुट बहुभाषी ट्रांसक्रिप्शन के लिए एक पारेटो-प्रतिस्पर्धी प्रतिमान (paradigm) के रूप में स्थापित करता है। लेखक दावा करते हैं कि व्हिसफ्यूजन सफलतापूर्वक तेज़ अलाइनमेंट-आधारित डिकोडिंग (CTC) और उच्च-गुणवत्ता वाली ऑटोरेग्रेसिव डिकोडिंग के बीच पारंपरिक ट्रेड-ऑफ को तोड़ता है। बड़े पैमाने पर बहुभाषी प्रशिक्षण, हाई-मास्क स्पेशलाइजेशन और कंसेंसस-आधारित पैरेलल डिकोडिंग को जोड़कर, सिस्टम आधुनिक AR ASR के सटीकता क्षेत्र में प्रवेश करता है, जबकि NAR मॉडल्स के फिक्स्ड-स्टेप, पैरेलल इन्फरेंस लाभों को बरकरार रखता है।

सीमाएँ
लेखक तीन प्राथमिक सीमाओं को नोट करते हैं:

कॉन्टेक्स्ट विंडो: मॉडल फ्रोजन Whisper-large-v3 एनकोडर की 30-सेकंड की सीमा को विरासत में लेता है; लॉन्ग-फॉर्म या स्ट्रीमिंग ASR तक विस्तार करने के लिए अतिरिक्त चंकिंग रणनीतियों की आवश्यकता है।
कैंडिडेट सिलेक्शन: ओरकल विश्लेषण सुझाव देता है कि PDD उन हाइपोथीसिस को जेनरेट कर सकता है जो MBR या विस्पर रेंकिंग द्वारा चुने गए हैं उससे बेहतर हैं, जो सीखे गए रेंकर या रिस्क ऑप्टिमाइजेशन में सुधार की गुंजाइश को दर्शाता है।
दायरा: प्रयोग ट्रांसक्रिप्शन कार्यों तक सीमित हैं और ऑडियो क्वेश्चन अनस्वर्सिंग या इंस्ट्रक्शन फॉलोइंग जैसी व्यापक स्पीच-लैंग्वेज क्षमताओं का मूल्यांकन नहीं करते हैं।

समस्या: "धीमा पाठक" बनाम "तेज़ नज़र डालने वाला"

समाधान: Whisfusion (द "डिनोइजिंग आर्टिस्ट")

उन्होंने इसे कैसे सफल बनाया

परिणाम: गति बनाम सटीकता

पेपर में बताई गई सीमाएँ

इसी तरह के और पेपर