DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation

कल्पना कीजिए कि आप एक हलचल भरी पार्टी में हैं जहाँ हर कोई एक साथ बात कर रहा है। आपका मस्तिष्क एक सुपर-पावर्ड फ़िल्टर की तरह है जो आपके दोस्त की आवाज़ पर ध्यान केंद्रित कर सकता है और कांच के टकराने की आवाज़ या संगीत के बेस को अनदेखा कर सकता है। इसे "स्पीच सेपरेशन" (speech separation) कहा जाता है। अब, कल्पना कीजिए कि आप एक रोबोट या कंप्यूटर प्रोग्राम के लिए यह करने की कोशिश कर रहे हैं। यदि कंप्यूटर के पास केवल कान हैं, तो जब दो लोग एक साथ बोलते हैं, तो वह भ्रमित हो जाता है। लेकिन अगर कंप्यूटर के पास आँखें भी हों, तो वह यह पता लगाने के लिए देख सकता है कि कौन बोल रहा है जिसके होंठ हिल रहे हैं। यह "ऑडियो-विजुअल स्पीच एनहांसमेंट" (audio-visual speech enhancement) है। यह थोड़ा वैसा ही है जैसे एक जासूस माइक्रोफ़ोन और कैमरे दोनों का उपयोग करके एक रहस्य को सुलझाने की कोशिश करता है। हालाँकि, वास्तविक जीवन अव्यवस्थित होता है। कैमरे धुंधले हो सकते हैं, लोग फ्रेम से बाहर जा सकते हैं, या लाइटिंग बहुत खराब हो सकती है। यदि कंप्यूटर एक हिलते हुए कैमरे पर बहुत अधिक निर्भर करता है, तो वह गलत व्यक्ति की आवाज़ चुन सकता है। बड़ा सवाल जो शोधकर्ता हल करने की कोशिश कर रहे हैं: हम एक ऐसा सिस्टम कैसे बनाएं जो कैमरे का उपयोग मदद के लिए करे, लेकिन कैमरा विफल होने पर पूरी तरह से ध्वस्त न हो जाए?

मिलिए DAVE से, एक नया फ्रेमवर्क जिसे शोधकर्ता वेई झोउ (Wei Zhou) और उनकी टीम ने बनाया है। DAVE को एक स्मार्ट, दो-चरणीय जासूसी एजेंसी के रूप में समझें जो सबूत धुंधले होने पर घबराने से इनकार कर देती है।

"ऑल-इन-वन" जासूसों के साथ समस्या

इस समस्या के पिछले अधिकांश प्रयास एक ऐसे जासूस की तरह थे जिसने ऑडियो सुनने के दौरान अपनी आँखें कैमरा स्क्रीन पर चिपका ली थीं। उन्होंने वीडियो और ऑडियो को शुरुआत से ही आपस में मिला दिया था। यदि वीडियो धुंधला था या व्यक्ति का चेहरा छिपा हुआ था, तो पूरा सिस्टम भ्रमित हो जाता था और गलत अनुमान लगाने लगता था। यह धुंधले चश्मे पहनकर पहेली सुलझाने जैसा था; आप चश्मे का जितना अधिक उपयोग करने की कोशिश करते, तस्वीर उतनी ही खराब होती जाती।

लेखकों का तर्क है कि यह "जुड़े हुए" दृष्टिकोण जोखिम भरा है। वास्तविक दुनिया में, विजुअल सिग्नल अक्सर खराब हो जाते हैं। ऑडियो को ठीक करने के लिए खराब वीडियो का उपयोग करने के बजाय, DAVE एक अलग रास्ता अपनाता है: यह दोनों को डिकपल (decouple) यानी अलग करता है। यह "ऑडियो को साफ करने" के काम को "कौन बोल रहा है यह पता लगाने" के काम से अलग कर देता है।

चरण 1: एक बेहतर ट्रेनिंग जिम बनाना (DAVE-Corpus)

इससे पहले कि एक जासूस वास्तविक अपराध सुलझा सके, उसे अभ्यास करने की आवश्यकता होती है। समस्या यह है कि इन कंप्यूटरों को प्रशिक्षित करने के लिए वास्तविक, शोर-शराबे वाली मीटिंग्स की पर्याप्त रिकॉर्डिंग उपलब्ध नहीं हैं। अधिकांश प्रशिक्षण डेटा बहुत साफ और सटीक होता है, जैसे कि एक रिकॉर्डिंग स्टूडियो, जो AI को शोर भरी कैफेटेरिया के लिए तैयार नहीं करता है।

इसे ठीक करने के लिए, टीम ने DAVE-Corpus बनाया, जो 219,411 अलग-अलग ऑडियो मिश्रणों वाला एक विशाल ट्रेनिंग जिम है। उन्होंने केवल नई मीटिंग्स रिकॉर्ड नहीं कीं; उन्होंने मौजूदा सार्वजनिक मीटिंग रिकॉर्डिंग को एक चतुर "कॉम्बिनेटोरियल" (combinatorial) पद्धति का उपयोग करके रीमिक्स किया। कल्पना कीजिए कि आप हजारों अलग-अलग वॉयस क्लिप्स को एक डिजिटल ब्लेंडर में लेकर उन्हें बेतरतीब ढंग से मिला रहे हैं, और उसमें वास्तविक प्रतिध्वनि (जैसे बड़े हॉल में बात करना) और बैकग्राउंड नॉइज़ जोड़ रहे हैं। उन्होंने यह भी सुनिश्चित किया कि आवाजें अलग-अलग वक्ताओं को पहचानने के लिए पर्याप्त भिन्न हों। इस विशाल डेटासेट ने AI को बिना किसी परफेक्ट वीडियो फीड के, वास्तविक दुनिया की आवाज़ों को संभालने का प्रशिक्षण दिया।

चरण 2: दो-ट्रैक सिस्टम

DAVE काम को दो अलग-अलग टीमों में विभाजित करता है जो एक-दूसरे में हस्तक्षेप नहीं करती हैं:

1. ऑडियो-ओनली क्लीनर (The Audio-Only Cleaner): इस टीम का एकमात्र काम शोर को लेकर उसे दो साफ स्पीच स्ट्रीम में अलग करना है। वे वीडियो की ओर बिल्कुल नहीं देखते। उन्हें एक "प्रोग्रेसिव मल्टी-ऑब्जेक्टिव" रणनीति का उपयोग करके प्रशिक्षित किया गया है। इसका मतलब है कि उन्हें केवल इस आधार पर नहीं मापा जाता कि शोर कितना कम है, बल्कि इस आधार पर भी कि भाषण समझना कितना आसान है, वक्ता की अनूठी आवाज़ कितनी अच्छी तरह सुरक्षित है, और यह मानव कान के लिए कितना स्वाभाविक है।
2. विजुअल डिटेक्टिव (The Visual Detective): एक बार जब ऑडियो को दो गुमनाम स्ट्रीम में अलग कर दिया जाता है, तो यह टीम काम संभालती है। वे यह तय करने के लिए वीडियो देखते हैं कि कौन सी स्ट्रीम किस व्यक्ति की है। लेकिन यहाँ चतुराई यह है: वे केवल एक कैमरा व्यू पर भरोसा नहीं करते। वे चार अलग-अलग सुरागों के "वेटेड फ्यूजन" (weighted fusion) का उपयोग करते हैं:
   • वॉयसप्रिंट (Voiceprint): आवाज़ किसकी तरह लग रही है? (यह सबसे महत्वपूर्ण सुराग है)।
   • लिप-सिंक (Lip-Sync): क्या होंठ ध्वनि के साथ तालमेल बिठा रहे हैं?
   • सिंकनेट (SyncNet): ऑडियो-विजुअल मिलान के लिए एक विशेष जांच।
   • कीपॉइंट्स (Keypoints): चेहरे के धुंधले होने पर भी मुंह की गति को ट्रैक करना।

यदि वीडियो खराब है (धुंधला या बाधित), तो सिस्टम वॉयसप्रिंट पर अधिक निर्भर रहता है। यदि वीडियो स्पष्ट है, तो यह चारों सुरागों का उपयोग करता है। इस तरह, यदि कैमरा विफल हो जाता है, तो सिस्टम क्रैश नहीं होता; यह बस उस ऑडियो पर अधिक निर्भर हो जाता है जिसे इसने पहले ही साफ कर लिया है।

चरण 3: "सर्टिफाइड" सेफ्टी नेट

अंतिम ट्रिक वह है जिसे लेखक "सर्टिफाइड सिलेक्टिव एनहांसमेंट" (certified selective enhancement) कहते हैं। कल्पना कीजिए कि आपके पास एक नियम है: "हम ऑडियो को केवल तभी छू सकते हैं जब हमें पूरा विश्वास हो कि हम आधिकारिक स्कोर को खराब नहीं कर रहे हैं।"

वास्तविक दुनिया में, कभी-कभी हमारे पास तुलना करने के लिए "परफेक्ट रेफरेंस" नहीं होता (जैसे कि वक्ता को कैसा सुनाई देना चाहिए इसकी रिकॉर्डिंग)। उन मामलों में, DAVE अतिरिक्त सफाई कदम लागू करता है, जैसे कि GAN (एक प्रकार का AI जो वास्तविक ध्वनियाँ उत्पन्न करना सीखता है) का उपयोग करके बैकग्राउंड नॉइज़ को हटाना और वॉल्यूम को एडजस्ट करना। हालाँकि, उन परीक्षणों के लिए जहाँ हमारे पास एक परफेक्ट रेफरेंस है, वे इन अतिरिक्त चरणों को नहीं लगाते हैं। यह गारंटी देता है कि सिस्टम गलती से "आधिकारिक" स्कोर को खराब नहीं करता है। यह एक सुरक्षा प्रोटोकॉल है जो सुनिश्चित करता है कि AI केवल वहीं जोखिम ले जहाँ उसे अनुमति है।

परिणाम

जब टीम ने "रियल-वर्ल्ड ऑडियो-विजुअल स्पीच एनहांसमेंट चैलेंज" में DAVE का परीक्षण किया, तो परिणाम प्रभावशाली थे।

• ट्रैक 1 (वास्तविक दुनिया के मिश्रित परिदृश्य) में, DAVE ने आधिकारिक बेसलाइन को बड़े अंतर से पीछे छोड़ दिया, जिससे सिग्नल-टू-नॉइज़ रेशियो 16 dB से अधिक सुधर गया और स्पीच समझने की त्रुटि दर (CER) 1.025 से घटकर 0.171 रह गई।
• ट्रैक 2 (जहाँ वीडियो को जानबूझकर ब्लर और मिसिंग फ्रेम्स के साथ खराब किया गया था) में, DAVE मजबूत बना रहा। खराब वीडियो के बावजूद, इसने 8.93 dB का सिग्नल क्वालिटी और 0.220 की कम एरर रेट हासिल की।

मुख्य बात यह है कि "क्लीनिंग" को "पहचानने" से अलग करके, और एक विशाल, यथार्थवादी डेटासेट पर प्रशिक्षित होकर, DAVE ने साबित कर दिया कि बेहतरीन ऑडियो पाने के लिए आपको परफेक्ट वीडियो की आवश्यकता नहीं है। यह एक ऐसा सिस्टम है जो जानता है कि कब अपनी आँखों पर और कब अपने कानों पर भरोसा करना है, जो इसे सहायक श्रवण (assistive listening) या मानव-कंप्यूटर इंटरेक्शन जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए एक बहुत अधिक विश्वसनीय साथी बनाता है।