VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

तकनीकी सारांश: VIB-AVSR

समस्या विवरण
ऑडियो-विजुअल स्पीच रिकग्निशन (AVSR) शोर वाले वातावरण में ध्वनिक संकेतों (acoustic signals) के पूरक के रूप में दृश्य संकेतों (होंठों की हलचल) का लाभ उठाता है। जबकि हाल के लार्ज लैंग्वेज मॉडल (LLM)-आधारित AVSR प्रतिमानों ने प्री-ट्रेंड ऑडियो-विजुअल एनकोडर को एक LLM बैकबोन से जोड़कर अत्याधुनिक प्रदर्शन हासिल किया है, वे शोर के प्रति मजबूती (noise robustness) के संबंध में महत्वपूर्ण सीमाओं को प्रदर्शित करते हैं। पारंपरिक एंड-टू-एंड मॉडलों के विपरीत, जो शून्य से प्रशिक्षित होते हैं, LLM-आधारित AVSR मॉडल एक ऐसे बैकबोन का उपयोग करते हैं जो विशेष रूप से केवल टेक्स्ट पर प्री-ट्रेंड है। परिणामस्वरूप, LLM पैरामीटर्स कभी भी शोर वाले ऑडियो-विजुअल स्पीच के संपर्क में नहीं आते हैं, और फाइन-ट्यूनिंग के दौरान केवल पैरामीटर्स का एक छोटा हिस्सा (LoRA के माध्यम से) अपडेट किया जाता है। इस आर्किटेक्चर में इनपुट ऑडियो के दूषित होने पर स्थिर प्रतिनिधित्व (representations) उत्पन्न करने के लिए एक स्पष्ट तंत्र का अभाव है, जिससे शोर वाली स्थितियों में प्रदर्शन काफी गिर जाता है। मौजूदा दृष्टिकोण अक्सर डेटा ऑग्मेंटेशन या एनकोडर-ओनली संशोधनों पर निर्भर करते हैं, जिससे LLM बैकबोन स्वयं ध्वनिक शोर द्वारा प्रेरित डोमेन शिफ्ट को संभालने के लिए अक्षम रह जाता है।

कार्यप्रणाली: VIB-AVSR
इसे संबोधित करने के लिए, लेखक VIB-AVSR प्रस्तावित करते हैं, एक फ्रेमवर्क जो सीधे LLM बैकबोन में वेरिएशनल इंफॉर्मेशन बॉटलनेक (VIB) परतों को एकीकृत करता है। मुख्य उद्देश्य मॉडल के आंतरिक प्रतिनिधित्व को नियमित (regularize) करना है ताकि वह शोर-प्रेरित भिन्नता (noise-induced variance) को त्याग सके और कार्य-प्रासंगिक जानकारी को बनाए रख सके।

• आर्किटेक्चर: यह सिस्टम Llama-AVSR फ्रेमवर्क पर आधारित है, जो प्री-ट्रेंड Whisper-medium (ऑडियो) और AV-Hubert (वीडियो) एनकोडर्स का उपयोग करता है, और उनके आउटपुट को Llama-3.2-1B बैकबोन में प्रोजेक्ट करता है। VIB मॉड्यूल को LLM के भीतर लक्षित ट्रांसफार्मर परतों में डाला गया है।
• VIB उद्देश्य: यह विधि विशेष रूप से ऑडियो हिडन स्टेट्स ($H_a$) पर इंफॉर्मेशन बॉटलनेक सिद्धांत लागू करती है। इसका उद्देश्य संपीड़ित प्रतिनिधित्व ($Z$) और ट्रांसक्रिप्शन लक्ष्य ($Y$) के बीच पारस्परिक सूचना (mutual information) को अधिकतम करना है, जबकि $Z$ और शोर वाले इनपुट ($H_a$) के बीच पारस्परिक सूचना को न्यूनतम करना है।
  • चयनात्मक अनुप्रयोग: बॉटलनेक केवल ऑडियो टोकन पर लागू किया जाता है। विजुअल ($H_v$) और टेक्स्ट ($H_t$) टोकन को अपरिवर्तित रखा जाता है, क्योंकि वे ध्वनिक शोर से दूषित नहीं होते हैं और आवश्यक पूरक संदर्भ प्रदान करते हैं।
  • वेरिएशनल फॉर्मूलेशन: चूंकि पारस्परिक सूचना का सीधे अनुमान लगाना कठिन है, इसलिए लेखक एक वेरिएशनल लोअर बाउंड का उपयोग करते हैं। पोस्टीरियर वितरण $p(Z|H_a)$ को एक टू-लेयर MLP (मीन और वेरिएंस की भविष्यवाणी करने वाला) द्वारा पैरामीटराइज किया गया है, और एक लर्नबल डायगोनल गौसियन एक प्रायर (prior) के रूप में कार्य करता है।
  • लॉस फंक्शन: प्रशिक्षण उद्देश्य मानक ऑटोरेग्रेसिव ट्रांसक्रिप्शन लाइकलीहुड के साथ एक KL-डाइवर्जेंस रेगुलाइजेशन टर्म को जोड़ता है, जिसे एक हाइपरपैरामीटर $\beta$ द्वारा भारित (weighted) किया जाता है।
• कार्यान्वयन विवरण:
  • इंटरपोलेशन: यह सुनिश्चित करने के लिए कि सैंपल किया गया प्रतिनिधित्व LLM के लिए बहुत अधिक 'लॉसी' (lossy) न हो जाए, बॉटलनेक आउटपुट ($\tilde{Z}$) को प्री-बॉटलनेक प्रतिनिधित्व ($H_a$) के साथ एक गुणांक $\alpha$ (0.5 निर्धारित) का उपयोग करके इंटरपोलेट किया जाता है: $\hat{Z} = \alpha H_a + (1-\alpha)\tilde{Z}$।
  • इन्फरेंस (Inference): इन्फरेंस के दौरान, रीपैरामिटराइजेशन ट्रिक को बायपास कर दिया जाता है, और केवल पोस्टीर का मीन (mean) उपयोग किया जाता है।
  • प्रशिक्षण: LLM और वीडियो एनकोडर को LoRA का उपयोग करके फाइन-ट्यून किया जाता है, जबकि ऑडियो एनकोडर फ्रीज रहता है। VIB मॉड्यूल को LoRA एडेप्टर के साथ संयुक्त रूप से प्रशिक्षित किया जाता है।

प्रमुख योगदान

1. नया फ्रेमवर्क: VIB-AVSR का परिचय, जो एक हल्का (lightweight) तरीका है जो बिना किसी आर्किटेक्चरल रीडिज़ाइन या अतिरिक्त प्रशिक्षण डेटा के, प्रतिनिधित्व स्तर पर शोर के प्रति मजबूती में सुधार करने के लिए LLM बैकबोन में VIB परतें डालता है।
2. सामान्यीकरण (Generalization): यह प्रदर्शन करना कि वेरिएशनल कंप्रेशन शोर वाली स्थितियों में सामान्यीकरण को बढ़ावा देता है, भले ही मॉडल को क्लीन डेटा पर प्रशिक्षित किया गया हो, जो यह सुझाव देता है कि यह तंत्र साधारण डेटा ऑग्मेंटेशन से अलग है।
3. अनुभवजन्य विश्लेषण (Empirical Analysis): व्यापक एब्लेशन अध्ययन जो इष्टतम कॉन्फ़िगरेशन की पहचान करते हैं: ट्रांसफार्मर लेयर्स 4 और 8 में VIB लेयर्स को डालना, जिसमें रेगुलाइजेशन स्ट्रेंथ $\beta = 0.1/H$ और इंटरपोलेशन गुणांक $\alpha = 0.5$ है।
4. प्रदर्शन लाभ: कई प्रकार के शोर (babble, speech) और SNR स्तरों पर Llama-AVSR बेसलाइन के मुकाबले WER में कमी प्राप्त करना, जिसमें अत्यधिक शोर की स्थिति में लाभ और अधिक बढ़ जाते हैं।

प्रायोगिक परिणाम
लेखकों ने LRS2 डेटासेट पर "Noisy" (प्रशिक्षण के दौरान शोर जोड़ा गया) और "Clean" (प्रशिक्षण के दौरान कोई शोर नहीं) प्रतिमानों के तहत VIB-AVSR का मूल्यांकन किया।

• Noisy Training: VIB-AVSR ने बेसलाइन की तुलना में लगातार WER को कम किया, जिसमें सबसे महत्वपूर्ण सुधार कम SNR (जैसे, -10 dB) और बैबल (babble) शोर के तहत देखे गए। विशेष रूप से, इसने शोर-मुक्त मूल्यांकन ($\infty$) में भी बेसलाइन से बेहतर प्रदर्शन किया, जो 'न्यूसेंस वेरिएबिलिटी' के खिलाफ प्रभावी रेगुलाइजेशन को दर्शाता है।
• Clean Training: बिना शोर ऑग्मेंटेशन के भी, जब शोर वाले डेटा पर परीक्षण किया गया, तो VIB-AVSR ने पर्याप्त WER कमी प्रदर्शित की। यह सुझाव देता है कि बॉटलनेक मॉडल को ऐसे प्रतिनिधित्व सीखने के लिए मजबूर करता है जो अनदेखे शोर के प्रति स्वाभाविक रूप से मजबूत होते हैं।
• एब्लेशन निष्कर्ष:
  • प्लेसमेंट (Placement): लेयर्स 4 और 8 के ड्यूल कॉन्फ़िगरेशन ने सिंगल या ट्रिपल बॉटलनेक सेटअप की तुलना में बेहतर प्रदर्शन किया। बॉटलनेक को बहुत जल्दी (एनकोडर आउटपुट पर) या बहुत देर से रखने से प्रभाव कम रहा।
  • हाइपरपैरामीटर्स: $\beta = 0.1$ ने सबसे अच्छा संतुलन प्रदान किया; उच्च मान ($\beta=1$) अत्यधिक कंप्रेशन और प्रदर्शन गिरावट का कारण बने। एक इंटरपोलेशन गुणांक $\alpha=0.5$ महत्वपूर्ण था, क्योंकि $\alpha=0$ (पूर्ण प्रतिस्थापन) सेट करने से सबसे खराब प्रदर्शन हुआ।

महत्व और दावे
पेपर का दावा है कि VIB-AVSR सीधे LLM के आंतरिक प्रतिनिधित्व को नियमित करके शोर के प्रति मजबूती के लिए एक सिद्धांत आधारित दृष्टिकोण प्रदान करता है, जो एक ऐसी कमजोरी को संबोधित करता है जिसे पिछले कार्यों ने काफी हद तक अनदेखा कर दिया था। यह पद्धति महत्वपूर्ण है क्योंकि यह बिना किसी आर्किटेक्चरल ओवरहाल या विशाल शोर वाले डेटासेट की आवश्यकता के मजबूती प्राप्त करती है, जो इसे मौजूदा LLM-आधारित AVSR पाइपलाइनों के लिए एक व्यावहारिक जुड़ाव बनाती है। परिणाम बताते हैं कि वेरिएशनल कंप्रेशन एक शक्तिशाली रेगुलराइज़र के रूप में कार्य कर सकता है, जो क्लीन डेटा पर प्रशिक्षित मॉडलों को शोर वाले वातावरण में प्रभावी ढंग से सामान्यीकरण करने में सक्षम बनाता है, जिससे क्लीन और नॉइजी स्थितियों के बीच प्रदर्शन के अंतर को कम किया जा सकता है।