तकनीकी सारांश: एंड-टू-एंड ऑडियो मॉडल्स में फ्रीक्वेंसी रिप्रजेंटेशन पर स्ट्रक्चरल बॉटलनेक्स (संरचनात्मक बाधाएं)

समस्या विवरण (Problem Statement)

एंड-टू-एंड न्यूरल ऑडियो मॉडल्स (जैसे, EnCodec, DAC, Stable Audio) संपीड़न (compression) और जनरेशन में अत्याधुनिक प्रदर्शन प्राप्त करते हैं, जिससे अक्सर यह धारणा बन जाती है कि वे पिच (pitch) और टिम्बर (timbre) जैसे व्याख्या योग्य (interpretable) फीचर्स को सीधे एनकोड करते हैं। हालांकि, व्याख्यात्मकता (interpretability) से संबंधित अध्ययन इन फीचर्स को सीखे गए रिप्रजेंटेशन्स से रिकवर करने में काफी हद तक विफल रहे हैं। यह शोध पत्र तर्क देता है कि मजबूत प्रदर्शन बिना सीधे व्याख्या योग्य टाइम-फ्रीक्वेंसी प्रिमिटिव्स (time-frequency primitives) तक पहुंच के भी मौजूद हो सकता है। लेखक प्रस्ताव देते हैं कि स्ट्राइडेड कन्वोल्यूशनल एनकोडर्स दो विशिष्ट संरचनात्मक बाधाएं (structural bottlenecks) थोपते हैं जो उन फ्रीक्वेंसी-लोकलाइज्ड प्रिमिटिव्स (narrowband oscillations) तक पहुंच को बाधित करते हैं जो मानव-अर्थपूर्ण ऑडियो फीचर्स का आधार हैं। ये बाधाएं फीचर्स को आपस में उलझा (entangle) देती हैं, जिससे वे स्वतंत्र हेरफेर (independent manipulation) के लिए अप्राप्य हो जाते हैं, भले ही सिग्नल की जानकारी सैद्धांत的に लेटेंट स्पेस के भीतर संरक्षित हो।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा (Theoretical Framework)

लेखक एनकोडर को एक मैपिंग $E: x(t) \to z \in \mathbb{R}^d$ के रूप में मॉडल करते हैं जो स्ट्राइडेड कन्वोल्यूशन के माध्यम से टाइम-डोमेन इनपुट्स को लेटेंट्स में कंप्रेस करता है। वे दो विशिष्ट विफलता मोड का विश्लेषण करते हैं:

1. इन्जेक्टिविटी विफलता (Injectivity Failure - एलियासिंग कोलैप्स):

   • मैकेनिज्म: डाउनसैंपलिंग ऑपरेशन्स एलियासिंग (aliasing) उत्पन्न करते हैं, जिससे अलग-अलग इनपुट फ्रीक्वेंसी $f_i$ एक ही लेटेंट फ्रीक्वेंसी $f_i \mod f_s$ (जहाँ $f_s$ प्रभावी लेटेंट सैंपलिंग रेट है) पर मैप हो जाती हैं।
   • सिद्धांत: पिजनहोल सिद्धांत (pigeonhole principle) का उपयोग करते हुए, लेखक स्ट्राइड शेड्यूल और सिग्नल फ्रीक्वेंसी के बीच अंकगणितीय संबंध के आधार पर इंजेक्टिवली रिप्रेजेंट करने योग्य घटकों ($q$) की संख्या पर एक विश्लेषणात्मक सीमा (analytical bound) प्राप्त करते हैं। यदि इनपुट घटकों की संख्या $n > q$ है, तो विशिष्ट घटक अविभाज्य प्रॉक्सी घटकों में समाहित (collapse) हो जाते हैं।
   • भविकीवाणी: यह कोलैप्स पूरी तरह से आर्किटेक्चर (स्ट्राइड शेड्यूल) और सिग्नल स्ट्रक्चर से अनुमानित है, जो सीखे गए वेट्स (weights) से स्वतंत्र है।

2. सेपरेबिलिटी विफलता (Separability Failure - रेजोल्यूशन लिमिट):

   • मैकेनिज्म: भले ही घटक एलियासिंग से बच जाएं, लेकिन यदि फिल्टर्स का बैंडविड्थ बहुत अधिक चौड़ा है, तो वे अनसेपरेबल (अविभाज्य) रह सकते हैं।
   • सिद्धांत: एनकोडर का संचयी रिसेप्टिव फील्ड ($R$) अनिश्चितता सिद्धांत (uncertainty principle) के आधार पर फ्रीक्वेंसी रेजोल्यूशन ($\Delta f = f_s / R$) पर एक कठोर ऊपरी सीमा निर्धारित करता है।
   • भविकीवाणी: एक हल्का स्ट्रक्चरल मॉडल, कर्नेल ज्योमेट्री (साइज, डिलेशन, स्ट्राइड) के आधार पर सीखे गए फिल्टर्स के न्यूनतम संभावित बैंडविडथ का अनुमान लगा सकता है, बिना वेट्स तक पहुंचे। लेखक परिकल्पना करते हैं कि सीखे गए फिल्टर्स उनके सैद्धांतिक सीमा से काफी ऊपर काम करते हैं।

अनुभवजन्य सत्यापन (Empirical Validation)

• डेटासेट्स: ज्ञात सेंटर फ्रीक्वेंसी वाले नैरोबैंड घटकों से बने नियंत्रित सिंथेटिक सिग्नल्स का उपयोग ग्राउंड-ट्रुथ कोलैप्स को मापने के लिए किया गया। प्रयोग तीन अत्याधुनिक मॉडल्स (EnCodec, DAC, और Stable Audio) पर 643 सिग्नल कॉन्फ़िगरेशन को कवर करते हुए किए गए।
• मेट्रिक्स:
  • कोलैप्स रेट (Collapse Rate): साझा प्रॉक्सी में मैप होने वाले इनपुट घटकों का अंश।
  • सेपरेबिलिटी रेशियो (Separability Ratio): घटक स्पेसिंग और सीखे गए फिल्टर बैंडविड्थ के बीच का अनुपात ($\rho = \Delta c / B$)।
  • फिल्टर बैंडविड्थ (Filter Bandwidth): अंतिम कन्वोल्यूशनल लेयर के फ्रीक्वेंसी रिस्पॉन्स के स्पेक्ट्रल विश्लेषण के माध्यम से मापा गया।

हस्तक्षेप: गैबोर लेटेंट रीफैक्टरइजेशन (Gabor Latent Refactorization - GLRF)

सेपरेबिलिटी (लेकिन इंजेक्टिविटी नहीं) को संबोधित करने के लिए, लेखक GLRF का प्रस्ताव करते हैं, जो एक हल्का, पोस्ट-हॉक हस्तक्षेप है जिसके लिए एनकोडर को फिर से प्रशिक्षित करने की आवश्यकता नहीं है:

1. डिकंपोजिशन (Decomposition): एनकोडर लेटेंट्स को एक फिक्स्ड गैबोर फिल्टरबैंक के माध्यम से पास किया जाता है, जिसे सैद्धांतिक रेजोल्यूशन बाउंड ($\Delta f = f_s / R$) से मेल खाने के लिए पैरामीटराइज किया गया है। यह लेटेंट्स को फ्रीक्वेंसी-लोकलाइज्ड बेसिस में पुन: व्यक्त करता है।
2. रिकंस्ट्रक्शन (Reconstruction): मूल लेटेंट को गैबोर-डिकम्पोज्ड रिप्रजेंटेशन से पुनर्गठित करने के लिए क्लोज्ड-फॉर्म रिज रिग्रेशन ($z \approx M\tilde{z}$) के माध्यम से एक लीनियर मैपिंग $M$ सीखी जाती है।
3. कंट्रोल (Control): यह ट्रांसफॉर्मेशन विशिष्ट फ्रीक्वेंसी बिन्स (जैसे, एक पिच को दूसरी पिच से बदलना) के लक्षित हेरफेर की अनुमति देता है।

मुख्य परिणाम (Key Results)

1. स्ट्रक्चरल बॉटलनेक्स की भविष्यवाणात्मक सटीकता

• इंजेक्टिविटी: विश्लेषणात्मक रूप से अनुमानित कोलैप्स रेट सभी मॉडल्स और सिग्नल कॉन्फ़िगरेशन में $r \approx 0.99$ के साथ देखे गए दरों के साथ सह-संबंधित थे।
  • वास्तविक सिग्नल सेटिंग्स के लिए देखे गए कोलैप्स रेट 31% से 35% के बीच थे।
  • अध्ययन ने पुष्टि की कि अत्यधिक कॉम्पोजिट सैंपलिंग रेट्स (जैसे, 48 kHz) कम फैक्टर कॉम्प्लेक्सिटी वाले रेट्स (जैसे, 22.05 kHz या 44.1 kHz) की तुलना में काफी अधिक कोलैप्स पैदा करते हैं।
• सेपरेबिलिटी: सीखे गए फिल्टर्स सैद्धांतिक रिसेप्टिव फील्ड रेजोल्यूशन बाउंड से 9–35 गुना ऊपर संचालित हुए।
  • उदाहरण के लिए, DAC का सर्वश्रेष्ठ फिल्टर बैंडविड्थ सैद्धांतिक सीमा से 35× था, जबकि EnCodec का 10× था।
  • यह पुष्टि करता है कि हालांकि कन्वोल्यूशन को स्टैक करने से रेजोल्यूशन में सुधार होता है, एनकोडर्स अपने रिसेप्टिव फील्ड द्वारा अनुमत पूर्ण रेजोल्यूशन क्षमता का उपयोग करने में विफल रहते हैं।

2. GLRF की प्रभावशीलता

• रेजोल्यूशन रिकवरी: GLRF ने फिल्टर बैंडविड्थ को सैद्धांतिक बाउंड के 10–35× से घटाकर 1.5–3× कर दिया।
• फिडेलिटी (Fidelity): रिकंस्ट्रक्शन फिडेलिटी सुरक्षित रही, जिसमें लेटेंट कोसाइन सिमिलरिटी $\ge 0.97$ और लो लॉग-मेल एरर देखा गया।
• कंट्रोलेबिलिटी (Controllability):
  • लक्षित प्रतिस्थापन (Targeted Substitution): मूल लेटेंट स्पेस में, लक्षित फ्रीक्वेंसी प्रतिस्थापन केवल 30% मामलों में सफल रहा (कॉन्टेक्स्ट कंटैमिनेशन के कारण चांस से भी कम)। GLRF स्पेस में, सफलता दर 100% तक पहुँच गई।
  • लोकलाइजेशन (Localization): गैबोर स्पेस में, फ्रीक्वेंसी प्रतिस्थापन के लिए एनर्जी डेल्टा का 80% हिस्सा केवल 3 बिन्स में केंद्रित था, जबकि मूल लेटेंट में, परिवर्तन ~349 चैनल्स में वितरित था जिसमें कोई पहचान योग्य संरचना नहीं थी।
  • स्थिरता (Stability): मिक्सचर कॉन्टेक्स्ट के बीच सब्स्टीट्यूशन दिशाएं गैबोर स्पेस में सुसंगत थीं (मीन कोसाइन सिमिलरिटी 0.88), जबकि मूल लेटेंट दिशाएं काफी भिन्न थीं (0.61)।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि वर्तमान एंड-टू-एंड ऑडियो मॉडल्स में पिच और टिम्बर को नियंत्रित करने में असमर्थता केवल प्रशिक्षण की कमी नहीं है, बल्कि स्ट्राइडेड कन्वोल्यूशनल आर्किटेक्चर का एक अनुमानित संरचनात्मक परिणाम है।

• आर्किटेक्चरल डिटर्मिनिज्म (Architectural Determinism): फ्रीक्वेंसी प्रिमिटिव्स तक पहुँचने में विफलता स्ट्राइड शेड्यूल और कर्नेल ज्योमेट्री द्वारा निर्धारित होती है, जिससे इन सीमाओं का प्रशिक्षण से पहले ही विश्लेषण और भविष्यवाणी की जा सकती है।
• एंटैंगलमेंट बनाम अनुपस्थिति (Entanglement vs. Absence): मॉडल्स फ्रीक्वेंसी स्ट्रक्चर को "भूलते" नहीं हैं; बल्कि, वे इसे एक उलझे हुए, अप्राप्य रूप में संरक्षित करते हैं। फीचर्स मौजूद हैं लेकिन वे ऐसे बेसिस में नहीं हैं जो स्वतंत्र हेरफेर की अनुमति देता है।
• पोस्ट-हॉक रिकवरी (Post-Hoc Recovery): यह पेपर प्रदर्शित करता है कि बिना रिट्रेनिंग के महत्वपूर्ण रिप्रजेंटेशनल कंट्रोल को पुनः प्राप्त किया जा सकता है। GLRF एक प्रूफ-ऑफ-कांसेप्ट है कि लेटेंट्स को फ्रीक्वेंसी-लोकलाइज्ड बेसिस में पुन: व्यक्त करना एनकोडर के पैरामीटर स्पेस में पहले से मौजूद सिग्नल स्ट्रक्चर को "अनलॉक" कर सकता है।
• डिज़ाइन इम्प्लीकेशन्स (Design Implications): लेखक सुझाव देते हैं कि स्ट्राइड शेड्यूल डिज़ाइन रिप्रजेंटेशनल कैपेसिटी के लिए एक महत्वपूर्ण लीवर है। कम फैक्टर कॉम्प्लेक्सिटी वाले सैंपलिंग रेट्स चुनना एलियासिंग कोलैप्स को काफी कम कर सकता है, जो कि सीखा गया एंटी-एलियासिंग (anti-aliasing) पर निर्भर रहने के बजाय आर्किटेक्चरल डिज़ाइन चरण में लिया जाने वाला निर्णय होना चाहिए।

यह कार्य व्यापक मेकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) के क्षेत्र में स्थित है, जो तर्क देता है कि ऑडियो मॉडल्स के लिए, मौजूदा आर्किटेक्चर द्वारा प्रदान किया गया "रिप्रजेंटेशनल बजट" अक्सर इन विशिष्ट ज्यामितीय बाधाओं के कारण मानव-अर्थपूर्ण संरचना के लिए कम उपयोग किया जाता है।