⚡ electrical engineering

[b]=[d]-[t]+[p]: Self-supervised Speech Models Discover Phonological Vector Arithmetic

यह शोध पत्र प्रदर्शित करता है कि स्व-पर्यवेक्षित (self-supervised) स्पीच मॉडल भाषण को संरचनात्मक, ध्वन्यात्मक रूप से व्याख्या योग्य वेक्टर्स का उपयोग करके एनकोड करते हैं जो रैखिक अंकगणितीय संचालन की अनुमति देते हैं, जहाँ विशिष्ट फीचर वेक्टर्स (जैसे कि वॉइसिंग) को जोड़ने या स्केल करने से 96 भाषाओं में एक फोनम को दूसरे में व्यवस्थित रूप से परिवर्तित किया जा सकता है।

मूल लेखक: Kwanghee Choi, Eunjung Yeo, Cheol Jun Cho, David Harwath, David R. Mortensen

प्रकाशित 2026-03-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kwanghee Choi, Eunjung Yeo, Cheol Jun Cho, David Harwath, David R. Mortensen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, जादुई पुस्तकालय है जहाँ हर किताब मानव आवाज़ की एक रिकॉर्डिंग है। वर्षों से, हम जानते आए हैं कि कंप्यूटर इन किताबों को पढ़ सकते हैं और बोले गए शब्दों को समझ सकते हैं। लेकिन हमें वास्तव में यह नहीं पता था कि कंप्यूटर उन शब्दों के भीतर की ध्वनियों को कैसे समझता था।

यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ लेखक कंप्यूटर के "मस्तिष्क" को यह देखने के लिए खोलते हैं कि वह भाषण (speech) की ध्वनियों को कैसे व्यवस्थित करता है। उन्होंने कुछ अद्भुत खोजा: कंप्यूटर केवल ध्वनियों को याद नहीं करता; वह उन "सामग्रियों" (ingredients) को समझता है जिनसे भाषण बनता है, और वह उन्हें एक शेफ की तरह मिला और जोड़ सकता है।

यहाँ उनकी खोज का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:

1. "शब्द गणित" की खोज (The "Word Math" Discovery)

आपने शायद "Word2Vec" के बारे में सुना होगा, जो अतीत की एक प्रसिद्ध AI तकनीक थी। इसने दिखाया कि यदि आप शब्द "King" (राजा) लेते हैं, "Man" (पुरुष) को घटाते हैं, और "Woman" (महिला) को जोड़ते हैं, तो आपको "Queen" (रानी) प्राप्त होता है।

King - Man + Woman = Queen

लेखकों ने पूछा: क्या हम ऐसा ध्वनियों के साथ कर सकते हैं?
उन्होंने पाया कि हाँ, हम ऐसा कर सकते हैं! यदि आप [d] की ध्वनि लेते हैं, [t] की ध्वनि को घटाते हैं, तो आपको एक "Voicing Vector" मिलता है (एक गणितीय दिशा जो स्वर तंत्रियों के कंपन का प्रतिनिधित्व करती है)। यदि आप [p] की ध्वनि लेते हैं और उसमें वह "Voicing Vector" जोड़ते हैं, तो आपको जादुई रूप से [b] प्राप्त होता है।

[d] - [t] + [p] = [b]

यह समझने जैसा है कि एक "कोमल" ध्वनि और एक "कठोर" ध्वनि के बीच का अंतर केवल "कंपन" की एक विशिष्ट मात्रा है जिसे आप जोड़ या हटा सकते हैं।

2. "स्विच" के बजाय "डायल" (The "Dial" Instead of a "Switch")

इससे पहले, हम सोचते थे कि कंप्यूटर ध्वनियों को लाइट स्विच की तरह मानते हैं: एक ध्वनि या तो "voiced" (चालू/गूंजती हुई) है या "unvoiced" (बंद/बिना गूंज वाली) है।

पुराना दृष्टिकोण: एक लाइट स्विच या तो ON होता है या OFF।
नई खोज: कंप्यूटर ध्वनियों को एक डिमर स्विच (dimmer switch) की तरह मानता है।

लेखकों ने पाया कि वे एक "डायल" (एक संख्या जिसे $\lambda$ कहा जाता है) को घुमाकर यह नियंत्रित कर सकते हैं कि किसी विशेषता (feature) की कितनी मात्रा मौजूद है।

यदि वे "Voicing Dial" को थोड़ा ऊपर करते हैं, तो ध्वनि थोड़ी अधिक गूंजने वाली (buzzy) हो जाती है।
यदि वे इसे बहुत ऊपर करते हैं, तो यह बहुत अधिक गूंजने वाली हो जाती है।
यदि वे इसे नीचे करते हैं, तो यह एक फुसफुसाहट बन जाती है।

इसका अर्थ है कि कंप्यूटर समझता है कि भाषण केवल काला या सफेद नहीं है; यह रंगों के इंद्रधनुष की तरह है। आप बिना किसी ग्लिच या रोबोटिक आवाज़ के, "p" की ध्वनि से "b" की ध्वनि में सहजता से बदलाव कर सकते हैं।

3. ध्वनियों के लिए "यूनिवर्सल ट्रांसलेटर" (The "Universal Translator" for Sounds)

टीम ने इसका परीक्षण 96 विभिन्न भाषाओं पर किया, जिनमें कई ऐसी भाषाएँ भी शामिल थीं जिन्हें कंप्यूटर ने पहले कभी नहीं सुना था।

उपमा: कल्पना कीजिए कि आप एक बच्चे को केवल अंग्रेजी व्यंजनों (recipes) का उपयोग करके केक बनाना सिखा रहे हैं। आप उम्मीद करेंगे कि यदि आप उससे जापानी केक बनाने के लिए कहेंगे, तो वह असफल हो जाएगा।
परिणाम: लेकिन इस कंप्यूटर ने, जो केवल अंग्रेजी पर प्रशिक्षित था, बेकिंग के "सार्वभौमिक नियमों" (phonology) को समझ लिया। जब उन्होंने इसे उस स्वर (vowel) पर "राउंडिंग" (गोल करने का) नियम लागू करने के लिए कहा जो अंग्रेजी में मौजूद भी नहीं है, तो इसने इसे पूरी तरह से किया। इसने अंग्रेजी के विशिष्ट शब्दों को नहीं, बल्कि होंठों को गोल करने की "अवधारणा" (concept) को समझा।

4. उन्होंने यह कैसे किया (जादुई ट्रिक) (How They Did It)

इसे सिद्ध करने के लिए, उन्होंने एक "रिवर्स इंजन" बनाया।

उन्होंने एक ध्वनि ली, उसे कंप्यूटर कोड (वेक्टर) में बदला।
उन्होंने उस कोड में थोड़ा सा "Voicing Math" जोड़ा।
उन्होंने उस संशोधित कोड को एक सिंथेसाइज़र (synthesizer) में डाला ताकि उसे वापस ध्वनि में बदला जा सके।
परिणाम: नई ध्वनि वास्तव में अलग सुनाई दी! यदि उन्होंने "Voicing" जोड़ा, तो ध्वनि अधिक गूंजने वाली हो गई। यदि उन्होंने "Nasality" (नाक की ध्वनि) जोड़ी, तो यह एक गुनगुनाहट की तरह सुनाई देने लगी।

यह क्यों महत्वपूर्ण है?

यह दो कारणों से एक बड़ी बात है:

बेहतर AI: यह हमें बेहतर वॉयस असिस्टेंट और स्पीच-टू-टेक्स्ट टूल्स बनाने में मदद करता है जो केवल शब्दों को ही नहीं, बल्कि भाषा की संरचना को समझते हैं।
भाषा विज्ञान (Linguistics): यह सिद्ध करता है कि मानव भाषण इन तार्किक, गणितीय निर्माण खंडों (building blocks) पर बना है। तथ्य यह है कि एक कंप्यूटर ने यह सब अपने आप सीख लिया (बिना व्याकरण के नियम सिखाए), यह सुझाव देता है कि ये "सामग्रियाँ" (ingredients) मौलिक हैं कि मनुष्य कैसे बोलते हैं।

संक्षेप में: लेखकों ने पाया कि AI मॉडलों ने मानव भाषण के लिए एक गुप्त "रेसिपी बुक" खोज ली है। वे एक ध्वनि के "स्वाद" को ले सकते हैं, उसे घटा सकते हैं, और किसी अन्य ध्वनि में जोड़कर एक नई ध्वनि बना सकते हैं, और वे यहाँ तक भी कर सकते हैं कि उस "स्वाद" के वॉल्यूम को सुचारू रूप से ऊपर या नीचे कर सकें। यह यह खोजने जैसा है कि ध्वनि का ब्रह्मांड लेगो (Lego) ब्रिक्स से बना है जिन्हें किसी भी संयोजन में एक साथ जोड़ा जा सकता है।

यहाँ शोध पत्र "Self-supervised Speech Models Discover Phonological Vector Arithmetic" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि wav2vec 2.0, HuBERT और WavLM जैसे सेल्फ-सुपरवाइज्ड स्पीच मॉडल्स (S3Ms) ने डाउनस्ट्रीम कार्यों (ASR, सिंथेसिस) में अत्याधुनिक प्रदर्शन प्रदर्शित किया है, लेकिन उनके आंतरिक प्रतिनिधित्व (representations) की संरचना एक "ब्लैक बॉक्स" बनी हुई है।

अंतराल (The Gap): पिछले शोधों ने यह स्थापित किया है कि S3Ms ध्वन्यात्मक समानता (acoustic similarity) को एनकोड करते हैं और ध्वन्यात्मक इकाइयों (phonetic units) को क्लस्टर करते हैं। हालाँकि, यह स्पष्ट नहीं है कि क्या ये मॉडल वर्ड एम्बेडिंग्स (जैसे, king - man + woman ≈ queen) के समान संयोजनकारी (compositional) संरचनाओं को सीखते हैं।
प्रश्न (The Question): क्या S3Ms ध्वन्यात्मक विशेषताओं (जैसे, voicing, place of articulation) को रैखिक वेक्टर्स (linear vectors) के रूप में दर्शाते हैं जिन्हें स्पीच गुणों को नियंत्रित करने के लिए अंकगणितीय रूप से हेरफेर (manipulate) किया जा सकता है? इसके अलावा, क्या इन वेक्टर्स का परिमाण (magnitude) निरंतर (continuous) है (एक विशेषता की डिग्री को दर्शाने के लिए) या बाइनरी (binary)?

2. कार्यप्रणाली (Methodology)

लेखकों ने दो डेटासेट्स: TIMIT (अंग्रेजी) और VoxAngeles (बहुभाषी, 95 भाषाएँ) का उपयोग करते हुए 96 भाषाओं पर एक व्यापक अध्ययन किया। उन्होंने तीन प्रमुख S3Ms (wav2vec 2.0, HuBERT, WavLM) का मूल्यांकन किया और उनकी तुलना स्पेक्ट्रल बेसलाइन्स (MFCC, MelSpec) से की।

कार्यप्रणाली में दो मुख्य प्रयोग शामिल हैं:

प्रयोग 1: ध्वन्यात्मक वेक्टर्स की दिशा (Analogies)

परिकल्पना (Hypothesis): ध्वन्यात्मक विशेषताएँ रैखिक रूप से प्रतिनिधित्व करती हैं, जिससे वेक्टर एनालॉजी संभव है: $r_{p1} - r_{p2} \approx r_{p3} - r_{p4}$ ।
निर्माण (Construction):
- प्रत्येक फोन के लिए 21 पृथक ध्वन्यात्मक विशेषताओं (जैसे, voicing, nasality, place of articulation) को निकालने के लिए PanPhon का उपयोग किया गया।
- फोन के ऐसे क्वाड्रुप्लेट्स $(p_1, p_2, p_3, p_4)$ बनाए गए जहाँ $p_1$ और $p_2$ के बीच का फीचर अंतर $p_3$ और $p_4$ के बीच के अंतर के बराबर है।
- उदाहरण: $[b] - [p] \approx [d] - [t]$ (दोनों ही voicing में परिवर्तन को दर्शाते हैं)।
मूल्यांकन (Evaluation):
- सफलता दर (Success Rate) की गणना की गई: उन क्वाड्रुप्लेट्स का अनुपात जहाँ लक्ष्य ( $r_{p1}$ ) की पुनर्गठित वेक्टर ( $r_{p2} + r_{p3} - r_{p4}$ ) के साथ कोसाइन समानता (cosine similarity) रैंडम फोन्स की तुलना में अधिक लेकिन अलग उच्चारणों के समान फोन की तुलना में कम है।
- S3Ms और स्पेक्ट्रल बेसलाइन्स के बीच लेयर-वार प्रदर्शन की तुलना की गई।

प्रयोग 2: ध्वन्यात्मक वेक्टर्स का स्केल (Controllability)

परिकल्पना (Hypothesis): एक ध्वन्यात्मक वेक्टर पर लगाया गया स्केलर परिमाण ( $\lambda$ ) उस विशेषता के ध्वनिक कार्यान्वयन (acoustic realization) की निरंतर डिग्री के अनुरूप होता है।
प्रक्रिया (Process):
1. वेक्टर निष्कर्षण (Vector Extraction): ध्वन्यात्मक वेक्टर्स ( $v_i$ ) की गणना फोन के औसत प्रतिनिधित्व के अंतर के रूप में की गई जिनमें एक विशेषता है और जिनमें वह विशेषता नहीं है (उदाहरण के लिए, $v_{voicing} = E[r_{voiced}] - E[r_{unvoiced}]$ )।
2. संशोधन (Modification): एक लक्षित फोन के S3M प्रतिनिधित्व $R$ को एक स्केल्ड वेक्टर जोड़कर संशोधित किया गया: $\tilde{R} = R + \lambda \cdot v_i$ ।
3. पुनः संश्लेषण (Resynthesis): S3M प्रतिनिधित्वों को वापस ऑडियो में बदलने के लिए एक Vocos-आधारित वॉकोडर ( $f^{-1}$ ) को प्रशिक्षित किया गया।
4. विश्लेषण (Analysis): विभिन्न $\lambda$ (इंटरपोलेशन और एक्सट्रपलेशन) के लिए पुन: संश्लेषित ऑडियो का विश्लेषण किया गया और ध्वनिक सहसंबंधों (जैसे, फॉर्मेंट्स (Formants) - ऊंचाई/बैकनेस के लिए, सेंटर ऑफ ग्रेविटी (Center of Gravity) - voicing/स्ट्रिडेंसी के लिए) को मापा गया।
5. मेट्रिक (Metric): वेक्टर स्केल $\lambda$ और ध्वनिक मापों के बीच स्पियरमैन रैंक कोरिलेशन ( $\rho$ ) की गणना की गई।

3. मुख्य योगदान (Key Contributions)

ध्वन्यात्मक वेक्टर अंकगणित की खोज (Discovery of Phonological Vector Arithmetic): यह शोध पत्र इस बात का पहला बड़े पैमाने पर प्रमाण प्रदान करता है कि S3Ms ध्वन्यात्मक विशेषताओं को रैखिक, संयोजनकारी वेक्टर्स के रूप में एनकोड करते हैं। एनालॉजी जैसे $[b] - [p] + [d] \approx [t]$ 19 ध्वन्यात्मक विशेषताओं और 96 भाषाओं में लगातार बनी रहती है।
निरंतर विशेषता प्रतिनिधित्व (Continuous Feature Representation): पारंपरिक बाइनरी ध्वन्यात्मक सिद्धांतों के विपरीत, यह अध्ययन प्रदर्शित करता है कि S3Ms विशेषताओं को निरंतर दिशाओं (continuous directions) के रूप में एनकोड करते हैं। वेक्टर को स्केल करना ( $\lambda$ ) ध्वनिक गुणों में एक सहज, मोनोटोनिक परिवर्तन लाता है (जैसे, केवल ऑन/ऑफ स्विच के बजाय धीरे-धीरे voicing को बढ़ाना)।
क्रॉस-लिंगुअल सामान्यीकरण (Cross-Lingual Generalization): यह घटना उन फोन्स के लिए भी बनी रहती है जो प्रशिक्षण के दौरान नहीं देखे गए थे (जैसे, गैर-अंग्रेजी फोन्स के लिए उपयोग किए गए अंग्रेजी-ओनली मॉडल्स), जो यह सुझाव देता है कि मॉडल ध्वनिक नियमितताओं से सार्वभौमिक ध्वन्यात्मक संरचनाओं को सीखते हैं।
लेयर-वार अंतर्दृष्टि (Layer-wise Insights): अध्ययन यह प्रकट करता है कि विभिन्न ध्वन्यात्मक विशेषताएँ नेटवर्क की अलग-अलग गहराइयों पर उभरती हैं। स्वर (Vowels - जो टेम्पोरली लोकलाइज्ड हैं) शुरुआती/मध्यम परतों में चरम पर होते हैं, जबकि व्यंजन (Consonants - जिन्हें व्यापक संदर्भ की आवश्यकता होती है) गहरी परतों में चरम पर होते हैं, और अंतिम परत इन प्रतिनिधित्वों को एकीकृत करती है।

4. मुख्य परिणाम (Key Results)

सफलता दर (Success Rates):
- S3Ms बनाम स्पेक्ट्रल (S3Ms vs. Spectral): S3Ms स्पेक्ट्रल बेसलाइन्स से काफी बेहतर प्रदर्शन करते हैं। WavLM ने TIMIT पर 94% और VoxAngeles पर अंतिम परत के लिए 93% सफलता दर प्राप्त की। MFCCs ने केवल ~19% प्राप्त किया, और MelSpecs लगभग 0% के करीब रहे।
- लेयर डेप्थ (Layer Depth): प्रदर्शन आम तौर पर गहरी परतों में सुधरता है, हालांकि wav2vec 2.0 मध्य परतों में चरम पर होता है, जबकि HuBERT और WavLM अंतिम परत पर चरम पर होते हैं।
ध्वनिक सहसंबंध (Acoustic Correlation - Scale):
- वेक्टर स्केल $\lambda$ और ध्वनिक मापों के बीच मजबूत सहसंबंध पाए गए। उदाहरण के लिए, 'voicing vector' के स्केल को बढ़ाने से सेंटर ऑफ ग्रेविटी (COG) में कमी आई, जो बढ़ती हुई voicing को दर्शाता है।
- एक्सट्रपलेशन (Extrapolation): मॉडल $\lambda > 1$ (एक्सट्रपलेशन) के लिए भी व्याख्या योग्य रहे, जिससे ध्वनिक रूप से वैध लेकिन अतिरंजित (exaggerated) विशेषताएं उत्पन्न हुईं (जैसे, नेगेटिव वॉइस ऑनसेट टाइम)।
गुणात्मक परिवर्तन (Qualitative Changes): पुन: संश्लेषित ऑडियो के स्पेक्ट्रोग्राम ने सुसंगत परिवर्तन दिखाए। उदाहरण के लिए, अनराउंडेड स्वर [i] पर "राउंडिंग" वेक्टर लागू करने से सभी फॉर्मेंट्स नीचे गिर गए, जिससे प्रभावी रूप से एक राउंडेड स्वर का संश्लेषण हुआ, भले ही अंग्रेजी में फ्रंट राउंडेड स्वर मौजूद न हों।

5. महत्व और निहितार्थ (Significance and Implications)

स्पीच प्रोसेसिंग के लिए (For Speech Processing):
- व्याख्यात्मकता (Interpretability): S3M प्रतिनिधित्वों को "स्टीयर" (steer) करने का एक तरीका प्रदान करता है, जो मॉडल के आंतरिक भाग को समझने और डीबग करने का एक नया तरीका है।
- नियंत्रणीय संश्लेषण (Controllable Synthesis): यह बिना किसी स्पष्ट ध्वन्यात्मक पर्यवेक्षण (phonological supervision) के स्पीच सिंथेसिस पर सूक्ष्म, व्याख्यात्मक नियंत्रण सक्षम बनाता है। कोई भी विशिष्ट ध्वन्यात्मक आयामों को संशोधित कर सकता है (जैसे, "इसे और अधिक नैज़ल (nasal) बनाएं") बस वेक्टर स्केल को समायोजित करके।
भाषा विज्ञान के लिए (For Linguistics):
- निरंतरता का प्रमाण (Evidence for Continuity): यह इस भाषाई परिकल्पना का समर्थन करता है कि ध्वन्यात्मक विशेषताएँ सख्त बाइनरी श्रेणियों के बजाय स्केलर और निरंतर हो सकती हैं।
- उभरती संरचना (Emergent Structure): यह प्रदर्शित करता है कि जटिल ध्वन्यात्मक संरचनाएं शुद्ध रूप से कच्चे ऑडियो पर सेल्फ-सुपरवाइज्ड लर्निंग से उभर सकती हैं, बिना मानव-लेबल वाले ध्वन्यात्मक डेटा के।
सीमाएँ (Limitations): अध्ययन एक विशिष्ट फीचर सेट (PanPhon) और एक एकल वॉकोडर आर्किटेक्चर पर निर्भर करता है। संश्लेषण की गुणवत्ता भी वॉकोडर की क्षमताओं द्वारा सीमित है, न कि केवल S3M द्वारा।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि सेल्फ-सुपरवाइज्ड स्पीच मॉडल्स केवल ध्वनियाँ याद नहीं करते, बल्कि एक संरचित, रैखिक और निरंतर ज्यामितीय स्थान सीखते हैं जहाँ ध्वन्यात्मक नियमों को वेक्टर अंकगणित के माध्यम से हेरफेर किया जा सकता है, जो डीप लर्निंग प्रतिनिधित्व और भाषाई सिद्धांत के बीच के अंतर को पाटता है।