🤖 AI

RIVET: Robust Idempotent Voice Attribute Editing

यह शोधपत्र RIVET को प्रस्तुत करता है, जो एक प्रशिक्षण ढांचा (training framework) है जो शोर वाले या असंगत लेबल एनोटेशन के विरुद्ध वॉइस एट्रिब्यूट एडिटिंग मॉडल्स की मजबूती को बढ़ाने के लिए इडेम्पोटेंसी (idempotency) को एक अंतर्निहित रेगुलराइज़र के रूप में उपयोग करता है, जिससे एडिटिंग की सफलता और स्पीकर आइडेंटिटी के संरक्षण में सुधार होता है।

मूल लेखक: Dareen Alharthi, Bhuvan Koduru, Rita Singh, Bhiksha Raj

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dareen Alharthi, Bhuvan Koduru, Rita Singh, Bhiksha Raj

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई फोटो एडिटर है जो किसी व्यक्ति की उम्र या लिंग बदल सकता है। आप उसे कहते हैं, "इस व्यक्ति को 20 साल बड़ा दिखाओ," और वह ऐसा कर देता है। लेकिन यहाँ एक पेंच है: यदि आप गलती से उसे फिर से "इसे 20 साल बड़ा बनाओ" कहते हैं, और फिर से, तो व्यक्ति एक कार्टून चरित्र या पूरी तरह से अलग व्यक्ति जैसा दिखने लग सकता है। इस प्रक्रिया में उसकी मूल पहचान खो जाती है।

अब, कल्पना कीजिए कि इस एडिटर का निर्देश मैनुअल (instruction manual) गलतियों (typos) से भरा हुआ है। कभी-कभी यह कहता है "उन्हें बूढ़ा बनाओ" जबकि इसे "उन्हें छोटा बनाओ" कहना चाहिए था। यदि एडिटर इन अव्यवस्थित निर्देशों से सीखता है, तो वह भ्रमित हो जाता है और अजीब गलतियाँ करने लगता है।

यही वह समस्या है जिसे RIVET पेपर हल करने की कोशिश करता है, लेकिन आवाज़ (voice) के लिए।

समस्या: शोर वाले निर्देश (Noisy Instructions)

शोधकर्ता एक ऐसा सिस्टम बनाना चाहते थे जो किसी वक्ता की आवाज़ को बदल सके (जैसे, एक युवा आवाज़ को बूढ़ी आवाज़ में बदलना, या पुरुष की आवाज़ को महिला की आवाज़ में बदलना) बिना उस व्यक्ति की पहचान बदले।

हालाँकि, कंप्यूटर को सिखाने के लिए उपयोग किए गए वॉयस रिकॉर्डिंग के विशाल डेटाबेस बहुत अव्यवस्थित थे। लेबल (वे "निर्देश" जो कंप्यूटर को बताते हैं कि आवाज़ पुरुष/महिला या युवा/बूढ़ी है) अक्सर गलत, असंगत या अन्य कंप्यूटरों द्वारा अनुमानित होते थे। जब एक छात्र एक ऐसे शिक्षक से सीखता है जो गलत उत्तर देता है, तो छात्र भ्रमित हो जाता है। इसी तरह, वॉयस-एडिटिंग AI गलत संबंध सीखने लगा, जिससे अस्थिर परिणाम मिलने लगे जहाँ आवाज़ मूल वक्ता की पहचान से दूर होने लगी।

समाधान: "इडम्पोटेंट" (Idempotent) नियम

लेखकों ने इडम्पोटेंसी (idempotency) नामक एक अवधारणा पेश की। सरल शब्दों में, यह एक फैंसी तरीका है यह कहने का: "इसे दोबारा करने से परिणाम नहीं बदलना चाहिए।"

इसे एक थर्मोस्टेट की तरह समझें:

यदि कमरा 70°F है और आप थर्मोस्टेट को 70°F पर सेट करते हैं, तो कुछ नहीं होता है।
यदि आप इसे फिर से 70°F पर सेट करते हैं, तो यह अभी भी कुछ नहीं करता है।
सिस्टम स्थिर है। यह अपने लक्ष्य तक पहुँच गया है और वहीं रहता है।

वॉयस एडिटिंग की दुनिया में, शोधकर्ताओं ने AI को यह नियम सिखाना चाहा: "यदि आप एक आवाज़ को 'बूढ़ा' दिखाने के लिए बदलते हैं, और फिर आप उसे 'बूढ़ा' बनाने की कोशिश करते हैं, तो आवाज़ बिल्कुल वैसी ही रहनी चाहिए। यह 'और अधिक बूढ़ी' नहीं होनी चाहिए या किसी अलग व्यक्ति जैसी नहीं लगनी चाहिए।"

RIVET कैसे काम करता है

उन्होंने RIVET (Robust Idempotent Voice Attribute Editing) नामक एक ट्रेनिंग फ्रेमवर्क बनाया। यह कैसे काम करता है, इसके लिए एक सरल उपमा (analogy) का उपयोग करते हैं:

कल्पना कीजिए कि AI एक अनुवादक है जो "आवाज़" और "पहचान" बोलता है।

संपादन (The Edit): AI एक आवाज़ लेता है और उसे एक नए "आयु" या "लिंग" में अनुवाद करने की कोशिश करता है।
जाँच (The Check): आगे बढ़ने से पहले, AI को उस नई आवाज़ को फिर से सिस्टम के माध्यम से चलाना होता है।
नियम (The Rule): यदि दूसरा रन आवाज़ को थोड़ा भी बदल देता है, तो AI को पता चल जाता है कि उसने गलती की है। उसे वापस जाना होगा और तब तक सीखना होगा जब तक कि दूसरे रन के बाद आवाज़ पूरी तरह से स्थिर न हो जाए।

यह एक सुरक्षा जाल (safety net) की तरह कार्य करता है। भले ही प्रशिक्षण के निर्देश (लेबल) अव्यवस्थित या गलत हों, "स्थिरता का नियम" AI को एक ठोस, विश्वसनीय तरीका खोजने के लिए मजबूर करता है। यह AI को निर्देश मैनुअल की गलतियों को रटने से रोकता है।

उन्होंने क्या पाया

शोधकर्ताओं ने दो बड़े वॉयस डेटासेट्स पर RIVET का परीक्षण किया (एक जिसमें स्वाभाविक रूप से गलत लेबल थे और एक जहाँ उन्होंने जानबूझकर गलतियाँ जोड़ी थीं)।

बेहतर स्थिरता: जब उन्होंने AI को आवाज़ संपादित करने और फिर से संपादित करने के लिए कहा, तो RIVET मॉडल मानक मॉडलों की तुलना में वक्ता की मूल पहचान को बहुत बेहतर तरीके से बनाए रखता है। मानक मॉडल भटकने लगते थे और अलग लोगों जैसे लगने लगते थे; RIVET मूल वक्ता के प्रति सच्चा रहा।
गलतियों को संभालना: भले ही प्रशिक्षण डेटा बहुत शोर वाला (noisy) था (जहाँ 60% तक लेबल गलत थे), RIVET अच्छी तरह से काम करता रहा। यह खराब निर्देशों से अन्य मॉडलों की तुलना में बहुत कम भ्रमित हुआ।
मानवीय स्वीकृति: जब वास्तविक लोगों ने संपादित आवाज़ों को सुना, तो उन्होंने पाया कि RIVET ने वक्ता को पहचानने योग्य रखते हुए वास्तव में आयु या लिंग को बदलने में बेहतर काम किया।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर दिखाता है कि AI को एक सरल नियम सिखाकर—"संपादन को दोबारा करने से कुछ भी नहीं बदलना चाहिए"—आप इसे बहुत अधिक मजबूत और विश्वसनीय बना सकते हैं, भले ही वह डेटा जिससे वह सीख रहा है, अव्यवस्थित हो। यह एक छात्र को अपना काम दोबारा चेक करने के लिए सिखाने जैसा है ताकि भले ही पाठ्यपुस्तक में त्रुटियां हों, वे फिर भी सही उत्तर पा सकें।

लेखकों ने अपने कोड को ऑनलाइन उपलब्ध कराया है, और वे नोट करते हैं कि हालांकि उन्होंने इसका परीक्षण आयु और लिंग पर किया है, यह "स्थिरता नियम" भविष्य में अन्य वॉयस परिवर्तनों में भी मदद कर सकता है।

तकनीकी सारांश: RIVET – सुदृढ़ इडेम्पोटेंट (Idempotent) वॉयस एट्रिब्यूट एडिटिंग

1. समस्या विवरण

वॉयस एट्रिब्यूट एडिटिंग मॉडल भाषण की विशिष्ट विशेषताओं (जैसे आयु, लिंग, लहजा) को संशोधित करने का लक्ष्य रखते हैं, जबकि वक्ता की पहचान और भाषाई सामग्री को सुरक्षित रखा जाता है। हालांकि हाल के जनरेटिव मॉडलों ने कंडीशनल सिंथेसिस और डिसेंटैंगल्ड रिप्रेजेंटेशन के माध्यम से इस क्षेत्र में प्रगति की है, वे प्रशिक्षण के दौरान उपयोग किए जाने वाले एट्रिब्यूट लेबल की गुणवत्ता पर अत्यधिक निर्भर हैं।

बड़े पैमाने के स्पीच डेटासेट्स में, एट्रिब्यूट एनोटेशन अक्सर शोर युक्त (noisy), असंगत, उलटे (flipped), या मैन्युअल रूप से सत्यापित होने के बजाय स्वचालित रूप से अनुमानित होते हैं। जब ऐसे शोर युक्त सुपरविजन के साथ डीप जनरेटिव मॉडल्स को प्रशिक्षित किया जाता है, तो वे एट्रिब्यूट्स और ध्वनिक पैटर्न (acoustic patterns) के बीच गलत जुड़ाव सीख सकते हैं। इससे निम्नलिखित समस्याएं होती हैं:

डिग्रेडेड कंडीशनल जनरेशन क्वालिटी।
स्प्यूरियस कोरिलेशन (spurious correlations) का मेमोराइजेशन।
अस्थिर एडिटिंग व्यवहार, जहाँ बार-बार या उलटे किए गए बदलावों के कारण "आइडेंटिटी ड्रिफ्ट" (वक्ता की पहचान बदल जाना) या वक्ता की पहचान और लक्षित एट्रिब्यूट के बीच एंटैंगलमेंट (entanglement) होता है।

वर्तमान विधियों में अक्सर लेबल नॉइज़ के प्रभाव को कम करने के लिए तंत्र की कमी होती है, जिसके परिणामस्वरूप इनपुट एट्रिब्यूट्स से एडिटेड आउटपुट तक अस्थिर मैपिंग होती है।

2. कार्यप्रणाली: RIVET फ्रेमवर्क

लेखक RIVET (Robust Idempotent Voice Attribute Editing) का प्रस्ताव करते हैं, जो इडेम्पोटेंसी (idempotency) को लागू करके लेबल नॉइज़ के प्रति मजबूती (robustness) में सुधार करने के लिए डिज़ाइन किया गया एक प्रशिक्षण फ्रेमवर्क है।

मुख्य अवधारणा: इडेम्पोटेंसी (Idemopotency)

एक ऑपरेटर $f$ इडेम्पोटेंट है यदि बार-बार अनुप्रयोग करने से परिणाम नहीं बदलता है: $f(f(x)) = f(x)$ । वॉयस एडिटिंग के संदर्भ में, इसका तात्पर्य यह है कि यदि किसी एट्रिब्यूट को लक्षित अवस्था (target state) में संपादित किया जाता है, तो उस संपादन को दोबारा लागू करने से भाषण में और परिवर्तन नहीं होना चाहिए। इसके विपरीत, यदि संपादित भाषण को मूल अवस्था में वापस लाया जाता है, तो रिप्रेजेंटेशन मूल अन-एडिटेड रूप में वापस आ जाना चाहिए। यह गुण एक अंतर्निहित रेगुलराइज़र (regularizer) के रूप में कार्य करता है, जो बार-बार जनरेशन के दौरान "ड्रिफ्ट" को कम करके गलत लेबल वाले उदाहरणों के प्रति संवेदनशीलता को कम करता है।

आर्किटेक्चर

RIVET एक कंडीशनल वॉयस एडिटिंग आर्किटेक्चर पर आधारित है जो VoiceShop के समान है, लेकिन इसमें एक विशिष्ट प्रशिक्षण रणनीति पेश की गई है। सिस्टम के तीन मुख्य घटक हैं:

स्पीकर एनकोडर: एक ECAPA-TDNN मॉडल जो पहचान (identity) का प्रतिनिधित्व करने वाला एक फिक्स्ड-लेंथ स्पीकर एम्बेडिंग ( $e$ ) निकालता है।
कंडीशनल नॉर्मलाइजिंग फ्लो: एक फ्लो-आधारित मॉडल जो लक्षित एट्रिब्यूट कंडीशंस (जैसे आयु, लिंग) के आधार पर स्पीकर एम्बेडिंग को रूपांतरित करता है ताकि एक एडिटेड लेटेंट रिप्रेजेंटेशन ( $z_g$ ) प्राप्त हो सके।
स्पीच जनरेटर: एक VITS-आधारित मॉडल जो एडिटेड लेटेंट रिप्रेजेंटेशन और कंडीशनिंग के रूप में मूल स्पीकर एम्बेडिंग का उपयोग करके अंतिम स्पीच सिग्नल को सिंथेसाइज करता है।

प्रशिक्षण उद्देश्य (Training Objective)

उन पिछले दृष्टिकोणों के विपरीत जो एडिटिंग मॉड्यूल और स्पीकर एम्बेडिंग्स को अलग-अलग प्रशिक्षित कर सकते हैं, RIVET सभी घटकों को एक एंड-टू-एंड फ्रेमवर्क में संयुक्त रूप से प्रशिक्षित करता है। कुल लॉस फंक्शन ( $L_{total}$ ) मानक जनरेटिव लॉस के साथ एक नए इडेम्पोटेंसी रेगुलराइज़र को जोड़ता है:

$L_{total} = L_{VITS} + \lambda_f L_{flow} + \lambda_a L_{age} + \lambda_g L_{gender} + \lambda_i L_{idemp}$

जहाँ:

$L_{VITS}$ : मानक एडवरसैरियल, फीचर मैचिंग, मेल रिकंस्ट्रक्शन, KL डाइवर्जेंस और ड्यूरेशन लॉस।
$L_{flow}$ : नॉर्मलाइजिंग फ्लो के लिए मैक्सिमम लाइकलीहुड ऑब्जेक्टिव।
$L_{age}, L_{gender}$ : स्पीकर एनकोडर के लिए एट्रिब्यूट क्लासिफिकेशन लॉस।
$L_{idemp}$ : इडेम्पोटेंसी लॉस।

इडेम्पोटेंसी लॉस मैकेनिज्म:
फ्रेमवर्क एनकोडेड रिप्रेजेंटेशन में निरंतरता (consistency) लागू करता है। मॉडल द्वारा स्पीच को एडिट करने और उसे रिकंस्ट्रक्ट करने के बाद, आउटपुट को पुन: एनकोड किया जाता है। इडेम्पोटेंसी लॉस मूल लेटेंट रिप्रेजेंटेशन ( $z$ ) और रिकंस्ट्रक्टेड स्पीच के पुन: एनकोड किए गए रिप्रेजेंटेशन ( $z_{re}$ ) के बीच के अंतर को दंडित (penalize) करता है:
$L_{idemp} = \mathbb{E}_{x \sim p_X} [\| \text{sg}(z) - z_{re} \|_2^2]$
यहाँ, $\text{sg}(\cdot)$ एक स्टॉप-ग्रेडिएंट ऑपरेटर है। यह सुनिश्चित करता है कि मूल लेटेंट $z$ एक स्थिर लक्ष्य के रूप में कार्य करे, जिससे एनकोडर और डिकोडर शाखाओं के बीच ट्रिवियल को-एडैप्टेशन को रोका जा सके और मॉडल को एट्रिब्यूट-कंडीशन्ड मैनिफोल्ड पर स्थिर बिंदुओं पर मैप करने के लिए प्रोत्साहित किया जा सके।

3. प्रमुख योगदान

रेगुलराइज़र के रूप में इडेम्पोटेंसी का प्रदर्शन: लेखक दिखाते हैं कि इडेम्पोटेंसी को लागू करना शोर युक्त लेबल स्थितियों के तहत एट्रिब्यूट-कंडीशंड वॉयस एडिटिंग के लिए एक प्रभावी मजबूती रेगुलराइज़र के रूप में कार्य करता है।
RIVET फ्रेमवर्क: एक सरल, सामान्य प्रशिक्षण फ्रेमवर्क का परिचय जो अंडरलाइंग जनरेटिव बैकबोन में आर्किटेक्चरल बदलावों के बिना वॉयस एडिटिंग मॉडल्स में इडेम्पोटेंट कंस्ट्रेंट्स को शामिल करता है।
ओपन सोर्स: RIVET को अपने प्रकार के पहले ओपन-सोर्स वॉयस एडिटिंग फ्रेमवर्क के रूप में जारी करना।

4. प्रयोगात्मक परिणाम

लेखकों ने दो डेटासेट्स पर RIVET का मूल्यांकन किया:

GLOBE: एक बड़ा डेटासेट जिसमें स्वाभाविक रूप से शोर युक्त एनोटेशन मौजूद हैं।
EARS: एक उच्च-गुणवत्ता वाला डेटासेट जिसका उपयोग नियंत्रित स्तर के सिंथेटिक लेबल नॉइज़ (10% से 60% लेबल फ्लिपिंग) को सिम्युलेट करने के लिए किया गया है।

मुख्य निष्कर्ष:

आइडेंटिटी प्रिजर्वेशन (Identity Preservation): RIVET ने बेसलाइन की तुलना में मूल और रिवर्टेड स्पीक एम्बेडिंग्स के बीच लगातार उच्च कोसाइन सिमिलरिटी हासिल की, जो बेहतर स्पीकर आइडेंटिटी प्रिजर्वेशन को दर्शाता है।
एडिटिंग सफलता: GLOBE डेटासेट पर, RIVET ने एट्रिब्यूट प्रेडिक्शन एक्यूरेसी में सुधार किया, विशेष रूप से जेंडर (लिंग) के लिए। EARS डेटासेट (आउट-ऑफ-डिस्ट्रीब्यूशन) पर, इसने उच्च आइडेंटिटी सिमिलरिटी बनाए रखी और शोर वाली स्थितियों में जेंडर एडिटिंग एक्यूरेसी में काफी सुधार किया।
नॉइज़ के प्रति मजबूती: जैसे-जैसे EARS प्रयोगों में लेबल नॉइज़ बढ़ा, बेसलाइन मॉडल ने तेजी से आइडेंटिटी ड्रिफ्ट और प्रदर्शन में गिरावट दिखाई। RIVET ने सभी नॉइज़ स्तरों पर उच्च सिमिलरिटी और अधिक स्थिर प्रदर्शन बनाए रखा।
परसेप्चुअल क्वालिटी (Perceptual Quality): मानव मूल्यांकन (Amazon Mechanical Turk) ने पुष्टि की कि RIVET ने बेसलाइन की तुलना में आयु और लिंग दोनों एट्रिब्यूट्स के लिए कथित एडिटिंग सफलता में सुधार किया।
स्थिरता: बार-बार रिकंस्ट्रक्शन राउंड्स ने दिखाया कि बेसलाइन में आइडेंटिटी ड्रिफ्ट हुआ, जबकि RIVET ने इटिरेशन के दौरान मूल स्पीकर के साथ उच्च समानता बनाए रखी।

दोनों मॉडल्स ने तुलनीय नैचुरलनेस (UTTMOS) और इंटेलिजिबिलिटी (WER) स्कोर बनाए रखा, जो यह दर्शाता है कि मजबूती के लाभ स्पीच क्वालिटी की कीमत पर नहीं आए।

5. महत्व और दावे

पेपर RIVET को उन वॉयस एडिटिंग सिस्टम के लिए एक व्यावहारिक समाधान के रूप में प्रस्तुत करता है जिनके प्रशिक्षण डेटा में अपूर्ण या शोर युक्त लेबल होते हैं। लेखक दावा करते हैं कि:

इडेम्पोटेंसी कंडीशनल जनरेटिव मॉडल्स में मिसलेबल्ड उदाहरणों के प्रति संवेदनशीलता को कम करने के लिए एक प्रभावी तंत्र के रूप में कार्य करती है।
प्रस्तावित फ्रेमवर्क मॉडल-अग्नोस्टिक (model-agnostic) है और इसे आयु और लिंग के अलावा अन्य एट्रिब्यूट्स के लिए भी लागू किया जा सकता है।
यह कार्य कंडीशनल जनरेटिव मॉडल्स को स्थिर करने के लिए इडेम्पोटेंट ऑब्जेक्टिव्स को समझने की दिशा में एक प्रारंभिक कदम है।

लेखक इसके दायरे के संबंध में विनम्र हैं, यह नोट करते हुए कि हालांकि मूल्यांकन आयु और लिंग पर केंद्रित था, सिद्धांत अन्य एट्रिब्यूट्स और आर्किटेक्चर पर भी लागू होता है। वे भविष्य के कार्य के रूप में अनसुपरवाइज्ड सेटिंग्स और अतिरिक्त एट्रिब्यूट्स के लिए इन उद्देश्यों की खोज करने की पहचान करते हैं।