💬 NLP

Best-of- $N$ TTS Evaluation is Confounded by ASR Family Alignment

यह शोध पत्र प्रकट करता है कि ASR सत्यापनकर्ताओं का उपयोग करके किया जाने वाला Best-of- $N$ TTS मूल्यांकन परिवार-स्तरीय संरेखण पूर्वाग्रहों (family-level alignment biases) से काफी हद तक प्रभावित होता है, और अधिक सुदृढ़ एवं सटीक सामग्री निरंतरता मेट्रिक्स प्राप्त करने के लिए क्रॉस-फैमिली रैंक एन्सेम्बल्स (cross-family rank ensembles) का प्रस्ताव करता है।

मूल लेखक: Taehyung Yu, Seongjae Kang

प्रकाशित 2026-07-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taehyung Yu, Seongjae Kang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोटिक वॉयस जनरेटर के लिए टैलेंट शो होस्ट कर रहे हैं। वह रोबोट, जिसे हम "F5-TTS" कह सकते हैं, एक स्क्रिप्ट को पूरी तरह से पढ़ने की कोशिश करता है। कभी-कभी, वह किसी शब्द पर लड़खड़ा जाता है। इसे ठीक करने के लिए, रोबोट एक ही वाक्य के 10 अलग-अलग संस्करण (जैसे 10 अलग-अलग अभिनेताओं से वही लाइन पढ़वाना) बनाता है और उनमें से उसे चुनता है जो सबसे सटीक लगता है। इसे Best-of-N कहा जाता है।

यह तय करने के लिए कि विजेता कौन है, आपको एक जज की आवश्यकता है। AI आवाजों की दुनिया में, यह जज एक ASR (ऑटोमैटिक स्पीच रिकग्निशन) सिस्टम है—एक रोबोट जो सुनता है और जो सुना गया है उसे लिख देता है।

बड़ा ट्विस्ट: जज का फैमिली ट्री मायने रखता है

इस शोध पत्र की मुख्य खोज कुछ ऐसी है जैसे यह महसूस करना कि एक स्पोर्ट्स रेफरी का निर्णय पूरी तरह से इस बात पर निर्भर करता है कि वह किस टीम के लिए खेला था।

शोधकर्ताओं ने पाया कि "Best-of-N" चयन की "गुणवत्ता" कोई पूर्ण सत्य नहीं है; यह इस बात पर बदल जाती है कि आप किस ASR परिवार के जज का उपयोग कर रहे हैं। उन्होंने तीन प्रमुख जज परिवारों का परीक्षण किया: Whisper, wav2vec 2.0, और HuBERT।

हैरान करने वाली बात यह है:

यदि आप Whisper जज का उपयोग करते हैं, तो वह कह सकता है, "वर्जन A सबसे अच्छा है!"
लेकिन यदि आप wav2vec जज का उपयोग करते हैं, तो वह कह सकता है, "बिल्कुल नहीं, वर्जन B विजेता है!"
और एक HuBERT जज एक अन्य विजेता चुन सकता है।

यह पेपर दिखाता है कि यदि आप एक Whisper जज का उपयोग करके विजेता चुनते हैं, तो वही विजेता वास्तव में तब खराब लग सकता है जब एक wav2vec जज उसे सुनता है। ऐसा लगता है कि जज अपने ही "कजिन" (सगे संबंधियों) के प्रति पक्षपाती होते हैं। पेपर इसे ASR Family Alignment कहता है।

हमने क्या खारिज किया (वह "यह आवाज की बात नहीं है" वाला सिद्धांत)

आप सोच सकते हैं, "शायद जज चीजों को अलग तरह से सुनते हैं क्योंकि उनके दिमाग (ऑडियो एनकोडर) अलग तरह से बने हुए हैं?"

लेखकों ने Linear CKA नामक एक गणितीय उपकरण का उपयोग करके यह मापने के लिए परीक्षण किया कि जजों के आंतरिक "दिमाग" कितने समान हैं। उन्होंने पाया कि एक ही परिवार के कुछ जजों के दिमाग लगभग एक जैसे होते हैं (एक समानता स्कोर 0.978, जो लगभग समान है)।

हालांकि, यह पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि यह मस्तिष्क समानता इस पक्षपात की व्याख्या करती है।

भले ही दो Whisper जज के दिमाग लगभग एक जैसे हों, वे हमेशा विजेता पर सहमत नहीं होते हैं।
इसके विपरीत, बहुत अलग दिमाग वाले जज भी पूरी तरह से सहमत हो सकते हैं।
पैटर्न बताता है कि मुद्दा यह नहीं है कि वे कैसे सुनते हैं, बल्कि यह है कि वे कौन हैं। यह एक "फैमिली लॉयल्टी" (पारिवारिक निष्ठा) वाले पक्षपात जैसा है, जैसे कि एक इंसान किसी अजनबी की तुलना में एक दोस्त की राय पर अधिक भरोसा करता है, भले ही अजनबी अधिक समझदार हो। पेपर सुझाव देता है कि यह एक "LLM-as-a-judge self-bias" का स्पीच एनालॉग है।

आंकड़े: यह कितना मायने रखता है?

शोधकर्ताओं ने LibriSpeech-PC test-clean नामक डेटासेट पर ये प्रयोग चलाए। यहाँ आंकड़े क्या कहते हैं:

बेसलाइन: मानक F5-TTS सिस्टम का Word Error Rate (WER) 2.06% था। इसका मतलब है कि इसने हर 100 शब्दों में से लगभग 2 शब्द गलत किए।
"सेम-फैमिली" बूस्ट: जब उन्होंने एक Whisper जज का उपयोग करके सबसे अच्छा संस्करण चुनने के लिए किया, और फिर उस संस्करण को दूसरे Whisper जज के साथ जांचा, तो त्रुटि दर गिरकर 1.72% हो गई (एक 16.5% का सुधार)।
"क्रॉस-फैमिली" समस्या: लेकिन यदि आपने एक Whisper जज का उपयोग करके विजेता चुना, और फिर एक wav2vec जज के साथ उसे जांचा, तो सुधार गायब हो गया या और भी खराब हो गया।
ओरेकल लिमिट: शोधकर्ताओं ने अपना "ओरेकल" (जादुई क्रिस्टल बॉल के साथ सबसे अच्छा संभव विकल्प) की गणना की। ओरेकल के पास भी, एक गैप है। ओरेकल त्रुटि दर को 1.42% तक कम कर सकता है, जिसका अर्थ है कि अभी भी सुधार की गुंजाइश है जिसे वर्तमान तरीके तक नहीं पहुँच पा रहे हैं।

समाधान: "ग्रुप हग" रणनीति

चूंकि कोई भी एक अकेला जज परफेक्ट नहीं है, इसलिए लेखक एक नया तरीका प्रस्तावित करते हैं: Cross-Family Rank Ensembles।

एक अकेले जज से पूछने के बजाय, वे अलग-अलग परिवारों के जजों से 10 संस्करणों को रैंक करने के लिए कहते हैं। फिर, वे स्कोर को मिलाते हैं।

रैंक-एवरेजिंग (Rank-Averaging): वे Whisper जज और wav2vec जज से औसत रैंक लेते हैं।
मैक्स-रैंक (Max-Rank): वे उस संस्करण को चुनते हैं जो दोनों के लिए पर्याप्त अच्छा है, यह सुनिश्चित करते हुए कि कोई एक परिवार हावी न हो।

परिणाम:
इस "ग्रुप हग" पद्धति का उपयोग करने के साथ, जिसमें N=10 उम्मीदवार थे, उन्होंने तीनों जजों के बीच 1.61% का माध्य WER प्राप्त किया। यह बेसलाइन से 12% का सुधार है। महत्वपूर्ण रूप से, यह तरीका तब भी अच्छा काम करता है जब आप अंतिम परिणाम की जांच किसी भी जज से करें, जबकि एक एकल "पसंदीदा" जज चुनना केवल तभी काम करता है जब आप उसी जज के परिवार के साथ चेक करते हैं।

निष्कर्ष

पेपर निष्कर्ष निकालता है कि यदि आप अपने परिणाम केवल एक प्रकार के जज (जैसे आधिकारिक F5-TTS इवैल्यूएटर, जो Whisper का उपयोग करता है) का उपयोग करके रिपोर्ट करते हैं, तो आप एक "नकली" सुधार देख रहे होंगे जो केवल इसलिए मौजूद है क्योंकि चयनकर्ता और जज एक ही परिवार से हैं।

वास्तव में सुनिश्चित होने के लिए, लेखक Cross-Evaluator Triangulation की सिफारिश करते हैं: हमेशा अपने परिणामों को कम से कम दो अलग-अलग ASR परिवारों के साथ रिपोर्ट करें जिनके प्रशिक्षण वंश (training lineages) अलग हों। यह सुनिश्चित करने का एकमात्र तरीका है कि आपकी रोबोटिक आवाज वास्तव में बेहतर है, न कि केवल एक विशिष्ट प्रकार के जज को खुश करने में बेहतर है।

तकनीकी सारांश: बेस्ट-ऑफ-N (Best-of-N) TTS मूल्यांकन ASR परिवार संरेखण (Family Alignment) द्वारा भ्रमित है

1. समस्या विवरण (Problem Statement)

हाल के फ्लो-मैचिंग ज़ीरो-शॉट टेक्स्ट-टू-स्पीच (TTS) सिस्टम (जैसे, F5-TTS, E2 TTS, CosyVoice 2) उच्च प्राकृतिकता और वक्ता समानता प्राप्त करते हैं, लेकिन फिर भी उनमें गैर-तुच्छ शब्द-स्तर की सामग्री त्रुटियाँ (word-level content errors) दिखाई देती हैं। मानक इन्फरेंस-टाइम समाधान बेस्ट-ऑफ-N (BoN) इन्फरेंस है, जहाँ $N$ उम्मीदवारों का संश्लेषण किया जाता है और उस एक को चुना जाता है जिसका लक्षित पाठ के विरुद्ध ऑटोमैटिक स्पीच रिकग्निशन (ASR) वर्ड एरर रेट (WER) सबसे कम होता है।

हालाँकि, साहित्य में सत्यापनकर्ता ASR (verifier ASR) (जिसका उपयोग उम्मीदवार चुनने के लिए किया जाता है) बनाम मूल्यांकक ASR (evaluator ASR) (जिसका उपयोग अंतिम WER रिपोर्ट करने के लिए किया जाता है) के चयन पर व्यवस्थित ध्यान की कमी है। यह शोध पत्र एक महत्वपूर्ण भ्रम (confound) की पहचान करता है: सत्यापनकर्ता की रैंकिंग व्यवस्थित रूप से मूल्यातक की ASR फैमिली पर निर्भर करती है। एक सत्यापनकर्ता जो एक ASR परिवार (जैसे, Whisper) के तहत बेहतर प्रतीत होता है, वह दूसरे (जैसे, wav2vec 2.0) के तहत खराब प्रदर्शन कर सकता है, जिससे केवल मूल्यातक के चुनाव के आधार पर मॉडल के प्रदर्शन के बारे में असंगत निष्कर्ष निकल सकते हैं।

2. कार्यप्रणाली (Methodology)

लेखकों ने LibriSpeech-PC test-clean सबसेट पर F5-TTS बेस मॉडल का उपयोग करके एक चार-तरफा मूल्यातक एब्लेशन अध्ययन (four-way evaluator ablation study) आयोजित किया।

संश्लेषण (Synthesis): डिफ़ॉल्ट F5-TTS सेटिंग्स (32 ODE स्टेप्स, CFG स्केल 2.0) का उपयोग करके प्रति उच्चारण 10 BoN उम्मीदवार उत्पन्न किए गए।
सत्यापनकर्ता (Verifiers): तीन ASR परिवारों से सिंगल-मॉडल सत्यापनकर्ताओं की तुलना की गई:
- wav2vec 2.0: w2v2-base (95M पैरामीटर्स)।
- Whisper: distil-sm (166M) और distil-v3 (756M)।
- एन्सेम्बल (Ensemble): ens3 (उपरोक्त तीनों का रैंक-औसत)।
मूल्यांकक (Evaluators): तीन परिवारों के चार ASR चेकपॉइंट्स का उपयोग करके सभी उम्मीदवारों को स्कोर किया गया:
- fwhisper-lgv3 (Whisper-large-v3, आधिकारिक F5-TTS मूल्यातक)।
- w2v2-lv60 (wav2vec 2.0 large)।
- hubert-lg (HuBERT large)।
- distil-sm (सत्यापनकर्ता और मूल्यांकक दोनों के रूप में उपयोग किया गया)।
विश्लेषण (Analysis):
- ओरेकल हेडरूम (Oracle Headroom) मापा: सिंगल-शॉट प्रदर्शन और $N$ उम्मीदवारों के सैद्धांतिक सर्वश्रेष्ठ के बीच का अंतर।
- रिप्रेजेंटेशन सिमिलरिटी (Representation Similarity) का विश्लेषण: यह परीक्षण करने के लिए कि क्या उच्च समानता रैंकिंग समझौते (ranking agreement) की भविष्यवाणी करती है, ऑडियो एनकोडर रिप्रेजेंटेशन पर लीनियर सेंटर्ड कर्नल अलाइनमेंट (CKA) का उपयोग किया गया।
- क्रॉस-फैमिली रैंक एन्सेम्बल्स (Cross-Family Rank Ensembles) प्रस्तावित: अलग-अलग ASR परिवारों के बीच स्कोर को एकत्रित करने के लिए दो एकत्रीकरण रणनीतियाँ (rank-avg और max-rank)।

3. मुख्य योगदान (Key Contributions)

मूल्यांकक-निर्भर रैंकिंग का दस्तावेजीकरण: लेखक प्रदर्शित करते हैं कि एक ही सेट के जनरेटेड आउटपुट को विभिन्न ASR परिवारों के मूल्यांककों द्वारा विपरीत दिशाओं में रैंक किया जाता है। एक सत्यापनकर्ता जिसे एक परिवार के तहत पसंद किया जाता है, वह दूसरे के तहत विफल हो सकता है, जिससे एकल-मूल्यातक रिपोर्ट संभावित रूप से भ्रामक हो सकती है।
भ्रम का परिमाणीकरण (Quantification of the Confound): LibriSpeech-PC पर, (verifier, evaluator) फैमिली पेयरिंग का चुनाव रिपोर्ट किए गए WER पर सामान्य सत्यापनकर्ता चेकपॉइंट्स के चुनाव की तुलना में अधिक प्रभाव डालता है। इसके अलावा, समान-परिवार वाले (verifier, evaluator) जोड़े विजातीय (disjoint) परिवारों के क्रॉस-फैमिली जोड़ों की तुलना में 2–3× अधिक ओरेकल हेडरूम प्राप्त करते हैं, जबकि उनकी लगभग समान रिप्रेजेंटेशन (linear CKA $\approx$ 0.978) होती है।
रिप्रेजेंटेशन सिमिलरिटी का खंडन: अध्ययन इस तर्क को खारिज करता है कि ऑडियो-एनकोडर रिप्रेजेंटेशन सिमिलरिटी (linear CKA) मुख्य व्याख्या है। उच्च CKA रैंकिंग समझौते की गारंटी नहीं देता है; इसके बजाय, पैटर्न एक पहचान- या वंश-स्तर के जुड़ाव (identity- or lineage-level coupling) का सुझाव देता है (LLM-as-a-judge के सेल्फ-बायस के समान), जहाँ मूल्यांकक उन सत्यापनकर्ताओं को अत्यधिक प्राथमिकता देते हैं जो उनके प्रशिक्षण वंश (training lineage) को साझा करते हैं।
शमन रणनीतियाँ (Mitigation Strategies) प्रस्तावित: शोध पत्र क्रॉस-फैमिली रैंक एन्सेम्बल (rank-avg और max-rank) प्रस्तावित करता है जो ASR परिवारों के बीच सत्यापनकर्ताओं को एकत्रित करते हैं। यह क्रॉस-मूल्यांकक त्रिकोणीयकरण (cross-evaluator triangulation) (कम से कम दो विजातीय प्रशिक्षण वंशों वाले ASR परिवारों के तहत WER रिपोर्ट करना) को डिफ़ॉल्ट रिपोर्टिंग अभ्यास के रूप में अनुशंसित करता है।

4. मुख्य परिणाम (Key Results)

रैंक रिवर्सल (Rank Reversal): आधिकारिक fwhisper-lgv3 मूल्यांकक के तहत, distil-v3 सत्यापनकर्ता (Whisper परिवार) ने सबसे कम WER (1.88%) प्राप्त किया। हालाँकि, w2v2-lv60 (wav2vec परिवार) के तहत, w2v2-base सत्यापनकर्ता (wav2vec परिवार) शीर्ष पर रहा।
ओरेकल रिकवरी (Oracle Recovery): समान-परिवार वाले जोड़ों ने काफी अधिक संभावित सुधार प्राप्त किया। उदाहरण के लिए, fwhisper-lgv3 के तहत, distil-v3 ने 26.0% ओरेकल हेडरूम प्राप्त किया, जबकि क्रॉस-फैमिली w2v2-base ने केवल 7.9% प्राप्त किया।
एन्सेम्बल प्रदर्शन:
- क्रॉस-फैमिली रैंक एन्सेम्बल ने तीनों स्वतंत्र मूल्यांककों के बीच सबसे कम औसत WER प्राप्त किया।
- $N=10$ पर, rank-avg एन्सेम्बल ने 1.61% का औसत WER प्राप्त किया (F5-TTS बेसलाइन की तुलना में 12% सापेक्ष कमी)।
- सर्वश्रेष्ठ एकल सत्यापनकर्ता (distil-v3 अपने स्वयं के परिवार के तहत) ने WER को 2.06% से घटाकर 1.72% (−16.5%) कर दिया, लेकिन क्रॉस-फैमिली ASRs द्वारा मूल्यांकित किए जाने पर इसमें गिरावट या ठहराव देखा गया।
गुणवत्ता संरक्षण (Quality Preservation): सभी BoN कॉन्फ़िगरेशन ने स्पीकर समानता (SIM-o) और प्राकृतिकता (UTMOS) को नगण्य मार्जिन के भीतर बनाए रखा, जो दर्शाता है कि WER में लाभ मापने योग्य गुणवत्ता लागत के बिना आया।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र तर्क देता है कि किसी भी BoN तुलना को एकल ASR मूल्यातक के तहत रिपोर्ट करना संभावित रूप से भ्रमित (confounded) है। प्राथमिक महत्व TTS मूल्यांकन में एक संरचनात्मक पूर्वाग्रह को उजागर करने में है जहाँ "सत्यापनकर्ता की गुणवत्ता" मॉडल का आंतरिक गुण नहीं है, बल्कि उसके मूल्यांकक के प्रशिक्षण वंश के साथ उसके संरेखण का एक कार्य है।

लेखक दावा करते हैं कि:

त्रिकोणीयकरण आवश्यक है: केवल एक ASR परिवार के तहत WER रिपोर्ट करना अपर्याप्त है; परिणामों को विजातीय ASR परिवारों के माध्यम से मान्य किया जाना चाहिए ताकि मजबूती सुनिश्चित हो सके।
एन्सेम्बलिंग प्रभावी है: क्रॉस-फैमिली रैंक एन्सेम्बल सबसे मजबूत चयन रणनीति प्रदान करते हैं, जो "सेल्फ-बायस" को कम करते हुए उच्च प्रदर्शन बनाए रखते हैं।
भविष्य के कार्य की दिशा: वर्तमान BoN प्रदर्शन और ओरेकल हेडरूम के बीच का पर्याप्त अंतर (जैसे, $N=10$ पर 1.42% बनाम 1.61%) सत्यापनकर्ता डिज़ाइन में सुधार की बड़ी गुंजाइश का सुझाव देता है, जो संभावित रूप से इन-फैमिली इन्फ्लेशन के विरुद्ध एडवरसेरियल रीवेटिंग (adversarial reweighting) के माध्यम से हो सकता है।

अध्ययन F5-TTS बैकबोन और LibriSpeech-PC तक सीमित है, जो भविष्य के कार्य के लिए अन्य TTS बैकबोन और मानव-MOS त्रिकोणीयकरण (human-MOS triangulation) पर सामान्यीकरण की संभावना छोड़ता है।