🤖 machine learning

Post-Training Speech Enhancement Language Models with Perceptual Rewards

यह शोध पत्र ऑटोरेग्रेसिव स्पीच एन्हांसमेंट लैंग्वेज मॉडल्स के लिए एक पोस्ट-ट्रेनिंग फ्रेमवर्क पेश करता है जो नॉन-डिफरेंशिएबल क्वालिटी मेट्रिक्स को सीधे ऑप्टिमाइज़ करने के लिए मल्टी-मेट्रिक परसेप्चुअल रिवार्ड्स के साथ ग्रुप सीक्वेंस पॉलिसी ऑप्टिमाइज़ेशन का उपयोग करता है, जिससे सिंगल-मेट्रिक ट्रेनिंग से जुड़ी रिवॉर्ड हैकिंग से बचते हुए DNS2020 बेंचमार्क पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त होते हैं।

मूल लेखक: Frédéric Berdoz, Luca A. Lanzendörfer, Antonis Asonitis, Roger Wattenhofer

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Frédéric Berdoz, Luca A. Lanzendörfer, Antonis Asonitis, Roger Wattenhofer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन थोड़ी जिद्दी छात्रा है जो शोर-शराबे वाली और कीचड़ जैसी अस्पष्ट रिकॉर्डिंग में किसी के बोलने की आवाज़ को साफ करना सीख रही है। यह छात्रा एक AI स्पीच एनहांसमेंट मॉडल है।

यहाँ की कहानी है कि कैसे ETH ज्यूरिख के शोधकर्ताओं ने इस छात्रा को "निर्देशों का पालन करने में अच्छे" से "वास्तव में अच्छा लगने में महान" बनने में मदद की, जिसमें उन्होंने एक ऐसी विधि का उपयोग किया जिसे वे परसेप्चुअल रिवॉर्ड्स (Perceptual Rewards) के साथ पोस्ट-ट्रेनिंग कहते हैं।

समस्या: "टेस्ट स्कोर" का जाल

लंबे समय तक, इन AI छात्रों को क्रॉस-एंट्रॉपी (Cross-Entropy) नामक एक विधि का उपयोग करके प्रशिक्षित किया जाता था। इसे ऐसे समझें जैसे कोई शिक्षक छात्र के होमवर्क को इस तरह ग्रेड दे रहा हो कि वह चेक करे कि हर एक शब्द उत्तर कुंजी (answer key) से पूरी तरह मेल खाता है या नहीं।

समस्या: भले ही AI गणितीय रूप से "शब्दों" (या ऑडियो टोकन) को सही तरीके से प्राप्त कर लेता है, लेकिन इसका मतलब यह नहीं है कि अंतिम ध्वनि मानवीय कानों के लिए सुखद होगी। यह एक ऐसे छात्र की तरह है जिसने शब्दकोश को पूरी तरह से याद कर लिया है लेकिन वह रोबोटिक, एकरस (monotone) आवाज़ में बोलता है जो सुनने में बहुत खराब लगती है।
अंतराल (Gap): जब इंसान आउटपुट सुनते हैं, तो वे इसे इस आधार पर आंकते हैं कि यह कितना स्पष्ट है, यह कितना स्वाभाविक लगता है, और इसे समझना कितना आसान है (जैसे DNSMOS, WER, और UTMOS जैसे मेट्रिक्स)। लेकिन AI को इसके दौरान ग्रेड नहीं दिया जा रहा था। उसे केवल उत्तर कुंजी से मेल खाने के लिए ग्रेड दिया जा रहा था।

समाधान: "टेस्ट ऑफ टेस्ट" पोस्ट-ट्रेनिंग

शोधकर्ताओं ने महसूस किया कि इन मॉडल्स के लिए उन्हें एक "फिनिशिंग स्कूल" की आवश्यकता है। उन्होंने एक पोस्ट-ट्रेनिंग चरण जोड़ा, जो बिल्कुल वैसा ही है जैसे एक शेफ द्वारा व्यंजन तैयार करने के बाद, रेसिपी लिखे जाने के बाद भी, परोसने से पहले उसमें मसालों का स्वाद चखकर उसे ठीक करना।

उन्होंने GSPO (Group Sequence Policy Optimization) नामक तकनीक का उपयोग किया। यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

ग्रुप टेस्ट (समूह परीक्षण): बजाय इसके कि AI शोर वाले इनपुट के लिए केवल एक अनुमान लगाए, शोधकर्ता उससे एक ही शोर वाले इनपुट के लिए चार अलग-अलग अनुमान (साफ किए गए ऑडियो के चार अलग संस्करण) लगाने को कहते हैं।
असली जज: वे एक ऐसे कंप्यूटर प्रोग्राम का उपयोग नहीं करते हैं जो यह अनुमान लगाने की कोशिश करता है कि इंसान क्या पसंद करेंगे (जो कि गलत हो सकता है)। इसके बजाय, वे वास्तविक, नॉन-डिफरेंशिएबल "मानव-समान" मेट्रिक्स (DNSMOS, WER, UTMOS) का उपयोग करते हैं ताकि प्रत्येक चार संस्करणों को स्कोर दिया जा सके।
- DNSMOS: यह कितना मानव जैसा लगता है? (कुल गुणवत्ता)
- WER (Word Error Rate): क्या एक ट्रांसक्रिप्शन मशीन शब्दों को समझ सकती है? (स्पष्टता)
- UTMOS: आवाज़ कितनी स्वाभाविक और सुखद है? (स्वाभाविकता)
रिवॉर्ड (पुरस्कार): AI को एक "रिवॉर्ड" (उच्च स्कोर) मिलता है यदि उसका संस्करण इन मेट्रिक्स के अनुसार अच्छा लगता है। यदि एक संस्करण शानदार है और दूसरा खराब, तो AI सीखता है: "आह, मुझे वह अधिक करना चाहिए जिससे शानदार संस्करण बना और वह कम करना चाहिए जिससे खराब संस्करण बना।"
ग्रुप डायनामिक: इन चारों संस्करणों की आपस में तुलना करके, AI सर्वश्रेष्ठ परिणाम प्राप्त करने का लक्ष्य रखना सीखता है, न कि केवल एक स्थिर उत्तर कुंजी से मेल खाने का।

सीक्रेट सॉस: केवल एक मेट्रिक पर भरोसा न करें

शोधकर्ताओं ने एक महत्वपूर्ण सबक सीखा: AI को केवल एक जज को खुश करने के लिए प्रशिक्षित न करें।

जाल (रिवॉर्ड हैकिंग): यदि आप AI को कहते हैं, "बस DNSMOS स्कोर को अधिकतम करें," तो AI चालाक हो सकता है। वह सारा बैकग्राउंड शोर हटा सकता है और साथ ही व्यक्ति की आवाज़ भी हटा सकता है, या अजीब सी चीज़ें जोड़ सकता है जो स्कोरिंग सिस्टम को धोखा देने के लिए बनाई गई हों, ताकि उच्च स्कोर मिल सके, भले ही परिणाम सुनने में बहुत बुरा हो। इसे रिवॉर्ड हैकिंग कहा जाता है।
समाधान (कम्पोजिट रिवॉर्ड): शोधकर्ताओं ने तीनों मेट्रिक्स (गुणवत्ता + स्पष्टता + स्वाभाविकता) को एक "सुपर-स्कोर" में मिला दिया।
परिणाम: एक मानव श्रवण परीक्षण (human listening test) में, इस कंबाइंड स्कोर के साथ प्रशिक्षित AI को अत्यधिक पसंद किया गया। केवल एक मेट्रिक (जैसे केवल DNSMOS) पर प्रशिक्षित AI मूल मॉडल की तुलना में वास्तव में घटिया लगा क्योंकि उसने सिस्टम को "हैक" कर लिया था। कंबाइंड स्कोर ने AI को गुणवत्ता के सभी पहलुओं को संतुलित करने के लिए मजबूर किया, जिससे धोखाधड़ी करना असंभव हो गया।

परिणाम: स्टेट-ऑफ-द-आर्ट

जब उन्होंने इस "फिनिशिंग स्कूल" को दो मौजूदा AI मॉडल्स (UniSE और GenSE) पर लागू किया, तो परिणाम प्रभावशाली थे:

उन्होंने DNS2020 और DNS5 बेंचमार्क्स (स्पीच एनहांसमेंट के "ओलंपिक्स") पर लगभग हर अन्य विधि को पछाड़ दिया।
उनके मॉडल्स अधिक स्पष्ट, अधिक स्वाभाविक और समझने में आसान थे।
सबसे महत्वपूर्ण बात यह है कि उन्होंने यह सब बिना किसी अलग "क्रिटिक" AI को प्रशिक्षित किए हासिल किया जो यह अनुमान लगा सके कि इंसान क्या पसंद करते हैं। उन्होंने सीधे गुणवत्ता मेट्रिक्स का उपयोग रिवॉर्ड के रूप में किया।

सारांश

इस पेपर को ऐसे समझें जैसे एक AI शेफ को केवल रेसिपी का पालन करना (Cross-Entropy) छोड़ने और वास्तव में भोजन का स्वाद लेना (Perceptual Rewards) सिखाना। शेफ को एक व्यंजन के चार संस्करण बनाने के लिए कहकर, जजों के एक पैनल (मेट्रिक्स) से स्वाद चखाकर, और केवल सबसे अच्छे को ही रखने के माध्यम से, AI वह भोजन बनाना सीखता है जिसका इंसान वास्तव में आनंद लेते हैं, न कि वह भोजन जो कागज़ पर तो एकदम सही दिखता है। और यह सुनिश्चित करके कि जज स्वाद, बनावट और गंध तीनों को एक साथ देखें, वे शेफ को केवल इसलिए नमक का ढेर परोसने से रोकते हैं क्योंकि वह दिखने में बहुत शानदार है।

तकनीकी सारांश: बोधगम्य पुरस्कारों (Perceptual Rewards) के साथ पोस्ट-ट्रेनिंग स्पीच एनहांसमेंट लैंग्वेज मॉडल्स

समस्या विवरण (Problem Statement)

ऑटोरिग्रेसिव स्पीच एनहांसमेंट (SE) लैंग्वेज मॉडल्स, जो डिस्क्रीट ऑडियो टोकन्स पर कार्य करते हैं, बड़े पैमाने पर प्री-ट्रेनिंग और सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) का लाभ उठाकर अत्याधुनिक परिणाम प्राप्त कर चुके हैं। हालांकि, एक महत्वपूर्ण "ट्रेन-इवैल गैप" (train-eval gap) बना हुआ है। ये मॉडल टोकन-लेवल क्रॉस-एन्ट्रॉपी लॉस (cross-entropy loss) का उपयोग करके अनुकूलित किए जाते हैं, जबकि उनके प्रदर्शन का मूल्यांकन गैर-डिफरेंशिएबल बोधगम्य मेट्रिक्स जैसे कि DNSMOS (कुल गुणवत्ता), WER (बोधगम्यता), और UTMOS (स्वाभाविकता) का उपयोग करके किया जाता है। कम क्रॉस-एन्ट्रॉपी का अर्थ उच्च बोधगम्य स्कोर नहीं होता है।

इस अंतर को पाटने के प्रयास पिछले अध्ययनों में सीखे गए सरोगेट्स (जैसे, MetricGAN) या ऑफलाइन प्रेफरेंस पेयर्स (जैसे, GSEPF) पर निर्भर रहे हैं। इन दृष्टिकोणों में अनुमान त्रुटियां (approximation errors), प्रशिक्षण अस्थिरता, या जटिल डेटा निर्माण की आवश्यकता जैसी समस्याएं होती हैं। इसके अतिरिक्त, केवल एक मेट्रिक के लिए अनुकूलन करने से "रिवॉर्ड हैकिंग" (reward hacking) की स्थिति उत्पन्न होती है, जहाँ मॉडल एक विशिष्ट स्कोर को बढ़ाने के लिए आर्टिफैक्ट्स का शोषण करता है, जिससे अन्य गुणवत्ता आयामों में गिरावट आती है।

कार्यप्रणाली (Methodology)

लेखक SE मॉडल्स के लिए मानक NLP पाइपलाइन (Pretraining $\rightarrow$ SFT $\rightarrow$ Post-training) को ग्रुप सीक्वेंस पॉलिसी ऑप्टिमाइजेशन (GSPO) का उपयोग करके एक पोस्ट-ट्रेनिंग चरण पेश करके पूर्ण करने का प्रस्ताव देते हैं।

1. बेस मॉडल्स (Base Models)

यह विधि दो मौजूदा ऑटोरिग्रेसिव SE मॉडल्स पर लागू की गई है:

UniSE: 16 kHz पर न्यूरल ऑडियो कोडेक टोकन्स का उपयोग करने वाला एक डिकोडर-ओनली मॉडल।
GenSE: एक सिंगल-क्वांटाइज़र कोडेक का उपयोग करने वाला एक पदानुक्रमित दो-चरणीय जनरेशन मॉडल (सेमेंटिक फिर एकोस्टिक टोकन्स)।

2. GSPO फ्रेमवर्क

टोकन-लेवल रिइन्फोर्समेंट लर्निंग विधियों (जैसे, GRPO) के विपरीत, GSPO सीक्वेंस लेवल पर कार्य करता है:

सैंपलिंग (Sampling): प्रत्येक शोर वाले इनपुट $x$ के लिए, पॉलिसी $\pi_\theta$ $G$ पूर्ण आउटपुट सीक्वेंस $\{y_1, \dots, y_G\}$ उत्पन्न करती है।
रिवॉर्ड गणना (Reward Calculation): प्रत्येक पूर्ण सीक्वेंस को वेवफॉर्म में डिकोड किया जाता है और एक रिवॉर्ड फंक्शन $R(x, y)$ का उपयोग करके स्कोर किया जाता है।
एडवांटेज एस्टीमेशन (Advantage Estimation): ग्रुप-रिलेटिव एडवांटेज की गणना समूह के भीतर रिवॉर्ड्स को नॉर्मलाइज़ करके की जाती है:
$A_i^j = \frac{R(x_i, y_i^j) - \mu_i}{\sigma_i}$
जहाँ $\mu_i$ और $\sigma_i$ समूह के रिवॉर्ड्स का माध्य (mean) और मानक विचलन (standard deviation) हैं।
ऑब्जेक्टिव (Objective): लॉस फंक्शन इम्पोर्टेंस रेशियो $\rho = \pi_\theta(y|x) / \pi_{old}(y|x)$ के सीक्वेंस-लेवल क्लिपिंग को लागू करता है:
$L = \mathbb{E} [\min (\rho \cdot A, \text{clip}(\rho, 1-\epsilon, 1+\epsilon) \cdot A)] - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$
यह फॉर्मूलेशन किसी सीखे गए क्रिटिक नेटवर्क की आवश्यकता को समाप्त करता है, जिससे मेमोरी की आवश्यकता कम होती है और स्थिरता में सुधार होता है।

3. कंपोजिट रिवॉर्ड डिज़ाइन (Composite Reward Design)

रिवॉर्ड हैकिंग से बचने के लिए, लेखक तीन गैर-डिफरेंशिएबल मेट्रिक्स को संयोजित करने वाला एक कंपोजिट रिवॉर्ड डिज़ाइन करते हैं:
$R(x, y) = \text{DNSMOS} + (1 - \text{WER}) + \text{UTMOS}$

DNSMOS: समग्र भाषण गुणवत्ता का पूर्वानुमान लगाता है।
WER: सामग्री संरक्षण सुनिश्चित करने के लिए Whisper-Large-V3 के माध्यम से मापा जाता है (इसे उल्टा किया गया है ताकि उच्च मान बेहतर हो)।
UTMOS: स्वाभाविकता का पूर्वानुमान लगाता है।
मेट्रिक्स को समान रूप से भारित (weighted) किया गया है। यह मल्टी-मेट्रिक दृष्टिकोण एक साथ बोधगम्य गुणवत्ता, बोधगम्यता और स्वाभाविकता को संतुलित करने का लक्ष्य रखता है।

मुख्य योगदान (Key Contributions)

पाइपलाइन पूर्णता: यह पेपर SE लैंग्वेज मॉडल्स के लिए GSPO का उपयोग करके पहला पोस्ट-ट्रेनिंग चरण पेश करता है, जो NLP द्वारा स्थापित तीन-चरणीय पाइपलाइन के साथ उन्हें संरेखित करता है।
प्रत्यक्ष मेट्रिक ऑप्टिमाइजेशन: यह दृष्टिकोण सीखे गए सरोगेट्स या ऑफलाइन प्रेफरेंस पेयर निर्माण के बिना गैर-डिफरेंशिएबल मूल्यांकन मेट्रिक्स (DNSMOS, WER, UTMOS) को ऑनलाइन रिवॉर्ड संकेतों के रूप में सीधे अनुकूलित करता है।
मल्टी-मेट्रिक रिवॉर्ड्स का सत्यापन: मानव मूल्यांकन एब्लेशन के माध्यम से, लेखक प्रदर्शित करते हैं कि एक कंपोजिट रिवॉर्ड सिंगल-मेट्रिक वेरिएंट की तुलना में स्पष्ट रूप से बेहतर है, जो पुष्टि करता है कि मल्टी-रिवॉर्ड ऑप्टिमाइजेशन सिंगल-मेट्रिक ट्रेनिंग में देखे गए रिवॉर्ड हैकिंग को रोकता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह विधि UniSE और GenSE पर लागू होने पर DNS2020 और DNS5 बेंचमार्क पर नए स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करती है।

प्रयोगात्मक परिणाम (Experimental Results)

DNS2020 बेंचमार्क

DNS2020 ब्लाइंड टेस्ट सेट (सिंथेटिक विद/विदाउट रिवर्ब और रियल रिकॉर्डिंग्स) पर, GSPO पोस्ट-ट्रेनिंग दोनों बेस मॉडल्स के लिए सभी DNSMOS मेट्रिक्स (SIG, BAK, OVRL) में लगातार सुधार करती है:

GenSE + GSPO: सिंथेटिक स्थितियों पर सर्वश्रेष्ठ परिणाम प्राप्त किए (जैसे, रिवर्ब के साथ OVRL 3.53, बिना रिवर्ब के 3.55)।
UniSE + GSPO: वास्तविक रिकॉर्डिंग्स पर सर्वश्रेष्ठ परिणाम प्राप्त किए (OVRL 3.37)।
दोनों उन्नत मॉडल्स ने पारंपरिक SE मॉडल्स, डिफ्यूजन-आधारित मॉडल्स और अन्य LM-आधारित दृष्टिकोणों (जैसे, AnyEnhance, LLaSE-G1) को पीछे छोड़ दिया।

DNS5 बेंचमार्क

पर्सनलाइज्ड DNSMOS (pDNSMOS) का उपयोग करने वाले DNS5 ब्लाइंड टेस्ट सेट पर:

GenSE + GSPO ने पर्याप्त लाभ दिखाया, जिसने pOVRL में +1.04 (ट्रैक 1) और +1.40 (ट्रैक 2) का सुधार किया, जो सभी बेसलाइन्स को बड़े अंतर से पीछे छोड़ गया।
UniSE + GSPO ने ट्रैक 1 (pOVRL 4.63) पर सर्वश्रेष्ठ समग्र स्कोर प्राप्त किया।
परिणाम दर्शाते हैं कि GSPO उन पर्सनलाइज्ड मेट्रिक्स पर भी अच्छी तरह से सामान्यीकृत (generalize) होता है जो रिवॉर्ड फंक्शन में स्पष्ट रूप से शामिल नहीं हैं।

मानव मूल्यांकन एब्लेशन (Human Evaluation Ablation)

21 रेटर्स के साथ एक पेयरवाइज प्रेफरेंस टेस्ट ने सिंगल मेट्रिक्स (DNSMOS, UTMOS, WER) और कंपोजिट रिवॉर्ड का उपयोग करके SFT बेसलाइन की तुलना की:

कंपोजिट रिवॉर्ड: 1571 के Elo रेटिंग और बेसलाइन के खिलाफ 71.4% जीत दर के साथ प्रथम स्थान पर रहा।
सिंगल-मेट्रिक विफलता: DNSMOS-केवल ऑप्टिमाइजेशन ने सबसे कम Elo (1335) और 0% जीत दर के साथ बेसलाइन के खिलाफ प्रदर्शन किया, और कंपोजिट के मुकाबले 33.3% जीत दर दर्ज की। यह पुष्टि करता है कि एक एकल मेट्रिक के लिए अनुकूलन करने से बोधगम्य गुणवत्ता में बेसलाइन से भी गिरावट आ सकती है (रिवॉर्ड हैकिंग)।
असममिति (Asymmetry): UTMOS-केवल बेसलाइन के करीब रहा, जबकि DNSMOS-केवल ने गुणवत्ता को सक्रिय रूप से कम कर दिया, जिससे पता चलता है कि DNSMOS सतही शोषण (superficial exploitation) के प्रति अधिक संवेदनशील है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि मल्टी-मेट्रिक बोधगम्य पुरस्कारों के साथ पोस्ट-ट्रेनिंग, आर्किटेक्चर डिजाइन और डेटा स्केलिंग के पूरक के रूप में, SE लैंग्वेज मॉडल्स को बेहतर बनाने के लिए एक महत्वपूर्ण तीसरा अक्ष (axis) है। GSPO के माध्यम से सीधे गैर-डifferentiation मेट्रिक्स को अनुकूलित करके, यह विधि सीखे गए सरोगेट्स की अस्थिरता के बिना 'ट्रेन-इवैल गैप' को पाट देती है। लेखक इस बात पर जोर देते हैं कि रिवॉर्ड हैकिंग की घटना से बचने के लिए मल्टी-रिवॉर्ड ऑप्टिमाइजेशन आवश्यक है, जिससे यह सुनिश्चित होता है कि एक मेट्रिक में सुधार एक अन्य मेट्रिक की समग्र भाषण गुणवत्ता की कीमत पर न हो। यह कार्य SE मॉडल्स के प्रशिक्षण के लिए एक नया मानक स्थापित करता है जो सीधे मानव बोधगम्य प्राथमिकताओं के साथ संरेखित है।