LLM-to-Speech: A Synthetic Data Pipeline for Training Dialectal Text-to-Speech Models
यह शोध पत्र NileTTS प्रस्तुत करता है, जो इस व्यापक रूप से बोली जाने वाली बोली के लिए संसाधनों की कमी को दूर करने हेतु पहला सार्वजनिक रूप से उपलब्ध मिस्र अरबी टेक्स्ट-टू-स्पीच डेटासेट और एक पुनरुत्पादक सिंथेटिक डेटा पाइपलाइन है, जो लार्ज लैंग्वेज मॉडल्स और XTTS v2 मॉडल को फाइन-ट्यून करके विविध भाषण के माध्यम से 38 घंटे का डेटा उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानियाँ सुनाना सिखाना चाहते हैं, लेकिन पाठ्यपुस्तकों की औपचारिक, कठोर भाषा (जैसे आधुनिक मानक अरबी) में नहीं, बल्कि काहिरा, मिस्र की जीवंत, बोलचाल वाली और आम बोलचाल की भाषा में। यह उस चुनौती के बारे में है जिसे इस शोध पत्र के लेखकों ने हल किया है।
यहाँ NileTTS की कहानी सरल रूप में दी गई है:
समस्या: "गायब आवाज़"
AI वॉयस असिस्टेंट (जैसे सिरी या एलेक्सा) की दुनिया को एक विशाल पुस्तकालय के रूप में सोचें। अंग्रेजी या स्पेनिश जैसी भाषाओं के लिए, यह पुस्तकालय किताबों से भरा हुआ है। लेकिन अरबी के लिए, पुस्तकालय मुख्य रूप से "आधुनिक मानक अरबी" में लिखी गई किताबों से भरा है—वही औपचारिक भाषा जिसका उपयोग समाचारों और स्कूलों में किया जाता है।
हालाँकि, 100 मिलियन से अधिक लोग अपनी दैनिक ज़िंदगी में मिस्र की अरबी (Egyptian Arabic) बोलते हैं। यह अरब जगत में सबसे अधिक समझी जाने वाली बोली है, ठीक वैसे ही जैसे अमेरिकी अंग्रेजी को विश्व स्तर पर समझा जाता है। फिर भी, हमारे AI पुस्तकालय में, "मिस्र की अरबी" वाला हिस्सा लगभग खाली है। मौजूदा टूल्स या तो स्थानीय मुहावरों को नहीं समझते या ऐसे लगते हैं जैसे कोई रोबोट डिक्शनरी पढ़ रहा हो।
समाधान: एक "वर्चुअल स्टूडियो" बनाना
50 अभिनेताओं को घंटों तक ऑडियो रिकॉर्ड करने के लिए काम पर रखने के बजाय (जो महंगा और धीमा है), शोधकर्ताओं ने अपनी ज़रूरत का डेटा बनाने के लिए एक डिजिटल फैक्ट्री बनाई। उन्होंने अपने प्रोजेक्ट को NileTTS नाम दिया।
यहाँ उनका "फैक्ट्री" कैसे काम करता है, चरण-दर-चरण:
पटकथा लेखक (LLM):
एक सुपर-स्मार्ट AI लेखक (लार्ज लैंग्वेज मॉडल) की कल्पना करें जो मिस्र की बोलचाल को पूरी तरह से जानता है। शोधकर्ताओं ने इस AI को तीन विषयों पर स्क्रिप्ट लिखने के लिए कहा: चिकित्सा सलाह (Medical advice), बिक्री के प्रस्ताव (Sales pitches), और अनौपचारिक बातचीत (Casual chatting)। AI ने ये स्क्रिप्ट पूरी तरह से प्रामाणिक मिस्र की बोली में लिखीं, औपचारिक भाषा से बचते हुए।अभिनेता (ऑडियो सिंथेसाइज़र):
इसके बाद, उन्होंने उन स्क्रिप्ट्स को लिया और उन्हें NotebookLM नामक टूल में डाला। इसे एक वर्चुअल रिकॉर्डिंग स्टूडियो के रूप में समझें जिसमें दो "भूतिया अभिनेता" (ghost actors) हैं—एक पुरुष और एक महिला। ये अभिनेता स्क्रिप्ट को पढ़ते हैं और उनकी बातचीत एक स्वाभाविक पॉडकास्ट की तरह होती है। महत्वपूर्ण बात यह है कि वे असली मिस्रियों की तरह सुनाई देते हैं, जिसमें सही लहजा और लय शामिल है।ट्रांसक्राइबर और संपादक (Whisper और डायराइजेशन):
अब उनके पास घंटों का ऑडियो था, लेकिन उसके साथ मेल खाने वाला कोई टेक्स्ट नहीं था (क्योंकि AI ने टेक्स्ट से ऑडियो बनाया था, लेकिन उन्हें उसे सत्यापित करने की आवश्यकता थी)। उन्होंने ऑडियो को सुनने और उसे स्वचालित रूप से टाइप करने के लिए Whisper नामक टूल का उपयोग किया।
- ट्विस्ट: चूंकि ऑडियो में दो लोग बात कर रहे थे, इसलिए उन्हें यह जानने की ज़रूरत थी कि किसने क्या कहा। उन्होंने एक "वॉयस फिंगरप्रिंट" टूल (स्पीकर डायराइजेशन) का उपयोग करके हर वाक्य को टैग किया: "यह हिस्सा पुरुष भूत द्वारा बोला गया था," और "यह हिस्सा महिला भूत द्वारा बोला गया था।"
- गुणवत्ता नियंत्रण (Quality Control):
इंसानों ने काम की दोबारा जाँच करने के लिए हस्तक्षेप किया, यह सुनिश्चित करने के लिए कि AI ने बोलचाल या आवाज़ों के मिश्रण में कोई मूर्खतापूर्ण गलती तो नहीं की है।
परिणाम: AI के लिए एक नई "आवाज़"
एक बार जब उनके पास "नकली लेकिन सटीक" मिस्र की बातचीत का यह विशाल 38 घंटों का संग्रह तैयार हो गया, तो उन्होंने एक शक्तिशाली मौजूदा AI मॉडल (जिसे XTTS v2 कहा जाता है) को मिस्र की भाषा बोलना सिखाने के लिए इसका उपयोग किया।
XTXT v2 को एक प्रतिभाशाली अभिनेता के रूप में सोचें जो पहले से ही 16 भाषाएँ बोल सकता है, लेकिन वह केवल अरबी का औपचारिक संस्करण जानता है। शोधकर्ताओं ने उन्हें यह नया "NileTTS" स्क्रिप्ट दिया और कहा, "इसे अभ्यास करो।"
परिणाम प्रभावशाली था:
- पहले: AI थोड़ा रोबोटिक लगता था और मिस्र की बोलचाल को गलत समझता था (जैसे कोई विदेशी डिक्शनरी के साथ बोलने की कोशिश कर रहा हो)।
- बाद में: AI बहुत अधिक स्पष्ट हो गया, स्थानीय शब्दों को समझने लगा, और बहुत अधिक वास्तविक काहिरा के व्यक्ति जैसा लगने लगा।
यह क्यों महत्वपूर्ण है
यह शोध पत्र गेम-चेंजर है क्योंकि यह साबित करता है कि किसी विशिष्ट बोली के लिए बेहतरीन वॉयस AI बनाने के लिए आपको वास्तविक मनुष्यों को रिकॉर्ड करने में हजारों डॉलर खर्च करने की आवश्यकता नहीं है। आप एक पुनरुत्पादक पाइपलाइन (reproducible pipeline) (एक रेसिपी) बना सकते हैं जो डेटा उत्पन्न करने के लिए अन्य AI का उपयोग करती है।
बड़ी सीख:
जिस तरह आप एक पॉडकास्ट सुनकर किसी बच्चे को नया लहजा सिखा सकते हैं, शोधकर्ताओं ने एक 'सिंथेटिक पॉडकास्ट' खिलाकर एक रोबोट को नया लहजा सिखाया। उन्होंने अब अपनी "रेसिपी", अपने "स्क्रिप्ट्स" और अपने "प्रशिक्षित रोबोट" को सार्वजनिक कर दिया है, ताकि भविष्य में कोई भी बेहतर मिस्र के वॉयस असिस्टेंट बना सके।
संक्षेप में: उन्होंने दुनिया की सबसे अधिक बोली जाने वाली अरबी बोली को उच्च गुणवत्ता वाली आवाज़ देने के लिए एक वर्चुअल वॉयस फैक्ट्री बनाई।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।