J-CHAT: Japanese Large-scale Spoken Dialogue Corpus for Spoken Dialogue Language Modeling
यह शोध पत्र J-CHAT को प्रस्तुत करता है, जो एक स्वचालित पद्धति का उपयोग करके YouTube और पॉडकास्ट डेटा से निर्मित 76,000-घंटे का एक ओपन-सोर्स जापानी स्पोकन डायलॉग कॉर्पस है, जो मौजूदा डेटासेट की सीमाओं को संबोधित करता है और उन्नत स्पोकन डायलॉग सिस्टम को प्रशिक्षित करने में प्रभावशीलता प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक इंसान के साथ स्वाभाविक, प्रवाहपूर्ण बातचीत करना सिखाना चाहते हैं। आप इसे केवल एक स्क्रिप्ट पढ़ना नहीं सिखा सकते; आपको इसे लय, बीच में टोकना, हँसना और वास्तविक लोगों के बात करने के अव्यवस्थित, सहज तरीके को सिखाना होगा।
यह शोध पत्र J-CHAT पेश करता है, जो जापानी बातचीत का एक विशाल नया "लाइब्रेरी" है जिसे ठीक इसी काम के लिए बनाया गया है। यह इसे बनाने की कहानी है, जिसे सरल रूप में समझाया गया है।
1. समस्या: रोबोट की "स्क्रिप्टेड" आवाज़
वर्तमान में, कई AI वॉयस असिस्टेंट टेलीप्रॉम्प्टर पढ़ने वाले अभिनेताओं की तरह हैं। वे एक स्क्रिप्ट का पालन करने में बहुत अच्छे हैं, लेकिन वे वास्तविक जीवन के "इम्प्रोवाइजेशन" (तत्काल सुधार) में संघर्ष करते हैं।
- पुराना तरीका: शोधकर्ता इन सिस्टमों को अलग-अलग टूल्स को जोड़कर बनाते थे: सुनने के लिए एक, सोचने के लिए एक और बोलने के लिए एक। यह एक साइकिल के इंजन, एक नाव के प्रोपेलर और एक ट्रेन के पहिये को जोड़कर कार बनाने जैसा है। यह काम तो करता है, लेकिन यह बहुत अजीब और झटकेदार होता है।
- नया लक्ष्य: हम "एंड-टू-एंड" सिस्टम चाहते हैं जहाँ AI एक साथ सुनना और बोलना सीख सके, बिल्कुल एक इंसान की तरह।
- लापता घटक: इसे सीखने के लिए, AI को डेटा की आवश्यकता होती है। लेकिन मौजूदा डेटा सेट्स बहुत छोटे, बहुत शांत (साउंडप्रूफ स्टूडियो में रिकॉर्ड किए गए) या बहुत अधिक स्क्रिप्टेड हैं। यह एक सर्फर को केवल स्विमिंग पूल का उपयोग करके सिखाने जैसा है; वे कभी भी असली समुद्र की लहरों को संभालना नहीं सीख पाएंगे।
2. समाधान: J-CHAT (एक "जंगली" लाइब्रेरी)
शोधकर्ताओं ने J-CHAT (जापानी ह्यूमन-AI टॉक्स के लिए कॉर्पस) बनाया। इसे वास्तविक जीवन की बातचीत की 76,000-घंटे की लाइब्रेरी के रूप में समझें।
- यह कहाँ से आया? स्टूडियो में अभिनेताओं को काम पर रखने के बजाय, वे "जंगल में" गए। उन्होंने इंटरनेट, विशेष रूप से YouTube और Podcasts को खंगाला।
- ये स्रोत क्यों? YouTube पर लोग खाना पकाने से लेकर गेमिंग तक सब कुछ के बारे में बातें करते हैं। पॉडकास्ट शुद्ध, लंबे समय तक चलने वाली बातचीत हैं। यह एक एकल, बाँझ किराने की दुकान के बजाय एक हलचल भरे किसान बाजार से सामग्री इकट्ठा करने जैसा है।
3. रेसिपी: उन्होंने डेटा को कैसे साफ किया
आप बस 76,000 घंटे का इंटरनेट ऑडियो डाउनलोड करके रोबोट को नहीं खिला सकते। यह शोर, संगीत और गैर-जापानी बोलने वालों से भरा होता है। टीम ने इस डेटा को प्रोसेस करने के लिए एक स्वचालित किचन बनाया:
- बाउंसर (लैंग्वेज ID): उन्होंने हर क्लिप की जांच करने के लिए एक स्मार्ट फ़िल्टर का उपयोग किया। यदि वह जापानी नहीं था, तो उसे बाहर निकाल दिया गया।
- संपादक (डायलॉग एक्सट्रैक्शन): उन्हें वास्तविक बातचीत ढूंढनी थी। उन्होंने दो या अधिक लोगों के आपस में बातचीत करने के लिए तकनीक का उपयोग किया। यदि कोई केवल एक व्यक्ति भाषण दे रहा था (जैसे गेम कमेंट्री), तो उसे काट दिया गया।
- साउंड इंजीनियर (डिनोइजिंग): यह महत्वपूर्ण था। YouTube वीडियो में अक्सर बैकग्राउंड म्यूजिक या तेज़ पंखे की आवाज़ होती है। उन्होंने शोर को हटाने के लिए Demucs नामक एक AI टूल का उपयोग किया, जो एक नॉइज़-कैंसलिंग हेडफ़ोन की तरह काम करता है, जिससे संगीत हट जाता है और केवल मानवीय आवाज़ें बचती हैं।
- लाइब्रेरियन (ट्रांसक्रिप्शन): अंत में, उन्होंने कंप्यूटर को बातचीत को "पढ़ने" के लिए स्पीच-टू-टेक्स्ट AI का उपयोग किया ताकि वह सुनते समय बोले गए शब्दों को लिख सके।
4. यह एक बड़ी बात क्यों है
- आकार मायने रखता है: J-CHAT पिछले सबसे अच्छे जापानी कन्वर्सेशन डेटासेट से 1,500 गुना बड़ा है। यह एक छोटे तालाब और एक विशाल महासागर के बीच के अंतर जैसा है।
- विविधता: क्योंकि यह इंटरनेट से आता है, यह हजारों विषयों, लहजों और बोलने की शैलियों को कवर करता है। यह केवल "शिक्षक का छात्र से बात करना" नहीं है; यह "खेलों पर बहस करते अजनबी," "मज़ाक पर हंसते दोस्त," और "तकनीक पर चर्चा करते विशेषज्ञ" भी है।
- "सहजता" का कारक: वास्तविक बातचीत अव्यवस्थित होती है। लोग बीच में टोकते हैं, रुकते हैं और "अम्म" कहते हैं। J-CHAT इस "अव्यवस्था" को पकड़ता है, जो ठीक वही है जिसकी AI को इंसान जैसा लगने के लिए आवश्यकता है।
5. टेस्ट ड्राइव
शोधकर्ताओं ने J-CHAT का उपयोग करके एक नया AI मॉडल प्रशिक्षित किया और उसका परीक्षण किया।
- परिणाम: J-CHAT पर प्रशिक्षित AI मॉडल छोटे, पुराने डेटासेट्स पर प्रशिक्षित मॉडलों की तुलना में बहुत अधिक स्वाभाविक लगा और अधिक समझ में आया।
- चुनौती: हालांकि यह एक बड़ा सुधार था, फिर भी AI कभी-कभी लड़खड़ा जाता है। यह उस छात्र की तरह है जिसने लाखों किताबें पढ़ी हैं लेकिन अभी भी यह सीख रहा है कि बिना घबराए बातचीत कैसे की जाए। लेकिन, इसने साबित कर दिया कि अधिक डेटा = बेहतर परिणाम।
6. नैतिक सुरक्षा जाल
चूंकि उन्होंने सार्वजनिक इंटरनेट डेटा का उपयोग किया, इसलिए शोधकर्ता नैतिकता के बारे में बहुत सावधान थे:
- कानूनी लूपहोल: उन्होंने एक विशिष्ट जापानी कानून पर भरोसा किया जो "सूचना विश्लेषण" (जैसे कंप्यूटर को सिखाना) के लिए कॉपीराइट सामग्री का उपयोग करने की अनुमति देता है, बिना हर वीडियो के लिए अनुमति लिए।
- गोपनीयता: उन्होंने व्यक्तिगत विवरणों को हटा दिया और सुनिश्चित किया कि इस डेटा का उपयोग मनोरंजन के लिए मूल वीडियो को फिर से बनाने के लिए नहीं किया जा सकता है।
- ऑप्ट-आउट: यदि कोई नहीं चाहता कि उनकी आवाज़ डेटासेट में हो, तो वे हटाने का अनुरोध कर सकते हैं।
निचोड़
J-CHAT एक विशाल, ओपन-सोर्स टूलकिट है जो AI शोधकर्ताओं को वास्तविक, अव्यवस्थित, मानवीय जापानी बातचीत का एक बड़ा भंडार देता है। इस "जंगली" डेटा को AI में फीड करके, हम ऐसे वॉयस असिस्टेंट के करीब पहुँच रहे हैं जो केवल सवालों के जवाब ही नहीं देते, बल्कि वास्तव में हमारे असली दोस्तों की तरह हमसे बात (Chat) भी करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।