Human-1 by Josh Talks: A Full-Duplex Conversational Modeling Framework in Hindi using Real-World Conversations
यह शोध पत्र Human-1 प्रस्तुत करता है, जो हिंदी के लिए पहला खुला और पुनरुत्पादक फुल-डुप्लेक्स स्पोकन डायलॉग सिस्टम है, जो प्राकृतिक व्यवधानों (interruptions) और ओवरलैप्स जैसे भाषण व्यवहारों को सक्षम करने के लिए एक कस्टम टोकेनाइज़र और 26,000 घंटों के वास्तविक दुनिया के संवादात्मक डेटा का उपयोग करके मोशी (Moshi) आर्किटेक्चर को अनुकूलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"ह्यूमन-1" प्रोजेक्ट: एआई को "चैट" की कला में माहिर बनाना सिखाना
कल्पना कीजिए कि आप एक बहुत ही विनम्र, लेकिन थोड़े रोबोटिक असिस्टेंट से बात कर रहे हैं। आप कहते हैं, "हे, क्या आप मुझे बता सकते हैं..." और फिर आप सोचने के लिए रुक जाते हैं। असिस्टेंट बस चुपचाप बैठा रहता है, आपके पूरे वाक्य को पूरी तरह से खत्म करने का इंतज़ार करता है। अगर आप गलती से उसे बीच में टोक देते हैं, तो वह भ्रमित हो जाता है और फिर से शुरू हो जाता है। यह "वॉकी-टॉकी" स्टाइल की बातचीत है: एक व्यक्ति बोलता है, फिर दूसरा बोलता है।
अब, अपने सबसे अच्छे दोस्त से बात करने की कल्पना करें। आप दोनों कभी-कभी एक साथ बात करते हैं। जब वे बोल रहे होते हैं, तो आप यह दिखाने के लिए कि आप सुन रहे हैं, "हूँ" या "हाँ" जैसी छोटी आवाज़ें निकालते हैं। अगर वे अचानक रुक जाते हैं, तो आप तुरंत अपनी बात शुरू कर देते हैं। यह "फुल-डुप्लेक्स" (Full-Duplex) बातचीत है—जो सहज, स्वाभाविक और अनौपचारिक होती है।
समस्या: अधिकांश एआई मॉडल "वॉकी-टॉकी" की तरह हैं। वे अंग्रेजी में तो बहुत अच्छे हैं, लेकिन वे अन्य भाषाओं, जैसे कि हिंदी के "रिदम" (लय) को नहीं समझते हैं।
समाधान: जोश टॉक्स (Josh Talks) की एक टीम ने ह्यूमन-1 (Human-1) बनाया है, जो पहला ऐसा सिस्टम है जिसे हिंदी में एक वास्तविक, बहती हुई, "मानवीय शैली" की बातचीत करने के लिए डिज़ाइन किया गया है।
उन्होंने इसे कैसे किया (तीन मुख्य सामग्रियाँ)
1. असली बातचीत का "विशाल पुस्तकालय" (डेटा)
अधिकांश एआई किताबों या समाचार रिपोर्टों पर प्रशिक्षित होते हैं—ऐसी चीज़ें जिन्हें लोग पढ़ते हैं। लेकिन आप टेक्स्टबुक की तरह बात नहीं करते। इसे ठीक करने के लिए, शोधकर्ताओं ने वास्तविक, सहज हिंदी बातचीत के 26,000 घंटों का संग्रह किया।
उपमा: कल्पना कीजिए कि आप भौतिक विज्ञान (physics) पर एक मैनुअल पढ़कर नृत्य सीखना चाह रहे हैं। आप इसमें बहुत खराब होंगे! नृत्य सीखने के लिए, आपको एक क्लब में जाना होगा और लोगों को चलते-फिरते देखना होगा। शोधकर्ताओं ने एआई को कोई टेक्स्टबुक नहीं दी; उन्होंने उसे वास्तविक मानवीय संवाद का एक विशाल "डांस फ्लोर" दिया। उन्होंने विशेष रिकॉर्डिंग का भी उपयोग किया ताकि एआई बातचीत में दोनों व्यक्तियों को अलग-अलग सुन सके, जिससे यह सीख सके कि कब एक व्यक्ति शुरू करता है और दूसरा कब रुकता है।
2. "दिमाग के शब्दकोश" को बदलना (टोकेनाइज़र)
एआई शब्दों को नहीं देखता; वह "टोकन" (डेटा के छोटे टुकड़े) देखता है। मूल सिस्टम (जिसे मोशी/Moshi कहा जाता था) एक अंग्रेजी शब्दकोश के साथ बनाया गया था। हिंदी समझने के लिए अंग्रेजी शब्दकोश का उपयोग करना वैसा ही है जैसे हिंदी शब्द बनाने के लिए केवल अंग्रेजी टाइल्स का उपयोग करके स्क्रैबल (Scrabble) का खेल खेलना—यह निराशाजनक, धीमा और अव्यवस्थित है।
उपमा: यह एक पारंपरिक भारतीय भोजन बनाने के लिए फ्रांसीसी भाषा में लिखी गई रेसिपी बुक का उपयोग करने जैसा है। आप शायद अंततः इसे पूरा कर लेंगे, लेकिन आप लगातार अनुवाद करते रहेंगे और गलतियाँ करेंगे। टीम ने उस फ्रांसीसी रेसिपी बुक को हटा दिया और विशेष रूप से हिंदी (देवनागरी लिपि) के लिए एक नया शब्दकोश लिखा, जिससे एआई बहुत तेज़ और स्मार्ट हो गया।
3. दो-चरणीय प्रशिक्षण (सीखने की प्रक्रिया)
उन्होंने केवल डेटा को एआई पर नहीं फेंका और उम्मीद नहीं की कि सब ठीक हो जाएगा। उन्होंने दो-चरणीय दृष्टिकोण का उपयोग किया:
- चरण 1 (गहन अध्ययन): उन्होंने एआई को भाषा के बुनियादी पैटर्न सीखने के लिए उस विशाल 26,000-घंटे के पुस्तकालय में डूबने दिया।
- चरण 2 (पॉलिशिंग/सुधार):- उन्होंने बातचीत के एक छोटे, "उच्च-गुणवत्ता वाले" सेट (सबसे बेहतरीन, स्पष्ट बातचीत) को लिया ताकि एआई को फाइन-ट्यून किया जा सके, जिससे यह अतिरिक्त विनम्र और स्पष्ट बन सके।
क्या यह वास्तव में काम करता है?
शोधकर्ताओं ने यह देखने के लिए एआई का परीक्षण किया कि क्या यह बातचीत में "गति बनाए रख" सकता है। यहाँ उन्हें क्या मिला:
- यह मानवीय लगता है: परीक्षणों में, लोगों ने एआई की स्वाभाविकता को बहुत उच्च रेटिंग दी। हालांकि यह अभी पूरी तरह से इंसान नहीं बना है, लेकिन यह उसके बहुत करीब पहुँच रहा है।
- यह "रिदम" को समझता है: उन्होंने परीक्षण किया कि क्या एआई जानता है कि कब रुकना है या कब बोलना है। उन्होंने पाया कि यदि वे "रचनात्मकता" (creativity) के स्तर को बिल्कुल सही रखते हैं, तो एआई मानवीय समय की नकल करता है—यह जानता है कि कब इंतज़ार करना है और कब जवाब देना है।
- यह कुशल है: भले ही मूल अंग्रेजी मॉडल ने 7 मिलियन घंटों के डेटा का उपयोग किया था, इस हिंदी मॉडल ने केवल 26,000 घंटों के साथ शानदार परिणाम प्राप्त किए। यह साबित करता है कि मात्रा से अधिक गुणवत्ता मायने रखती है।
निष्कर्ष
ह्यूमन-1 एक ऐसे भविष्य की ओर एक बड़ा कदम है जहाँ आप अपने फोन से हिंदी में बिल्कुल वैसे ही बात कर सकते हैं जैसे आप सड़क पर किसी व्यक्ति से बात कर रहे हों—बीच में टोकना, हंसना और बिना किसी अजीब "रोबोटिक सन्नाटे" के स्वाभाविक रूप से बातचीत करना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।