IndicTalk: A Large-Scale Persona-Based Multilingual Conversational Corpus for Indic Languages
यह शोध पत्र इंडिकटॉक (IndicTalk) को प्रस्तुत करता है, जो 9 भारतीय भाषाओं की 18 किस्मों के बीच 1.3 मिलियन से अधिक व्यक्तित्व-आधारित (persona-based), घटना-आधारित (event-grounded) कोड-मिश्रित वार्तालापों का एक बड़े पैमाने पर, स्वचालित रूप से निर्मित संग्रह है, जिसे कम प्रतिनिधित्व वाले क्षेत्रों के लिए बहुभाषी संवादात्मक एआई को उन्नत करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरे वैश्विक शहर के चौक (टाउन स्क्वायर) के रूप में करें। लंबे समय तक, अंग्रेजी बोलने वाले लोगों के पास सबसे तेज़ मेगाफोन और सबसे आरामदायक बेंच रहे, जबकि अन्य भाषाओं के बोलने वालों को अक्सर शोर के बीच चिल्लाना पड़ा या किनारे पर बैठना पड़ा। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह "शहर का चौक" वह जगह है जहाँ कंप्यूटर बातें करना सीखते हैं। हाल ही में, ये कंप्यूटर—जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है—बातचीत करने में अविश्वसनीय रूप से कुशल हो गए हैं, लेकिन उन्होंने मुख्य रूप से अंग्रेजी बोलने वालों को सुनकर सीखा है।
हालाँकि, दुनिया के कई हिस्सों में, लोग केवल एक भाषा नहीं बोलते; वे उन्हें आपस में मिला देते हैं। इसे "कोड-मिक्सिंग" (code-mixing) कहा जाता है। कल्पना कीजिए कि एक दोस्त कहानी सुना रहा है जहाँ वह अचानक एक वाक्य के बीच में अपनी मातृभाषा से अंग्रेजी में बदल जाता है, या यहाँ तक कि अपने देशी शब्दों को अंग्रेजी अक्षरों का उपयोग करके लिखता है (जैसे "नमस्ते" के बजाय "hello" टाइप करना)। इंटरनेट पर करोड़ों लोग वास्तव में इसी तरह बात करते हैं। समस्या यह है कि अधिकांश AI चैटबॉट्स सख्त शिक्षकों की तरह हैं जो एक समय में केवल एक ही भाषा समझते हैं। जब आप भाषाओं को मिला देते हैं, तो वे भ्रमित हो जाते हैं, जिससे उन अरबों लोगों के साथ स्वाभाविक रूप से चैट करना कठिन हो जाता है जो इस मिश्रित तरीके से बोलते हैं। इसे ठीक करने के लिए, हमें अभ्यास संवादों के एक विशाल पुस्तकालय की आवश्यकता है जो भाषाओं के इस बिखरे हुए, सुंदर मिश्रण को पकड़ सके।
यहाँ IndicTalk आता है, एक विशाल नया प्रोजेक्ट जो भारत की भाषाओं के लिए ठीक उसी तरह का पुस्तकालय बनाता है। इस कार्य के पीछे के शोधकर्ताओं ने महसूस किया कि जबकि अंग्रेजी के लिए पर्याप्त डेटासेट मौजूद हैं, नौ अलग-अलग भारतीय भाषाओं में होने वाली जटिल, मिश्रित-भाषा की बातचीत के लिए लगभग कुछ भी नहीं था। मौजूदा संसाधन या तो बहुत छोटे थे, या केवल एक भाषा जोड़ी (जैसे हिंदी और अंग्रेजी) पर केंद्रित थे, या वे केवल वाक्यों की सूचियाँ थे न कि पूर्ण, प्रवाहमयी बातचीत।
इसे हल करने के लिए, टीम ने एक पूरी तरह से स्वचालित "कन्वर्सेशन फैक्ट्री" (संवाद कारखाना) बनाई। हजारों लोगों को हाथ से संवाद लिखने के लिए काम पर रखने के बजाय, उन्होंने एक ऐसा पाइपलाइन बनाया जो वास्तविक दुनिया की समाचार कहानियों से शुरू होता है। इसे एक समाचार पत्र की हेडलाइन लेने, उसके मुख्य तथ्यों का साराмरी (सारांश) बनाने और फिर उस सारांश को एक सुपर-स्मार्ट AI को खिलाने जैसा समझें। इस AI को फिर एक विशिष्ट "पर्सोना" (व्यक्तित्व) दिया जाता है—जैसे एक जिज्ञासु मित्र, एक सख्त शिक्षक, या एक चिंतित परिवार का सदस्य—और उस समाचार कहानी के बारे में बातचीत करने के लिए कहा जाता है। यह सिस्टम इसे बार-बार करता है, जिससे लाखों चैट उत्पन्न होती हैं।
इसका परिणाम IndicTalk है, एक विशाल डेटासेट जिसमें 13,28,604 से अधिक बहु-स्तरीय (multi-turn) बातचीत शामिल हैं। ये केवल रैंडम चैट नहीं हैं; ये वास्तविक घटनाओं पर आधारित हैं और 9 भारतीय भाषाओं (बंगाली, हिंदी, तमिल और तेलुगु सहित) की 18 विभिन्न भाषाई विविधताओं को कवर करती हैं। जो चीज़ इसे खास बनाती है वह है यह दो तरीकों से लेखन को कैप्चर करता है: पारंपरिक मूल लिपियाँ (जैसे देवनागरी या तमिल लिपि) और रोमन संस्करण (जहाँ उन भाषाओं को अंग्रेजी अक्षरों का उपयोग करके टाइप किया जाता है, जैसा कि लोग अपने फोन पर टेक्स्ट करते समय करते हैं)।
शोधकर्ताओं ने केवल डेटा को डाला नहीं; उन्होंने इसे एक कठोर गुणवत्ता जांच से गुजारा। उन्होंने स्वचालित फिल्टरों का उपयोग किया ताकि यह सुनिश्चित हो सके कि बातचीत वास्तव में भाषाओं को सही ढंग से मिलाती है और गलती से केवल अंग्रेजी या केवल एक मूल भाषा में नहीं बदल जाती है। उन्होंने मानव विशेषज्ञों और अन्य शक्तिशाली AI मॉडलों को चैट को रेट करने के लिए जज के रूप में इस्तेमाल किया। परिणाम उत्साहजनक थे: बातचीत को प्रवाहपूर्ण, सुसंगत और स्वाभाविक रूप से कोड-मिक्स्ड पाया गया, बिल्कुल वास्तविक मानवीय चैट की तरह।
संक्षेप में, यह पेपर सुझाव देता है कि एक स्मार्ट, स्वचालित पाइपलाइन का उपयोग करके, हम एक उच्च-गुणवत्ता वाला, बड़े पैमाने का संसाधन बना सकते है जो AI को लोगों के वास्तविक, मिश्रित भाषा के तरीके को समझने में मदद करता है। हालाँकि लेखक यह नोट करते हैं कि ये सिंथेटिक (कंप्यूटर-जनित) बातचीत हैं और वास्तविक मानवीय भाषण की सूक्ष्म, अव्यवस्थित कमियों को मिस कर सकती हैं, उन्होंने सफलतापूर्वक यह प्रदर्शित किया है कि एक विशाल, विविध डेटासेट बनाना संभव है जो कठोर AI और बहुभाषी जीवन की तरल वास्तविकता के बीच के अंतर को पाटता है। यह डेटासेट अब दूसरों के उपयोग के लिए उपलब्ध है, जो संभावित रूप से ऐसे चैटबॉट्स और वॉयस असिस्टेंट बनाने में मदद कर सकता है जो अंततः वैश्विक शहर के चौक में अपना हिस्सा महसूस करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।