Indic DiarBench: A Multilingual Joint Diarization and ASR Benchmark for Indian Languages
यह शोधपत्र इंडिक डायरबेंच (Indic DiarBench) प्रस्तुत करता है, जो एक ओपन-एक्सेस बेंचमार्क डेटासेट है जिसमें सभी 22 निर्धारित भारतीय भाषाओं में 108 घंटे का मानव-एनोटेटेड, बहु-वक्ता ऑडियो शामिल है, जिसका उद्देश्य संयुक्त स्वचालित भाषण पहचान (ASR) और वक्ता डायराइजेशन (speaker diarization) प्रणालियों का मूल्यांकन करना और उन्हें उन्नत करना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हलचल भरे, अराजक भारतीय बाजार में प्रवेश कर रहे हैं। सैकड़ों लोग एक-दूसरे के ऊपर चिल्ला रहे हैं, हंस रहे हैं और बातें कर रहे हैं। कुछ मसाले बेच रहे हैं, कुछ कीमतों पर मोलभाव कर रहे हैं, और पास में ही एक समूह राजनीति पर बहस कर रहा है। एक मानव कान के लिए, यह जीवन की एक समृद्ध झांकी है, लेकिन एक कंप्यूटर के लिए, यह एक बुरा सपना है। वर्षों से, कंप्यूटर एक व्यक्ति को स्पष्ट रूप से बोलते हुए सुनने में बहुत अच्छे होते जा रहे हैं, जैसे कि कोई समाचार एंकर या शिक्षक। लेकिन वास्तविक जीवन शायद ही कभी इतना शांत होता है। यह एक अव्यवस्थित, ओवरलैपिंग बातचीत है जहाँ आवाजें आपस में मिल जाती हैं, भाषाएं बीच वाक्य में बदल जाती हैं, और दीवारों से टकराकर गूंजती हैं।
यह "स्पीकर डायराइजेशन" (speaker diarization) और "स्पीच रिकग्निशन" (speech recognition) की दुनिया है। स्पीकर डायराइजेशन को ऐसे समझें जैसे एक कंप्यूटर यह समझने की कोशिश कर रहा हो कि "किसने कब बोला।" यह एक शोर भरे खेल में एक रेफरी की तरह है जो हर खिलाड़ी के पास से गुजरते ही उसे नाम का टैग लगाने की कोशिश कर रहा है। स्पीच रिकग्निशन कंप्यूटर का उन खिलाड़ियों द्वारा कही गई बातों को सटीक रूप से लिखने का प्रयास है। पेचीदा बात यह है कि ये दोनों काम गहराई से जुड़े हुए हैं। यदि रेफरी गलत व्यक्ति को टैग करता है, तो लेखक गलत शब्द लिखेगा। अब तक, इस काम के लिए अधिकांश कंप्यूटर परीक्षण एक शांत पुस्तकालय में अभ्यास करने जैसे थे; वे कंप्यूटरों को वास्तविक दुनिया के शोर, मिश्रित और बहु-भाषी अराजक माहौल के लिए तैयार नहीं करते थे, विशेष रूप से भारत में, जहाँ 22 अलग-अलग आधिकारिक भाषाएं और अनगिनत बोलियां आपस में घुली-मिली रहती हैं।
यह शोध पत्र Indic DiarBench नामक एक नया, विशाल परीक्षण पेश करता है। शोधकर्ताओं ने केवल एक परीक्षण नहीं बनाया; उन्होंने विशेष रूप से भारतीय भाषाओं के लिए एक "अराजकता सिम्युलेटर" (chaos simulator) बनाया है। उन्होंने लगभग 108 घंटों का वास्तविक, अव्यवस्थित ऑडियो एकत्र किया। यह केवल एक प्रकार का शोर नहीं है; इसमें वर्चुअल मीटिंग में लोगों की क्लोज-अप रिकॉर्डिंग, बड़े कमरों में गूंजती आवाजों वाली दूर की रिकॉर्डिंग, और यहाँ तक कि यूट्यूब वीडियो के क्लिप भी शामिल हैं जहाँ लोग वास्तविक दुनिया में बातें कर रहे हैं। उन्होंने यह सुनिश्चित किया कि इसमें भारत की सभी 22 अनुसूचित भाषाएं शामिल हों, जिसमें हिंदी और तमिल से लेकर संताली और कश्मीरी तक सब कुछ शामिल है।
टीम ने इस डेटा को एक कठोर मानव समीक्षा प्रक्रिया से गुजारा। उन्होंने केवल कंप्यूटर को अनुमान लगाने के लिए नहीं छोड़ा; मानव विशेषज्ञों ने ट्रांसक्रिप्ट को सुना, उसे ठीक किया, और सावधानीपूर्वक लेबल किया कि कौन कब बोल रहा था, यहाँ तक कि तब भी जब दो लोग एक ही समय में बोल रहे थे। उन्होंने "कोड-मिक्सिंग" की अनूठी भारतीय आदत को भी संभाला, जहाँ वक्ता एक ही वाक्य में अपनी मूल भाषा और अंग्रेजी के बीच स्विच करते हैं।
एक बार जब परीक्षण तैयार हो गया, तो उन्होंने यह देखने के लिए सबसे बेहतरीन कंप्यूटर सिस्टमों को इसमें झोंक दिया कि वे कैसे प्रदर्शन करते हैं। उन्होंने बड़े व्यावसायिक टूल्स (जैसे AWS और Azure), विशेष भारतीय AI सिस्टम, और यहाँ तक कि नवीनतम "मल्टीमॉडल" AI मॉडल का भी परीक्षण किया जो देख और सुन सकते हैं। परिणाम अच्छे समाचारों और वास्तविकता के अहसास का मिश्रण थे।
अध्ययन में पाया गया कि हालांकि कुछ सिस्टम बेहतर हो रहे हैं, लेकिन यह काम अभी भी अविश्वसनीय रूप से कठिन है। सार्वम (Sarvam) नामक एक विशेष भारतीय AI सिस्टम ने समग्र रूप से सबसे अच्छा प्रदर्शन किया, लेकिन फिर भी वह केवल यह पहचानने में कि कौन बोल रहा था, लगभग 16% बार गलती करता था, और शब्दों को सही ढंग से लिखने में लगभग 39% बार चूक जाता था। बड़े, सामान्य-उद्देश्य वाले AI मॉडल (जैसे GPT-4o और Gemini) में एक अजीब कमजोरी देखी गई: कुछ शब्द लिखने में बहुत अच्छे थे लेकिन यह जानने में बहुत खराब थे कि किसने कहा, जबकि अन्य वक्ताओं की पहचान करने में ठीक थे लेकिन शब्दों को सही ढंग से लिखने में संघर्ष करते थे, विशेष रूप से उन भाषाओं के लिए जिनमें बोलने वालों की संख्या कम है।
यह शोध पत्र स्पष्ट रूप से दिखाता है कि जैसे-जैसे लोग एक-दूसरे के ऊपर अधिक बोलते हैं (ओवरलैप), कंप्यूटर उतने ही खराब होते जाते हैं। यह यह भी उजागर करता है कि "साफ" ऑडियो पर प्रशिक्षित सिस्टम वास्तविक जीवन में मिलने वाली दूर की, गूंजती या शोर भरी रिकॉर्डिंग का सामना करने पर बुरी तरह विफल हो जाते हैं। शोधकर्ता निष्कर्ष निकालते हैं कि हम अब "किसने बोला" और "उन्होंने क्या कहा" को अलग-अलग समस्याओं के रूप में नहीं देख सकते; इन्हें मिलकर हल किया जाना चाहिए। हालाँकि हमारे पास शोधकर्ताओं को सुधार करने में मदद करने के लिए एक नया, ओपन बेंचमार्क है, लेकिन यह शोध पत्र स्पष्ट करता है कि हम अभी वहां नहीं पहुंचे हैं। कंप्यूटर अभी भी भारतीय बातचीत की जीवंत, ओवरलैपिंग और बहु-भाषी वास्तविकता के साथ संघर्ष कर रहे हैं, और एक भीड़ भरे भारतीय बाजार को उतना ही अच्छी तरह सुनने के लिए अभी भी एक लंबा रास्ता तय करना बाकी है जितना कि एक इंसान कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।