Where Are We At with Automatic Speech Recognition for the Bambara Language?
यह शोध पत्र माली के संवैधानिक पाठ के एक नियंत्रित डेटासेट के विरुद्ध 37 मॉडलों का मूल्यांकन करके बम्बारा स्वचालित भाषण पहचान (ASR) के लिए पहले मानकीकृत बेंचमार्क को प्रस्तुत करता है, जिससे यह पता चलता है कि शीर्ष प्रदर्शन करने वाली प्रणालियाँ भी तैनाती के मानकों से काफी पीछे रह जाती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द "बम्बारा लैंग्वेज टेस्ट": क्यों आपका फोन अभी भी माली को "सुन" नहीं पाता
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, दुनिया घूमने वाले रोबोट को एक विशिष्ट, सुंदर स्थानीय बोली—मान लीजिए बम्बारा—को समझना सिखाने की कोशिश कर रहे हैं।
यह रोबोट पूरी दुनिया घूम चुका है। यह स्पेनिश, फ्रेंच और मंदारिन बिल्कुल सटीक बोल सकता है। आप सोच सकते हैं, "यह रोबट तो जीनियस है! यह देखते ही देखते बम्बारा सीख जाएगा।" लेकिन जब आप अंततः उस रोबोट को बम्बारा में एक औपचारिक भाषण सुनने के लिए बिठाते हैं, तो रोबोट घबराने लगता है। वह चीनी भाषा में शब्द बनाने लगता है, या अरबी में बोलने लगता है, या इतना भ्रमित हो जाता है कि वह आधी बात ही मिस कर देता है।
यही ठीक वही हो रहा है जो ऑटोमैटिक स्पीच रिकग्निशन (ASR) के साथ हो रहा है—वह तकनीक जो बोले गए शब्दों को टेक्स्ट में बदलती है—बम्बारा भाषा के लिए।
शोधकर्ताओं के एक समूह ने हाल ही में एक शोध पत्र प्रकाशित किया है जो इन AI मॉडल्स के लिए एक "रिपोर्ट कार्ड" की तरह काम करता है। यहाँ उनके द्वारा की गई खोजों का विवरण दिया गया है, कुछ सरल उपमाओं का उपयोग करते हुए।
1. "गोल्ड स्टैंडर्ड" परीक्षा (द बेंचमार्क)
इस शोध पत्र से पहले, हर कोई दावा कर रहा था कि उनका AI बम्बारा में "महान" है, लेकिन वे सभी अलग-अलग, अव्यवस्थित परीक्षणों का उपयोग कर रहे थे। यह वैसा ही था जैसे छात्र दावा कर रहे हों कि वे गणित में अच्छे हैं, लेकिन एक छात्र जोड़ (addition) कर रहा है जबकि दूसरा कैलकुलस (calculus) हल कर रहा है।
शोधकर्ताओं ने पहला मानकीकृत फाइनल एग्जाम बनाया। उन्होंने माली के संविधान की एक घंटे की पेशेवर, स्टूडियो-क्वालिटी रिकॉर्डिंग ली।
- शर्तें: यह "परफेक्ट" ऑडियो था—कोई बैकग्राउंड शोर नहीं, कोई स्लैंग नहीं, फ्रेंच का मिश्रण नहीं, और एक बहुत ही स्पष्ट आवाज।
- लक्ष्य: यदि AI इस "परफेक्ट" वर्जन के साथ भी संघर्ष करता है, तो वह वास्तविक दुनिया (जैसे किसी शोर भरे बाजार या भीड़ भरी सड़क) में निश्चित रूप से विफल हो जाएगा।
2. परिणाम: "जीनियस फेल हो रहा है"
शोधकर्ताओं ने 37 अलग-अलग AI मॉडल्स का परीक्षण किया, जिनमें छोटे, विशिष्ट मॉडल्स से लेकर ओपनएआई (OpenAI - चैटजीपीटी के निर्माता) और मेटा (फेसबुक) जैसी कंपनियों द्वारा बनाए गए विशाल, "सुपर-इंटेलिजेंट" मॉडल्स तक शामिल थे।
निष्कर्ष एक चेतावनी थे:
- "बड़े नाम" बुरी तरह विफल रहे: विशाल बहुभाषी मॉडल्स (जैसे OpenAI का Whisper) केवल संघर्ष ही नहीं कर रहे थे, बल्कि वे हैलुसिनेशन (hallucination) कर रहे थे। कल्पना कीजिए कि आप एक अनुवादक से एक वाक्य का अनुवाद करने के लिए कहते हैं, और "मुझे नहीं पता" कहने के बजाय, वह म्यांमार या अरबी जैसी पूरी तरह से अलग भाषा में कविता सुनाने लगता है। ये मॉडल्स यही कर रहे थे।
- "विशेषज्ञ" जीत गए: वे मॉडल्स जिन्हें विशेष रूप से बम्बारा डेटा पर "पाला" गया था (जैसे Djelia और RobotsMali जैसे समूहों द्वारा बनाए गए), उन्होंने बहुत बेहतर प्रदर्शन किया। वे कुल मस्तिष्क आकार के मामले में उतने "स्मार्ट" नहीं थे, लेकिन वे वास्तव में स्थानीय शब्दावली को जानते थे।
- "गैप": सबसे अच्छा मॉडल भी केवल आधे शब्द ही सही पकड़ पाया। टेक की दुनिया में, एक "अच्छा" सिस्टम होने के लिए लगभग 90% शब्दों को सही होना आवश्यक है। वर्तमान में, बम्बारा AI एक ऐसे छात्र की तरह है जो टेस्ट में 50% अंक प्राप्त करता है—यह एक शुरुआत है, लेकिन आप इसे कानूनी दस्तावेज लिखने के लिए भरोसा नहीं करेंगे!
3. यह इतना कठिन क्यों है? ("लेगो" की समस्या)
शोधकर्ताओं ने बताया कि बम्बारा एक मॉर्फोलॉजिकल रूप से समृद्ध (morphologically rich) भाषा है।
अंग्रेजी के शब्दों को ईंटों (bricks) की तरह सोचें। वे ज्यादातर अलग इकाइयाँ हैं। लेकिन बम्बारा के शब्दों को लेगो सेट्स (Lego sets) की तरह सोचें। आप एक बहुत लंबा, जटिल शब्द बनाने के लिए कई अलग-अलग टुकड़ों को आपस में जोड़ सकते हैं।
AI ध्वनियों (व्यक्तिगत लेगो टुकड़ों) को सुनने में अच्छा है, लेकिन उसे यह समझने में कठिनाई होती है कि एक "सेट" कहाँ समाप्त होता है और दूसरा कहाँ शुरू होता है। वह टुकड़ों को सुनता तो है, लेकिन वह सही संरचना नहीं बना पाता, इसलिए वह उन्हें त्रुटियों (errors) के रूप में गिनता है।
4. निचोड़
शोध पत्र निष्कर्ष निकालता है कि "स्केल ही सब कुछ नहीं है।"
सिर्फ इसलिए कि एक AI विशाल है और 100 भाषाएं जानता है, इसका मतलब यह नहीं है कि वह एक विशिष्ट, कम प्रतिनिधित्व वाली भाषा को समझ सकता है। आप केवल समस्या पर "अधिक डेटा" नहीं डाल सकते और उम्मीद नहीं कर सकते कि यह काम करेगा; आपको लक्षित, उच्च-गुणवत्ता वाले, स्थानीय ज्ञान की आवश्यकता है।
अच्छी खबर क्या है? शोधकर्ताओं ने इस "परीक्षा" (बेंचमार्क) को जनता के लिए जारी कर दिया है। उन्होंने अनिवार्य रूप से भविष्य के वैज्ञानिकों के लिए एक नक्शा तैयार कर दिया है, जिसमें कहा गया है: "यहाँ ठीक वही है जहाँ तकनीक विफल हो रही है। अब, कुछ ऐसा बनाएं जो वास्तव में काम करे।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।