Benchmarking Speech Recognition Models for Medical Consultations in Latin American Spanish: A Comparative Evaluation with Fine-Tuning
यह अध्ययन लैटिन अमेरिकी स्पेनिश चिकित्सा परामर्शों पर दस स्पीच-टू-टेक्स्ट मॉडलों का बेंचमार्किंग करता है, जिसमें यह पाया गया कि हालांकि व्हिस्पर लार्ज v3 (Whisper Large v3) को फाइन-ट्यून करने से यह अपने वैनिला संस्करण से आगे नहीं निकल पाया, फिर भी इसने प्रमुख मेट्रिक्स पर अन्य ओपन-सोर्स और क्लोज्ड-सोर्स मॉडलों को पछाड़ दिया, जिससे इसे इस संदर्भ में एआई मेडिकल स्क्राइब्स के लिए इष्टतम ओपन-सोर्स समाधान के रूप में स्थापित किया गया है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपके डॉक्टर को आपसे बात करते समय एक भी शब्द टाइप करने की ज़रूरत न पड़े। इसके बजाय, एक स्मार्ट कंप्यूटर आपकी पूरी बातचीत को सुनता है, आपके द्वारा कही गई हर बात को लिख लेता है, और उसे एक व्यवस्थित मेडिकल नोट में बदल देता है। यह "AI मेडिकल स्क्राइब" का सपना है। लेकिन इसके काम करने के लिए, कंप्यूटर को एक विशिष्ट कार्य में अविश्वसनीय रूप से कुशल होना चाहिए: मानव भाषण को सुनना और उसे टेक्स्ट में बदलना। इस कार्य को स्पीच-टू-टेक्स्ट (STT) कहा जाता है। आप इसे अपने फोन के वॉइस असिस्टेंट से पहचानते होंगे, लेकिन वे असिस्टेंट आमतौर पर स्पष्ट, मानक अंग्रेजी पर प्रशिक्षित होते हैं। हालाँकि, वास्तविक दुनिया अव्यवस्थित होती है। लोग अलग-अलग लहजों (accents) में बोलते हैं, बोलचाल की भाषा (slang) का उपयोग करते हैं, एक-दूसरे की बात काटते हैं, और जटिल चिकित्सा शब्दों का प्रयोग करते हैं। लैटिन अमेरिका में, जहाँ स्पेनिश को क्षेत्रीय विविधताओं और बोलियों के एक विशाल समूह के साथ बोला जाता है, कंप्यूटर को एक डॉक्टर और मरीज को समझने के लिए तैयार करना वैसा ही है जैसे किसी तोते को उस भाषा में कविता सुनाने के लिए सिखाना जिसे उसने पहले कभी नहीं सुना, जबकि वह तोता एक शोर भरे, भीड़भाड़ वाले बाजार में बैठा हो। यदि कंप्यूटर शब्दों को गलत समझता है, तो मेडिकल नोट भी गलत होगा, और यह खतरनाक हो सकता है। इसलिए, वैज्ञानिकों को यह पता लगाने की आवश्यकता है कि वास्तव में कौन से कंप्यूटर इस कठिन कार्य में कुशल हैं, इससे पहले कि हम उन्हें वास्तविक क्लीनिकों में प्रवेश करने दें।
यह शोध पत्र दस अलग-अलग "सुनने वाले दिमागों" (AI मॉडल्स) के लिए एक विशाल, उच्च-दांव वाले स्वाद परीक्षण (taste test) की तरह है, यह देखने के लिए कि लैटिन अमेरिकी स्पेनिश में चिकित्सा संबंधी बातचीत को समझने में कौन सा सबसे अच्छा है। शोधकर्ताओं ने विभिन्न देशों के डॉक्टरों द्वारा मरीजों से बात करने के दस वास्तविक वीडियो एकत्र किए। उन्होंने एक इंसान को काम पर रखा जिसने हर वीडियो में जो कुछ भी कहा गया था, उसे सटीक रूप से लिखा, जिससे एक "गोल्ड स्टैंडर्ड" उत्तर कुंजी तैयार हुई। फिर, उन्होंने इन दस वीडियो के ऑडियो को दस अलग-अलग AI मॉडल्स में डाला—पाँच जो मुफ्त और ओपन-सोर्स हैं जिन्हें कोई भी उपयोग कर सकता है, और पाँच जो बड़ी तकनीकी कंपनियों के सशुल्क (paid), क्लोज्ड-सोर्स टूल्स हैं। उन्होंने प्रत्येक AI को इस आधार पर स्कोर दिया कि उनका ट्रांसक्रिप्शन मानव के पूर्ण संस्करण के कितने करीब था, जिसमें साधारण शब्दों की गलतियों से लेकर अर्थ के संरक्षण तक सब कुछ शामिल था।
लेकिन शोधकर्ता केवल परीक्षण करने तक ही नहीं रुके; वे यह भी देखना चाहते थे कि क्या वे एक बेहतरीन ओपन-सोस मॉडल को विशेष रूप से चिकित्सा डेटा पर "शिक्षित" करके और भी बेहतर बना सकते हैं। उन्होंने शीर्ष ओपन-सोर्स दावेदार, जिसे Whisper Large v3 कहा जाता है, को लिया और उसे नौ में से दस वीडियो का उपयोग करके एक 'क्रैश कोर्स' दिया। उन्होंने ऑडियो को छोटे-छोटे 10-सेकंड के टुकड़ों में विभाजित किया और मॉडल को बार-बार अभ्यास करने दिया, विभिन्न शिक्षण विधियों का उपयोग करते हुए यह देखने के लिए कि क्या वह लैटिन अमेरिकी डॉक्टरों के विशिष्ट स्लैंग और चिकित्सा शब्दों को सीख सकता है। उन्होंने "डेटा ऑग्मेंटेशन" (data augmentation) भी आज़माया, जो कि एक शिक्षक द्वारा बैकग्राउंड शोर जोड़ने, आवाज़ की पिच बदलने या दो बातचीत एक साथ चलाने जैसा है, ताकि छात्र को कड़ी मेहनत करने और विकर्षणों (distractions) को अनदेखा करना सीखने के लिए मजबूर किया जा सके।
कहानी यहाँ दिलचस्प हो जाती है। शोधकर्ताओं ने पाया कि सशुल्क, क्लोज्ड-सोर्स मॉडल्स आम तौर पर सबसे मजबूत सुनने वाले थे, जिसमें Gemini-2.5-pro नामक एक मॉडल समग्र रूप से शीर्ष पर रहा। हालाँकि, मुफ्त, ओपन-सोर्स मॉडल्स के बीच, Whisper Large v3 स्पष्ट विजेता था। जब उन्होंने इस मॉडल को और बेहतर बनाने के लिए इसे 'फाइन-ट्यून' करने की कोशिश की, तो उन्हें एक आश्चर्यजनक बाधा का सामना करना पड़ा। उन्हें लगा था कि वह सारा अतिरिक्त "शोर" और अभ्यास (डेटा ऑग्मेंटेशन) मॉडल को स्मार्ट बना देगा, जैसे कि एक छात्र जो एक अराजक लाइब्रेरी में अध्ययन करना सीखता है। इसके बजाय, इसने मॉडल को और खराब कर दिया। अतिरिक्त शोर ने मॉडल को भ्रमित कर दिया, और यह वास्तव में बेहतर प्रदर्शन करता था जब उन्होंने इसे बिना किसी अतिरिक्त अराजकता के साफ, स्पष्ट रिकॉर्डिंग के साथ छोड़ दिया।
अंतिम मुकाबले में, उन्होंने अपने "प्रशिक्षित" मॉडल का परीक्षण उस एक वीडियो पर किया जिसे उसने पहले कभी नहीं देखा था (दसवां वीडियो)। अपने विशेष प्रशिक्षण के बावजूद, फाइन-ट्यून्ड मॉडल बड़े व्यावसायिक टूल्स को नहीं हरा सका। वास्तव में, उस एकल अनदेखे वीडियो पर, यह छह मॉडल्स की तुलना में छठे में से चौथे स्थान पर रहा। हालाँकि, इसने वाक्यों के समग्र अर्थ को समझने जैसे विशिष्ट क्षेत्रों में कुछ क्षमता दिखाई, और "सिमेंटिक सिमिलैरिटी" (semantic similarity) में अन्य मॉडल्स से अधिक स्कोर किया। शोध पत्र सुझाव देता है कि हालांकि Whisper Large v3 को फाइन-ट्यून करना लैटिन अमेरिका के लिए एक मुफ्त मेडिकल स्क्राइब बनाने की एक ठोस रणनीति है, लेकिन यह कोई जादुई समाधान नहीं है जो महंगे, कॉर्पोरेट दिग्गजों को तुरंत हरा दे। शोधकर्ता निष्कर्ष निकालते हैं कि हालांकि फाइन-ट्यून्ड ओपन-सोर्स मॉडल एक मजबूत आधार रेखा (baseline) है, लेकिन विविध और जटिल लैटिन अमेरिकी चिकित्सा भाषण में महारत हासिल करने के लिए हमें अभी भी बहुत अधिक डेटा और बेहतर प्रशिक्षण की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।