The NTNU System at the S&I Challenge 2025 SLA Open Track
S&I चैलेंज 2025 SLA ओपन ट्रैक के लिए NTNU टीम की प्रणाली मोडैलिटी-विशिष्ट सीमाओं को दूर करने के लिए एक स्कोर फ्यूजन रणनीति के माध्यम से wav2vec 2.0 को Phi-4 मल्टीमॉडल लार्ज लैंग्वेज मॉडल के साथ एकीकृत करती है, जिससे 0.375 के रूट मीन स्क्वायर एरर के साथ दूसरा स्थान प्राप्त हुआ।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो किसी छात्र के बोले गए अंग्रेजी का ग्रेड देने की कोशिश कर रहे हैं। आपको उन्हें सुनना है और यह तय करना है: वे कितने अच्छे हैं? क्या वे धाराप्रवाह (fluent) लगते हैं? क्या उनका उच्चारण स्पष्ट है? क्या वे सही शब्दों का उपयोग कर रहे हैं?
लंबे समय तक, कंप्यूटर यह करने के लिए दो अलग-अलग चीजें करते रहे, लेकिन वे दो ऐसे विशेषज्ञों की तरह थे जो एक-दूसरे से बात नहीं कर सकते थे:
"ट्रांसक्राइबर" (BERT): यह कंप्यूटर सुनता है, छात्र ने जो कहा उसे बिल्कुल वैसा ही लिख देता है, और फिर शब्दों को ग्रेड देता है। यह यह जांचने में माहिर है कि छात्र ने सही शब्दावली का उपयोग किया या नहीं। लेकिन, यदि कंप्यूटर कोई शब्द गलत सुन लेता है (जो लहजे/accent के कारण अक्सर होता है), तो पूरा ग्रेड बिगड़ जाता है। साथ ही, यह यह नहीं सुन सकता कि छात्र ने कैसे बोला—जैसे कि वे घबराए हुए थे या उनकी बोलने की लय अजीब थी।
"साउंड इंजीनियर" (wav2vec 2.0): यह कंप्यूटर शब्दों को पूरी तरह से अनदेखा कर देता है। यह केवल ध्वनि तरंगों (sound waves) को सुनता है। यह सुनने में बेहतरीन है कि छात्र कितनी सहजता से बोल रहा है, उसका लहजा कितना स्पष्ट है, और वह कितनी बार रुक रहा है। लेकिन, इसे वास्तव में यह समझ नहीं आता कि छात्र क्या कह रहा है। यह यह सोच सकता है कि एक छात्र बहुत अच्छा है क्योंकि वह धाराप्रवाह बोला, भले ही वह निरर्थक बातें कर रहा हो।
NTNU टीम का समाधान: "सुपर-टीचर"
नेशनल टेइवान नॉर्मल यूनिवर्सिटी (NTNU) की टीम ने महसूस किया कि एक सटीक ग्रेड पाने के लिए, आपको ट्रांसक्राइबर और साउंड इंजीनियर दोनों को एक साथ काम करने की आवश्यकता है। उन्होंने "स्पीक एंड इम्प्रूव चैलेंज 2025" (AI के लिए एक बड़ी प्रतियोगिता जो बोलने की क्षमता को ग्रेड देती है) के लिए एक सिस्टम बनाया है जो एक सुपर-टीचर की तरह काम करता है।
यहाँ बताया गया है कि उनका सिस्टम कैसे काम करता है, एक सरल उपमा (analogy) का उपयोग करते हुए:
1. दो ग्रेडर
उन्होंने दो अलग-अलग "AI ग्रेडर" बनाए जो एक ही समय में एक ही छात्र की रिकॉर्डिंग को सुनते हैं:
- ग्रेडर A (ध्वनि विशेषज्ञ): यह wav2vec 2.0 नामक मॉडल का उपयोग करता है। यह पूरी तरह से भाषण के संगीत पर ध्यान केंद्रित करता है—लय, उच्चारण और प्रवाह।
- ग्रेडर B (अर्थ विशेषज्ञ): यह Phi-4 नामक एक विशाल, बुद्धिमान AI का उपयोग करता है। यह एक "मल्टीमॉडल लार्ज लैंग्वेज मॉडल" है। यह एक सुपर-स्मार्ट ट्यूटर की तरह है जो टेक्स्ट को पढ़ भी सकता है और आवाज को सुन भी सकता है। यह अर्थ, व्याकरण और छात्र द्वारा सुनाई जा रही कहानी के संदर्भ को समझता है।
2. "स्कोर फ्यूजन" (अंतिम निर्णय)
उन्होंने एक AI को अंतिम फैसला लेने देने के बजाय, दोनों को मिला दिया। कल्पना कीजिए कि जजों का एक पैनल है जहाँ एक जज "प्रवाह" (Fluency) पर वोट देता है और दूसरा "सामग्री" (Content) पर।
- उन्होंने केवल अंधाधुंध औसत स्कोर नहीं निकाला। उन्होंने स्कोर फ्यूजन नामक एक स्मार्ट रणनीति का उपयोग किया।
- उन्होंने अंग्रेजी के विभिन्न "स्तर" (शुरुआती से लेकर उन्नत तक) को देखा। प्रत्येक स्तर के लिए, उन्होंने सबसे सटीक परिणाम प्राप्त करने के लिए साउंड एक्सपर्ट और मीनिंग एक्सपर्ट को कितना महत्व (weight) देना है, यह ठीक से निर्धारित किया।
- यह कुछ ऐसा ही है जैसे कहना, "एक शुरुआती छात्र के लिए, आइए साउंड एक्सपर्ट पर थोड़ा अधिक भरोसा करें। एक उन्नत छात्र के लिए, आइए मीनिंग एक्सपर्ट पर अधिक भरोसा करें।"
परिणाम: दूसरा स्थान!
जब उन्होंने इस "सुपर-टीचर" सिस्टम का आधिकारिक टेस्ट सेट के विरुद्ध परीक्षण किया:
- पुराना तरीका (बेसलाइन): औसतन लगभग 0.44 अंकों की गलती की।
- केवल साउंड एक्सपर्ट: 0.39 की गलती की।
- केवल मीनिंग एक्सपर्ट: 0.39 की गलती की।
- NTNU सुपर-टीचर (संयुक्त): केवल 0.375 की गलती की।
यह छोटा सा सुधार ही उन्हें पूरे प्रतियोगिता में दूसरा स्थान दिलाने के लिए पर्याप्त था, जिसमें उन्होंने कई अन्य शीर्ष शोधकर्ताओं को पीछे छोड़ दिया। एकमात्र टीम जिसने थोड़ा बेहतर (पहला स्थान) प्रदर्शन किया, उसका स्कोर 0.364 था।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
पेपर का दावा है कि यह साबित करता है कि आप केवल एक प्रकार के AI पर निर्भर नहीं रह सकते।
- यदि आप केवल शब्दों को देखते हैं, तो आप भाषण के अहसास को खो देते हैं।
- यदि आप केवल ध्वनियों को सुनते हैं, तो आप अर्थ को खो देते हैं।
- एक विशिष्ट "साउंड एक्सपर्ट" को एक "सुपर-स्मार्ट ट्यूटर" के साथ मिलाने और उन्हें मिलकर वोट करने देने से, आपको बहुत अधिक निष्पक्ष और सटीक ग्रेड मिलता है।
टीम ने यह भी पाया कि प्रत्येक विशिष्ट प्रकार के टेस्ट प्रश्न (जैसे इंटरव्यू बनाम प्रेजेंटेशन) के लिए एक विशिष्ट "ट्यूटर" होने से, एक ही "ट्यूटर" के सब कुछ एक साथ करने की तुलना में बेहतर परिणाम मिलते हैं।
संक्षेप में, मानव के बोलने को ग्रेड देने के लिए, आपको एक ऐसे कंप्यूटर की आवश्यकता है जो संगीत को सुन सके और बोल (lyrics) को समझ भी सके, और वे एक टीम के रूप में मिलकर काम करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।