Calibrating Gemini to Human Raters in Spoken Language Assessment for EFL Learners in Asia
यह अध्ययन प्रदर्शित करता है कि जहाँ जेमिनी 2.5 फ्लैश (Gemini 2.5 Flash) 10-शॉट प्रॉम्पटिंग के माध्यम से ईएफएल (EFL) शिक्षार्थियों के अंग्रेजी बोलने के मूल्यांकन में मानव-स्तर की सहमति प्राप्त कर सकता है जब मानव रेटर्स मध्यम निरंतरता दिखाते हैं, वहीं इसका प्रदर्शन तब बिगड़ जाता है जब मानव सहमति उत्कृष्ट होती है, जो केवल शब्द सटीकता से परे मूल्यांकन करने की इसकी क्षमता के बावजूद सावधानीपूर्वक अंशांकन और मानव पर्यवेक्षण की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो सैकड़ों निबंधों की जांच कर रहे हैं। यह काम का एक पहाड़ है, और हालांकि आप किसी छात्र के लिखे हुए शब्दों को आसानी से पढ़ सकते हैं, लेकिन उनके बोले गए स्वर को ग्रेड करना एक बिल्कुल अलग चुनौती है। भाषण "मुखर और क्षणिक" होता है—यह एक झपकी में आता है और फिर गायब हो जाता है, जिससे इसे निष्पक्ष रूप से पकड़ना और आंकना कठिन हो जाता है। वर्षों से, कंप्यूटर टेक्स्ट पढ़ने में बहुत अच्छे रहे हैं, लेकिन उन्हें मानवीय बातचीत को "सुनने" में संघर्ष करना पड़ा है, क्योंकि वे अक्सर लिखित ट्रांसक्रिप्शन पर निर्भर रहते हैं जो लहजे, ठहराव और उच्चारण की बारीकियों को छोड़ देते हैं। अब, "जनरेटिव एआई" की एक नई पीढ़ी आ गई है। इन एआई को सुपर-स्मार्ट डिजिटल सहायकों के रूप में समझें जो न केवल पढ़ सकते हैं बल्कि सुन भी सकते हैं और संदर्भ को समझ सकते हैं। बड़ा सवाल जो हर किसी के मन में है वह यह है: क्या हम इन डिजिटल सहायकों को मानव शिक्षक की तरह निष्पक्ष और सटीक रूप से मौखिक अंग्रेजी को ग्रेड करने के लिए प्रशिक्षित कर सकते हैं? यह केवल शिक्षकों का समय बचाने के बारे में नहीं है; यह सुनिश्चित करने के बारे में है कि छात्रों को सुधार के लिए सही फीडबैक मिले, चाहे वे कहीं से भी आए हों या उनकी आवाज़ कैसी भी हो।
यह शोध पत्र उस प्रश्न की गहराई से जांच करता है, जिसमें एक विशिष्ट एआई मॉडल Gemini 2.5 Flash का परीक्षण किया गया है। शोधकर्ताओं ने यह देखना चाहा कि क्या वे इस एआई को "कैलिब्रेट" कर सकते हैं—अनिवार्य रूप से, इसे ग्रेड करना सिखा सकते हैं—मानव शिक्षकों द्वारा दिए गए बोले गए संवादों के उदाहरण दिखाकर। उन्होंने केवल एआई को लिखित टेक्स्ट नहीं दिया; उन्होंने उसे छात्रों के बोलने की वास्तविक ऑडियो फाइलें दीं, जो एक बड़ा कदम है क्योंकि इससे एआई वास्तविक आवाज सुन पाता है, न कि केवल एक ट्रांसक्रिप्शन।
शोधकर्ताओं ने 129 रिकॉर्ड की गई बातचीत का उपयोग करके एक चतुर प्रयोग तैयार किया, जो एशियाई अंग्रेजी शिक्षार्थियों और उनके शिक्षकों के बीच हुई थीं। उन्होंने एआई को तीन अलग-अलग तरीकों का उपयोग करके इन भाषणों को ग्रेड करने के लिए कहा:
- ज़ीरो-शॉट (Zero-shot): एआई को केवल नियम मिले और बिना किसी उदाहरण के उसने तुरंत ग्रेडिंग की।
- 5-शॉट (5-shot): एआई ने शुरू करने से पहले मानव शिक्षक द्वारा ग्रेड किए गए पांच उदाहरण देखे।
- 10-शॉट (10-shot): इसने दस उदाहरण देखे।
उन्होंने एआई के स्कोर की तुलना शिक्षकों के दो जोड़ों के साथ की। एक जोड़ा जो आपस में मध्यम रूप से सहमत था (उनके स्कोर समान थे, लेकिन बिल्कुल एक जैसे नहीं), जबकि दूसरा जोड़ा जो लगभग पूरी तरह से सहमत था (वे ग्रेडिंग में जुड़वाओं की तरह थे)।
यहाँ एक मोड़ है: एआई तब सबसे अच्छा काम करता था जब वह उन शिक्षकों से सीख रहा था जिनके बीच मध्यम सहमति थी। जब एआई को "पूरी तरह से सहमत" होने वाले शिक्षक जोड़े के उदाहरण दिखाए गए, तो वास्तव में इसका प्रदर्शन खराब हो गया, और वह उनके स्कोर से मेल खाने में विफल रहा। ऐसा लगता है जैसे एआई को मानवीय असहमति को समझने के लिए थोड़े बहुत अंतर की आवश्यकता थी ताकि वह समझ सके कि एक "अच्छा" या "बुरा" स्कोर क्या होता है। यदि उदाहरण बहुत अधिक 'परफेक्ट' होते, तो एआई भ्रमित हो जाता कि सीमाएँ कहाँ हैं।
अध्ययन ने यह भी जांचा कि क्या एआई वास्तव में छात्रों को सही ढंग से "सुन" पा रहा है। उन्होंने इसे वर्ड एरर रेट (WER) नामक चीज़ का उपयोग करके मापा, जो यह गिनता है कि एआई ने कितने शब्दों को गलत समझा। एआई ने गलतियाँ कीं, लेकिन ज्यादातर यह बोलने वाले की पहचान (छात्र या शिक्षक) को लेकर भ्रम था, न कि शब्दों को पूरी तरह से मिस करना। शोधकर्ताओं ने पाया कि एआई की शब्दों को सुनने की क्षमता ने वास्तव में छात्रों को कठोरता या दयालुता से ग्रेड देने के तरीके को नहीं बदला। यह सुझाव देता है कि एआई केवल शब्दों की डिक्शनरी परिभाषाओं को ही नहीं सुन रहा था; वह भाषण के प्रवाह और लय को भी पकड़ रहा था।
हालाँकि, एक छोटा सा, आश्चर्यजनक व्यवधान भी मिला। एआई ने पाकिस्तान के छात्रों को थोड़ा कम स्कोर दिया, भले ही एआई ने उनके भाषण को बहुत सटीक रूप से ट्रांसक्राइब किया था। शोधकर्ताओं ने इसे एक संभावित पूर्वाग्रह के रूप में नोट किया जिसकी अधिक जांच की आवश्यकता है, विशेष रूप से इसलिए क्योंकि इस अध्ययन में उस देश के केवल चार छात्र थे।
अंत में, यह शोध पत्र सुझाव देता है कि Gemini 2.5 Flash बोले गए अंग्रेजी को ग्रेड करने में शिक्षकों की मदद करने के लिए एक आशाजनक उपकरण है, लेकिन यह कोई जादुई छड़ी नहीं है। यह तब सबसे अच्छा काम करता है जब इसे मानव उदाहरणों के साथ कैलिब्रेट किया जाता है जो स्कोर की एक वास्तविक रेंज दिखाते हैं, और इसे एक मानव पर्यवेक्षक की आवश्यकता होती है जो इस पर नज़र रखे। एआई भाषण को सुन सकता है, संदर्भ को समझ सकता है, और ऐसा फीडबैक दे सकता है जो एक मानव शिक्षक जैसा दिखता है, लेकिन इसे सभी के लिए निष्पक्ष बनाने के लिए अभी भी सावधानीपूर्वक ट्यूनिंग की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।