Calibrating Gemini to Human Raters in Spoken Language Assessment for EFL Learners in Asia
تُظهر هذه الدراسة أنه في حين يمكن لنموذج Gemini 2.5 Flash تحقيق توافق بمستوى البشر في تقييم اللغة الإنجليزية المنطوقة لدى متعلمي الإنجليزية كلغة أجنبية من خلال التلقين بـ 10 أمثلة (10-shot prompting) عندما يُظهر المقيمون البشريون اتساقاً متوسطاً، إلا أن أداءه يتدهور عندما يكون التوافق البشري ممتازاً، مما يسلط الضوء على الحاجة إلى المعايرة الدقيقة والإشراف البشري رغم قدرته على التقييم بما يتجاوز مجرد دقة الكلمات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم يقوم بتصحيح مئات المقالات. إنه جبل من العمل، وبينما يمكنك بسهولة قراءة كلمات الطالب المكتوبة، فإن تصحيح صوته المنطوق هو أمر مختلف تماماً. فالكلام "عالٍ وعابر" — يحدث في ومضة ثم يتلاشى، مما يجعل من الصعب التقاطه وتقييمه بإنصاف. لسنوات طويلة، كانت أجهزة الكمبيوتر بارعة في قراءة النصوص، لكنها واجهت صعوبة في "الاستماع" إلى المحادثات البشرية، وغالباً ما كانت تعتمد على النصوص المكتوبة التي تفتقر إلى دقة النبرة، والوقفات، واللكنة. الآن، وصلت جيل جديد من "الذكاء الاصطناعي التوليدي". فكر في هذه الأنظمة كأنها مساعدون رقميون فائقو الذكاء لا يمكنهم القراءة فحسب، بل يمكنهم أيضاً السمع وفهم السياق. السؤال الكبير الذي يشغل بال الجميع هو: هل يمكننا تدريب هؤلاء المساعدين الرقميين على تقييم اللغة الإنجليزية المنطوقة بإنصاف ودقة تضاهي المعلم البشري؟ الأمر لا يتعلق فقط بتوفير وقت المعلمين؛ بل يتعلق بضمان حصول الطلاب على التغذية الراجعة الصحيحة للتحسن، بغض النظر عن خلفياتهم أو طريقة نطقهم.
تتعمق هذه الورقة البحثية في ذلك السؤال، حيث تختبر نموذجاً معيناً للذكاء الاصطناعي يسمى Gemini 2.5 Flash. أراد الباحثون معرفة ما إذا كان بإمكانهم "معايرة" هذا الذكاء الاصطناعي — أي، تعليمه كيفية التصحيح — من خلال إطلاعه على أمثلة لكيفية قيام المعلمين البشر بتصحيح الحوارات المنطوقة. لم يكتفوا بتزويد الذكاء الاصطناعي بنصوص مكتوبة فحسب؛ بل أعطوه ملفات صوتية فعلية للطلاب وهم يتحدثون، وهي خطوة كبيرة للأمام لأنها تسمت له بسماع الصوت الحقيقي، وليس مجرد نص مكتوب.
أعد الباحثون تجربة ذكية باستخدام 129 محادثة مسجلة بين متعلمين لغة إنجليزية من آسيا ومعلميهم. وطلبوا من الذكاء الاصطناعي تقييم هذه الأحاديث باستخدام ثلاث طرق مختلفة:
- التعلم من الصفر (Zero-shot): حيث حصل الذكاء الاصطناعي على القواعد وقام بالتصحيح فوراً، دون أي أمثلة سابقة.
- التعلم من 5 أمثلة (5-shot): حيث شاهد الذكاء الاصطناعي خمسة أمثلة لكيفية تصحيح معلم بشري قبل أن يبدأ.
- التعلم من 10 أمثلة (10-shot): حيث شاهد عشرة أمثلة.
وقاموا بمقارنة درجات الذكاء الاصطناعي مقابل زوجين من المعلمين البشر. اتفق الزوج الأول من المعلمين مع بعضهما البعض بشكل متوسط (كانت درجاتهما متشابهة ولكن ليست متطابقة)، بينما اتفق الزوج الآخر بشكل شبه مثالي (كأنهما توأمان في التصحيح).
وهنا تكمن المفاجأة: عمل الذكاء الاصطناعي بشكل أفضل عندما تعلم من المعلمين الذين لديهم اتفاق "متوسط". فعندما عُرضت على الذكاء الاصطناعي أمثلة من زوج المعلمين "المتفقين تماماً"، أصبح أداؤه في الواقع أسوأ، وفشل في مطابقة درجاتهما على الإطلاق. يبدو الأمر كما لو أن الذكاء الاصطناعي يحتاج إلى رؤية قدر من الاختلاف البشري ليفهم النطاق الكامل لما يعتبر درجة "جيدة" أو "سيئة". فإذا كانت الأمثلة مثالية للغاية، ارتبك الذكاء الاصطناعي بشأن تحديد الحدود.
كما بحثت الدراسة فيما إذا كان بإمكان الذكاء الاصطناعي "سماع" الطلاب بشكل صحيح. فقد قاموا بقياس ذلك باستخدام ما يسمى معدل خطأ الكلمات (WER)، والذي يحصي عدد الكلمات التي أخطأ فيها الذكاء الاصطناعي أثناء عملية النسخ. ارتكب الذكاء الاصطناعي أخطاء، لكنها كانت تتمثل غالباً في الخلط بين المتحدثين (الطالب أو المعلم) بدلاً من فقدان الكلمات نفسها. ووجد الباحثون أن قدرة الذكاء الاصطناعي على سماع الكلمات لم تغير في الواقع مدى صرامته أو لطفه في تقييم الطلاب. وهذا يشير إلى أن الذكاء الاصطناعي كان يستمع إلى ما هو أكثر من مجرد التعريفات القاموسية للكلمات؛ بل كان يلتقط تدفق الكلام وإيقاعه أيضاً.
ومع ذلك، ظهرت عقبة صغيرة ومفاجئة. بدا أن الذكاء الاصطناعي يعطي درجات أقل قليلاً للطلاب من باكستان، رغم أن الذكاء الاصطناعي نسخ كلامهم بدقة عالية. وقد أشار الباحثون إلى أن هذا قد يكون انحيازاً يحتاج إلى مزيد من الاستقصاء، خاصة وأن الدراسة لم تتضمن سوى أربعة طلاب من ذلك البلد.
في النهاية، تشير الورقة البحثية إلى أن Gemini 2.5 Flash هو أداة واعدة للمساعدة في تقييم اللغة الإنجليزية المنطوقة، لكنه ليس عصا سحرية. فهو يعمل بشكل أفضل عندما تتم معايرته بأمثلة بشرية تظهر نطاقاً واقعياً من الدرجات، ويحتاج إلى مشرف بشري لمراقبته. يمكن للذكاء الاصطناعي سماع الكلام، وفهم السياق، وتقديم ملاحظات تشبه ملاحظات المعلم البشري، لكنه لا يزال بحاجة إلى ضبط دقيق لضمان العدالة مع الجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.