💬 NLP

Semantic Variability of Replies Across LLMs: Implications for Designing Conversation-Based Assessment

تُظهر هذه الدراسة أن اختيار النموذج اللغوي الكبير والسياق الحواري يؤثران بشكل كبير على الاتساق الدلالي للردود المُولَّدة، مما يشير إلى أن استراتيجيات التلقين الحالية غير كافية لضمان استجابات مستقرة وقابلة للمقارنة عبر النماذج المختلفة في التقييمات القائمة على المحادثة.

المؤلفون الأصليون: Jiangang Hao

نُشر 2026-08-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC0 1.0

المؤلفون الأصليون: Jiangang Hao

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم التعليم المعاصر، ظل قياس مدى جودة تواصل الناس وعملهم معاً مشكلة مستعصية لفترة طويلة. فخلافاً لاختبار الرياضيات حيث تثبت رقم واحد أن الطالب يعرف الإجابة، تحدث مهارات مثل التعاون في سياق المحادثة المتدفق والمتداخل. وللقياس بشكل عادل، يحتاج التربويون إلى ضمان مواجهة كل طالب لتحدٍ مماثل، حتى لو اتخذت المحادثة مساراً مختلفاً. مؤخراً، قدم الذكاء الاصطناعي طريقة جديدة لحل هذه المشكلة؛ فمن خلال استخدام برامج حاسوبية يمكنها التحدث والاستماع، يمكن للمدارس إنشاء شركاء افتراضيين للطلاب للتدرب معهم. ويمكن لهذه البرامج أن تتكيف مع ما يقوله الطالب، مما يخلق محادثة طبيعية تكشف مدى جودة تفكير الطالب وعمله. ومع ذلك، نما قلق صامت بين الخبراء: إذا تغير البرنامج الحاسوبي، فهل تتغير المحادثة أيضاً؟ إذا خضع طالب لاختبار اليوم باستخدام نسخة واحدة من البرمجيات، وخضع طالب آخر للاختبار في العام المقبل باستخدام نسخة أحدث، فهل سيجيبان على نفس الأسئلة بالطريقة نفسها؟ هذا السؤال يمس جوهر العدالة؛ فإذا تغيرت ردود الفعل الحاسوبية بشكل جذري اعتماداً على النموذج الذي يشغلها، فقد يتوقف الاختبار عن قياس قدرة الطالب ويبدأ في قياس سمات البرمجيات الغريبة.

لقد شرع باحث في مؤسسة الخدمات التعليمية (ETS) في استقصاء هذه المسألة تحديداً. أراد معرفة ما إذا كان معنى رد الحاسوب يظل ثابتاً عندما تتغير البرمجيات الأساسية. وللكشف عن ذلك، لم يبتكر محادثات وهمية، بل أخذ رسائل حقيقية من مشاريع علمية عبر الإنترنت سابقة حيث عمل شخصان معاً لحل المشكلات. واختار 61 لحظة محددة من تلك الدردشات حيث قال أحد الأشخاص شيئاً مهماً، وقدم الشخص الآخر رداً واضحاً ومفيداً. ثم طلب الباحث من أربع نسخ مختلفة من نموذج لغوي كبير — وهو نوع من الذكاء الاصطناعي المصمم لفهم وتوليد اللغة البشرية — الرد على تلك الرسائل الـ 61 نفسها. وقد أجرى هذه التجربة مرتين لكل رسالة؛ ففي المرة الأولى، رأى الحاسوب الرسالة الوحيدة التي يحتاج للرد عليها فقط، وفي المرة الثانية، رأى تلك الرسالة بالإضافة إلى تاريخ المحادثة الكامل الذي سبقها. وبالنسبة لكل رسالة، قام كل نموذج حاسوبي بتوليد 100 رد مختلف لمعرفة مدى تباين الإجابات.

أظهرت النتائج أن كلاً من اختيار النموذج الحاسوبي وسياق المحادثة يؤثران على تشابه الاستجابة. فعندما قارن الباحث بين الـ 100 رد التي ولدها نموذج واحد، وجد أن الإجابات كانت متشابهة للغاية، حيث تراوحت درجات التشابه بين 0.715 و0.795. ولكن عندما قارن الردود من نموذج واحد مقابل الردود من نموذج مختلف، انخفض التشابه بشكل كبير؛ وكأن لكل نموذج صوته الخاص وطريقته الخاصة في التفكير. واعتمد تأثير إضافة تاريخ المحادثة على النموذج المستخدم؛ ففي بعض الحالات، أدى تضمين تاريخ الدردشة إلى تحسين توافق الردود مع الاستجابات البشرية قليلاً، لكنه لم يجعل النماذج تتفق أكثر مع بعضها البعض في جميع الحالات. كما وجدت الدراسة أن النماذج الأحدث من نفس عائلة البرمجيات تميل إلى إنتاج إجابات أكثر تشابهاً مع بعضها البعض مما هي عليه تجاه النماذج الأقدم والمختلفة. وهذا يشير إلى أن "شجرة عائلة" البرمجيات تلعب دوراً هاماً في كيفية سلوكها جنباً إلى جنب مع التعليمات المحددة المعطاة لها.

ولعل الأمر الأكثر أهمية هو أن الباحث وجد أن الاعتماد على التوجيه (prompting) وسياق المحادثة وحدهما قد لا يكون كافياً لضمان سلوك استجابة متشابه للغاية عندما يتغير النموذج اللغوي الكبير (LLM) الأساسي. فحتى عندما أُعطيت النماذح نفس التوجيه ونفس تاريخ المحادثة، أدى اختيار النموذج إلى فروق كبيرة في المحتوى الدلالي للردود. وتشير الدراسة إلى أن الاعتماد على المرونة الطبيعية لهذه الأنظمة الاصطناعية يعد أمراً محفوفاً بالمخاطر بالنسبة للاختبارات عالية المخاطر. فإذا اعتمد الاختبار على الحاسوب لإبقاء المحادثة في مسارها الصحيح، وإذا تغير أسلوب الحاسوب في كل مرة يتم فيها تحديثه، فقد تصبح نتائج الاختبار غير موثوقة. وخلص الباحث إلى أنه لبناء نظام اختبار عادل ومستدام، لا يمكنهم مجرد الاعتماد على قيام البرمجيات بالشيء الصحيح من تلقاء نفسها، بل يحتاجون إلى بناء طبقات إضافية من التحكم في النظام — مثل القواعد أو القوالب — التي تضمن بقاء ردود الحاسوب ضمن نطاق آمن ومتسق، بغض النظر عن نسخة البرمجيات التي تعمل في الخلفية. وبدون هذه الضمانات، يمكن للتطور السريع للذكاء الاصطناعي أن يقوض العدالة ذاتها التي يهدف الاختبار التعليمي إلى حمايتها.

أبحاث مشابهة