Generative AI-Based Virtual Assistant using Retrieval-Augmented Generation: An evaluation study for bachelor projects
تقدم هذه الورقة وتقيم مساعدًا افتراضيًا قائمًا على التوليد المعزز بالاسترجاع، مصممًا لدعم طلاب جامعة ماستريخت فيما يتعلق بلوائح مشاريعهم الخاصة، مما يثبت فعاليته في التغلب على القيود الشائعة للنماذج اللغوية الكبيرة مثل الهلوسة وضمان استجابات دقيقة ومحددة السياق في مجال تعليمي متخصص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل قسماً جامعياً صاخباً حيث يعمل مئات الطلاب على مشاريعهم النهائية. يواجه هؤلاء الطلاب جبلاً من القواعد واللوائح وتفاصيل الامتحانات التي يجب اتباعها. عادةً، عندما يشعر الطالب بالحيرة — على سبيل المثال: "هل يمكنني تخطي هذا الاجتماع إذا تعطلت حافلتي؟" — يتعين عليه مراسلة منسق مشروع مرهق عبر البريد الإلكتروني. يغرق المنسق بمئات الرسائل المماثلة، وينتظر الطالب أياماً للحصول على رد.
يصف هذا المقال فريقاً من الطلاب والباحثين الذين طوروا مساعداً رقمياً ذكياً لحل هذه العقبة. لا تنظر إلى هذا المساعد باعتباره عرافاً سحرياً يعرف كل شيء، بل كـ أمين مكتبة سريع للغاية ومنظم للغاية قد قرأ كل كتب القواعد في المبنى.
إليك كيف طوروه وما اكتشفوه، مشروحاً ببساة:
المشكلة: أمين المكتبة "المتخيل"
عادةً، عندما تسأل ذكاءً اصطناعياً قياسياً (مثل روبوت الدردشة) سؤالاً محدداً حول قواعد المدرسة، فإنه يبتدع أشياء من خياله. الأمر يشبه أمين مكتبة واثق جداً لدرجة أنه ببسا بسا يخترع قاعدة لأنه لم يجد الكتاب. يُسمى هذا "الهلوسة". وفي السياق المدرسي، فإن اختراع القواعد أمر خطير.
الحل: أمين المكتبة "المعزز بالاسترجاع"
لمنع الذكاء الاصطناعي من اختلاق الأمور، طور الفريق نظاماً يسمى RAG (التوليد المعزز بالاسترجاع).
- جزء الاسترجاع: قبل أن يجيب الذكاء الاصطناعي، يركض أولاً إلى المكتبة (قاعدة بيانات للوثائق الرسمية) ويسترجع الصفحات الدقيقة ذات الصلة بالسؤال. الأمر كما لو أن أمين المكتبة يسحب كتاب القواعد فعلياً من الرف قبل أن يتحدث.
- جزء التوليد: يقرأ الذكاء الاصطناعي بعد ذلك هذه الصفحات المحددة ويكتب إجابة بناءً حصرياً على ما وجده.
- التفكير الذاتي (الرأي الثاني): هذا هو الجزء الذكي. بعد أن يكتب الذكاء الاصطناعي إجابة، يقوم بـ "فحص ذاتي". يسأل نفسه: "هل اخترعت هذا للتو؟ هل يتطابق هذا حقاً مع الصفحات التي استرجعتها؟" إذا كانت الإجابة "لا"، فإنه يحاول مرة أخرى أو يطلب من الطالب توضيح سؤاله. إنه مثل معلم يصحح واجبه المنزلي قبل تسليمه.
التجربة: اختبار داخل الفصل الدراسي
اختبر الفريق هذا المساعد مع طلاب حقيقيين من جامعة ماستريخت.
- الإعداد: قاموا بتقسيم الطلاب إلى مجموعتين. كان على المجموعة الأولى الإجابة على أسئلة صعبة حول قواعد المشاريع باستخدام عقولهم (وربما من خلال سؤال بشري). بينما سُمح للمجموعة الأخرى باستخدام المساعد الذكي.
- الأسئلة: كانت الأسئلة عبارة عن سيناريوهات مثل: "لقد فوتُّ اجتماعاً بسبب تأخر الحافلة. ماذا يحدث لدرجتي؟"
ما اكتشفوه
- أصبح الذكاء الاصطناعي أكثر ذكاءً: عندما استخدم الطلاب المساعد، تلقوا إجابات صحيحة بشكل أكبر بكثير. على سبيل المثال، في أحد السيناريوهات، ارتفع عدد الطلاب الذين قدموا الإجابة الصحيحة من 32% إلى 57%.
- تراجع التخمين: قبل استخدام الذكاء الاصطناعي، كان الكثير من الطلاب يقولون ببساطة: "لا أعرف". بعد استخدام الذكاء الاصطناعي، انخفضت استجابات "لا أعرف" بشكل ملحوظ. لقد ساعد الذكاء الاصطناعي في توضيح الالتباس.
- السرعة: استجاب المساعد في حوالي 10 ثوانٍ. وكان الطلاب راضين عن السرعة مقارنة بالانتظار لرد عبر البريد الإلكتروني.
- إنه ليس مثالياً بعد:
- في بعض السيناريوهات الصعبة، جعل الذكاء الاصطناعي الطلاب في الواقع أسوأ في الإجابة. حدث هذا لأن الوثائق الرسمية كانت تفتقر إلى التفاصيل أو لأن الذكاء الاصطناعي لم يستطع التمييز بين "الاجتماع" و"الامتحان".
- حاول بعض الطلاب الغش في النظام عن طريق نسخ ولصق الأسئلة مباشرة بدلاً من طرحها بشكل طبيعي، وهو ما اضطر الفريق لمنعه.
- خلط الذكاء الاصطناعي أحياناً بين أنواع مختلفة من الدورات، مما يظهر حاجته إلى "قاموس" أفضل للمصطلحات المدرسية.
الخلاصة
يخلص المقال إلى أن هذا "المكتبة الذكية" هي أداة ممتازة لمساعدة الطلاب على التنقل عبر قواعد المدرسة المعقدة دون إثقال كاهل الموظفين البشريين. إنه سريع، ويقلل من إجابات "لا أعرف"، ويجعل الطلاب يبدون أكثر ثقة بشكل عام.
ومع ذلك، فهو ليس بديلاً مثالياً للإنسان بعد. فهو يتطلب بيانات تدريب أفضل (كتب قواعد أكثر اكتمالاً) وطرقاً أذكى للتعامل مع المواقف غير المغطاة صراحةً في القواعد. ولكن كخطوة أولى، نجح في إثبات أن الذكاء الاصطناعي يمكن أن يكون شريكاً مفيداً وموثوقاً في التعليم إذا تم تزويده بالأدوات الصحيحة للتحقق من عمله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.