TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

تخيل أنك معلم تحاول بناء اختبار لفصلك الدراسي في العلوم. لديك كتاب مدرسي رسمي وضخم يحتوي على جميع الإجابات، لكن ليس لديك الوقت للبحث في كل صفحة للعثين على الأسئلة المثالية. فتلجأ إلى روبوت كمبيوتر فائق الذكاء (ذكاء اصطناعي) لمساعدتك. تسأل الروبوت: "اصنع لي اختبارًا عن المطر الحمضي"، ويبدأ الروبوت في الكتابة. ولكن هناك مشكلة: أحيانًا تكون هذه الروبوتات مثل الطلاب المتحمسين للغاية الذين حفظوا بعض الحقائق ثم بدأوا في اختلاق أشياء ليبدوا أذكياء. قد يخترعون قاعدة علمية مزيفة أو يسحبون حقيقة من فصل مختلف تمامًا. يُسمى هذا "الهلوسة". ولإيقاف ذلك، يستخدم العلماء خدعة تسمى التوليد المعزز بالاسترجاع (RAG). فكر في (RAG) كمنح الروبوت بطاقة مكتبة وقاعدة صارمة: "يمكنك فقط كتابة اختبارك إذا استطعت الإشارة إلى الصفحة المحددة في الكتاب المدرسي التي وجدت فيها الإجابة".

ومع ذلك، حتى مع امتلاك بطاقة مكتبة، يمكن للروبوت أن يصاب بالارتباك. إذا كان الكتاب المدرسي منظمًا بطريقة معقدة، أو إذا التقط الروبوت جملة صغيرة ومعزولة دون السياق المحيط بها، فقد يكتب سؤالًا سيئًا رغم ذلك. السؤال الكبير الذي يحاول الباحثون حله هو: كيف نبني روبوتًا لا يكتفي بجلب أي صفحة، بل يفهم بنية الدرس، ويعرف متى لا يملك معلومات كافية للإجابة، ويراجع عمله قبل عرضه على المعلم؟ هذا هو المشكل الذي تحاول دراسة جديدة حله، وتحديدًا لمعلمي العلوم في بنغلاديش الذين يستخدمون كتابًا مدرسيًا وطنيًا محددًا للغاية.

---

تعرف على TeachMateGPT: أمين المكتبة الروبوتي مع شبكة أمان

تقدم الورقة البحثية نظامًا جديدًا يسمى TeachMateGPT. يمكنك التفكير فيه ليس كروبوت واحد، بل كفريق من العمال المتخصصين في مصنع عالي التقنية، يعملون جميعًا معًا لتحويل طلب المعلم إلى اختبار مثالي ودقيق وفقًا للكتاب المدرسي. تم تصميم النظام خصيصًا لكتاب العلوم للصف الثامن التابع لمجلس المناهج والكتب المدرسية الوطنية (NCTB) في بنغلاديش، وهو مورد حيوي للطلاب ولكنه غالبًا ما يكون صعبًا على الذكاء الاصطناعي التنقل فيه بدقة.

إليك كيف يعمل هذا المصنع، خطوة بخلف:

1. الفهرس الذكي (COPE)
أولاً، يجب على النظام تنظيم الكتاب المدرسي. تخيل أن الكتاب المدرسي عبارة عن علية ضخمة وفوضوية. الروبوت العادي قد يجلب صندوقًا عشوائيًا من الأشياء، لكن TeachMateGPT يستخدم أداة خاصة تسمى COPE (التمثيل التعليمي الموجه للمنهج). بدلاً من مجرد تقطيع النص إلى أجزاء عشوائية، يفهم COPE "شجرة العائلة" للكتاب. فهو يعرف أن "الفصل" يحتوي على "دروس"، والتي تحتوي على "أقسام"، والتي تحتوي على "تعريفات". إنه يبني خريطة حيث ترتبط كل قطعة من المعلومات بوالديها وجيرانها. إذا احتاج الروبوت لمعرفة شيء عن حيوان معين، فإنه لا يجد كلمة "حيوان" فحسب؛ بل يجد الفقرة الكاملة حول مكان وضع هذا الحيوان في شجرة عائلة الحياة. هذا يضمن أن يفهم الروبوت السياق، وليس الكلمات فقط.

2. حراس البوابة (وكلاء التوجيه)
قبل أن يبحث الروبوت عن الإجابات، يقوم فريق من وكلاء "حراس البوابة" بفحص طلب المعلم.

• وكيل النية (Intent Agent): يسأل: "هل هذا سؤال علمي حقيقي، أم أن المعلم قال 'مرحبًا' فقط؟"
• وكيل الغموض (Ambiguity Agent): يسأل: "هل السؤال واضح؟ إذا قال المعلم 'اصنع اختبارًا عن الحيوانات'، فإن الوكيل يتوقف ويسأل: 'أي فصل؟ أي نوع من الحيوانات؟'"
• وكيل السلامة (Safety Agent): يتأكد من عدم مرور أي طلبات ضارة أو خارجة عن الموضوع.
  إذا كان الطلب غامضًا جدًا أو غير آمن، يتوقف النظام بأدب ويطلب المزيد من التفاصيل، ويرفض التخمين.

3. فريق التحري (الاسترجاع الهجين)
بمجرد وضوح الطلب، يبدأ النظام في البحث عن الأدلة. يستخدم نوعين من البحث في وقت واحد:

• المحري الدلالي (Semantic Detective): يبحث عن معنى الكلمات (على سبيل المثال، إيجاد "المطر الحمضي" حتى لو ذكر النص "مطر ذو حموضة عالية").
• المحري اللفظي (Lexical Detective): يبحث عن المصطلحات العلمية الدقيقة التي قد تُفقد بالمعنى وحده.
  إذا وجد النظام الأدلة، فإنه يستخدم قاعدة "الإغلاق عند الفشل" (Fail-Closed). هذا يشبه معلمًا صارمًا يقول: "إذا لم تملك دليلًا كافيًا، ستحصل على صفر". إذا لم يتمكن النظام من إيجاد صفحات كافية من الكتاب المدرسي لدعم سؤال ما، فإنه ببساطة يرفض إنشاء واحد، بدلًا من اختلاق شيء ما.

4. الكتاب (الوكلاء المتخصصون)
بمجرد جمع الأدلة، يتولى "كُتّاب" مختلفون المهمة.

• متخصص الأسئلة متعددة الخيارات (MCQ Specialist): يكتب أسئلة الاختيار من متعدد (مثل "أ، ب، ج، أو د؟").
• متخصص الأسئلة الإبداعية (Creative Question Specialist): يكتب الأسئلة الطويلة القائمة على السيناريوهات الشائعة في امتحانات الشهادات (حيث يقرأ الطالب سيناريو ويجيب على أربعة أجزاء).
  يُجبر هؤلاء الكتاب على استخدام فقط الأدلة التي وجدها المحرون، ولا يمكنهم استخدام "ذاكرتهم" الخاصة لاختلاق حقائق.

5. المفتش (SAVER)
قبل تسليم الاختبار إلى المعلم، يقوم مفتش نهائي يسمى SAVER (التحقق من النسب إلى المصدر وتصنيف الأدلة) بفحص العمل. إنه ينظر إلى كل سؤال ويسأل ثلاثة أسئلة:

1. الأمانة (Faithfulness): هل وجدت هذه الحقيقة بالفعل في الكتاب المدرسي؟
2. الصلة (Relevance): هل يتوافق هذا مع ما طلبه المعلم؟
3. خطر الهلوسة (Hallucination Risk): هل اخترعت أي شيء؟
   إذا كانت الدرجة منخفضة جدًا، يقوم النظام بتمييز السؤال للمراجعة من قبل المعلم البشري. إنه لا يحذفه تلقائيًا؛ بل يقول فقط: "مهلاً، تحقق من هذا، أنا لست متأكدًا بنسبة 100%".

ماذا وجدوا؟

اختبر الباحثون هذا النظام من خلال إنشاء 198 سؤالًا علميًا (143 سؤال اختيار من متعدد و55 سؤالًا إبداعيًا) تغطي جميع الفصول الـ 14 للكتاب المدرسي للصف الثامن. ثم جعلوا ثلاثة معلمي علوم يقيمون النتائج.

كانت النتائج مثيرة للإعجاب حقًا. مقارنة بنظام ذكاء اصطناعي "تقليدي" يقوم فقط بجلب النص والكتابة:

• قفزت الأمانة (مدى صحة الحقائق بالنسبة للمصدر) من 0.68 إلى 0.96. وهذا يعني أن النظام الجديد صادق تمامًا تقريبًا بشأن مصدر معلوماته.
• ارتفعت صلة الإجابة (مدى ملاءمة الإجابة للسؤال) من 0.60 إلى 0.89.
• ارتفعت فائدة المعلم (مدى فائدة الأسئلة التي وجدها المعلمون) بشكل هائل من درجة 2.00 إلى 4.80 على مقياس من 5 درجات.

أظهرت الدراسة أيضًا أنه إذا تمت إزالة "الفهرس الذكي" (COPE)، فإن الجودة تنخفض بشكل كبير. وإذا تمت إزالة "المفتش" (SAVER)، يبدأ النظام في اختلاق الحقائق مرة أخرى. وهذا يثبت أن فهم بنية الكتاب والتدقيق في العمل أمران ضروريان.

الحدود والمستقبل

يشير المؤلفون بحذر إلى ما لا يستطيع نظامهم فعله بعد.

• يعتمد على النصوص فقط: يقرأ النظام كلمات الكتاب المدرسي، لكنه يعاني مع الصور. إذا كان السؤال يتطلب النظر في رسم تخطيطي لدائرة كهربائية أو خلية، فلا يمكن للنظام "رؤية" الصورة. عليه الاعتماد على الوصف النصي، مما قد يفوّت جوهر السؤال البصري.
• يحتاج إلى أعين بشرية: تم تصميم النظام ليكون مساعدًا، وليس بديلًا. فهو يحدد الأسئلة ليراجعها المعلمون، لكنه لا يتخذ القرار النهائي. يجب على المعلمين مراجعة العمل قبل تقديمه للطلاب.
• خاص بكتاب واحد: تم بناء هذا النظام خصيصًا لكتاب العلوم للصف الثامن في بنغلاديش. قد لا يعمل بشكل مثالي لكتاب آخر، أو لمادة أخرى، أو لمنهج دراسي في بلد آخر دون تغييرات كبيرة.

باختصار، يشير TeachMateGPT إلى أنه من خلال منح الذكاء الاصطناعي خريطة أفضل للكتاب المدرسي، وقاعدة صارمة للتوقف عن التخمين، ومفتش داخلي، يمكننا إنشاء أداة تساعد المعلمين على توفير الوقت دون التضحية بالدقة. إنها خطوة نحو مستقبل يكون فيه الذكاء الاصطناعي مساعدًا موثوقًا للتعليم، وليس طيارًا آليًا محفوفًا بالمخاطر.