🤖 AI

From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints

تقدم هذه الورقة مساراً متكاملاً يستفيد من النماذج اللغوية الكبيرة المقيدة برسوم بيانية للكفاءات ونطاقات الأدلة لوسم الموارد التعليمية تلقائياً وبشفافية بكفاءات مهيكلة، محققةً أداءً فائقاً على الخطوط المرجعية الحالية مع تمكين تحليلات المناهج الدراسية القابلة للتدقيق البشري.

المؤلفون الأصليون: Ngoc Luyen Le, Marie-Hélène Abel, Bertrand Laforge

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ngoc Luyen Le, Marie-Hélène Abel, Bertrand Laforge

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك أمين مكتبة في مكتبة رقمية ضخمة وفوضوية، حيث كل كتاب، أو فيديو، أو اختبار هو بمثابة "مورد تعليمي". هدفك هو مساعدة الطلاب في العثور على المواد المناسبة لتعلم مهارات محددة (تسمى "الكفاءات")، مثل "الجبر الخطي" أو "الخطابة العامة".

حالياً، يتعين على أمين المكتبة البشري قراءة كل صفحة في كل مستند وكتابة المهارات التي يعلمها يدوياً. هذه العملية بطيئة، ومملة، وعرضة للأخطاء. إذا فات أمين المكتبة صفحة واحدة، فقد لا يجد الطالب المساعدة التي يحتاجها أبداً.

يقترح هذا البحث طريقة جديدة وأكثر ذكاءً للقيام بمهمة التصنيف هذه باستخدام فريق من ثلاثة متخصصين يعملون معاً: الباحث، والقارئ الذكي، ومدقق المنطق.

المشكلة: أمين المكتبة "الصندوق الأسود"

واجهت المحاولات السابقة لاستخدام الذكاء الاصطناعي (AI) للقيام بعملية التصنيف هذه مشكلتين كبيرتين:

كانت تتطلب جهداً بشرياً كبيراً: كان على البشر التحقق من كل شيء يدوياً.
كان الذكاء الاصطناعي عبارة عن "صندوق أسود": إذا قال الذكاء الاصطناعي: "هذا ملف PDF يعلم الاحتمالات"، فإنه لم يكن يستطيع شرح لماذا. لقد قدم الإجابة فقط. وإذا كانت الإجابة خاطئة، لن يعرف أحد أين أخطأ الذك الذكاء الاصطناعي، مما يجعل من الصعب الوثوق به.

الحل: خط إنتاج "LBG"

بنى المؤلفون نظاماً يسمى LBG (نموذج لغوي كبير + BM25 + رسم بياني). فكر في الأمر كخط إنتاج مكون من ثلاث خطوات يحول المواد الدراسيّة الفوضوية إلى خريطة مهارات منظمة بدقة.

الخطوة 1: الباحث (الاسترجاع)

قبل أن يحاول الذكاء الاصطناعي تخمين المهارات، فإنه يبحث أولاً في "قائمة" من المهارات المحتملة.

الاستعارة: تخيل أنك تحاول وصف فاكهة ما. بدلاً من التخمين من كامل قاموس العالم (الذي يتضمن "سيارة"، و"سحابة"، و"محمصة خبز")، تسأل أولاً محرك بحث للعثور على أفضل 20 فاكهة تبدو مشابهة لما تراه.
كيف يعمل: يقوم النظام بمسح المستند ويستخدم أداة بحث سريعة (BM25) لاستخراج قائمة قصيرة من المهارات الأكثر احتمالاً (المرشحات) من قائمة المهارات الرسمية للجامعة. هذا يمنع الذكاء الاصطناعي من القيام بتخمينات عشوائية.

الخطوة 2: القارئ الذكي (النموذج اللغوي الكبير)

الآن، ينظر النموذج اللغوي الكبير ("القارئ الذكي") إلى المستند و إلى تلك القائمة القصيرة من المرشحات.

الاستعارة: هذا يشبه محرراً صارماً مسموح له فقط بالاختيار من بين الـ 20 فاكهة التي وجدها الباحث. يقرأ المحرر فقرة محددة، ويختار أفضل فاكهة من القائمة، ويجب عليه الإشارة إلى الجملة المحددة التي تثبت ذلك.
الابتكار: لا يكتفي الذكاء الاصطناعي بالقول "الاحتمالات" فحسب، بل يقول: "هذه الفقرة تعلم الاحتمالات، وإليك الجملة المحددة: 'احتمال ظهور الرقم ستة هو 1 من 6'" . وهذا يخلق "مساراً ورقياً" للأدلة.

الخطوة 3: مدقق المنطق (القيود الرسومية)

أخيراً، يتحقق النظام من "شجرة العائلة" للمهارات.

الاستعارة: تخيل شجرة عائلة حيث "التفاضل والتكامل المتقدم" هو ابن لـ "الرياضيات الأساسية". إذا رأى مدقق المنطق أن مستنداً قد تم تصنيفه بـ "التفاضل والتكامل المتقدم" ولكنه لا يحتوي على أي ذكر لـ "الرياضيات الأساسية"، فإنه يرفع علامة تحذير. هو لا يحذف التصنيف بالضرورة، لكنه يتحقق مما إذا كان المنطق منطقياً. كما يقوم أيضاً بتنظيف التكرارات (على سبيل المثال، إذا صنف الذكاء الاصطناعي "الرياضيات" و"التفاضل والتكامل" لنفس الجملة الصغيرة، فقد يقرر الاحتفاظ بالأكثر تحديداً فقط).

النتائج: ما مدى نجاح ذلك؟

اختبر الفريق هذا النظام على قسم علوم الحاسوب في جامعة حقيقية، حيث غطى 430 مادة دراسية مختلفة (ملفات PDF، اختبارات، شرائح عرض) و22 مهارة مختلفة.

الدقة: كان نظام LBG هو الأفضل في مطابقة المستندات مع المهارات بشكل صحيح. لقد تفوق على:
- الذكاء الاصطناعي الذي يخمن فقط دون مساعدة (Zero-shot).
- الذكاء الاصطناعي الذي حصل على بعض الأمثلة ولكن بدون مساعدة البحث (Few-shot).
- محركات البحث التقليدية التي تبحث فقط عن كلمات متشابهة.
- البرامج الحاسوبية القديمة التي تدربت على بيانات سابقة.
الثقة: نظرًا لأن النظام كان يتعين عليه الإشارة إلى الجملة المحددة (الدليل)، فقد كان من السهل جداً على البشر التحقق من العمل. كانت "الأدلة" التي أنتجها صحيحة من الناحية الآلية (أي أن الجمل كانت موجودة بالفعل في النص).
الكفاءة: عمل النظام بشكل جيد حتى عندما كان يتعين على النظام التخمين بين خيارات عديدة، مما أثبت أن تضييق الخيارات أولاً (الخطوة 1) والتحقق من المنطق لاحقاً (الخطوة 3) يجعل الذكاء الاصطناعي أكثر ذكاءً.

الخلاصة

يظهر هذا البحث أنك لا تحتاج إلى ذكاء اصطناعي خارق أو سحري لتصنيف المواد التعليمية. بدلاً من ذلك، تحصل على نتائج أفضل من خلال إعطاء الذكاء الاصطناعي قائمة محدودة للاختيار منها، وإلزامه بـ إظهار عمله (الدليل)، ووجود مدقق منطق يضمن أن المهارات تتوافق مع بعضها البعض.

هذا يخلق نظاماً ليس دقيقاً فحسب، بل شفافاً أيضاً، مما يسمح للمعلمين والطلاب بالوثوق في التصنيفات لأنهم يستطيعون رؤية المكان الذي وجد فيه الذكاء الاصطناعي الدليل بالضبط.

ملخص تقني: من موارد التعلم إلى الكفايات: الوسم القائم على النماذج اللغوية الكبيرة مع الأدلة وقيود الرسم البياني

صياغة المشكلة
تتناول الورقة البحثية تحدي المواءمة التلقائية لموارد أنظمة إدارة التعلم (LMS) غير المتجانسة (مثل ملفات PDF، والشرائح، والاختبارات، والواجبات) مع أطر الكفايات المؤسسية المهيكلة. وبينما يعد الوسم اليدوي دقيقاً، إلا أنه يتطلب جهداً مكثفاً ويصعب توسيع نطاقه. أما الطرق الآلية بالكامل، فغالباً ما تفتقر إلى الشفافية، مما يجعلها غير مناسبة للتدقيق التعليمي. وتتمثل المشكلة الجوهرية في حساب رسم خرائط الكفاية على مستوى المورد $M: R \to 2^C$ (حيث $R$ هي مجموعة الموارد و $C$ هي مجموعة عقد الكفايات في رسم بياني موجه $G$ ) بحيث يكون دقيقاً وقابلاً للتتبع من خلال نطاقات أدلة يمكن التحقق منها داخل النص.

المنهجية: مسار LBG
يقترح المؤلفون مسار عمل متكامل يسمى LBG (LLM+BM25+Graph)، والذي يعمل على مستوى الأجزاء (fragments) قبل التجميع إلى مستوى المورد. تتكون العملية من أربع مراحل متميزة:

تمثيل المورد وتجزئته:
يتم تفكيك موارد نظام إدارة التعلم غير المتجانسة إلى أجزاء بيداغوجية ( $\phi(r)$ ) بناءً على الهياكل التي وضعها المحاضر (مثل الأقسام، أو الشرائح، أو عناصر الاختبارات). وفي حال غياب الهيكل الصريح، يتم استخدام التجزئة الاحتياطية بناءً على حدود الفقرات والجمل. يحتفظ كل جزء ببيانات وصفية للمصدر لتمكين التدقيق لاحقاً.
توليد المرشحين (الاسترجاع):
لتقييد فضاء التنبؤ وتجنب التوليد غير المقيد، يقوم النظام باسترجاع مجموعة محدودة من الكفايات المرشحة الأعلى ترتيباً ($Cand(x) $) لكل جزء$ x$. ويتم تحقيق ذلك من خلال مقارنة نص الجزء مقابل ملفات تعريف الكفايات (التي تحتوي على التسميات، والأوصاف، والمترادفات، وسياق الرسم البياني) باستخدام التصنيف المعجمي (BM25).
الوسم القائم على النماذج اللغوية الكبيرة (LLM) مع الأدلة:
يعمل نموذج لغوي كبير، وتحديداً gpt-4o-mini كنموذج قرار دلالي مقيد. بالنظر إلى جزء معين ومجموعة المرشحين المسترجعة، يقوم النموذج بـ:

اختيار الكفايات ذات الصلة حصرياً من مجموعة المرشحين.
تعيين درجة ثقة.
استخراج نطاق دليل قابل للتحقق (إزاحات الأحرف) من نص الجزء الذي يدعم الاختيار.
يتم تنسيق المخرجات في مخطط JSON صارم لضمان القابلية للمعالجة الآلية.

التوفيق والتجميع الواعي بالرسم البياني:
يتم تنقيح تنبؤات مستوى الأجزاء باستخدام العلاقات الهيكلية للرسم البياني للكفايات $G$ (مثل المتطلبات السابقة، والعلاقات الهرمية). تقوم هذه المرحلة بـ:

التحكم في مستوى التفصيل (Granularity Control): تقليل التعيينات المشتركة الزائدة بين العقد الأب والابن.
فحوصات اتساق المتطلبات السابقة: رصد التسميات التي قد تكون غير متسقة (على سبيل المثال، التنبؤ بكفاية متقدمة دون وجود دليل على متطلباتها السابقة) دون فرض تصحيح تلقائي.
إزالة التكرار: دمج التنبؤات المتداخلة.
أخيراً، يتم تجميع درجات الأجزاء (عبر المجموع الموزون أو الحد الأقصى) لإنتاج درجة كفاية على مستوى المورد، والتي يتم تحديد عتبة لها لتوليد الخريطة النهائية.

المساهمات الرئيسية

الوسم المستند إلى الأدلة: بخلاف التصنيف القياسي، يتطلب المسار من النموذج إخراج نطاقات نصية محددة تبرر كل تسمية، مما يسهل التدقيق البشري والشفافية.
فضاء قرار مقيد: من خلال دمج الاسترجاع (BM25) مع اختيار الـ LLM، تخفف الطريقة من مشكلة هلوسة النماذج اللغوية الكبيرة للكفايات أو أدائها الضعيف في الأطر المحلية الأقل تمثيلاً.
التوفيق الواعي بالرسم البياني: يستخدم النهج صراحةً توبولوجيا الرسم البياني للكفايات (المتطلبات السابقة والتسلسلات الهرمية) لمعالجة التنبؤات لاحقاً، مما يضمن الاتساق الهيكلي في المخرجات النهائية.
مسار عمل متكامل: يجسّر النظام الفجوة بين محتوى نظام إدارة التعلم الخام وتحليلات الكفايات المهيكلة، ويعمل بفعالية عبر أنواع الموارد غير المتجانسة.

النتائج التجريبية
تم تقييم النهج على مجموعة بيانات من قسم علوم الحاسوب في جامعة التكنولوجيا في كومبيين (UTC)، والتي تضم 430 مورداً، و26 وحدة دراسية، و22 كفاية. استخدم التقييم التحقق المتقاطع خماسي الطيات (5-fold cross-validation) على مستوى الوحدة الدراسية.

الأداء: حقق مسار LBG درجة Micro-F1 قدرها 0.571 و Macro-F1 قدرها 0.504 على مستوى الأجزاء، و Macro-F1 قدرها 0.507 على مستوى المورد.
الميزة النسبية: تفوق LBG على:
- نماذج LLM بنمط Zero-shot و Few-shot: التي افتقرت إلى قيود الاسترجاع والتوفيق بالرسم البياني.
- نماذج الاسترجاع/التشابه الأساسية: بما في ذلك BM25، وDense bi-encoders، وSBERT، والتي واجهت صعوبة في تحويل القوائم المرتبة إلى تنبؤات متعددة التسميات.
- المصنفات الخاضعة للإشراف: بما في ذلك LogReg وLinearSVC وSupervised Transformer، والتي كانت قدرتها على التعميم أقل فعالية عبر الوحدات الدراسية غير المرئية.
صلاحية الدليل: حقق LBG أعلى صلاحية للنطاق (Span Validity) بلغت 0.511 بين الطرق المنتجة للنطاقات، مما يشير إلى أن النهج المقيد يثبت استخراج أدلة يمكن تتبعها ميكانيكياً.
جودة الترتيب: حقق المسار متوسط ترتيب عكسي (MRR) قدره 0.82، وهو أعلى بكثير من النماذج المرجعية، مما يشير إلى أن الكفايات الصحيحة يتم ترتيبها في قائمة المرشحين في مراتب عليا.

الأهمية والادعاءات
تدعي الورقة أن الجمع بين وسم الـ LLM المقيد بالاسترجاع والتوفيق القائم على الرسم البياني يوفر حلاً قوياً لتحليلات المناهج القائمة على الكفايات. ويؤكد المؤلفون أن طريقتهم تنتج نطاقات أدلة يمكن تتبعها ميكانيكياً، وهو أمر بالغ الأهمية للتدقيق البشري والتحليل التعليمي، مما يعالج طبيعة "الصندوق الأسود" لمخرجات الـ LLM القياسية.

تشير النتائج إلى أنه بينما تظهر النماذج اللغوية الكبيرة إمكانات واعدة في وسم المهارات، فإن أداءها على الأطر المحلية يتحسن بشكل كبير من خلال تقييد فضاء التسميات عبر الاسترجاع وفرض الاتساق الهيكلي عبر قيود الرسم البياني. ويشير المؤلفون إلى أن نهجهم مستقل عن النموذج (model-agnostic) وأن تصميم المسار يدعم تطبيقات نظام إدارة التعلم في عمليات مثل استرجاع الموارد القائم على الكفايات، ومواءمة التقييم، وتحليل تغطية المنهج.

القيود
يقر المؤلفون بتواضع بوجود بعض القيود:

اقتصر التقييم على إطار مؤسسي واحد (قسم علوم الحاسوب في UTC) وموارد نصية فقط.
يختبر مقياس صلاحية الدليل التتبع الميكانيكي للإزاحات وليس الأمانة الدلالية (أي ما إذا كان النص يبرر التسمية بالفعل).
يعتمد النظام على نص ملف تعريف الكفاية لعملية الاسترجاع، مما قد يحد من الأداء في الكفايات الغامضة جداً أو الضمنية دون قيود رسم بياني أغنى.
هناك حاجة إلى عمل مستقبلي للتحقق من النهج على تصنيفات أكبر ومتعددة اللغات (مثل ESCO وROME) وتحسين عملية توليد المرشحين.