💬 NLP

Toward LLM-Supported Automated Assessment of Critical Thinking Subskills

تستقصي هذه الورقة مدى جدوى استخدام النماذج اللغوية الكبيرة لتقييم المهارات الفرعية للتفكير النقدي في المقالات الحجاجية للطلاب تلقائياً، حيث وجدت أن الضبط الدقيق الخاضع للإشراف لنموذج Llama 3.1 8B يحقق أفضل النتائج، لا سيما للمهارات الفرعية ذات التمايز الواضح في الكفاءة والبيانات المتوازنة، مع تسليط الضوء على التحديات في اكتشاف الفروق الدقيقة الدقيقة والتعامل مع الملصقات غير المتوازنة.

المؤلفون الأصليون: Marisa C. Peczuh, Nischal Ashok Kumar, Ryan Baker, Blair Lehman, Danielle Eisenberg, Caitlin Mills, Payu Wittawatolarn, Kushaan Naskar, Keerthi Chebrolu, Sudhip Nashi, Cadence Young, Brayden Liu, Sher

نُشر 2026-02-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Marisa C. Peczuh, Nischal Ashok Kumar, Ryan Baker, Blair Lehman, Danielle Eisenberg, Caitlin Mills, Payu Wittawatolarn, Kushaan Naskar, Keerthi Chebrolu, Sudhip Nashi, Cadence Young, Brayden Liu, Sherry Lachman, Andrew Lan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يحاول تصحيح 500 مقال كتبها طلاب في المرحلة الإعدادية والثانوية. هدفك ليس مجرد التحقق من القواعد أو الإملاء؛ بل تريد أن ترى ما إذا كانوا يفكرون بشكل نقدي. هل يمكنهم التمييز بين الحقيقة وبين الأخبار المزيفة؟ هل يمكنهم رصد الحجة الضعيفة؟ هل يمكنهم بناء قضية قوية لأفكارهم الخاصة؟

هذه مهمة صعبة. الأمر يشبه محاولة الحكم على جودة حساء بمجرد النظر إلى قائمة المكونات. يستغرق الأمر وقتاً طويلاً، وحتى المعلمون المختلفون قد يختلفون حول ما إذا كان مقال معين "جيداً" أو "رائعاً".

هذه الورقة البحثية تتحدث عن تعليم الذكاء الاصطناعي (تحديداً النماذج اللغوية الكبيرة أو LLMs) أن يكون ذلك المعلم. أراد الباحثون معرفة: هل يمكن للكمبيوتر أن يقرأ هذه المقالات ويخبرنا بالضبط مدى جودة تفكير الطالب، تماماً كما يفعل خبير بشري؟

إليك قصة تجربتهم، مقسمة إلى أجزاء بسيطة.

1. التحدي: تعريف "التفكير النقدي"

أولاً، كان على الفريق تحديد ما يبدو عليه "التفكير النقدي" على الورق. لم يكن بإمكانهم الاكتفاء بالقول: "هذا المقال ذكي". بل احتاجوا إلى تفكيكه إلى مهارات فرعية محددة، مثل تفكيك وصفة طبخ معقدة إلى خطوات:

خلط المكونات: هل استخدم الطالب أكثر من مصدر واحد؟
تذوق الحساء: هل تحققوا مما إذا كانت الأدلة قوية أم ضعيفة؟
لعب دور المحامي المعارض: هل تناولوا الجانب الآخر من الحجة؟
تجنب السموم: هل تجنبوا الفخاخ المنطقية (المغالطات)؟

لقد أنشأوا نموذج تقييم (دليل تسجيل درجات) بخمسة مستويات، تتراوح من "غير قابل للتطبيق" (الطالب لم يحاول حتى) إلى "التمكن" (الطالب أصبح سيداً في التفكير النقدي).

2. معسكر التدريب البشري

قبل تعليم الذكاء الاصطناعي، احتاج الباحثون إلى إجابات "المعيار الذهبي". فقد استعانوا بخبراء بشريين (طلاب دراسات عليا) لقراءة وتصحيح 500 مقال باستخدام نموذج التقييم الجديد الخاص بهم.

النتيجة: كان عملاً شاقاً! حتى البشر لم يتفقوا دائماً بشكل مثالي. أحياناً، كان أحد المعلمين يرى أن المقال "جيد"، بينما يراه آخر "مقبولاً". أثبت هذا أن التفكير النقدي أمر يصعب قياسه، حتى بالنسبة للبشر.

3. المواجهة بين الذكاء الاصطناعي: ثلاث طرق لتعليم الروبوت

جرب الباحثون ثلاث طرق مختلفة لتعليم الذكاء الاصطناعي كيفية تصحيح هذه المقالات:

الطريقة (أ): "التعلم من الصفر" (الخبير الفوري)
قاموا فقط بإعطاء الذكاء الاصطناعي نموذج التقييم وقالوا له: "هذا مقال، قم بتصنيفه". الأمر يشبه طلب الحكم على لوحة من شخص غريب دون أي تدريب.
- النتيجة: كان الذكاء الاصطناعي جيداً، لكنه افتقر إلى الدقة والتفاصيل. كان كالسائح الذي يخمن قواعد لعبة ما.
الطريقة (ب): "التعلم من أمثلة قليلة" (متعلم الأمثلة)
أعطوا الذكاء الاصطناعي نموذج التقييم بالإضافة إلى بضعة أمثلة لمقالات تم تصحيحها بالفعل من قبل بشر. "انظر، هذا المقال حصل على درجة 'جيد' لأنه فعل (س). وهذا حصل على 'سيء' لأنه فعل (ص)".
- النتيجة: أفضل! لقد تعلم الذكاء الاصطناعي من الأمثلة، لكنه لا يزال يعاني في الأجزاء الأكثر تعقيداً.
الطريقة (ج): "الضبط الدقيق" (فترة التدريب العملي)
كانت هذه هي الطريقة الكبرى. أخذوا نموذج ذكاء اصطناعي مفتوح المصدر (Llama 3.1) و"دربوه" على الـ 500 مقال التي صححها البشر بالفعل. كان الأمر يشبه إعطاء الذكاء الاصطناعي فترة تدريب عملي حيث قرأ مئات المقالات وتعلم بالضبط كيف يفكر المعلمون البشر.
- النتيجة: كانت هذه هي الفائزة. أصبح الذكاء الاصطناعي الذي خضع للضبط الدقيق هو "المعلم" الأكثر دقة، حيث طابق مستويات الاتفاق البشري بشكل أفضل من الطرق الأخرى.

4. ماذا تعلموا؟ (الجيد، والسيئ، والمربك)

الأخبار الجيدة:
أصبح الذكاء الاصطناعي بارعاً جداً في رصد الأنماط الواضحة. إذا استخدم المقال الكثير من الحقائق واستشهد بالمصادر، عرف الذكاء الاصطناعي أنه مقال قوي. كان بارعاً بشكل خاص في المهارات التي يكون فيها الفرق بين المقال "الجيد" والمقال "السيء" واضحاً (مثل رصد ما إذا كان الطالب قد استخدم أي مصادر على الإطلاق).

الأخبار السيئة:
عانى الذكاء الاصطناعي عندما تكون الاختلافات دقيقة.

مشكلة "المنطقة الرمادية": إذا كان المقال مثالياً تقريباً ولكن به خلل منطقي صغير جداً، فقد يغفل عنه الذكاء الاصطناعي أحياناً.
مشكلة "عدم التوازن": معظم الطلاب في الدراسة كانوا في المستوى "المتوسط" (المستوى 2 أو 3). ولم يكن هناك سوى عدد قليل جداً من "المتمكنين" (المستوى 4). ولأن الذكاء الاصطناعي لم يرَ الكثير من "المتمكنين"، فقد ارتبك عند مواجهة أحدهم. الأمر يشبه طبيباً لم يرَ سوى الأشخاص الأصحاء؛ عندما يأتي مريض بمرض نادر، قد يخطئ الطبيب في التشخيص.

مشكلة "التعميم":
عندما حاولوا تعليم الذكاء الاصطناعي مهارة جديدة لم يسبق له رؤيتها (مثل "المغالطات المنطقية") دون إظهار أي أمثلة له أولاً، فقد فشل. كان بحاجة لرؤية أمثلة لتلك المهارة المحددة ليفهمها. لا يمكنك فقط إعطاء الذكاء الاصطناعي كتاب قواعد عام؛ بل يحتاج لرؤية اللعبة المحددة التي يتم لعبها.

5. الصورة الكبيرة: لماذا هذا مهم؟

العالم غارق في المحتوى الذي ينتجه الذكاء الاصطناعي، والأخبار المزيفة، والحجج المربكة. نحن بحاجة إلى أشخاص يمكنهم التفكير نقدياً للتنقل في هذه الفوضى.

الوعد: إذا تمكنا من بناء أدوات ذكاء اصطناعي تصحح التفكير النقدي، يمكن للمعلمين الحصول على ملاحظات فورية على آلاف المقالات. هذا يعني أن الطلاب يمكنهم الحصول على المساعدة الآن أثناء الكتابة، بدلاً من الانتظار لأسابيع للحصول على درجة.
واقع التحقق: الذكاء الاصطناعي ليس بديلاً للمعلمين البشر بعد. إنه مساعد قوي. يعمل بشكل أفضل عندما تكون المهارات واضحة وهناك بيانات كافية لتدريبه. بالنسبة للتفكير الأكثر تعقيداً ودقة، لا نزال بحاجة إلى أعين بشرية للتدقيق.

باختصار: علم الباحثون روبوتاً كيفية تصحيح المقالات حول "التفكير النقدي". تعلم الروبوت بشكل أفضل عندما تدرب على أمثلة حقيقية (الضبط الدقيق). إنه يصبح جيداً جداً، لكنه لا يزال بحاجة إلى معلم بشري يمسك بيده عندما تصبح الأسئلة صعبة حقاً. هذه هي الخطوة الأولى نحو مستقبل يحصل فيه كل طالب على مدرب شخصي لمهارات التفكير لديه.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو تقييم مدعوم بالنماذج اللغوية الكبيرة (LLMs) لمهارات التفكير النقدي الفرعية المؤتمت".

1. بيان المشكلة

يُعد التفكير النقدي (CT) مهارة محورية في القرن الحادي والعشرين، ومع ذلك لا يزال غير مدروس بشكل كافٍ في مجال تنقيب البيانات التعليمية (EDM). وتشمل التحديات الحالية ما يلي:

التعريف الإجرائي: غالبًا ما يتم تعريف التفكير النقدي بشكل غامض، مما يجعل من الصعب قياسه كميًا.
محدودية التقييم: تفتقر التقييمات الحالية (مثل الاختيار من متعدد) إلى الصلاحية البيئية، بينما تستغرق التقييمات مفتوحة النهاية (مثل المقالات) وقتًا طويلاً في التصحيح اليدوي.
القابلية للتوسع: هناك نقص في الأدوات المؤتمتة القادرة على تقديم ملاحظات فورية ودقيقة حول المهارات الفرعية للتفكير النقدي ضمن سياقات التعلم الواقعية.

تعالج الورقة مدى جدوى استخدام النماذج اللغوية الكبيرة (LLMs) لتقييم مهارات التفكير النقدي الفرعية (مثل تقييم الأدلة، واستخدام الحجج المضادة) تلقائيًا من المقالات الجدلية للطلاب، متجاوزةً بذلك التقييم الشامل نحو التقييم التفصيلي القائم على معايير التقييم (Rubrics).

2. المنهجية

2.1 مجموعة البيانات وتطوير معايير التقييم

مصدر البيانات: استخدمت الدراسة مجموعة فرعية من مجموعة بيانات PERSUADE 2.0، والتي تتكون من 500 مقال جدلي كتبها طلاب أمريكيون (من الصف السادس إلى الثاني عشر).
بناء معايير التقييم (Rubric): بناءً على "تطور التفكير النقدي لطلاب المرحلة الثانوية" (ETS/Carnegie)، طور المؤلفون معيار ترميز لـ ثلاث مهارات أساسية و ست مهارات فرعية:
1. تحليل المعلومات: تركيب المصادر المتعددة، تقييم قوة الأدلة.
2. توليد الحجج: استخدام الحجج المضادة، استخدام الحقائق والآراء.
3. الاستدلال المنطقي: استخلاص الاستنتاجات، استخدام المغالطات المنطقية.
مستويات الإتقان: يستخدم المعيار مقياسًا رتبيًا مكونًا من 5 نقاط: غير قابل للتطبيق، دون المستوى الناشئ، ناشئ، متوسع، ومثالي.
الترميز البشري: قام مجموعتان من المبرمجين من طلاب الدراسات العليا (إجمالي 7 مبرمجين) بتصحيح الـ 500 مقال. تم تحديد الموثوقية بين المبرمجين باستخدام معامل كريبن دورف ألفا (Krippendorff's Alpha) (الحد الأدنى $\ge$ 0.60) و "ويتد كابا" (Weighted Kappa).

2.2 التصميم التجريبي: مقاربات النماذج اللغوية الكبيرة (LLMs)

قيم المؤلفون ثلاثة نهج مختلفة للتقييم المؤتمت عبر ثلاثة نماذج:

النموذج المملوك (التلقين - Prompting): اختبار نموذج GPT-5 في وضعي الصفر من الأمثلة (Zero-shot) و الأمثلة القليلة (Few-shot) (3 أمثلة داخل السياق).
النماذج مفتوحة المصدر (الضبط الدقيق - Fine-tuning):
- Llama 3.1 8B Instruct: نموذج فك تشفير فقط (Decoder-only). تم ضبطه دقيقًا باستخدام تقنية PEFT (LoRA).
- ModernBERT-base: نموذج محول (Transformer) يعتمد على الترميز فقط (Encoder-only) بـ 149 مليون معلمة. تم ضبطه دقيقًا مع رأس تصنيف (Classification head).

متغيرات الضبط الدقيق:

المدخلات: اسم المهارة الفرعية، التعريف، واصفات المعيار، ونص المقال.
المخرجات: تسمية مستوى الإتقان (نص أو معرف رقمي).
التبرير: تضمنت بعض المتغيرات خطوة "سلسلة الأفكد" (Chain-of-Thought - CoT) حيث يقوم النموذج بتوليد تبرير قبل وضع التسمية (تم توليده باستخدام GPT-4).
وجود المعيار: قارنت التجارب بين المدخلات التي تحتوي على واصفات المعيار كاملة مقابل المدخلات التي تحتوي على (الاسم والتعريف فقط).

2.3 مقاييس التقييم

تم قيء الأداء مقابل التدوين البشري باستخدام:

الدقة (Accuracy): معدل التطابق التام.
جذر متوسط مربع الخطأ (RMSE): الذي يعاقب المسافة عن المستوى الرتبي الصحيح.
مقاييس F1: الكلية (Macro) والموزونة (Weighted) (لمراعاة عدم توازن الفئات).
معامل كريبن دورف ألفا (Krippendorff's $\alpha$ ): مقياس الاتفاق الذي يعامل النموذج اللغوي كمدون بشري ثانٍ (وهو أمر بالغ الأهمية للبيانات الرتبية).

2.4 تقسيم البيانات

التقسيم القائم على المقال: تقسيم 70/10/20 (تدريب/تحقق/اختبار) (التقسيم القياسي للتقييم).
التقسيم القائم على المهارة الفرعية: استبعاد مهارة فرعية كاملة للاختبار لتقييم القدرة على التعميم.

3. النتائج الرئيسية

3.1 الأداء العام

الضبط الدقيق > التلقين: حقق نموذج Llama 3.1 8B الذي تم ضبطه دقيقًا أفضل النتائج، متفوقًا على كل من GPT-5 (في وضع الأمثلة القليلة) و ModernBERT.
الاتفاق بمستوى البشر: حقق أفضل متغير لنموذج Llama (مع المعيار، بدون التبرير) معامل Krippendorff's $\alpha$ قدره 0.606، متجاوزًا العتبة المحددة للموثوقية الكافية بين المبرمجين البشريين.
مقارنة النماذج:
- Llama 8B: $\alpha \approx 0.606$ (الأفضل).
- ModernBERT: $\alpha \approx 0.541$ (أقل أداءً من Llama بنسبة ~6.5%).
- GPT-5 (الأمثلة القليلة): $\alpha \approx 0.542$ .
- GPT-5 (الصفر من الأمثلة): $\alpha \approx 0.487$ .

3.2 الأداء الخاص بالمهارات الفرعية

تفاوت الأداء بشكل كبير بناءً على توزيع التسميات وتعقيد المهمة:

الأداء العالي: تركيب المصادر المتعددة ( $\alpha = 0.74$ ). تفوق النموذج هنا لأن البيانات كانت منحازة للغاية (معظمها "غير قابل للتطبيق")، مما جعل الفئة الغالبة سهلة التنبؤ.
الأداء المنخفض: تقييم قوة الأدلة ( $\alpha = 0.23$ ) و استخدام الحجج المضادة ( $\alpha = 0.31$ ). عانت هذه المهام من عدم توازن الفئات (سيطرة فئة "ناشئ") ومن الفروق الدقيقة بين مستويات الإتقان، مما جعل النموذج يميل إلى اختيار الفئة الأكثر شيوعًا.
المغالطات المنطقية: كانت الدقة منخفضة (~50%) بسبب صعوبة التمييز بين المغالطات الدقيقة والأدلة الصحيحة.

3.3 التعميم (المهارات الفرعية غير المرئية)

عند الاختبار على مهارة فرعية لم تُشاهد أثناء التدريب (التقسيم القائم على المهارة الفرعية)، انخفض الأداء بشكل كبير ( $\alpha \approx 0.42$ ).
دور معايير التقييم: كانت واصفات المعيار ضرورية للتعميم. النماذج التي لم تتضمن واصفات المعيار في التلقين حققت اتفاقًا يقترب من الصفر ( $\alpha \approx 0$ ).
دور التبريرات: على عكس التقسيم القائم على المقال، أدى إضافة التبريرات المولدة إلى تحسين أداء التعميم بنسبة 6% في قيمة $\alpha$ ، مما يشير إلى أن سلسلة الأفكار (CoT) تساعد النموذج على ربط المهام غير المرئية بمنطق المعيار.

3.4 تحليل الأخطاء

حدثت معظم الأخطاء بين مستويات الإتقان المتجاورة (على سبيل المثال، التنبؤ بـ "ناشئ" بدلاً من "متوسع").
واجهت النماذج صعوبة في اكتشاف الفروق الدقيقة بين التوازن بين الأدلة والمغالطات المنطقية، وغالبًا ما كانت تفسر نبرة الكلام أو حجم الاستشهادات خطأً على أنها دليل على جودة الاستدلال.

4. المساهمات الرئيسية

التعريف الإجرائي للتفكير النقدي: النجاح في تعريف وتشفير مفهوم معقد ومتعدد الأبعاد (التفكير النقدي) إلى ست مهارات فرعية قابلة للقياس في سياق تنقيب البيانات التعليمية (EDM).
معايرة النماذج اللغية الكبيرة: تقديم مقارنة شاملة بين التلقين والضبط الدقيق، وبين النماذج المملوكة والمفتوحة المصدر، للتقييم الدقيق والمفصل.
الرؤية المنهجية: إثبات أن الضبط الدقيق للنماذج مفتوحة المصدر يتفوق على التلقين لتحقيق موثوقية بمستوى البشر، مع تسليط الضوء على الحاجة الماسة لـ واصفات المعيار عند التعميم على مهارات جديدة.
البيانات والبرمجيات: إنشاء مجموعة بيانات مشفرة بشريًا تضم 500 مقال مع تسميات متعددة الأبعاد للتفكير النقدي، لتكون موردًا للأبحاث المستقبلية.

5. الأهمية والتوجهات المستقبلية

القابلية للتوسع: تثبت الدراسة أن التقييم المؤتمت والمفصل للتفكير النقدي أمر ممكن، مما يفتح مسارًا نحو تقديم ملاحظات تكوينية قابلة للتوسع في بيئات التعلم الواقعية.
التكلفة والخصوصية: يوفر الضبط الدقيق للنماذج مفتوحة المصدر بديلًا فعالًا من حيث التكلفة ويحافظ على الخصوصية مقارنة باستدعاءات واجهة برمجة التطبيقات (API) المكلفة (مثل GPT-5) للنشر واسع النطاق في التعليم.
القيود والعمل المستقبلي:
- عدم توازن الفئات: يجب أن تعالج الأعمال المستقبلية عدم توازن البيانات (على سبيل المثال، عبر زيادة العينات الاصطناعية) لتحسين الأداء في مستويات الإتقان النادرة.
- التعميم: رغم كونها واعدة، لا تزال النماذج تواجه صعوبة في التعامل مع المهارات الفرعية غير المرئية دون بيانات محددة. يجب أن تستكشف الأبحاث المستقبلية "التلقين الميتا" (Meta-prompting) أو التعلم بنقل المعرفة (Transfer Learning) لتقليل الحاجة إلى التسمية البشرية الخاصة بكل مهارة فرعية.
- النهج الهجين: نظرًا لصعوبة اكتشاف المغالطات الدقيقة، يُوصى باستخدام سير عمل هجين يجمع بين الإنسان والذكاء الاصطناعي للتقييمات عالية المخاطر.

في الختام، تضع هذه الورقة حجر الأساس لدمج الذكاء الاصطناي في تقييم مهارات التفكير العليا، موضحًا أنه من خلال تصميم معايير دقيقة وضبط دقيق، يمكن للنماذج اللغوية الكبيرة دعم قياس مهارات التفكير النقدي في كتابات الطلاب بفعالية.