Error as a Lens: Probing LLM Reasoning through Synthetic Misconception Generation

ملخص تقني: الخطأ كعدسة: سبر أغوار استدلال النماذج اللغوية الكبيرة من خلال توليد المفاهيم الخاطئة الاصطناعية

بيان المشكلة
تعتمد تطبيقات التكنولوجيا التعليمية — بما في ذلك التدريس الخصوصي المخصص، وتدريب المعلمين، والبحوث التربوية — على الوصول إلى مفاهيم خاطئة اصطناعية مستهدفة. ومع ذلك، فإن عملية الحصول على مجموعات بيانات ضخمة ومصنفة من أخطاء الطلاب الحقيقية مقيدة بشدة بسبب لوائح الخصوصية، وقيود مجالس مراجعة المؤسسات (IRB)، والحساسية الأخلاقية لتخزين بيانات التقييم التي يمكن تحديد هوية أصحابها. وبينما توفر النماذج اللغوية الكبيرة (LLMs) مسارًا قابلاً للتوسع لتوليد الأخطاء الاصطناعية، إلا أن هناك فجوة حرجة: يمكن للنماذج اللغوية الكبيرة الحديثة إنتاج إجابات خاطئة عشوائية بسهولة، لكنها تواجه صعوبة في توليد أخطاء تتماشى مع أنماط فشل معرفي محددة ومحددة بدقة. ويتمثل التحدي المركزي في إنشاء إطار عمل ينتج إجابات خاطئة هي: (1) خاطئة حقًا، (2) متسقة مع نمط فشل معرفي معين بدلاً من كونها خاطئة بشكل عشوائي، و(3) مستقرة عبر موضوعات مختلفة.

المنهجية: إطار عمل GA/EA
يقترح المؤلفون إطار عمل مكون من وكيلين مصمم لتوليد أخطاء مستهدفة حسب التصنيف. يقوم النظام بفصل صياغة الحل الخاطئ عن التحقق من اتساقه مع الفئة.

1. تصنيف الخطأ: يستخدم إطار العمل تصنيفًا للأخطاء مكونًا من خمس فئات مستمدة من تصنيف بلوم المعدل (أندرسون وآخرون، 2001). الفئات المستبقاة هي:

   • E1 (خطأ ذهني/عمل غير دقيق): هفوات حسابية أو أخطاء في النقل في مسار صحيح في الأصل.
   • E2 (فجوة معرفية): نقص في التعريفات، أو المصطلحات، أو الصيغ.
   • E3 (مفهوم خاطئ): نماذج ذهنية معيبة أو مفاهيم غائبة.
   • E4 (اختيار خاطئ): تصنيف خاطئ للمشكلة أو اختيار إجراء حل خاطئ.
   • E5 (العمى الهيكلي): الفشل في التمييز بين المكونات وتفاعلاتها.
     (ملاحظة: تم استبعاد الفئات التي تصف إجابات دون المستوى ولكنها صحيحة، لأنها لا تمثل إجابات نهائية خاطئة).

2. بنية الوكلاء:

   • وكيل التوليد (GA): نموذج لغوي كبير مدرب مسبقًا مكلف بصياغة حل خاطئ مرشح بناءً على فئة خطأ مستهدفة محددة. استخدم المؤلفون وكيل توليد واحد متعدد الفئات بدلاً من خمسة وكلاء متخصصين لمنع "الانحراف" نحو الفئات الشقيقة، حيث افتقر المتخصصون إلى السياق المتقاطع للتمييز بين أنماط الفشل المتجاورة.
   • وكيل الفحص (EA): جهة حكم تقيم مسودة وكيل التوليد (GA) بناءً على محورين: (أ) ما إذا كان الرد خاطئًا حقًا، و(ب) ما إذا كان يطابق فئة الخطأ المستهدفة. يعمل وكيل الفحص دون رؤية الأمثلة السياقية الخاصة بوكيل التوليد لمنع مطابقة الأنماط السطحية.

3. تكوينات خط الإنتاج: تقيم الدراسة ثمانية تكوينات لخط الإنتاج (P0–P8) تختلف وفق ثلاثة محاور تصميمية:

   • تأسيس الإجابة: ما إذا كان وكيل التوليد (GA) معرضًا للحل الصحيح.
   • التكييف: ما إذا كان وكيل التوليد يتلقى أمثلة قليلة موسعة أو مقتطفات من كتاب مدرسي خارجي.
   • حلقة التغذية الراجعة: ما إذا كان وكيل الفحص (EA) يقدم إشارات رفض (بما في ذلك المسودة والمبرر) مرة أخرى إلى وكيل التوليد لإعادة التوليد التكراري (حتى خمس محاولات).
   • تنفيذ وكيل الفحص: مقارنة حكم نموذج لغوي كبير يعتمد على التوجيه (Prompted LLM) مقابل مصنف BERT-base-uncased مضبوط بدقة (P8) تم تدريبه على 1,600 مثال مصنف بشريًا.

الإعداد التجريبي
تم تقييم إطار العمل على مجموعة بيانات TheoremQA، وهي مجموعة بيانات للأسئلة والأجوبة القائمة على النظريات وتغطي الرياضيات، والفيزياء، والهندسة الكهربائية وعلوم الحاسوب، والتمويل.

• المستوى الأول (المعيار المتحقق منه): مسح لـ 20 سؤالاً عبر جميع خطوط الإنتاج التسعة والأنظمة الخلفية الثلاثة (مزيج OpenAI o3/GPT-4o، وGPT-5، وGPT-5-mini) مع محاولات غير محدودة وتحقق بشري نهائي.
• المستوى الثاني (تشغيل النطاق الواسع): تشغيل لـ 200 سؤال على GPT-5 مع حد أقصى 5 محاولات لإعادة المحاولة لتقييم التكلفة وزمن الاستجابة عند النطاق الواسع.
• المقياس: المقياس الأساسي هو معدل الخطأ المستهدف، والذي يُعرف بأنه نسبة التوليدات التي تكون خاطئة ومتسقة مع فئة الخطأ المطلوبة في آن واحد. تُعامل الردود الصحيحة أو التي تعترف بالجهل (الرفض المعرفي) كإخفاقات.

النتائج الرئيسية

1. صعوبة التوليد المستهدف: يعد توليد الأخطاء المستهدفة أصعب بكثير من توليد الإجابات الخاطئة حرة الشكل. انخفض خط الأساس البديهي (P0) بمقدار 23-39 نقطة مئوية عن السقف عبر جميع الأنظمة الخلفية.
2. عقبة "العمى الهيكلي": ثبت أن الفئة E5 (العمى الهيكلي) هي أصعب فئة مستهدفة عبر جميع التكوينات، خاصة بالنسبة للأنظمة الخلفية الأضعف. تتطلب هذه الفئة من النموذج إعادة تأطير المشكلة عالميًا مع الحفاظ على استدلال متماسك سطحيًا، وهي مهمة تختلف عن الانزلاقات الحسابية البسيطة (E1) أو استبدالات الصيغ (E2).
3. تأثير محاور التصميم:
   • تأسيس الإجابة: أدى تقديم الإجابة الصحيحة لوكيل التوليد (GA) عمومًا إلى تحسين الأداء في الأنظمة الخلفية الأقوى (GPT-5) ولكنه أدى إلى تدهور الأداء في الأنظمة الأضعف (o3+GPT-4o)، حيث واجهت النماذج الأضعف صعوبة في كبح المسار الصحيح، مما أدى إلى استدلال "جزئي الصحة" فشل في اختبار الاتساق مع الفئة.
   • حلقة التغذية الراجعة: وفرت حلقة التغذية الراجعة لوكيل الفحص (P3) التحسن الأكثر أهمية واستمرارية، خاصة للأنظمة الخلفية الأضعف. لقد سمحت لوكيل التوليد بالابتعاد عن المسودات المرفوضة، وهي قدرة لم تستطع عينة التوليد البسيطة القائمة على درجة الحرارة (temperature-based sampling) تحقيقها بشكل موثوق.
   • الدعم (Scaffolding): لم تؤدِ الأمثلة الموسعة ومقتطفات الكتب المدرسية الخارجية (P4–P7) إلى تحسينات واضحة مقارنة بتكوينات P1/P3 الأكثر رشاقة على الأنظمة الخلفية القوية، وفي بعض الحالات أدت إلى إضعاف إشارة الفئة.
4. التفاوت بين الأنظمة الخلفية: كانت الفجوة بين الأنظمة الخلفية كبيرة وغير متماثلة. حقق GPT-5 متوسط معدل خطأ مستهدف بنحو 0.82، بينما تأخر GPT-5-mini وo3+GPT-4o بمقدار 12-14 نقطة. كان هذا الفارق مدفوعًا بالقدرة على كبح الإجابة الصحيحة وتنويع المسودات تحت التغذية الراجعة، وليس بدقة حل المشكلات الخام.
5. المصنف المضبوط مقابل الموجه: قدم مصنف BERT (P8) مقايضة في النشر. فقد حقق قبولًا قريبًا من تمريرة واحدة (كفاءة عالية) وتفوق على وكيل الفحص الموجه على أضعف نظام خلفي، ولكنه كان أقل قدرة على التكيف ولم يسد فجوة E5 في GPT-5.

الأهمية والادعاءات
يقدم البحث مساهمة منهجية واحدة أساسية وملاحظة تجريبية ثانوية:

1. المساهمة المنهجية: يقدم المؤلفون وصفة قابلة لإعادة الاستخدام والتوسع لبناء مجموعات بيانات أخطاء اصطناعية مصنفة حسب الفئات في المجالات التي لا تتوفر فيها مجموعات بيانات طلابية حقيقية. من خلال فصل الصياغة عن الحكم ونقل الإشراف البشري إلى جانب "الحكم" (أو استخدام مصنف مضبوط بدقة)، يسمح إطار العمل لأي نموذج لغوي كبير مدرب مسبقًا بأن يعمل كـ "طالب بديل" لتوليد مفاهيم خاطئة محكومة.

2. الملاحظة التجريبية: توليد الأخطاء المستهدفة هو في الأساس مشكلة قابلية تحكم وليست مشكلة اكتساب معرفة. تشير النتائج إلى أن تأسيس الإجابة وحلقات التغذية الراجعة التكرارية أكثر أهمية لتوليد أنواع محددة من الأخطاء من توفير سياق موسع أو محتوى كتب مدرسية.

القيود والنطاق
يصرح المؤلفون صراحةً أن هذا الإطار ينتج أخطاء مستهدفة حسب التصنيف، وليس أخطاءً تم التحقق منها تجريبيًا من قبل الطلاب. لا تقيس الدراسة ما إذا كانت الأشكال السطحية المولدة تطابق ما ينتجه الطلاب الحقيقيون بالفعل. يعتمد التقييم على تصنيف واحد ونماذج مغلقة المصدر، ويُقدم "معدل الخطأ المستهدف" كمقياس مكمل للمعايير القائمة على الصحة، مما يكشف عن سلوكيات (أنماط فشل محكومة) تغفلها مقاييس الدقة القياسية. يضع هذا العمل الإطار كأداة عملية لبناء تطبيقات تعليمية لاحقة، مع التنويه بأن التحقق من الطلاب الحقيقيين يظل خطوة مستقبلية ضرورية.