AiDER: Auditing and Document Evaluation via Rule Compilation and Small Language Models - An Education Case Study

تخيل أنك تحاول تعليم روبوت كيفية تصحيح واجب مدرسي لطالب. في عالم الذكاء الاصطناعي، هناك طريقتان رئيسيتان للقيام بذلك. الطريقة الأولى هي السماح لـ "دماغ" عملاق فائق الذكاء (يُسمى نموذج لغة كبير) بقراءة الواجب وتخمين الدرجة بناءً على "شعوره الداخلي". هذه الطريقة سريعة، لكنها عبارة عن "صندوق أسود"؛ فإذا أخطأ، لن تعرف لماذا، ولا يمكنك حقاً مراجعة عمله. الطريقة الثانية هي استخدام كتاب قواعد صارم. أنت تكتب تعليمات دقيقة مثل: "إذا ذكر الطالب كلمة 'الجاذبية'، امنحه 5 نقاط". هذه الطريقة شفافة وسهلة التحقق، لكن من الصعب كتابة قواعد لكل شيء، خاصة إذا كانت التعليمات مكتوبة بلغة بشرية غير منظمة.

تقع هذه الورقة البحثية عند نقطة التقاء هذين العالمين. وهي تسأل: هل يمكننا الجمع بين مرونة الذكاء الاصطناعي الذكي وأمانة كتاب القواعد الصارم؟ يعمل الباحثون في مجال "الذكاء الاصطناعي القابل للتدقيق"، وهو مجال يهتم بالتأكد من إمكانية شرح قرارات الذكاء الاصطناعي والتحقق منها، بدلاً من مجرد قبولها كأمر سحري. وهم مهتمون بشكل خاص باستخدام "نماذج اللغة الصغيرة" (SLMs) — وهي عقول ذكاء اصطناعي أصغر وأرخص، ويمكنها العمل على جهاز كمبيوتر واحد دون الحاجة إلى خادم سحابي ضخم. والسؤال الكبير هو: هل يمكن لذكاء اصطناعي أصغر وأبسط أن يكون ذكياً بما يكفي لتحويل تعليمات البشر الغامضة إلى كتاب قواعد صارم يمكن للكمبيوتر اتباعه بدقة؟

يقدم المؤلفون نظاماً جديداً يسمى AiDER (التدقيق وتقييم المستندات عبر تجميع القواعد ونماذج اللغة الصغيرة). فكر في AiDER كأنه مترجم ذكي وحَكَم صارم يعملان معاً. بدلاً من ترك الذكاء الاصطناعي يخمن الدرجة، يجبر نظام AiDER الذكاء الاصطناعي على القيام بوظيفتين منفصلتين. أولاً، يعمل الذكاء الاصطناعي كـ مترجم: يأخذ متطلباً باللغة الطبيعية (مثل "يجب أن يعرف الطلاب كيف سيتم تقييمهم") ويحاول تجميعها في قاعدة برمجية صارمة وقابلة للتنفيذ. ثاً، يعمل برنامج كمبيوتر منفصل ومحدد (deterministic) كـ حَكَم: ينظر في المستند، ويبحث عن الدليل المحدد الذي طلبته القاعدة، ويتحقق مما إذا كانت القاعدة قد استُوفيت أم لا. الذكاء الاصطناعي لا يقرر الدرجة أبداً؛ هو فقط يضع القواعد ويجد الأدلة.

لاختبار ذلك، استخدم الباحثون أربعة نماذج مختلفة من الذكاء الاصطناعي الصغير (تتراوح أحجامها بين 2 مليار و4 مليارات معلمة) ومجموعة من 200 مستند تعليمي حقيقي، مثل المناهج الدراسية ومعايير التقييم. وجربوا ثلاث طرق لجعل الذكاء الاصطناعي يكتب القواعد:

1. القواعد المكتوبة بشرياً: وهي "المعيار الذهبي" حيث كتب إنسان الكود الصارم.
2. التجميع المباشر: حيث يحاول الذكاء الاصطناعي كتابة الكود في خطوة واحدة.
3. إصلاح حلقة التحقق: إذا كتب الذكاء الاصطناعي قاعدة معطلة، يخبره النظام "خطأ!" ويسمح له بالمحاولة مرة أخرى حتى خمس مرات لإصلاحها.

كانت النتائج مزيجاً من "الأخبار الرائعة" و"التفاؤل الحذر". وجدت الدراسة أنه عندما نجح الذكاء الاصطناعي في كتابة قاعدة صالحة، كان حتى أصغر النماذج جيداً بشكل مفاجئ في العثور على الدليل الصحيح لاتخاذ قرار. ومع ذلك، غالباً ما واجه الذكاء الاصطناعي صعوبة في كتابة القاعدة المثالية من المحاولة الأولى. وهنا برزت أهمية "حلقة الإصلاح". فمن خلال السماح للذكاء الاصطناعي بإصلاح أخطائه، حسن النظام بشكل كبير من عدد المرات التي تعمل فيها القواعد بشكل صحيح.

ومن المثير للاهتمام أن الورقة البحثية تشير إلى أنه بمجرد وضع القاعدة الصارمة (السقالة)، لا يحتاج الذكاء الاصطناعي إلى الكثير من المساعدة الإضافية للعثور على الدليل. في الواقع، إضافة الكثير من التعليمات الإضافية من الذكاء الاصطناعي جعلت الأمور أسوأ أحياناً، خاصة بالنسبة للنماذج الأصغر. وتخلص الدراسة إلى أن الجزء الأهم في العملية هو ضبط القاعدة بشكل صحيح. فإذا كانت القاعدة واضحة، يمكن حتى لذكاء اصطناعي صغير وبسيط القيام بالعمل الشاق المتمثل في إيجاد الإثبات.

في النهاية، تقترح الورقة أنه بالنسبة للمهام مثل فحص المواد التعليمية، لا ينبغي لنا فقط أن نطلب من الذكاء الاصطناعي "الحكم" على مستند ما. بدلاً من ذلك، يجب أن نستخدم الذكاء الاصطناعي لترجمة المتطلبات البشرية إلى قواعد صارمة وقابلة للتحقق، ثم نترك الكمبيوتر يتحقق من الحقائق. هذا النهج يجعل العملية بأكملها شفافة: إذا كان القرار خاطئاً، يمكنك تتبع الأمر لمعرفة ما إذا كانت القاعدة قد كُتبت بشكل سيء، أو إذا فات الذكاء الاصطناعي جزء من الأدلة، بدلاً من لوم حكم صادر عن "صندوق أسود" غامض. ورغم أن الدراسة كانت محدودة بمساق دراسي واحد ومجموعة صغيرة من المستندات، إلا أنها تقدم مخططاً واعداً لجعل الذكاء الاصطناي في التعليم أكثر موثوقية، وعدلاً، وسهولة في الفهم.