Convergent assessment cannot be policed: a residual-entropy bound on authorship attribution and its consequences for integrity in quantitative disciplines

تخيل أنك محقق يحاول حل لغز: "من كتب هذا؟". في عالم المدارس والجامعات، هذا هو السؤال الجوهي في النزاهة الأكاديمية. لسنوات، كانت الأداة الرئيسية التي استخدمها المحققون هي نوع خاص من "أجهزة مسح بصمات الأصابع" المصممة للقصص الطويلة والمتدفقة — أي المقالات. تبحث هذه الأجهزة عن عادات صغيرة وفريدة في كيفية كتابة الشخص، مثل كيفية استخدامه للفواصل أو هيكلة جمله. ولكن إليك المفاجأة: روبوتات الدردشة المدعومة بالذكاء الاصطناعي أصبحت بارعة جدًا في كتابة هذه القصص لدرجة أن أجهزة المسح بدأت تعاني. تحاول المدارس إصلاح ذلك عبر تطبيق منطق "ماسح المقالات" على كل شيء آخر يفعله الطلاب، مثل مسائل الرياضيات، والأسئلة متعددة الخيارات، ومهام البرمجة.

لفهم سبب كون هذا طريقًا مسدودًا، نحتاج إلى النظر في فكرتين بسيطتين. أولًا، فكر في "المعلومات" ككمية التفاصيل الفريدة في رسالة ما. المقال الطويل يشبه بصمة الإصبع الفوضوية والفريدة؛ فهو يحتوي على الكثير من التفاصيل الصغيرة التي يمكن أن تخبرك من صنعه. أما الإجابة الرياضية، مثل الرقم "42"، فهي تشبه رخامة مثالية وناعمة. إذا قام شخصان بحل نفس المسألة بشكل صحيح، فسينتجان نفس الرقم "42" تمامًا. لا يوجد فوضى، ولا بصمة فريدة، ولا تفاصيل إضافية للفحص. ثانيًا، فكر في "إسناد التأليف" كعملية استخدام تلك التفاصيل الفريدة لإثبات من قام بالعمل. إذا لم تكن هناك تفاصيل فريدة من الأساس، فلا يمكن لأي تكنولوجيا متطورة أن تخترعها سحريًا. هذا البحث يطرح سؤالًا جريئًا: ماذا يحدث عندما نحاول استخدام ماسح بصمات الأصابع على رخامة ملساء؟

الاكتشاف الكبير للورقة: مشكلة "الرخامة الملساء"

تجادل هذه المقالة البحثية، بعنوان "التقييم التقاربي لا يمكن مراقبته"، بأن المدارس ترتكب خطأً جوهريًا. إنهم يحاولون استخدام قواعد المقالات لمراقبة الرياضيات والعلوم والاختبارات متعددة الخيارات، لكن المؤلف يقول إن هذا مستحيل. المشكلة ليست في أن كواشف الذكاء الاصطناعي سيئة أو أن الأدوات بحاجة إلى تحسين؛ بل إن نوع العمل نفسه لا يحتوي على معلومات كافية لتحديد هوية المؤلف.

يقدم المؤلف مفهومًا يسمى "الاعتلاج المتبقي" (residual entropy). تخيل أنك تخبز الكعك. إذا طلبت من طالب أن "يكتب قصة عن كعكة"، فقد يكتب قصيدة، أو قصة رعب، أو وصفة. هناك ملايين الطرق للقيام بذلك، وكل نسخة لها "بصمة" فريدة لأسلوب الكاتب. هذا هو الاعتلاج العالي. ولكن إذا طلبت من طالب أن "يحل قيمة X" وكانت الإجابة هي "5"، فهناك طريقة واحدة صحيحة فقط لكتابة تلك الإجابة. سواء كتبها عبقري بشري، أو طالب متعثر، أو روبوت فائق الذكاء، فالنتيجة هي نفس الرقم "5" تمامًا. يسمي المؤلف هذا "صفر اعتلاج متبقي". بمجرد أن تكون الإجابة صحيحة، لا يتبقى أي تباين للتحليل.

تثبت الورقة رياضيًا أنه لا يمكنك استخراج معلومات أكثر مما هو موجود بالفعل. إذا كانت الإجابة مجرد حرف واحد أو رقم واحد، فلا توجد "إشارة" للعثور عليها. محاولة استخدام كواشف الذكاء الاصطناعي في هذه التنسيقات تشبه محاولة البحث عن بصمة إصبع على قطعة زجاج ملساء وفارغة تمامًا. مهما كانت قوة مجهرك، فلن تجد بصمة لأن الزجاج لا يملك واحدة.

المناطق الثلاث للمخاطر

استخدم المؤلف بيانات من 19 دراسة مختلفة عبر 13 موضوعًا لرسم خريطة توضح أين تقع المهام المدرسية المختلفة. واكتشف ثلاث "مناطق" أو أنظمة متميزة:

1. المنطقة المكشوفة (منطقة الخطر): وتشمل الأسئلة متعددة الخيارات، والإجابات الرقمية القصيرة، ومجموعات المسائل القياسية. في هذه المنطقة، الذكاء الاصطناعي بارع للغاية (غالبًا ما يسجل أكثر من 96% في الأسئلة متعددة الخيارات)، ولكن الإجابات ليس لها أي إشارة تأليف. تجادل الورقة بأنه في هذه المنطقة، لا يمكنك ببساطة معرفة ما إذا كان بشري أم روبوت قد قام بالعمل. الأمر ليس مسألة "صعوبة تحديد"؛ بل هو أن سؤال "من فعل هذا؟" ليس له إجابة.

2. المنطقة الكامنة (غرفة الانتظار): وتشمل المسائل الرقمية القصيرة حيث لا يزال الذكاء الاصطناعي غير بارع بما يكفي للنجاح بسهولة. هذه المهام "آمنة" فقط لأن الذكاء الاصطناعي ليس ذكيًا بما يكفي بعد. لكن المؤلف يحذر من أن هذا بمثابة ساعة موقوتة. بمجرد أن يصبح الذكاء الاصطناعي أفضل، ستختفي "السلامة" فورًا لأن لا توجد إشارة تأليف يمكن الاعتماد عليها.

3. المنطقة القابلة للكشف (المنطقة الآمنة): وتشمل المقالات الطويلة، والكتابة التأملية، ومشاريع البرمجة المعقدة. هنا، الإجابات متنوعة وفريدة للغاية لدرجة أن كواشف الذكاء الاصطناعي يمكنها العمل. تشير الورقة إلى أن الأبحاث في كشف الذكاء الاصطناي في البرمجة ناجحة بالفعل لأن الكود يحتوي على تفاصيل "بصمة" كافية، على عكس الإجابة الرياضية البسيطة.

الأرقام الصادمة

عندما طبق المؤلف هذا المنطق على برنامج جامعي نموذجي في العلوم والهندسة، كانت النتائج مذهلة. وجد أن 38% من الدرجات النهائية في هذه البرامج تأتي من مهام في "المنطقة المكشوفة" (مثل الأسئلة متعددة الخيارات ومجموعات المسائل). في المقابل، 5% فقط من برامج العلوم الإنسانية تقع في هذا الفخ.

إذا رفعت معيار الإثبات إلى ما هو مطلوب في قضية جنائية (وهو معيار عالٍ جدًا)، فإن عدد المهام المكشوفة في العلوم والهندسة يقفز إلى 52%. وهذا يعني أنه بالنسبة لأكثر من نصف درجة طالب العلوم، لا تملك المدرسة وسيلة لإثبات من قام بالعمل فعليًا، ولا توجد أداة يمكنها القيام بذلك أبدًا.

ماذا يعني هذا للمدارس

تستبعد الورقة صراحةً فكرة أنه يمكننا مجرد شراء برمجيات أفضل لإصلاح ذلك. يذكر المؤلف بوضوح أنه لا يمكن لأي تحسين في تكنولوجيا الكشف أن يحل المشكلة بالنسبة للأسئلة متعددة الخيارات أو مسائل الرياضيات لأن المعلومات ببساطة ليست موجودة ليتم العثور عليها. محاولة اتهام طالب باستخدام ذكاء اصطناعي غير مصرح به في اختبار رياضيات بناءً على "كشف الذكاء الاصطناعي" ليست غير فعالة فحسب؛ بل يجادل المؤلف بأنها مستحيلة الإثبات رياضيًا.

بدلاً من ذلك، تقترح الورقة أن تحتاج المدارس إلى تغيير استراتيجيتها بالكامل:

• التوقف عن محاولة مراقبة ما لا يمكن مراقبته: لا تستخدموا كواشف التأليف على الأسئلة متعددة الخيارات أو مسائل الرياضيات ذات الإجابات القصيرة. إنه إضاعة للوقت ويؤدي إلى اتهامات غير عادلة.
• تغيير اللعبة: إذا كنت تريد معرفة من قام بالعمل، فأنت بحاجة إلى تغيير المهمة. استخدم الامتحانات الخاضعة للإشراف (حيث يراقبك المعلم)، أو اطلب من الطلاب شرح تفكيرهم شخصيًا، أو صمم أسئلة محددة للسياق المحلي داخل الفصل بحيث لا يمكن للذكاء الاصطناعي مجرد البحث عن الإجابة.
• قبول الحدود: بالنسبة لـ "المنطقة المكشوفة"، الأمن الحقيقي الوحيد هو منع استخدام الذكاء الاصطناعي من الأساس (مثل وجودك في غرفة مغلقة)، وليس محاولة كشفه بعد حدوثه.

باختصار، تخلص الورقة إلى أن النهج الحالي "الموحد للجميع" للنزاهة الأكاديمية مكسور. لا يمكنك استخدام أداة مصممة للمقالات لمراقبة مسائل الرياضيات. بالنسبة لجزء كبير من تعليم العلوم والهندسة، ليس السؤال هو "كيف نمسك بالغشاشين؟" بل "كيف نصمم اختباراتنا بحيث لا يجعل سؤال استخدام الذكاء الاصطناعي غير المصرح به منطقيًا أصلاً؟"