Is the ACL Responsible NLP Checklist a Box-Ticking Exercise? A Large-Scale Analysis of EMNLP 2025

تخيل عالم الذكاء الاصطناعي (AI) كموقع بناء ضخم وصاخب. في كل يوم، تقوم فرق من المهندسين ببناء آلات مذهلة جديدة—بعضها يكتب الشعر، وبعضها يشخص الأمراض، وبعضها يترجم اللغات فورياً. ولكن تماماً مثل أي مشروع بناء، هناك قواعد. فأنت لا تريد لبنّاء أن يتجاهل أكواد السلامة، أو يستخدم مواد غير مستقرة، أو يبني جسراً ينهار عند أول سيارة تمر عليه. في عالم أبحاث الذكاء الاصطناعي، تُسمى "أكواد السلامة" هذه بـ ممارسات معالجة اللغات الطبيعية المسؤولة (Responsible NLP Practices). وهي مجموعة من الإرشادات التي تطلب من الباحثين أن يكونوا شفافين بشأن كيفية بناء نماذجهم، وأن يفكروا في من قد يتضرر من عملهم، وأن يتأكدوا من أن بياناتهم قد جُمعت بشكل أخلاقي.

ولضمان اتباع الجميع لهذه القواعد، قدمت مؤتمرات الذككاء الاصطناعي الكبرى (مثل ذلك الذي قُدمت فيه هذه الورقة البحثية) قائمة تحقق (Checklist). فكر في قائمة التحقق هذه كنموذج تفتيش نهائي يجب على البنّاء ملؤه قبل اعتماد المبنى. وهي تطرح أسئلة مثل: "هل تحققت من مخاطر السلامة؟" "هل نسبت الفضل للأشخاص الذين صنعوا أدواتك؟" و"هل حصلت على إذن من الأشخاص الذين درستهم؟". كان الهدف هو تحويل هذه الأفكار الأخلاقية الكبيرة والمخيفة إلى صناديق بسيطة من نوع "نعم" أو "لا" يمكن للباحثين التأشير عليها، لضمان أن يكون عملهم آمناً وصادقاً للجميع.

ولكن يبرز هنا السؤال الكبير: هل يفكر هؤلاء الباحثون حقاً بعمق في الإجابات، أم أنهم يهرعون فقط للتأشير على الصناديق حتى يتم نشر أوراقهم البحثية؟ هذا بالضبط ما تبحث فيه هذه الورقة. قرر المؤلفون، وهم فريق من الباحثين من جامعة أبريدين، لعب دور المحقق. لقد جمعوا قوائم التحقق من أكثر من 3,000 ورقة بحثية مقدمة لمؤتمر EMNL 2025 وحللوها مثل فريق جنائي يفحص مسرح جريمة. لم ينظروا فقط إلى علامات "نعم" أو "لا"؛ بل نظروا إلى الملاحظات الصغيرة (التبريرات) التي كتبها المؤلفون لشرح خياراتهم. أرادوا معرف أكانت قائمة التحقق تجعل الباحثين أكثر مسؤولية بالفعل، أم أنها أصبحت مجرد لعبة مملة وغير واعية من "التأشير على الصناديق".

عملية "سرقة التأشير على الصنودق" الكبرى

تعامل مؤلفو هذه الدراسة مع قوائم تحقق EMNL 2025 كأنها لغز ضخم. لقد بنوا خط معالجة حاسوبي خاص (مجموعة من الأدوات المؤتمتة) لقراءة آلاف الأوراق بصيغة PDF وقوائم التحقق المقابلة لها، وربط الإجابات بالقسم المحدد من الأوراق حيث زعم المؤلفون أنهم قاموا بالعمل. حللوا مجموعة هائلة مكونة من 73,922 إجابة وتبريراً فردياً. وما وجدوه يشير إلى أنه بالنسبة للعديد من الباحثين، أصبحت قائمة التحقق أقل من كونها تفتيش سلامة جاد وأصبحت أكثر من مجرد "تمرين تأشير على الصناديق"—وهي مهمة تُنجز فقط من أجل الانتهاء منها.

مشكلة "ما بعد الحدث"
من أكثر النتائج إثارة للدهشة هي أن الباحثين غالباً ما يعاملون الأخلاقيات كفكرة لاحقة، مثل تذكر قفل الباب الأمامي فقط بعد مغادرة المنزل بالفعل. وجدت الدراسة أنه بالنسبة لـ "المسار الرئيسي" للمؤتمر، مال المؤلفون إلى عزل أسئلة الأخلاقيات عن بقية أوراقهم. وبدلاً من دمج السلامة والأخلاقيات في قصة بحثهم، قاموا بإضافتها في النهاية. الأمر كما لو أن طباخاً كتب وصفة لكعكة لذيذة ولكنه ذكر فقط سلامة الفرن في حاشية صغيرة في أسفل الصفحة، بدلاً من شرح كيفية التحقق من درجة الحرارة أثناء الخبز.

كارثة تبرير الـ "لا"
عندما أجاب الباحثون بـ "لا" على سؤال ما (بمعنى، "لا، أنا لم أفعل هذا الشيء الأخلاقي المحدد")، كان من المفترض أن يشرحوا السبب. هذا هو الجزء الأكثر أهمية في قائمة التحقق، لأنه يجبرك على الاعتراف بما لم تفعله. ومع ذلك، وجد المؤلفون أن 44.9% من تبريرات الـ "لا" كانت إما فارغة (بيضاء) أو قصيرة للغاية (كلمة أو كلمتين مثل "غير قابل للتطبيق").

تخيل سائقاً تم إيقافه بسبب مصباح أمامي مكسور. عندما يسأله ضابط الشرطة: "لماذا لم تقم بإصلاحه؟"، يكتفي السائق بهز كتفيه ويقول "أياً كان"، أو لا يقول شيئاً على الإطلاق. هذا ما فعله ما يقرب من نصف الباحثين. لم يشرحوا لماذا تخطوا خطوة السلامة؛ بل اكتفوا بالتأشير على الصندوق والمضي قدماً. هذه مشكلة كبيرة لأنه بدون تفسير جيد، لا أحد يعرف ما إذا كان الخطر منخفضاً حقاً أم أن الباحث لم يهتم فحسب.

نقطة العمى تجاه "المخاطر"
لعل النتيجة الأكثر إثارة للقلق تتعلق بالسؤال حول المخاطر المحتملة. هذا هو الجزء الذي يُطلب من الباحثين فيه التفكير: "هل يمكن استخدام ذكائي الاصطناعي لإيذاء الناس؟ هل يمكن أن ينشر التحيز؟". وجدت الدراسة أن 53% من المؤلفين استبعدوا هذه المخاطر تماماً، مدعين أن عملهم "ليس له مخاطر" أو "ليس له تأثير اجتماعي".

يجادل المؤلفون بأن هذا يشبه قول مصنع سيارات: "سيارتنا الجديدة لا يوجد خطر من تحطمها"، دون اختبار المكابح أبداً. تشير الورقة إلى أنه من خلال مجرد التأشير على "لا توجد مخاطر" دون تفكير عميق وصادق، فإن الباحثين يتجاهلون الأخطار الحقيقية لابتكاراتهم. تصميم قائمة التحقق لم يجبرهم على التفكير بجدية كافية؛ بل سمح لهم بالإفلات من المسؤولية بسهولة شديدة.

ثغرة المنطق
وجدت الدراسة أيضاً أن قوائم التحقق كانت مليئة بالتناقضات المنطقية. قائمة التحقق مهيكلة كشجرة: إذا أجبت بـ "لا" على سؤال كبير (الأب)، فيجب أن تكون جميع الأسئلة الأصغر تحتها (الأبناء) أيضاً "لا" أو "غير قابل للتطبيق". لكن المؤلفين وجدوا أن 6% من جميع قوائم التحقق احتوت على أخطاء منطقية.

على سبيل المثال، قد يجيب باحث بـ "لا" على سؤال "هل استخدمت أي بيانات؟" ولكنه يجيب بـ "نعم" على السؤال الفرعي "هل وصفت البيانات التي استخدمتها؟". إنه مثل قول: "أنا لم أخبز كعكة"، ثم القول فوراً: "نعم، استخدمت قطع الشوكولاتة". هذه التناقضات تشير إلى أن العديد من المؤلفين كانوا يملأون النموذج بإهمال، دون إدراك أن إجاباتهم غير منطقية. هذا الارتباك يجعل من الصعب على المراجعين الوثوق بقائمة التحقق.

المسار الرئيسي مقابل مسار النتائج
قارن الباحثون بين "المسار الرئيسي" (الأوراق الأكثر شهرة) و"مسار النتائج" (الأوراق ذات المساهمات الصلبة ولكن الأضيق نطاقاً). توقعوا أن يكون المسار الرئيسي أكثر حذراً. وبينما كان المسار الرئيسي يمتلك امتثالاً أفضل قليلاً، إلا أن العادات السيئة كانت موجودة في كلا المسارين. حتى في الأوراق رفيعة المستوى، كان الباحثون يتخطون التأملات الأخلاقية ويكتبون تبريرات فارغة. وهذا يشير إلى أن المشكلة ليست فقط في جودة الأوراق، بل في كيفية استخدام (أو إساءة استخدام) قائمة التحقق نفسها من قبل الجميع.

الحكم: نموذج تفتيش مكسور؟

تخلص الورقة إلى أن تصميم قائمة التحقق الحالي يفشل في أداء مهمته. فهو لا ينجح في إجبار الباحثين على التفكير في أخلاقيات ومخاطر عملهم. بدلاً من ذلك، أصبح عائقاً بيروقراطياً يهرع الناس لتجاوزه. يشير المؤلفون إلى أن قائمة التحقق تشجع على "الامتثال السطحي"—حيث يبدو الباحثون وكأنهم يتبعون القواعد دون القيام بالعمل الصعب للتأمل الفعلي.

تقترح الدراسة أن قائمة التحقق تحتاج إلى عملية تجديد شاملة. هم يوصون بـ:

1. فرض حد أدنى لعدد الكلمات: إذا قلت "لا"، يجب أن تكتب تفسيراً حقيقياً، وليس مجرد هز كتف.
2. تصميم أفضل: يجب أن يمنع النموذج التناقضات المنطقية (مثل مشكلة "لا كعكة، ولكن نعم قطع شوكولاتة") عن طريق إخفاء الأسئلة التي لا تنطبق تلقائياً.
3. مزيد من التدقيق: يجب على المراجعين النظر بدقة أكبر في إجابات "لا توجد مخاطر"، لأن الادعاء بأن تقنية جديدة ليس لها أي خطر هو غالباً علامة تحذير حمراء.

باختصار، تجادل الورقة بأننا لا نستطيع الاعتماد على مجرد قائمة تحقق لجعل الذكاء الاصطناعي آمناً. إذا كان الأشخاص الذين يبنون مستقبل التكنولوجيا يقومون فقط بالتأشير على الصناديق دون تفكير، فإن "تفتيش السلامة" هو مجرد وهم. يأمل المؤلفون أنه من خلال كشف هذه العيوب، يمكن للمجتمع بناء نظام أفضل—نظام يجعل الباحثين يتوقفون فعلياً ويسألون: "هل هذا آمن؟" قبل أن ينشروا أعمالهم.