ADEPT: A Unified Framework for Deep Learning Test Adequacy

تخيل أنك طاهٍ نجحت للتو في إتقان وصفة جديدة لكعكة سحرية عملاقة. لقد خبزتها ألف مرة، وكانت دائمًا لذيذة. ولكن كيف تعرف ما إذا كانت وصفتك جاهزة حقًا للعالم؟ لا يمكنك تذوقها مرة واحدة فقط؛ بل تحتاج إلى معرفة ما إذا كانت ستنجح مع كل أنواع الآكلين، من محبي الشوكولاتة إلى أولئك الذين يعانون من حساسية تجاه المكسرات. في عالم الحواسيب، تُسمى هذه "الوصفات" نماذج التعلم العميق (Deep Learning models)، وهي العقول الكامنة وراء السيارات ذاتية القيادة، وأدوات التشخيص الطبي، وحتى التطبيقات التي تقترح عليك أغنيتك المفضلة التالية.

للتأكد من أن هذه العقول الحاسوبية آمنة وذكية، يستخدم العلماء شيئًا يسمى كفاية الاختبار (test adequacy). فكر في هذا كقائمة مراجعة لمعرفة ما إذا كانت "جلسة التذوق" (بيانات الاختبار) جيدة بما يكفي. هل رأى الحاسوب أنواعًا كافية ومختلفة من الكعك؟ هل واجه مواقف غريبة بما يكفي ليثبت أنه لن يتعطل عندما تسوء الأمور؟ لسنوات، اخترع الباحثون عشرات القوائم المختلفة—بعضها ينظر إلى كيفية عمل "النيورونات" (الخلايا العصبية) لدى الحاسوب، وبعضها ينظر إلى مدى غرابة المدخلات، وبعضها يحاول كسر النموذج عمدًا ليرى ما إذا كان سينجو. ولكن هنا تكمن المشكلة: كل قائمة مراجة تم بناؤها بواسطة شخص مختلف، باستخدام أدوات مختلفة، ولغة مختلفة، وتتطلب إعدادًا مختلفًا تمامًا. محاولة استخدامها جميعًا كانت تشبه محاولة خبز كعكة باستخدام مطرقة، ومفك براغي، وزوج من إبر الحياكة، في آن واحد. لقد كانت فوضى عارمة، وجعل من المستحيل تقريبًا مقارنة أي قائمة مراجعة هي الأفضل فعليًا.

هنا يأتي دور ADEPT، وهو إطار عمل جديد قدمه "يدي كاو" وفريقه في جامعة أوبرن. إذا كانت الطريقة القديمة للاختبار عبارة عن مطبخ فوضوي بأدوات مبعثرة، فإن ADEPT هو المطبخ الذكي المتكامل والشامل. إنه يأخذ كل تلك القوائم المختلفة والفوضوية ويضعها تحت سقف واحد، باستخدام سير عمل موحد ومتسق. بدلاً من إجبار الباحثين على قضاء أسابيع في معرفة كيفية تثبيت خمس قطع مختلفة من البرامج، يتيح لهم ADEPT تشغيل أي من هذه الاختبارات بأمر بسيط، تمامًا مثل طلب وجبة طعام.

لا تدعي الورقة البحثية أنها ابتكرت طرقًا جديدة لاختبار النماذج؛ بل تدعي أنها حلت "عامل الإحباط" في استخدام الطرق الموجودة. يوضح المؤلفون أنه من خلال توحيد هذه الأدوات، يمكنهم جعل من السهل تشغيل الاختبارات وإعادة استخدامها ومقارنتها دون الصداع الناتج عن الإعدادات غير المتوافقة. لقد بنوا نظامًا يتذكر العمل الشاق الذي أنجزته بالفعل (مثل ثلاجة ذكية تتذكر أنك قطعت البصل بالفعل)، حتى لا تضطر للقيام بذلك مرتين. والنتيجة هي أداة تساعد الباحثين والمهندسين على معرفة ما إذا كانت نماذج الذكاء الاصطنا__ لديهم جاهزة حقًا للعالم الحقيقي، دون الضياع في غابة من الإعدادات التقنية.

الفكرة الكبرى: مطبخ واحد، ووصفات عديدة

على مدار العقد الماضي، انشغل العلماء بابتكار طرق لقياس مدى "جودة" الاختبار لنموذج التعلم العميق. لقد توصلوا إلى أفكار ذكية مثل تغطية النيورونات (Neuron Coverage) (التحقق مما إذا كان كل جزء من دماغ الحاسوب قد حصل على فرصة للعمل)، وكفاية المفاجأة (Surprise Adequacy) (رؤية ما إذا كانت مدخلات الاختبار غريبة بما يكفي لمفاجأة النموذج)، ودرجات الطفرة (Mutation Scores) (تعمد كسر النموذج لرؤية ما إذا كان الاختبار سيكتشف الخطأ).

المشكلة، كما يشير المؤلفون، هي أن هذه الأفكوات تعيش في عزلة. قد تتطلب إحدى الأدوات نسخة محددة من لغة بايثون (Python)، وقد تتطلب أخرى استخراج بياناتك يدويًا بتنسيق غريب، وقد تتعطل الثالثة إذا لم يكن لديك ملف معين من قبل ثلاث سنوات. الأمر يشبه امتلاك صندوق أدوات حيث لكل مفك براغي شكل مختلف، وتحتاج إلى مفتاح ربط مختلف لفتح كل واحد منها. يجادل المؤلفون بأن هذا التجزؤ يجعل من الصعب للغاية إعادة إنتاج النتائج أو مقارنة الطرق المختلفة. لا يمكنك معرفة ما إذا كانت الطريقة (أ) أفضل من الطهاية (ب) إذا كان عليك قضاء ثلاثة أيام فقط في محاولة تشغيل الطريقة (ب).

الحل: ADEPT

إن ADEPT (والذي يرمز إلى إطار عمل موحد لكفاية اختبار التعلم العميق) هو الحل. إنه إطار عمل برمجي مكتوب بلغة بايثون يعمل كمترجم عالمي ومتحكم رئيسي لجميع طرق الاختبار المختلفة هذه.

إليك كيف يعمل باللغة البسيطة:

1. جهاز التحكم عن بعد العالمي: يوفر ADEPT سطر أوامر واحدًا حيث يمكنك إخباره: "قم بتشغيل اختبار تغطية النيورونات"، أو "قم بتشغيل اختبار درجة الطفرة". لست بحاجة لمعرفة التفاصيل المعقدة لكيفية عمل كل اختبار داخليًا. ما عليك سوى توجيهه نحو نموذجك وبيانات الاختبار الخاصة بك، وهو سيتولى الباقي.
2. المنظم الذكي: الاختبارات المختلفة تتطلب أشياء مختلفة. بعضها يحتاج لرؤية بيانات التدريب الخاصة بك ليعرف ما هو "الطبيعي"؛ والبعض الآخر يحتاج لتوليد نماذج "طافرة" وهمية لكسرها. يحتوي ADEP على وحدات خاصة لكل مهمة من هذه المهام. إنه يعرف بالضبط ما يحتاجه كل اختبار ويقوم تلقائيًا بتشغيل خطوات التحضير الصحيحة.
3. بنك الذاكرة (التخزين المؤقت - Caching): هذا يوفر الكثير من الوقت. تتضمن العديد من هذه الاختبارات عمليات شاقة، مثل مسح آلاف الصور لمعرفة كيفية عمل النيورونات. إذا قمت بتشغيل نفس الاختبار مرتين، فلا ينبغي أن تقوم بالعمل الشاق مرتين. يقوم ADEPT بحفظ نتائج هذه الخطوات الصعبة في "ذاكرة تخزين مؤقت" (cache). إذا قمت بتشغيل الاختبار مرة أخرى، فإنه يتحقق من التخزين المؤقت أولاً. إذا كانت البيانات لا تزال جيدة، فإنه يتخطى العمل الشاق وينتقل مباشرة إلى الإجابة. إنه مثل الطاهي الذي يتذكر أنه جهّز الخضروات بالفعل، لذا لا يضطر لتقطيعها مرة أخرى.
4. تقرير الدرجات: بمجرد انتهاء الاختبار، يخرج ADEPT تقريرًا واضحًا ومنظمًا. يخبرك بالدرجة (مدى جودة الاختبار)، والوقت الذي استغرقه، وما إذا كان قد استخدم البيانات المحفوظة أم قام بالعمل من الصفر. وهذا يجعل من السهل مقارنة الاختبارات المختلفة جنبًا إلى جنب.

ماذا يوجد داخل الصندوق؟

لم يبنِ المؤلفون مجرد غلاف خارجي؛ بل حشوه بمجموعة واسعة من أشهر طرق الاختبار. حاليًا، يدعم ADEPT ما يلي:

• سلسلة تغطية النيورونات (NC-series): التحقق مما إذا كانت الأجزاء الداخلية للنموذج يتم استخدامها.
• كفاية المفاجأة (LSA/DSA): التحقق مما إذا كان النموذج يتفاجأ ببيانات الاختبار.
• تغطية توزيع المدخلات (IDC): التحقق مما إذا كانت بيانات الاختبار تغطي النطاق الكامل من الاحتمالات.
• تغطية حدود القرار (DBC): التحقق مما إذا كانت بيانات الاختبار تستكشف الحواف الصعبة حيث قد يرتبك النموذج.
• درجات الطفرة (SLMS/MLMS): التحقق مما إذا كان الاختبار يمكنه رصد متى تم كسر النموذج قليلاً.

لماذا يهم هذا الأمر؟

تشير الورقة البحثية إلى أنه من خلال إزالة الحواجز التقنية، يسمح ADEPT للباحثين والمهندسين بالتركيز على ما يهم حقًا: تحسين جودة وسلامة الذكاء الاصطناعي. بدلاً من قضاء أسابيع في محاولة جعل أداة ما تعمل، يمكنهم قضاء ذلك الوقت في فهم النتائج.

يلاحظ المؤلفون بحذر أنهم لم يكتشفوا "رصاصة سحرية" تجعل الذكاء الاصطناعي مثاليًا. هم لم يبتكروا طريقة جديدة لاختبار النماذج تكون أفضل من الطرق القديمة. بدلاً من ذلك، بنوا إطار عمل موحدًا يجعل الأدوات الموجودة قابلة للاستخدام والمقارنة وإعادة الإنتاج. ويجادلون بأن الحالة الراهنة للمجال مجزأة للغاية، وأن ADEPT هو الجسر الذي يربط بين جزر البحث المعزولة هذه.

الخلاصة

في عالم يُستخدم فيه الذكاء الاصطناعي لقيادة السيارات وتشخيص الأمراض، فإن معرفة أن اختباراتك جيدة حقًا هي مسألة سلامة. لا يعد ADEPT بجعل الاختبارات أفضل، لكنه يعد بجعل عملية الاختبار أقل إرهاقًا بكثير. إنه يحول المطبخ الفوضوي من الأدوات غير المتوافقة إلى مساحة عمل انسيابية وفعالة حيث يمكن للباحثين أخيرًا مقارنة التفاح بالتفاح، بدلاً من محاولة مقارنة التفاح بمفك البراغي. لقد جعل المؤلفون الكود متاحًا للعامة، داعين الجميع لاستخدامه، وتعديله، وإضافة أدواتهم الخاصة إليه، لضمان بناء مستقبل اختبار الذكاء الاصطناي على أساس مشترك وصلب.