Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility
تقدم هذه الورقة MLEModernizer، وهو إطار عمل وكيل يعتمد على النماذج اللغوية الكبيرة (LLM) يعمل على تحديث دفاتر ملاحظات هندسة تعلم الآلة تلقائياً للتغلب على التآكل البيئي واستعادة قابلية التكرار من خلال تنفيذ الكود وتطبيق إصلاحات مستهدفة، مما نجح في استعادة أكثر من 40% من دفاتر الملاحظات التي كانت غير قابلة للتكرار سابقاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مسافر عبر الزمن تحب النظر في الوصفات القديمة. وجدت وصفة كعكة شهيرة من عام 2015 مكتوبة في دفتر ملاحظات خاص. تقول الوصفة: "اخلط الدقيق، والسكر، ومكونًا سحريًا يسمى 'XGBoost' للحصول على كعكة مثالية". حاولت خبزها اليوم، لكن شيئًا ما سار بشكل خاطئ؛ فمكون "XGBoost" الذي اشتريته من المتجر اليوم مختلف قليًا؛ فهو أقوى، ويعمل بشكل مختلف، وعندما خلطته في العجين انفجر العجين أو أصبح طعمه مثل الصابون. هذه هي مشكلة "تآكل البيئة". في عالم هندسة تعلم الآلة (MLE)، يستخدم العلماء والمهندسون دفاتر ملاحظات تفاعلية (مثل كتب وصفات رقمية) لبناء نماذج الذكاء الاصطناعي. إنهم يشاركون هذه الدفاتر ليتعلم منها الآخرون أو يستخدموا أكوادهم. ولكن مع تحديث أجهزة الكمبيوتر والبرمجيات بسرعة، غالبًا ما تتعطل دفاتر الملاحظات القديمة لأن "المكونات" (المكتبات البرمجية) التي تعتمد عليها قد تغيرت أو اختفت. إذا لم تتمكن من تشغيل الكود القديم، فلن تتمكن من التحقق من النتائج، وبالتالي تضيع المعرفة. السؤال الكبير هو: هل يمكننا إصلاح هذه الوصفات القديمة المعطلة لتعمل في مطبخ اليوم دون الحاجة إلى إعادة بناء المطبخ بأكره؟
هذه الورقة البحثية، بعنوان "التحديث الآلي لدفاتر هندسة تعلم الآلة من أجل قابلية التكرار"، تغوص في هذه المشكلة تحديدًا. قرر المؤلفون، بيهوي جين، وكايوان وانج، وبينيو ني، اختبار مدى تعطل هذه الوصفات الرقمية حقًا. لقد جمعوا مجموعة ضخمة مكونة من 12,106 دفتر ملاحظات من مسابقات تعلم الآلة الشهيرة على منصة Kaggle. وعندما حاولوا تشغيل هذه الدفاتر في بيئة حديثة، وجدوا واقعًا مريرًا: 26% فقط منها عملت بالفعل وأنتجت نفس النتائج كما فعلت في السابق. أما الـ 74% المتبقية فكانت معطلة، إما بسبب توقفها بوجود أخطاء أو لأنها أنتجت نتائج مختلفة تمامًا.
قد تعتقد أن الحل بسيط: فقط عد بالزمن وثبّت نفس إصدارات البرامج القديمة التي كُتبت بها الوصفة. هذا ما يسمى "العودة بالبيئة إلى الوراء" (environment backporting). حاول المؤلفون ذلك عن طريق خفض جميع إصدارات البرامج لتطابق تاريخ تقديم دفتر الملاحظات الأصلي. ومن المثير للدهشة أن هذا جعل الأمور أسوأ! فبدلاً من أن تعمل 26% من الدفاتر، أصبح 12% فقط منها قابلاً للتكرار. يبدو أن محاولة إعادة بناء الماضي هي فخ؛ فالإصدارات القديمة من البرامج غالبًا ما تكون مفقودة، أو غير متوافقة مع الأجهزة الحديثة، أو هشة للغاية بحيث يصعب تشغيلها. يجادل المؤلفون بأنه بدلاً من محاولة إعادة بناء المطبخ القديم، يجب علينا إصلاح الوصفة نفسها لتعمل في المطبخ الجديد.
لحل هذه المشكلة، بنى الفريق أداة تسمى MLEModernizer. فكر في هذه الأداة كأنها مساعد طباخ آلي ذكي للغاية يعمل بقوة نموذج لغوي كبير (LLM). هذا الروبوت لا يكتفي بقراءة الوصفة فحسب، بل يحاول فعليًا خبز الكعكة. إذا احترقت الكعكة (حدث خطأ)، ينظر الروبوت إلى الدخان، ويكتشف ما الخطأ، ثم يعيد كتابة الوصفة لإصلاحه. إذا استغرقت الكعكة وقتًا طويلًا للخبز (مشكلات في وقت التشغيل)، يقوم الروبوت بتعديل التعليمات لتسريع العملية. وإذا كان طعم الكعكة مختلفًا قليلاً (النتيجة/الدرجة غير دقيقة)، يقوم الروبوت بتعديل المكونات لاستعادة المعيار الأصلي للطعم.
يعمل الروبوت في حلقة مستمرة: يشغل الكود، ويتحقق من النتائج، وإذا كان هناك خطأ، يطلب من الذكاء الاصطناعي كتابة "رقعة" (إصلاح) لكامل دفتر الملاحظات. ويستمر في القيام بذلك حتى 16 مرة حتى يعمل دفتر الملاحظات. كانت النتائج واعدة للغاية؛ فعندما اختبروا الأداة على 8,210 دفتر ملاحظات معطل، تمكنت الأداة من إصلاح حوالي 40% إلى 45% منها، مما جعلها قابلة للتكرار مرة أخرى. وتحديدًا، باستخدام نموذج ذكاء اصطناعي قوي (GPT-5.2)، قاموا بإصلاح 3,292 دفتر ملاحظات، ومع نموذج مفتوح المصدر مختلف قليلاً (GPT-OSS-120b)، قاموا بإصلاح 3,683 دفتر ملاحظات.
ومع ذلك، فإن الورقة البحثية حذرة من تسمية هذا "عصا سحرية". فقد وجد المؤلفون أنه بينما يمكن للأداة الحصول على الأرقام الصحيحة (الدرجة/النتيجة)، إلا أن الكود الأساسي يتغير أحيانًا بطرق ليست مطابقة تمامًا للأصل. على سبيل المثال، قد يغير الذكاء الاصطناعي طريقة تدريب النموذج بما يكفي للحصول على الدرجة الصحيحة، ولكن "نكهة" الكود تكون مختلفة. كما اكتشفوا أن بعض الأخطاء مستعصية جدًا على الإصلاح التلقائي؛ فقد كانت الأداة رائعة في إصلاح أخطاء "المكونات المفقودة" البسيطة (مثل نسيان استيراد مكتبة)، لكنها واجهت صعوبة في أخطاء "تفاعل المكونات الغريبة" المعقدة (مثل أخطاء السمات/attributes حيث لا يمتلك الكائن الخصائص الصحيحة).
تكلفة هذا الطباخ الآلي هي أيضًا عامل مهم. حسب المؤلفون أن إصلاح دفتر ملاحظات واحد يكلف في المتوسط حوالي 0.65 دولار باستخدام النموذج القوي، وهو ما اقترحوا أنه رخيص بما يكفي للاستخدام على نطاق واسل. لكنهم أشاروا أيضًا إلى أن النموذج مفتوح المصدر كان أرخص بكثير (حوالي 0.0074 دولار لكل دفتر ملاحظات) ولكنه لم يكن مخلصًا للنسخة الأصلية من الكود بقدر كافٍ.
في النهاية، تقترح الورقة أنه بينما لا يمكننا إعادة إنشاء الماضي بشكل مثالي، يمكننا استخدام وكلاء ذكاء اصطناعي أذكياء لتحديث الكود القديم وإنقاذ العمل العلمي الثمين. إنها ليست حلاً مثاليًا لكل دفتر ملاحظات معطل، لكنها تقدم طريقة "بذل أقصى جهد" لإنقاذ جزء كبير من تاريخ تعلم الآلة الذي كان سيضيع لولا ذلك. ويخلص المؤلفون إلى أن هذا النهج يساعد الممارسين على التحقق من خطوط العمل (pipelines) القديمة وإعادة استخدامها مع استمرار تطور التكنولوجيا، محولين الوصفات القديمة المغبرة والمعطلة إلى شيء يمكن خبزه في مطبخ اليوم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.