Winning by Peeking: Unenforced Budgets and Test-Set Selection Inflate Short-Budget AutoML Comparisons
تُثبت هذه الورقة أن مقارنات التعلم الآلي المؤتمت (AutoML) ذات الميزانية الزمنية القصيرة غالباً ما تكون مضخمة بسبب عيوب في البروتوكول، مثل انحياز اختيار مجموعة الاختبار وعدم فرض حدود زمنية، حيث تُظهر كيف أدى تصحيح هذه المشكلات في دراسة حالة محددة إلى انهيار معدل فوز نظام كان مهيمناً سابقاً وإلغاء المزايا ذات الدلالة الإحصائية على المنافسين.