تخيل عالماً يبني فيه العلماء "آلات تعلم" يمكنها النظر إلى جدول بيانات — مثل قائمة بأسعار المنازل أو السجلات الطبية — واكتشاف كيفية التنبؤ بالمستقبل. يُسمى هذا المجال AutoML (التعلم الآلي المؤتمت). الهدف هو السماح للكمبيوتر بتجربة آلاف الحيل الرياضية المختلفة بمفرده للعثور على الأفضل منها. عادةً، يتم اختبار هذه الآلات في ماراثونات طويلة ودقيقة تستغرق ساعات، حيث تتم مراقبتها بصرامة للتأكد من عدم انتهاك القواعد. ولكن في العالم الحقيقي، غالباً ما يريد المطورون نتائج سريعة. يقومون بتشغيل هذه الآلات لمدة 30 أو 60 ثانية فقط لمعرفة من هو الفائز الأسرع. إنه يشبه سباق السرعة بدلاً من الماراثون. المشكلة هي أنه عندما تجري سباقاً بهذه السرعة، فمن السهل جداً أن تكسر القواعد عن غير قصد دون حتى أن تدرك ذلك، مما يجعل عداءً بطيئاً وأخرق يبدو كعداء يحطم الأرقام القياسية العالمية.

تحكي هذه الورقة قصة باحث بنى آلة تعلم خاصة به، بسيطة وصغيرة تسمى "Orcetra". وضعها في مواجهة بطلين مشهورين وضخمين (FLAML و AutoGluon) في سلسلة من 513 سباق سرعة مدة كل منها 60 ثانية. للوهلة الأولى، بدت النتائج مذهلة: فازت Orcetra في أكثر من نصف السباقات، متفوقة على العمالقة بفوارق هائلة. كانت الأرقام مثالية للغاية والرياضيات مقنعة جداً، لدرجة أنها بدت وكأنها اختراق هائل. لكن المؤلفين أدركوا أنهم وقعوا ضحية لتجربتهم الخاصة. اكتشفوا أن Orcetra لم تكن في الواقع أذكى؛ بل كانت تنتهك القواعد بطريقتين مخادعتين للغاية. أولاً، كانت "تلقي نظرة" على "مفتاح الإجابات" (بيانات الاختبار) بينما كانت لا تزال تتدرب، مما سمح لها باختيار الفائز بناءً على الحظ بدلاً من المهارة. ثانياً، كانت تتجاهل ساعة الإيقاف، حيث استمرت في العمل لضعف الوقت الذي استغرقه الآخرون بينما تظاهرت بالتوقف عند نفس الوقت. عندما أصلح الباحثون القواعد، ومنعوا "التلصص"، وفرضوا الحد الزمني، تلاشت "قوى Orcetra الخارقة"، وتحولت من بطلة إلى مجرد عادية، مما يثبت أنه في عالم اختبارات الذكاء الاصطناعي السريعة، فإن طريقة قياس السباق تهم بقدر أهمية سرعة الجري فيه.

الإعداد: سباق بساعة إيقاف معطلة

لفهم القصة، دعونا ننظر إلى المتسابقين الثلاثة. FLAML و AutoGluon هما مثل الرياضيين المحترفين الذين يتدربون لساعات؛ فهما نظامان معقدان وقويان مصممان لإيجاد أفضل حل على مدى فترة طويلة. أما Orcetra، النظام الذي بناه مؤلفو الورقة، فهي الطرف الأضعف. إنها نص برمجي (script) صغير وبسيط كتب في 1,661 سطراً من الكود فقط. ليس لديها حيل معقدة؛ هي فقط تجرب مجموعة من النماذج الرياضية القياسية، وتختار الأفضل، ثم تمضي قدماً.

أقام الباحثون مسابقة "سباق سرعة". أخذوا 513 مجموعة بيانات مختلفة (مجموعات من البيانات) وأعطوا كل آلة 60 ثانية بالضبط لإيجاد أفضل تنبؤ. في الجولة الأولى، وباستخدام قواعدهم الأصلية، بدت Orcetra كمعجزة. فقد فازت بـ 57.1% من السباقات ضد الآلتين الأخريين، بينما فاز العملاقان بـ 21.6% و 10.9% على التوالي. وضد FLAML فقط في سباق 30 ثانية، فازت Orcetra بنسبة مذهلة بلغت 78.4% من الوقت. قالت الرياضيات إن هذا انتصار هائل ولا يمكن إنكاره.

لكن المؤلفين اشتبهوا في وجود خطأ ما. قرروا إجراء تدقيق لتجربتهم، بحثاً عن "الأشباح" في الآلة التي قد تكون تسببت في هذه الانتصارات الوهمية.

الخلل الأول: مشكلة "التلصص"

كان الخلل الرئيسي الأول هو كيفية اختيار Orcetra للفائز. تخيل طالباً يؤدي اختباراً تجريبياً. الطالب العادل يدرس، ثم يؤدي الاختبار، ثم يحصل على درجة. لكن Orcetra كانت تفعل شيئاً مختلفاً؛ كانت تؤدي الاختبار التجريبي، وتنظر إلى الإجابات، ثم تؤدي الاختبار مرة أخرى، ومرة أخرى، ومرة أخرى.

من الناحية التقنية، كانت الآلة تسجل درجات كل نموذج تجربُه مقابل مجموعة الاختبار (البيانات المخصصة للامتحان النهائي). جربت عشرات النماذج في تلك الـ 60 ثانية، وتحققت من أدائها في بيانات الاختبار، ثم ببساطة أبلغت عن أفضل نتيجة رأتها على الإطلاق. هذا فخ كلاسيكي يسمى انحياز الاختيار (selection bias).

فكر في الأمر كرمي حجر نرد. إذا رميت حجر النرد مرة واحدة، ستحصل على رقم عشوائي. ولكن إذا رميته 50 مرة وأظهرت لي فقط أعلى رقم حصلت عليه، فقد أعتقد أن لديك حجراً سحرياً يخرج دائماً الرقم ستة. في الواقع، أنت فقط رميت الحجر مرات كافية لتكون محظوظاً. ولأن Orcetra جربت نماذج كثيرة واختارت "الأكثر حظاً" بناءً على بيانات الاختبار، فقد تضخمت درجتها بشكل مصطنع. أما الآلات الأخرى، FLAML و AutoGluon، فقد كانت صادقة: اختارتا أفضل نموذج باستخدام بيانات التدريب (بيانات الممارسة) فقط، ولم تنظرا إلى بيانات الاختبار إلا مرة واحدة في النهاية تماماً.

الخلل الثاني: ساعة الإيقاف "المخترقة"

كان الخلل الثاني مادياً أكثر. كان هناك قاعدة في التجربة: "توقف بعد 60 ثانية".

احترمت FLAML و AutoGluon هذه القاعدة. إذا كانتا في منتصف عملية حسابية عندما تصل الساعة إلى 60، فإنهما تتوقفان أو تحاولان الإنهاء بسرعة. لقد كانتا منضبطتين. ومع ذلك، كان لدى Orcetra خطأ في منطقها البرمجي؛ فقد كانت تتحقق من الوقت قبل بدء مهمة جديدة، ولكن بمجرد بدء المهمة، لم تكن تهتم بانتهاء الوقت. كانت تترك العملية الحسابية تستمر لأي مدة تريدها.

أظهرت البيانات أنه بينما كان الميزوت المحدد هو 60 ثانية، استمرت Orcera فعلياً في العمل لمدة متوسط قدره 120 ثانية — أي ضعف الوقت المحدد! في الواقع، تجاوزت الحد الزمني في 78% من مجموعات البيانات. وفي الوقت نفسه، التزمت الآلات الأخرى بحد الـ 60 ثانية تقريباً. الأمر يشبه سباقاً يتوقف فيه العداءون الآخرون عند خط النهاية، بينما يستمر Orcetra في الجري لدورة أخرى، مما يمنحه وقتاً أطول بكثير لحل المشكلة. تسمية "60 ثانية" كانت مجرد اقتراح لـ Orcetra، وليس قاعدة.

الخلل الثالث: النتائج "المدمجة"

كان هناك خلل ثالث أصغر تم اكتشافه أثناء كتابة الورقة. كان الباحثون قد أجروا تجربة ثانية لاحقاً، لكنهم دمجوا نتائج الجولة الأولى مع الجولة الثانية بالخطأ عند عدّ الانتصارات. هذا "الدمج" جعل Orcetra تبدو أفضل مما هي عليه، مما رفع معدل فوزها إلى 61.2% في بعض الحسابات. وعندما فصلوا بين الجولتين، عادت الأرقام إلى مستواها الطبيعي. كان هذا خطأ بشرياً بسيطاً، لكنه أظهر مدى سهولة انحراف النتائج إذا لم تكن حذراً في التعامل مع ملفاتك.

التصحيح الكبير: إجراء السباق بنزاهة

للعثور على الحقيقة، أعاد المؤلفون تشغيل التجربة بأكملها ببروتوكول جديد وصارم. لقد أصلحوا المشكلات الثلاث:

1. لا مزيد من التلصص: توجب على Orcetra اختيار أفضل نموذج لها باستخدام "مجموعة التحقق" (امتحان تجريبي)، ثم النظر إلى "مجموعة الاختبار" (الامتحان النهائي) مرة واحدة فقط في النهاية، تماماً مثل الآلات الأخرى.
2. حدود زمنية صارمة: استخدموا مؤقتاً خارجياً لإنهاء العملية إذا تجاوزت 60 ثانية، لضمان عدم حصول أحد على وقت إضافي.
3. موارد عادلة: تأكدوا من حصول جميع الآلات على نفس القدر من قوة الكمبيوتر بالضبط حتى لا تكون إحداها أسرع لمجرد امتلاكها نوى معالجة أكثر.

النتيجة: يختفي السحر

عندما أجروا السباق بنزاهة، اختفت "المعجزة".

• معدل الفوز الأصلي (مع انتهاك القواعد): فازت Orcetra بنسبة 59.4% في الجزء المعاد تشغيله.
• معدل الفوز المصحح (العادل): انخفض معدل فوز Orcetra إلى 34.3%.

في السباق العادل، لم تعد Orcetra تهزم العمالقة. فقد فازت بنسبة 34.3% من الوقت، بينما فازت FLAML بنسبة 28.0% و AutoGluon بنسبة 27.3%. كان الفرق صغيراً جداً لدرجة أنه يمكن أن يكون مجرد صدفة عشوائية. التباين الإحصائي (p-values) الذي جعل النتائج الأصلية تبدو كاكتشاف هائل تلاشى تماماً، حيث انتقل من قيم ضئيلة جداً (مثل 9.5 × 10⁻⁴⁶) إلى قيم غير لافتة للنظر (مثل 0.39)، وهو ما يعادل تقريباً رمية عملة معدنية.

ماذا تعلمنا؟

تخلص الورقة إلى أن "الفوز" كان وهماً نتج عن عاملين رئيسيين:

1. التلصص (انحياز الاختيار): ساهم هذا في حوالي 4.8 نقطة مئوية من معدل الفوز. كان حقيقياً، لكنه صغير.
2. الوقت الإضافي (الحوسبة): كان هذا هو العامل الأكبر. لأن Orcetra عملت لضعف الوقت الذي عمله الآخرون، فقد تمكنت من تجربة المزيد من النماذج. هذا الامتياز غير العادل هو ما فسر بقية معدل الفوز الهائل.

كما قاس المؤلفون بدقة مدى تأثير "التلصص". وجدوا أنه رغم أن التلصص يمنح دفعة طفيفة، إلا أنه ليس ضخماً كما توقعت بعض النظريات الرياضية. ولأن جميع النماذج اختُبرت على نفس البيانات، فإن "الحظ" قد ألغى الكثير من الأثر. كانت الدفعة حوالي 0.27 نقطة دقة، وهي ضئيلة جداً مقارنة بالفوارق الهائلة التي رأوها في البداية.

الخلاصة للجميع

هذه القصة ليست مجرد قصة كود برمجي واحد؛ إنها تحذير لأي شخص يقارن أدوات الذكاء الاصطناعي السريعة. إذا أجريت اختباراً لمدة 60 ثانية، فعليك أن تكون حذراً للغاية.

• لا تسمح لبيانات الاختبار بالتسلل: تأكد من أن الآلة تختار الفائز قبل رؤية الإجابات النهائية.
• فرض الحد الزمني: إذا قلت 60 ثانية، فتأكد من التوقف عند 60 ثانية.
• راقب الساعة: قم دائماً بالإبلاغ عن الوقت الذي استغرقته الآلة فعلياً، وليس فقط الوقت الذي حددته لها.

تنتهي الورقة بقائمة مراجعة لأي شخص يقوم بهذه المقارنات السريعة. وتقترح أنه إذا رأيت نظاماً يفوز بفارق هائل في وقت قصير، فمن المرجح أنه ليس أذكى — بل من المرجح أنه انتهك القواعد. "الفائز" في السباق الأصلي لم يكن عبقرياً؛ بل كان مجرد عداء تجاهل صافرة الحكم.