🤖 machine learning

A Comparative Study of Model Selection Criteria for Symbolic Regression

تقدم هذه الورقة مقارنة تجريبية منهجية لمعايير اختيار النماذج في الانحدار الرمزي عبر سبع مجموعات بيانات اصطناعية، كاشفةً أن معيار طول الوصف الأدنى (MDL) ومعيار المعلومات البايزي (BIC) هما الطريقتان الأكثر فعالية لتحديد التعبيرات الحقيقية وتقليل خطأ الاختبار.

المؤلفون الأصليون: Ali Soltani, Gabriel Kronberger, Fabricio Olivetti de Franca, Mattia Billa, Alessandro Lucantonio

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ali Soltani, Gabriel Kronberger, Fabricio Olivetti de Franca, Mattia Billa, Alessandro Lucantonio

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز ما. لديك كومة من الأدلة (البيانات) وهي فوضوية ومشوشة بعض الشيء—ربما تكون آثار أقدام طينية، أو ربما تحتوي إفادات الشهود على بعض الأخطاء المطبعية. هدفك هو إعادة بناء التسلسل الدقيق للأحداث (الحقيقة الأرضية) التي وقعت بالفعل.

في عالم علوم الحاسوب، يسمى هذا الانحدار الرمزي (Symbolic Regression). وبدلاً من آثار الأقدام، يبحث الحاسوب عن صيغة رياضية تفسر البيانات. يقوم الحاسوب بتوليد آلاف الصيغ الممكنة، تتراوح بين البسيطة مثل "y = x + 1" وبين الصيغ المعقدة للغاية والمتشابكة التي تبدو كوعاء من المعكرونة (سباغيتي).

المشكلة؟ الحاسوب بارع جداً في حفظ الأدلة الفوضوية. قد ينشئ صيغة تناسب آثار الأقدام الطينية تماماً، ولكن إذا عرضت عليه مجموعة جديدة من آثار الأقدام، فستفشل هذه الصيغة فشلاً ذريعاً. هذا ما يسمى الإفراط في التخصيص (Overfitting). إنه يشبه طالباً يحفظ إجابات اختبار تجريبي فقط، لكنه يفشل في الامتحان الحقيقي لأنه لم يفهم المفاهيم.

إذًا، كيف تختار أفضل صيغة من بين الآلاف التي صنعها الحاسوب؟ أنت بحاجة إلى "معيار اختيار النموذج" (Model Selection Criterion)—أي كتاب قواعد أو قاضٍ ليقرر من هو الفائز.

المتنافسون

وضع مؤلفو هذه الورقة البحثية مسابقة لمعرفة أي "قاضٍ" يعمل بشكل أفضل. لقد أنشأوا سبعة سيناريوهات لغموض (مجموعات بيانات اصطناعية) ذات إجابات معروفة وأضافوا إليها بعض الضجيج. ثم طلبوا من الحاسوب توليد مجموعة من الصيغ المرشحة، بما في ذلك بعض الصيغ التي تم تصميمها لتكون معقدة بشكل مبالغ فيه (مفرطة في التخصيص).

لقد اختبروا خمسة قضاة مختلفين (معايير) لمعرفة أيهم يمكنه اختيار الصيغة الصحيحة والبسيطة من بين كومة من الصيغ الفوضوية:

متوسط مربع الخطأ (MSE - خطأ التدريب): هذا القاضي ينظر فقط إلى مدى ملاءمة الصيغة للأدلة الفوضوية الحالية. إنه يشبه طالباً يدرس الاختبار التجريبي فقط. ويميل إلى اختيار الصيغ الأكثر تعقيداً وإفراطاً في التخصيص.
معيار أكايكي للمعلومات (AIC): قاضٍ كلاسيكي يحاول الموازنة بين الدقة والبساطة. فهو يفرض "جزاءً" صغيراً مقابل كل جزء إضافي في الصيغة.
AICc: نسخة مصححة من AIC، مصممة لتكون أكثر صرامة عندما لا تتوفر الكثير من البيانات.
معيار بيز للمعلومات (BIC): قاضٍ أكثر صرامة من AIC. فهو يعاقب التعقيد بشكل أكبر، خاصة مع زيادة كمية البيانات. إنه يكره الأجزاء غير الضرورية حقاً.
طول الوصف الأدنى (MDL): يستخدم هذا القاضي استعارة ذكية: "ما هي أقصر طريقة لإرسال رسالة تصف كلاً من الصيغة والبيانات؟" إذا كانت الصيغة معقدة للغاية، فستصبح الرسالة طويلة جداً. يبحث MDL عن أكثر طرق "الضغط" كفاءة للوصول إلى الحقيقة.
Errin (تقدير Bootstrap): هذا هو القاضي الأكثر تكلفة من الناحية الحسابية. فهو يحاكي التجربة مئات المرات عن طريق إضافة ضجيج عشوائي إلى البيانات ليرى مدى تذبذب الصيغة. إنه يشبه تشغيل التجربة في أكوان موازية 200 مرة للتأكد.

النتائج

شغلت الورقة البحثية هؤلاء القضاة ضد بعضهم البعض ووجدت فائزين وخاسرين واضحين:

الخاسر: "خطأ التدريب" البسيط (MSE) كان سيئاً للغاية. فقد اختار باستمرار الصيغ الأكثر تعقيداً وإفراطاً في التخصيص التي تفشل في التعميم.
العمالقة: كان MDL و BIC هما البطلان.
- كان MDL الأكثر اتساقاً. فقد وجد دائماً تقريباً الصيغ الأبسط والأكثر دقة. كان الأفضل في تجاهل "الضجيج" وإيجاد الإشارة الحقيقية.
- كان BIC في المركز الثاني بفارق ضئيل، حيث قام أيضاً بعمل رائع في إيجاد الصيغ الصحيحة والبسيطة.
المنطقة الوسطى: قدم AIC و AICc أداءً جيداً، لكنهما كانا أكثر تسامحاً مع التعقيد من MDL و BIC.
المتفوق (الذي تعب): كان Errin مثيراً للاهتمام. فأحياناً كان يؤدي عملاً رائعاً، لكنه غالباً ما كان يختار صيغاً كبيرة ومعقدة للغاية. بالإضافة إلى ذلك، كان بطيئاً بشكل لا يصدق—مثل قاضٍ يستغرق أسبوعاً للبت في قضية يمكن حلها في دقيقة.

الخلاصة الكبرى

إذا كنت تبني نظاماً لإيجاد صيغ رياضية من البيانات، فلا تكتفِ باختيار الصيغة التي تناسب بياناتك الحالية بأفضل شكل. هذا فخ.

بدلاً من ذلك، استخدم MDL (طول الوصف الأدنى) كخيار افتراضي لك. إنه يشبه امتلاك محرر حكيم يقص كل الحشو ويترك لك القصة الأكثر إيجازاً ودقة. إذا شعرت أن MDL صارم للغاية بالنسبة لمشكلتك الخاصة، فإن BIC يعد نسخة احتياطية رائعة.

تخلص الورقة البحثية إلى أنه على الرغم من عدم وجود قاضٍ واحد مثالي لكل سيناريو، إلا أن MDL و BIC هما الأداتان الأكثر موثوقية للعثور على صيغ ليست دقيقة فحسب، بل بسيطة أيضاً بما يكفي لتكون مفهومة ومفيدة في العالم الحقيقي. فهما يحققان أفضل توازن بين "ملاءمة البيانات" و "عدم حفظ الضجيج".

ملخص تقني: دراسة مقارنة لمعايير اختيار النماذج في الانحدار الرمزي

بيان المشكلة
يهدف الانحدار الرمزي (SR)، الذي يتم حله عادةً عبر البرمجة الجينية (GP)، إلى اكتشاف تعبيرات رياضية توازن بين الدقة والتعقيد. وبينما تولد تطبيقات البرمجة الجينية الحديثة جبهة باريتو (Pareto front) من الحلول المرشحة، لا يزال الاختيار التلقائي لنموذج واحد يعمم بشكل جيد على البيانات غير المرئم تحدياً مفتوحاً. تقدم الأدبيات الحالية طرقاً معلوماتية-نظرية وبايزية متنوعة، إلا أن المقارنات التجريبية الشاملة لأدائها عبر مختلف أنظمة البيانات تظل محدودة. هناك نقص في التوجيه العملي حول المعيار المفضل استخدامه في ظل ظروف محددة لتجنب الإفراط في التخصيص (overfitting) مع الحفاظ على القابلية للتفسير.

المنهجية
أجرى المؤلفون مقارنة تجريبية منهجية لستة معايير شائعة الاستخدام لاختيار النماذج:

معيار أكايكي للمعلومات (AIC)
معيار أكايكي المصحح (AICc)
معيار المعلومات البايزي (BIC)
طول الوصف الأدنى (MDL)
تقدير خطأ العينة داخل النموذج القائم على البوتستراب لإيفرون ( $Err_{in}$ )
متوسط مربع الخطأ في التدريب ( $MSE_{train}$ ) المستخدم كخط أساس.

الإعداد التجريبي:

مجموعات البيانات: تم استخدام سبع دالات مرجعية اصطناعية (شائعة في أدبيات البرمجة الجينية). تكونت بيانات التدريب من 100 نقطة مع إضافة ضجيج غاوسي ( $\epsilon \sim N(0, (0.1\sigma(y))^2)$ )، بينما تكونت بيانات الاختبار من 10,000 نقطة خالية من الضجيج.
توليد المرشحين: لفصل عملية التقييم عن خوارزميات الانحدار الرمزي المحددة، تم توليد مجموعة محكومة من التعبيرات المرشحة عن طريق تغيير الدوال الأصلية (ground-truth functions). قامت إجراءات الطفرة باستبدال عقد عشوائية في الأشجار الأصلية بأشجار فرعية عشوائية. تم ضبط هذه المرشحين على بيانات التدريب باستخدام تحسين BFGS (بتكرار 100 مرة لتجنب القيم المثلى المحلية). أنتجت هذه العملية 100 نموذج مفرط في التخصيص لكل معيار مرجعي (تلك التي سجلت خطأ تدريب $MSE$ أقل من الدالة الأصلية) لاختبار قدرة المعايير على استعادة النموذج الحقيقي من بين مجموعة من البدائل المفرطة في التخصيص.
مقاييس التقييم:
- متوسط $MSE_{test}$ : أداء أفضل $k$ من النماذج المرتبة.
- الدقة عند $k$ (Precision at $k$ ): نسبة النماذج المختارة من بين أفضل $k$ التي تنتمي إلى أفضل $k$ بناءً على خطأ الاختبار.
- متوسط حجم التعبير: متوسط التعقيد الهيكلي (عدد العقد) للنماذج المختارة.
- إصابة الحقيقة الأصلية (Ground-Truth Hit): الحد الأدنى للرتبة $k$ التي يتم عندها استعادة التعبير الأصلي بدقة.

المساهمات الرئيسية والنتائج
تقدم الدراسة ترتيباً مفصلاً لمعايير الاختيار بناءً على المقاييس الأربعة أعلاه:

طول الوصف الأدنى (MDL): برز باستمرار كأكثر المعايير متانة. فقد حد أفضل النماذح ذات أقل خطأ اختبار لأصغر قيم $k$ في ستة من أصل سبعة معايير مرجعية، وأنتج التعبيرات الأكثر إيجازاً (الأصغر حجماً). أظهر كل من MDL و BIC أعلى كفاءة في استعادة التعبير الأصلي، بمتوسط رتب أول ظهور لهما بلغ 5.14 و 6.00 على التوالي.
معيار المعلومات البايزي (BIC): قدم أداءً مشابهاً لـ MDL من حيث استعادة الحقيقة الأصلية، وقدم نتائج مستقرة ومتوسطة عبر المعايير المرجعية، وغالباً ما أسفر عن صيغ موجزة.
معيارا AIC و AICc: جاء ترتيبهما عموماً أدنى من MDL و BIC فيما يتعلق بالتعميم. وبينما أظهر AICc تحسينات طفيفة على AIC القياسي في دالات محددة ( $f_1, f_2$ )، إلا أن كلاهما مال إلى اختيار نماذج أكثر تعقيداً من MDL.
$Err_{in}$ (خطأ العينة داخل النموذج القائم على البوتستراب): أظهر نتائج مختلطة. فبينما حقق دقة وتععيماً جيدين لبعض مجموعات البيانات ( $f_1, f_2, f_3, f_6, f_7$ )، إلا أنه كان ضعيف الأداء في مجموعات أخرى ( $f_4, f_5$ )، حيث اختار غالباً تعبيرات أكبر وفشل في استعادة الحقيقة الأصلية بكفاءة (متوسط الرتبة 31.71). ويعزو المؤلفون هذا التباين إلى الاعتماد على تقديرات تباين ضجيج الغابة العشوائية (Random Forest).
$MSE_{train}$ : كان الأسوأ أداءً باستمرار، مما يؤكد أن خطأ التدريب غير المنظم يؤدي إلى إفراط شديد في التخصيص وضعف في التعميم.

التعقيد الحسابي
تحلل الورقة العبء الحسابي لهذه المعايير:

AIC, AICc, BIC: هي الأكثر كفاءة ( $O(n)$ )، حيث تتطلب تمريرة واحدة فقط على البيانات بعد تقدير المعلمات.
MDL: أكثر تكلفة قليلاً ( $O(n \cdot p)$ ) بسبب حساب مصفوفة معلومات فيشر، لكنها تظل فعالة بالنسبة لأحجام تعبيرات الانحدار الرمزي النموذجية.
$Err_{in}$ : هي الأكثر استهلاكاً للوقت حسابياً بشكل ملحوظ، حيث تتطلب $B$ من تكرارات البوتستراب (عادة 200) وإعادة ضبط المعلمات بشكل متكرر، مما يجعلها غير عملية محتملاً في عمليات البحث التطوري التكرارية.

الأهمية والادعاءات
يزعم المؤلفون أن نتائجهم تقدم توجيهاً عملياً لمسارات الانحدار الرمزي. ويخلصون إلى أن MDL هو الخيار الافتراضي القوي للاختيار المبكر المتين والنماذج المدمجة، مع اعتبار BIC خياراً ثانوياً. ويقترحون أن AIC/AICc قد يكونان مفضلين فقط عندما يكون قبول النماذج الأكبر قليلاً مقبولاً ويُعتبر جزاء MDL محافظاً للغاية. وعلى العكس من ذلك، هم لا يوصون بـ $Err_{in}$ بسبب تكلفته الحسابية العالية وأدائه غير المتسق في تجاربهم.

تشير الدراسة صراحةً إلى القيود، بما في ذلك استخدام مستوى ضجيج واحد لتوليد البيانات وحقيقة أن المعايير تم تقييمها على مجموعة من المرشحين بعد عملية التوليد (post-hoc) وليس دمجها مباشرة في حلقة بحث البرمجة الجينية. ويذكر المؤلفون أن العمل المستقبلي يجب أن يبحث في تباينات شدة الضجيج ودمج هذه المعايير في عملية البحث التطوري.

المتنافسون

النتائج

الخلاصة الكبرى

أبحاث مشابهة