Statistical learning theory and Occam's razor: Regularization

معضلة المحقق: لماذا يكون الأقل هو الأكثر غالباً

تخيل أنك محقق تحاول حل لغز ما، ولكن بدلاً من الأدلة، لديك جبل من البيانات. في عالم العلوم والحواسيب، يُطلق على هذا اسم تعلم الآلة. الهدف هو تعليم الكمبيوتر كيفية إيجاد الأنماط في البيانات حتى يتمكن من تقديم تخمينات ذكية حول أشياء جديدة لم يسبق له رؤيتها من قبل. فكر في الأمر كتعليم كلب التعرف على "الكرة" من خلال إظهار ألف كرة مختلفة له. إذا تعلم الكلب بصرامة شديدة، فقد يعتقد أن تلك الكرة الحمراء المحددة هي فقط كرة، وسيفوت الكرة الزرقاء. وإذا تعلم بمرونة زائدة، فقد يعتقد أن قطعة بسكويت مستديرة هي كرة. هذا التوازن هو جوهر المشكلة.

لعقود من الزمن، جادل العلماء حول قاعدة تسمى نصل أوكام (Occam's Razor). إنها فكرة قديمة تقول إنه عندما يكون لديك تفسيران يتناسبان مع الحقائق بنفس القدر من الجودة، يجب عليك اختيار التفسير الأبسط. ولكن لماذا؟ هل الكون بسيط بطبيعته؟ أم أن الأشياء البسيطة هي فقط الأسهل في التعامل معها؟ لقد كان هذا سؤالاً صعباً للفلاسفة وعلماء الكمبيوتر على حد سواء. لقد حاولوا إثبات أن النماذج البسيطة أفضل، لكن الإثبات غالباً ما بدا دائرياً — أي يفترض أن العالم بسيط لمجرد إثبات أن النماذج البسيطة تعمل.

الفكرة الكبرى للورقة: المقايضة بين "دقة المطابقة" و"شبكة الأمان"

هذه الورقة، التي كتبها توم ف. ستيركنبيرج، تغوص في الرياضيات وراء تعلم الآلة لتجد سبباً صلباً وغير دائري لاستخدام نصل أوكام. المؤلف لا يكتفي بالقول إن "البساطة جيدة"؛ بل يستخدم إطاراً يسمى نظرية التعلم الإحصائي (Statistical Learning Theory) ليُظهر أن مقايضة القليل من "المطابقة المثالية" بالكثير من "البساطة" هي في الواقع استراتيجية بقاء ذكية للحواسيب.

إليك قصة ما وجده:

1. فخ المطابقة المثالية
تخيل أنك تحاول رسم خط عبر مجموعة من النقاط المبعثرة على رسم بياني. إذا كان لديك مسطرة مرنة جداً (نموذج معقد)، يمكنك جعلها تتماوج بشكل مثالي بحيث تلمس كل نقطة. إنها تطابق البيانات تماماً. ولكن إليك الخدعة: إذا حصلت على مجموعة جديدة من النقاط غداً، فمن المحتمل أن يخطئ هذا الخط المتعرج في إصابتها جميعاً. لقد حفظ "الضجيج" (التموجات العشوائية) بدلاً من النمط. في لغة الورقة، يسمى هذا الإفراط في التخصيص (Overfitting).

توضح الورقة أنه إذا حاولت استخدام النموذج الأكثر تعقيداً الممكن (الذي يمكنه ملاءمة أي شيء)، فستفقد قدرتك على الوثوق بنتائجك. ستحصل على ضمان يقول: "إذا كان لديك بيانات لانهائية، فقد تكون على صواب"، ولكن في العالم الحقيقي مع البيانات المحدودة، يكون هذا الضمان عديم الفائدة.

2. وعد "ما تراه هو ما تحصل عليه"
يقدم المؤلف مفهوماً يسمى التقارب الموحد (Uniform Convergence). فكر في هذا كملصق "صدق الإعلان" لنموذجك. إنه يعد بأنك إذا بدا نموذجك جيداً على البيانات التي لديك (مجموعة التدريب)، فمن المرجح أن يبدو جيداً على البيانات الجديدة (مجموعة الاختبار).

ومع ذلك، تثبت الورقة قاعدة صارمة: لا يمكنك الحصول على وعد "ما تراه هو ما تحصل عليه" إلا إذا قمت بالحد من مدى تعقيد نموذجك المسموح به. إذا كان نموذجك مرناً للغاية (معقداً للغاية)، فإن الوعد ينكسر. لا يمكنك الوثوق بأن ما تراه هو ما تحصل عليه حقاً. لذا، الدرس الأول هو: حافظ على بساطة نموذجك بما يكفي لتتمكن من الوثقة بنتائجك.

3. السحر الحقيقي: تقليل المخاطر الهيكلية (SRM)
ولكن انتظر، ماذا لو كانت الحقيقة معقدة؟ ماذا لو كان النمط حقاً عبارة عن خط متعرج، والخط المستقيم (النموذج البسيط) لن يفي بالغرض؟ إذا تمسكنا فقط بالنماذج البسيطة، فقد نفوت الإجابة تماماً. هذه هي "مقايضة التحيز والتعقيد".

الاكتشاف الرئيسي للورقة هو طريقة تسمى تقليل المخاطر الهيكلية (Structural Risk Minimization - SRM). إنها طريقة الكمبيوتر للعب بذكاء. بدلاً من اختيار نموذج واحد والتمسك به، ينظر SRM إلى "عائلة" كاملة من النماذج، تتراوح من البسيطة جداً إلى المعقدة جداً.

إليك الخدعة الذكية: لا يبحث SRM فقط عن النموذج الذي يناسب البيانات بشكل أفضل. بل يبحث عن النموذج الذي يناسب البيانات بشوة كافية مع البقاء بسيطاً قدر الإمكان. إنه يضيف "جزاءً" على التعقيد.

• إذا كان النموذج المعقد يناسب البيانات بشكل أفضل قليلاً من النموذج البسيط، ولكن جزاء التعقيد ضخم، فإن SRM يقول: "لا شكراً، التزم بالبسيط".
• إذا كان النموذج المعقد يناسب البيانات بشكل أفضل بكثير، فإن الجزاء يستحق العناء، ويقول SRM: "حسناً، لنذهب نحو التعقيد".

4. لماذا هذا ليس مجرد تخمين
تجادل الورقة بأن هذا ليس مجرد تخمين محظوظ أو حدس فلسفي. إنه تبرير منهجي. يوضح المؤلف أنه حتى لو لم نكن نعرف ما إذا كان العالم بسيطاً أم معقداً، فإن استخدام استراتيجية "المقايضة" هذه هو أذكى طريقة للتعلم.

لقد استخدم مفهوماً يسمى "الحظ" (Luckiness). تخيل أنك تراهن في سباق خيول.

• إذا راهنت على حصان بسيط وكان السباق بسيطاً بالفعل، فستربح كثيراً.
• إذا راهنت على حصان بسيط وكان السباق معقداً، فستخسر، ولكن ليس أكثر بكثير مما لو راهنت على حصان معقد بشكل أعمى.
• ولكن إذا راهنت على حصان معقد وكان السباق بسيطاً، فستخسر كثيراً لأنك بالغت في التعقيد.

باستخدام SRM (المقايضة)، أنت تحمي نفسك من أسوأ السيناريوهات. أنت تربح كثيراً إذا كنت "محظوظاً" (الحقيقة بسيطة)، ولا تخسر كثيراً إذا كنت "غير محظوظ" (الحقيقة معقدة).

5. ما تقوله الورقة عما "ليست" عليه
المؤلف حذر جداً في توضيح ما لا تمثله هذه الورقة.

• هي ليست برهاناً على أن الكون بسيط. نحن لسنا بحاجة للاعتقاد بأن العالم بسيط لكي يعمل هذا.
• هي ليست مجرد قاعدة عملية (مثل "الأشياء البسيطة أسهل في الكتابة"). إنها تتعلق بالحصول على دقة أفضل.
• هي ليست حلاً سحرياً لكل التقنيات الحديثة. تعترف الورقة بأنه في المجال الأحدث وهو "التعلم العميق" (Deep Learning)، تصبح الأمور غريبة (أحياناً تعمل النماذج شديدة التعقيد بشكل جيد بشكل مفاجئ)، وهذه الرياضيات المحددة لا تفسر تلك الظواهر الجديدة بالكامل بعد.

الخلاصة
إذن، لماذا نفضل البساطة في تعلم الآلة؟ وفقاً لهذه الورقة، ليس لأن الكون بسيط. بل لأن البساطة هي شبكة أمان. من خلال مقايضة القليل من "المطابقة المثالية" بالكثير من "البساطة"، نحصل على ضمان رياضي بأن تخمينات الكمبيوتر ستعمل بالفعل على بيانات جديدة. إنه الفرق بين حفظ نص وبين فهم القصة. تثبت الورقة أن هذه المقايضة هي الطريقة الأكثر موثوقية للتعلم، سواء كانت الحقيقة بسيطة أو معقدة.