Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks

تخيل أنك تحاول إنهاء أحجية (بازل) ضخمة ومبعثرة، ولكن شخصاً ما قد انتزع منها أجزاءً كبيرة. يمكنك رؤية حواف القطع المتبقية، وتعرف أن الصورة من المفترض أن تكون لمنظر طبيعي، لكن المنتصف مجرد مساحة بيضاء فارغة. هذه هي المعاناة اليومية لـ "إكمال المصفوفة" (matrix completion)، وهو فرع من الرياضيات وعلوم الحاسوب مخصص لتخمين المعلومات المفقودة. إنه السحر الكامن وراء خدمة البث التي تقترح عليك المسلسل التالي الذي ستحبه، أو القمر الصناعي الذي يصلح صورة باهتة للأرض حيث حجبت السحب الرؤية.

لفترة طويلة، حاول العلماء حل هذه المشكلة بافتراض أن القطع المفقودة تتبع نمطاً بسيطاً ومستقيماً. فكروا قائلين: "إذا كان أعلى اليسار أزرق وأسفل اليمين أخضر، فلا بد أن يكون المنتصف تدرجاً ناعماً". لكن العالم الحقيقي فوضوي؛ فهو مليء بالمنحنيات والالتواءات والقفزات المفاجئة. وللتعامل مع ذلك، بدأ الباحثون في استخدام "الشبكات العصبية" (neural networks) — وهي برامج حاسوبية مصممة لمحاكاة قدرة الدماغ البشري على تعلم الأنماط المعقدة وغير المستقيمة. فكر في هذه الشبكات كفريق من المحققين، ينظر كل منهم إلى الأحجية من زاوية مختلفة لاكتشاف الصورة المخفية.

ومع ذلك، هناك عقبة. فهذه الفرق من المحققين ذكية ومتحمسة للغاية لدرجة أنها تصبح واثقة بنفسها أكثر من اللازم. تبدأ في حفظ القليل من الأدلة التي لديها بدلاً من تعلم القواعد الفعلية للأحجية. في الوسط العلمي، نسمي هذا "الفرط في التخصيص" (over-fitting). إنه يشبه طالباً يحفظ إجابات اختبار تجريبي لكنه يفشل في الاختبار الحقيقي لأنه لم يفهم المفاهيم. عندما يحدث هذا، يخمن الحاسوب قطع الأحجية المفقودة بناءً على الضجيج بدلاً من الواقع، مما يؤدي إلى صورة مشوشة وخاطئة.

تقدم هذه الورقة البحثية طريقة جديدة ذكية لتدريب فرق المحققين هذه حتى لا يصبحوا مغرورين جداً. يقترح المؤلفون، وهم فريق من الباحثين من جامعات في إيران وبلجيكا ولوكسمبورغ، طريقة تسمى DNN-NSR. فبدلاً من ترك الشبكة العصبية تنطلق دون قيود، يقومون بتوجيهها بلطف باستخدام "التنظيم غير الناعم" (nonsmooth regularization). تخيل هذا كمدرب صارم ينقر على كتف المحقق بين الحين والآخر ليقول له: "توقف عن التخمين العشوائي؛ والتزم بالأساسيات". تشير الورقة إلى أنه من خلال تقديم هذه القواعد الصارمة ببطء أثناء عملية التدريب، تتعلم الشبكة التعميم بشكل أفضل، وتملأ قطع الأحجية المفقودة بدقة أعلى بكثير من الطرق السابقة.

معضلة المحقق: ذكي جداً لدرجة الضرر

المشكلة الجوهرية التي يعالجها المؤلفون هي أن الشبكات العصبية العميقة قوية للغاية ولكنها عرضة للفرط في التخصيص بشكل ملحوظ. في سياق إكمال المصفوفة، يتم تدريب الشبكة فقط على المدخلات "الملاحظة" (قطع الأحجية التي تراها) وتحاول تخمين المدخلات "المفقودة". ولأن الشبكة تمتلك الكثير من المعلمات (مثل محقق لديه مليون نظرية)، يمكنها بسهولة حفظ الضجيج المحدد في بيانات التدريب بدلاً من تعلم الهيكل الأساسي للصورة أو قائمة التوصيات.

تجادل الورقة بأن مجرد استخدام طرق التدريب القياسية، مثل تلك التي تشغل معظم أنظمة الذكاء الاصطناعي الحديثة، ليس كافياً لأنها تعتمد على رياضيات مستمرة وناعمة لا تتعامل مع نوع "الانضباط" المحدد المطلوب هنا. كما يستبعد المؤلفون صراحة فكرة أن الطرق القياسية القائمة على التدرج (الطريقة المعتادة لتعلم الذكاء الاصطناعي) يمكنها حل هذا النوع المحدد من المشكلات عند تطبيق هذه القواعد الجديدة والأكثر صرامة. كما يشيرون أيضاً إلى أن الطرق القديمة الخطية (المخمنة بالخطوط المستقيمة) تفشل عندما تكون البيانات ذات هياكل معقدة وغير خطية.

الحل: مدرب ينقر على الكتف ببطء

يقترح المؤلفون خوارزمية جديدة تسمى DNN-NSR، وهي اختصار لـ "الشبكة العصبية العميقة مع التنظيم غير الناعم". إليك كيف تعمل، باستخدام تشبيه لطالب موسيقى يتعلم أغنية صعبة:

1. القواعد "غير الناعمة": يضيف المؤلفون نوعين محددين من "الانضباط" إلى عملية التدريب.

   • معيار $\ell_1$ (The $\ell_1$ Norm): يعمل كقاعدة تجبر الطالب على إبقاء ملاحظاته بسيطة وموجزة. فهو يشجع الشبكة على تجاهل التفاصيل الصغيرة غير الهامة التي قد تكون مجرد ضجيج.
   • المعيار النووي (The Nuclear Norm): يعمل كقاعدة تجبر الطالب على فهم "الصورة الكبيرة" بدلاً من الضياع في كل نوتة موسيقية. فهو يشجع الشبكة على إيجاد أنماط منخفضة الرتبة، مما يعني أنها تبحث عن المواضيع الأساسية للأغنية بدلاً من حفظ كل نوتة عابرة.
   • لماذا "غير ناعمة"؟ هذه القواعد تخلق "نتوءات" في المشهد الرياضي. تخيل محاولة دحرجة كرة أسفل تلة بها صخور حادة ومسننة بدلاً من منحدر ناعم. طرق الدحرجة القياسية (الاشتقاق المتدرج) ستتعثر في هذه الصخور. اضطر المؤلفون إلى ابتكار طريقة جديدة للتنقل عبر هذه النتوءات، باستخدام ما يسمى بـ "المؤثر التقريبي" (proximal operator)، وهو بمثابة أداة خاصة تساعد الكرة على القفز فوق الصخور المسننة بدلاً من محاولة التدحرج فوقها.

2. النهج "التدريجي": هذا هو السر في ورقتهم. أدرك المؤلفون أنه إذا تم تفعيل هذه القواعد الصارمة فوراً، فقد ترتبك الشبكة وتتوقف عن التعلم. لذا، يستخدمون استراتيجية "التعلم التدريجي".

   • العصور المبكرة (Early Epochs): في بداية التدريب، يُسمح للشبكة بأن تكون جامحة وتستكشف. يتم تجاهل القواعد الصارمة أو جعلها ضعيفة جداً.
   • العصور اللاحقة (Later Epochs): مع تقدم التدريب، يرفع "المدرب" مستوى القواعد الصارمة ببطء. تُجبر الشبكة تدريجياً على تبسيط تفكيرها والتركيز على الأنماط الأكثر أهمية.
   • تشير الورقة إلى أن هذا التقديم البطيء هو السبب الرئيسي في تفوق طريقتهم على غيرها. الأمر يشبه السماح للطفل باللعب بالطين بحرية أولاً، ثم تعليمه كيفية نحته بشكل صحيح لاحقاً، بدلاً من تسليمه إزميلاً في اليوم الأول.

3. الخطوة المستقاة (The Extrapolated Step): لجعل التعلم أسرع، يستخدم المؤلفون أيضاً تقنية "الاستقراء". تخيل أن المحقق يأخذ خطوة للأمام، ثم ينظر إلى الخلف إلى المكان الذي كان فيه قبل خطوتين، ويستخدم ذلك الزخم لاتخاذ خطوة أكبر وأذكى. هذا يساعد الخوارزمية على التقارب (إنهاء التدريب) بشكل أسرع.

ما أظهرته عمليات المحاكاة

لم يكتف المؤلفون بالنظرية؛ بل أجروا عمليات محاكاة واسعة النطاق لمعرفة ما إذا كان "المدرب التدريجي" قد نجح بالفعل. لقد اختبروا طريقتهم مقابل ست خوارزميات أخرى شائعة، بما في ذلك بعض الخوارزميات التي تستخدم تخمينات خطية وأخرى تستخدم شبكات عصبية عميقة.

• البيانات الاصطناعية: أنشأوا مصفوفات وهمية (أحاجي رقمية) بأحجام مختلفة ومعدلات فقدان متفاوتة (من 10% إلى 80% من البيانات مفقودة). في هذه الاختبارات، تفوقت خوارزمية DNN-NSR باستمرار على الآخرين. على سبيل المثال، عندما كان 80% من مصفوفة 100×200 مفقوداً، حققت طريقتهم درجة PSNR (مقياس لجودة الصورة) بلغت 23.0441، بينما حققت أفضل طريقة تالية (LeRMC) درجة 20.3245. وفي عالم إعادة بناء الصور، أي فرق صغير في هذا الرقم يعد كبيراً.
• ترميم الصور (Image Inpainting): اختبروا الطريقة على صور حقيقية (صور RGB) حيث تم حجب بكسلات منها عشوائياً. عندما كانت 50% من البكسلات مفقودة، أنتجت طريقتهم صوراً أكثر وضوحاً ودقة من المنافسين. بالنسبة لـ "الصورة الأولى" (Image I) مع فقدان 50%، حققوا PSNR قدره 30.0301 وSSIM (مقياس للتشابه الهيكلي) قدره 0.8521، متفوقين على ثاني أفضل طريقة التي سجلت 29.1411 و 0.8411.
• أنظمة التوصية: اختبروا الخوارزمية على مجموعات بيانات MovieLens (100 ألف و1 مليون تقييم). في هذه الاختبارات، حققت طريقتهم أدنى معدلات خطأ (NMAE)، مما يشير إلى أنه يمكنها التوصية بالأفلام بدقة أكبر من الطرق الأخرى. بالنسبة لمجموعة بيانات MovieLens 100k مع فقدان 30% من البيانات، كان خطؤهم 15.54%، مقارنة بـ 16.85% لأفضل طريقة تالية.

الحكم النهائي: طريقة جديدة للتعلم

تخلص الورقة إلى أنه من خلال الجمع بين هذه القواعد "غير الناعمة" وجدول تدريب "تدريجي"، يمكنهم بنجاح تدريب الشبكات العصبية العميقة لملء البيانات المفقودة دون الوقوع في فخ "الفرط في التخصيص". لقد أثبتوا رياضياً أن خواروارزميتهم تتقارب نحو حل مستقر (نقطة حرجة)، مما يعني أنها لن تظل تدور حول نفسها للأبد.

يشير المؤلفون بحذر إلى أن هذه النتائج تستند إلى عمليات المحاكاة ومجموعات بيانات محددة. هم لا يدعون أنهم حلوا مشكلة إكمال المصفوفة لكل السيناريوهات الممكنة في الكون، لكن نتائجهم تشير بقوة إلى أن نهج "التنظيم التدريجي" هو وسيلة متفوقة للتعامل مع عالم البيانات المفقودة المعقد وغير الخطي. ومن خلال معاملة عملية التدريب كجلسة تدريب تدريجية بدلاً من تدريب صارم، تمكنوا من جعل الشبكات العصبية تؤدي بشكل أفضل، وبثبات أكبر، وبأقل قدر من حفظ الضجيج.