Error Analysis of Higher Order Integration Schemes in the Context of Neural Network based Modelling

تخيل أنك تحاول قياس طول نهر متعرج وملتوٍ. في عالم العلوم والهندسة، غالبًا ما نستخدم "الشبكات العصبية" لتعمل كخرائط ذكية للغاية تتنبأ بكيفية حركة الأشياء أو انحنائها. يتم تدريب هذه الشبكات لتعلم الأنماط المعقدة، تمامًا مثل طالب يحفظ كتابًا مدرسيًا. ومع ذلك، لاستخدام هذه الخرائط في حسابات العالم الحقيقي — مثل معرفة مقدار الطاقة التي يستهلكها عارضة منحنية — نحتاج إلى إجراء عملية رياضية تسمى "التكامل". فكر في التكامل كوسيلة لجمع شرائح صغيرة من منحنى ما لإيجاد المساحة الإجمالية أو الطول الموجود تحته.

لعقود من الزمن، طور علماء الرياضيات وصفات ذكية وعالية السرعة لهذا التقطيع والجمع، تُعرف باسم "مخططات التكامل عالية الرتبة". صُممت هذه الوصفات لتكون دقيقة للغاية، حيث تعد بأنك إذا قطعت النهر إلى قطع أصغر فأصغر، فإن إجابتك ستصبح أكثر دقة بشكل أسي. الأمر يشبه امتلاك مسطرة سحرية تصبح مثالية كلما زوّدت في التكبير. لكن هنا تكمن المشكلة؛ فهذه المساطر السحرية صُممت للمنحنيات الناعمة والمتوقعة الموجودة في الطبيعة، ولم تُختبر بالضرورة ضد الخطوط المتعرجة والمجعدة والفوضوية أحيانًا التي تنتجها الشبكات العصبية الحديثة. السؤال الكبير هو: هل لا تزال هذه المساطر عالية التقنية تعمل عندما تكون الخريطة التي تقيسها مصنوعة من عصبونات رقمية؟

تتقصى هذه الورقة البحثية هذا السيناريو بالضبط. فقد اكتشف الباحثان، فيليكس ميست ومارتن أرنولد، أنه عندما تحاول استخدام هذه المساطر عالية الدقة على وظائف الشبكات العصبية، فإنها غالبًا ما تفقد قواها الخارقة. فبدلاً من أن تصبح فائقة الدقة مع زيادة التكبير، تتوقف الدقة عن التحسن وتستقر عند مستوى أقل بكثير. الأمر يشبه استخدام شريط قياس ليزري على ورقة مجعدة؛ فمهما بلغت دقة القياس، فإن التجاعيد (أو "التذبذبات") في الورقة تمنعك من الحصول على قراءة مثالية.

وجد الباحثون أن هذا يحدث لأن الشبكات العصبية، حتى عندما يتم تدريبها لتكون ناعمة، غالبًا ما تطور تموجات صغيرة غير مرئية أو زوايا حادة لا تستطيع وصفات الرياضيات عالية الرتبة التعامل معها. تعمل هذه التموجات مثل المطبات التي تفسد الرحلة السلسة التي يتوقعها الحساب. وتظهر الورقة أنه بالنسبة للشبكات التي تستخدم دالة التنشيط "ReLU" الشهيرة (التي تخلق قطعًا مستقيمة وحادة)، فإن المساطر عالية الدقة لا تؤدي أفضل من مسطرة بسيطة وقديمة الطراز. أما بالنسبة للشبكات التي تستخدم دوالًا أكثر نعومة مثل "tanh"، فإن المساطر عالية الدقة يمكنها العمل في النهاية، ولكن فقط إذا زوّدت في التكبير إلى حد يصبح معه الأمر مستحيلاً من الناحية الحسابية للاستخدام العملي.

ولإصلاح ذلك، اختبر المؤلفون "تنعيم" الشبكة العصبية أثناء تدريبها، وهو ما يعني قول الشيء نفسه للشبكة: "من فضلك، توقفي عن صنع تلك التموجات الصغيرة". وبينما سمح هذا للمساطر عالية الدقة بالعمل بشكل أفضل، إلا أن ذلك جاء بضريبة: أصبحت الشبكة أقل دقة في مهمتها الأساسية المتمثلة في التنبؤ بشكل المنحنى. وتخلص الورقة إلى أنه بدون عناية خاصة، لا يمكننا الثقة بشكل أعمى في طرق التكامل عالية الرتبة هذه على الشبكات العصبية؛ فهي غالبًا ما تفقد سرعتها ودقتها النظرية في العالم الحقيقي، مما يجبرنا على الاختيار بين حساب سلس وتنبؤ ذكي.