Activation-Adjacent Layer Normalization: Effects on Approximation Power

يعتمد الذكاء الاصطناعي الحديث على شبكات واسعة من الوحدات الرياضية البسيطة، المستوحاة بشكل فضفاض من الخلايا العصبية، للتعرف على الأنماط، وترجمة اللغات، وتوليد الصور. تعمل هذه الشبكات عن طريق تمرير البيانات عبر طبقات، حيث تقوم كل طبقة بتحويل المعلومات قليلاً قبل تسليمها إلى الطبقة التالية. ويعد "التطبيع" (normalization) مكوناً حاسماً في هذه العملية، فهو يعمل مثل مفتاح التحكم في مستوى الصوت، حيث يضبط قوة الإشارات المارة عبر الشبكة للحفاظ على استقرارها ومنعها من أن تصبح فوضوية للغاية أو ضعيفة جداً. ولولا هذا الضبط، لكان تدريب هذه الأنظمة المعقدة أمراً في غاية الصعوبة. ومع ذلك، ظل هناك سؤال دقيق يلوح في أفق المجال: هل يغير مفتاح التحكم في مستوى الصوت هذا القصة الجوهرية التي تحاول الشبكة سردها؟ وتحديداً، إذا قمت بإدراج خطوة التطبيع هذه في شبكة ما، فهل يحد ذلك من قدرة الشبكة على تعلم وتمثيل نفس الوظائف تماماً التي كان بإمكانها تعلمها بدونها؟

لقد شرع فريق من الباحثين من جامعة بهيانغ في الصين في الإجابة على هذا السؤال بدقة رياضية. فقد ركزوا على نوعين محددين من التطبيع المستخدمين على نطاق واسع في الذكاء الاصطناعي الحديث: أحدهما يقوم بتوسيع الإشارات بناءً على جذر متوسط مربعاتها، والآخر يقوم أيضاً بمركزتها عن طريق طرح قيمة متوسطة. أراد الباحثون معرفة ما إذا كانت الشبكة المزودة بهذه الأدوات لا تزال قادرة على تقريب، أو محاكاة أي دالة يمكن لشبكة قياسية بدون هذه الأدوات التعامل معها. وكشفت تحقيقاتهم أن الإجابة هي نعم، ولكن بتكلفة محددة. فلكي تحافظ النسخة المطبّعة على القدرة التعبيرية الكاملة لشبكة قياسية، يجب أن تكون أوسع قليلاً؛ إذ لا يكفي مجرد استبدال المكونات، بل يجب منح الشبكة مساحة إضافية بسيطة لتتنفس.

تعامل الباحثون مع هذا الأمر من خلال اعتبار الشبكة بمثابة آلة تحول المدخلات إلى مخرجات. وقد تخيلوا شبكة قياسية ذات عرض محدد، يُعرف بعدد المسارات المتوازية التي تستخدمها لمعالجة المعلومات. ثم تساءلوا: إذا أدخلنا خطوة تطبيع إما قبل دالة التنشيط الرئيسية للشبكة أو بعدها، فكم يجب أن يصبح عرض الشبكة لكي تستعيد الدالة الأصلية بدقة تامة؟ وأظهرت نتائجهم أن الإجابة تعتمد على نوع التطبيع ومكان وضعه. فبالنسبة لطريقة التوسيع فقط، إذا كانت دالة التنشيط في الشبكة قادرة على إنتاج أرقام كبيرة جداً، فإن إضافة مسار واحد إضافي فقط كافٍ لاستعادة الدالة الأصلية بدقة عالية. أما إذا كانت دالة التنشيط أكثر تقييداً، فإن الشبكة تحتاج إلى إضافة بعض المسارات الإضافية، ويتناقص الخطأ مع زيادة عدد المسارات.

يصبح الموقف أكثر تعقيداً عندما يقوم التطبيع أيضاً بمركزة البيانات عن طريق طرح المتوسط. فهذه الخطوة الإضافية تقدم نوعاً ثانياً من التشوه الذي يجب على الشبكة تصحيحه. وفي هذه الحالة، وجد الباحثون أن الشبكة تحتاج لأن تكون أعرض بمسارين عن الشبكة الأصلية لتحقيق نفس المستوى من الدقة. هذا العرض الإضافي يسمح للشبكة باستيعاب تأثير المركزية دون أن تفقد القدرة على تمثيل الدالة المستهدفة. وتثبت الدراسة أن هذه المسارات الإضافية ليست مجرد خدعة مفيدة، بل هي ضرورية رياضياً في أسوأ الحالات. فإذا كانت الشبكة أي أقل عرضاً من هذه الحدود المحددة، فهناك دوال معينة لن تتمكن من تعلمها، مهما تم تدريبها.

وللتحقق من هذه الحدود النظرية، أجرى الباحثون سلسلة من التجارب الحاسوبية. فقد أخذوا شبكات قياسية وبنوا نسخاً مطبّعة منها باستخدام الوصفات الرياضية الدقيقة المستمدة من براهينهم، دون تدريبها على البيانات. ثم قاموا بقياس مدى قرب هذه الشبكات المطبّعة من مطابقة سلوك الشبكات الأصلية. وقد طابقت النتائج توقعاتهم تماماً؛ فعندما زادوا عرض أو مقدار المكونات المضافة، انخفض الخطأ بالمعدلات التي تنبأت بها صيغهم الرياضية بالضبط. كما اختبروا سيناريو محدداً حيث تم إزاحة دالة التنشيط في الشبكة، مما خلق وضعاً قد تفشل فيه الشبكة المطبّعة الضيقة تماماً. وأكدت التجارب أنه بدون العرض الإضافي، أصبح مخرج الشبكة مسطحاً وغير مفيد، ولكن بمجرد زيادة العرض، استعادت الشبكة قدرتها على التعلم.

يوفر هذا العمل خارطة طريق واضحة لفهم المقايضات في تصميم الشبكات العصبية الحديثة. فهو يوضح أن التطبيع لا يدمر قدرة الشبكة على تعلم الدوال المعقدة، ولكنه يتطلب زيادة صغيرة ومتوقعة في حجم الشبكة للتعويض عن التغييرات التي يحدثها التطبيع. وتساعد هذه الرؤية في تفسير سبب امتلاك النماذج الناجحة غالباً لسعة أكبر قليلاً من الحد الأدنى المطلوب لمهامها. لقد أظهر الباحثون أنه من خلال إضافة بضعة أبعاد إضافية فقط، يمكن للشبكة الاحتفاظ بقوتها الكاملة حتى وهي تستخدم أدوات الاستقرار التي تجعل التعلم العميق ممكناً. وتؤكد نتائجهم أن بنية هذه الشبكات متينة، شريطة أن يأخذ المصممون في الاعتبار التكالح الهندسية المحددة لخطوات التطبيع التي يختارون استخدامها.