Most ReLU Networks Admit Identifiable Parameters

ملخص تقني: معظم شبكات ReLU تقبل تحديد المعالم (Identifiable Parameters)

بيان المشكلة
السؤال المركزي الذي تتناوله الورقة هو العلاقة بين فضاء المعالم (parameter space) وفضاء الدوال لشبكات ReLU العميقة. تبحث الورقة في قابلية تحديد المعالم (parameter identifiability): ما إذا كانت الدالة التي تحققها الشبكة تحدد معالمها بشكل فريد، باستثناء التماثلات البديهية (تبديلات العصبونات داخل الطبقة والمقاييس الموجبة للأوزان عبر الطبقات). وبينما أثبتت الأعمال السابقة قابلية التحديد لهياكل معينة (مثل الشبكات الهرمية أو تلك التي يتجاوز عرض طبقاتها المخفية أبعاد المدخلات)، كان هناك نقص في الفهم الهيكلي العام لهياكل ReLU العميقة التعسفية. علاوة على ذلك، لم يكن من الواضح ما إذا كانت عدم قابلية التحديد تنشأ فقط من عدم مثالية الهيكل (الزيادة عبر الإفراط في التخصيص/overparameterization) أم أن هناك زيادات جوهرية مستمرة حتى في التحققات الدنيا (minimal realizations).

المنهجية
يطور المؤلفون إطاراً موحداً يعتمد على المجمعات متعددة الوجوه الموزونة (weighted polyhedral complexes) لتحليل خريطة التحقيق $\mu_A: \Theta_A \to \mathcal{F}_A$. وتشمل المكونات المنهجية الرئيسية ما يلي:

1. المجمع متعدد الوجوه القانوني والمستويات الفائقة المنحنية (Bent Hyperplanes): يتم تقسيم فضاء المدخلات إلى متعددات وجوه بناءً على أنماط التنشيط. يعرّف المؤلفون "المستويات الفائقة المنحنية" بأنها المواضع التي يتغير فيها السلوك الخطي للعصبونات. وخلافاً للتعريفات السابقة التي تتضمن المناطق التي تتلاشى فيها القيم قبل التنشيط (preactivations) تماماً، يركز هذا التعريف على موضع اللاخطية.
2. الأوزان الاستوائية (Tropical Weights): باستخدام Lemma 2.1، يصف المؤلفون الدالة الخطية المستمرة المجزأة (CPWL) عبر دالة وزن على أوجه المجمع متعدد الوجوه. تسجل هذه الأوزان التغير في الجزء الخطي الأفيني للدالة عند عبور وجه معين.
3. شروط العمومية (Genericity Conditions): تقدم الورقة مجموعة من المعالم "العامة" التي تحقق:
   • التعامد الفائق (Supertransversality): كل وجه من الرتبة $k$ في المجمع يحتوي بالضبط على $k$ من المستويات الفائقة المنحنية.
   • الخلو من الإلغاء (Cancellation-freeness): الأوزان الاستوائية غير صفرية ما لم تكن الطبقة بأكمل तिचा غير نشطة على وجه ما.
   • الشفافية (Transparency): كل مدخل في منطقة ما ينشط عصبوناً واحداً على الأقل في الطبقة.
   • شرط التقاطع الزوجي المستعرض (TPIC): تتقاطع المستويات الفائقة المنحنية من الطبقات المتجاورة بشكل مستعرض.
4. مجمع نقاط الكسر (Breakpoint Complex) ورسم البيان التبعي (Dependency Graph): يعرّف المؤلفون "مجمع نقاط الكسر" باعتباره دعم اللاخطيات في الدالة. كما يبنون "رسم بيان تبعي" حيث تمثل الرؤوس المستويات الفائقة المرشحة، وتمثل الحواف علاقات "الانحناء" (حيث ينحني مستوى فائق من طبقة لاحقة على طول مستوى من طبقة سابقة). يعمل هذا الرسم البياني كثابت وظيفي يشفر التسلسل الهرمي للطبقات.

المساهمات والنتائج الرئيسية

1. وجود معالم قابلة للتحديد في معظم الهياكل:
   تثبت الورقة أنه لأي هيكل يكون فيه عرض المدخلات وجميع الطبقات المخفية لا يقل عن 2، توجد مجموعة مفتوحة غير فارغة من المعالم القابلة للتحديد (Theorem 4.10, 4.11). وهذا يعمم النتائج السابقة التي كانت تتطلب أن يكون عرض الطبقات المخفية مساوياً على الأقل لأبعاد المدخلات أو أن تتبع هيكلاً هرمياً.

2. البعد الوظيفي (Functional Dimension):
   كنتيجة لوجود معالم قابلة للتحديد، تحسم الورقة مسألة البعد الوظيفي لهذه الهياكل. حيث ثبت أنه يساوي بالضبط عدد المعالم ناقص عدد العصبونات المخفية (Theorem 4.11). وهذا يعني أن خريطة التحقيق هي تضمين محلي (locally an embedding) باستثناء التماثلات البديهية.

3. عدم المثالية لا تعني قابلية التحديد:
   يبني المؤلفون مجموعة مفتوحة من المعالم الدنيا (حيث لا يمكن إزالة أي عصبونات دون تغيير الدالة) التي ليست قابلة للتحديد (Proposition 5.23). وهذا يوضح أن الزيادة (redundancy) يمكن أن تستمر حتى في التحققات الدنيا، مما يدحض فرضية أن المثالية تقتضي قابلية التحديد في شبكات ReLU. تنشأ عدم قابلية التحديد من تناظر مستمر في طبقة المخرجات لشبكة فرعية دنيا لا يؤثر على الدالة المحققة.

4. التسلسل الهرمي للعمق العام (Generic Depth Hierarchy):
   تثبت الورقة وجود تسلسل هرمي للعمق العام (Proposition 5.24). بالنسبة لمجموعة مفتوحة من المعالم، لا يمكن تمثيل الدالة المحققة بواسطة أي شبكة أقل عمقاً، بغض النظر عن العرض. ويتم إثبات ذلك من خلال إظهار أن رسم البيان التبعي لمعلم عام يحتوي على سلسلة بطول يساوي عمق الشبكة، والتي لا يمكن رسم خرائط حقنية (injective mapping) لها إلى هيكل أقل عمقاً مع الحفاظ على ترتيب الطبقات.

5. مجمع نقاط الكسر كثابت وظيفي:
   يوضح المؤلفون أنه بالنسبة للمعالم العامة، فإن مجمع نقاط الكسر والارتباط به من رسم البيان التبعي يعتمد فقط على الدالة المحققة، وليس على معلم محدد. وهذا يسمح بالتوصيف الجبري لـ "ليف المعالم" (parameter fiber - مجموعة كل المعالم التي تحقق دالة معينة) عبر متغيرات التكوين (configuration varieties) المعرفة بالمحاذاة الهندسية ومطابقة الأوزان الاستوائية.

الأهمية والادعاءات
تدعي الورقة أنها تقدم فهماً هيكلياً عاماً لقابلية تحديد المعالم لشبكات ReLU العميقة، متجاوزةً قيود الهياكل المحددة. ومن خلال تقديم إطار العمل متعدد الوجوه الموزون ورسم البيان التبعي، يفصل المؤلفون بين الهندسة "المرئية" للدالة والهندسة "الكامنة" للمعالم.

يسلط العمل الضوء على أن:

• قابلية التحديد هي سمة عامة (generic) للشبكات العريضة بما يكفي (العرض $\ge 2$)، ولكنها ليست عالمية (الطبقات ذات العرض 1 تطرح تحديات).
• عدم قابلية التحديد ليست مجرد عرض للإفراط في التخصيص؛ إذ توجد زيادات جوهرية حتى في الشبكات الدنيا.
• العمق صلب هيكلياً بالنسبة للمعالم العامة؛ فلا يمكن استبدال العمق بالعرض في النظام العام، وهو ما يتناقض مع الأنظمة غير العامة حيث قد تمثل الشبكات الأقل عمقاً نفس الدوال.

يخلص المؤلفون إلى أنه بينما نجحوا في إثبات وجود معالم قابلة للتحديد ووصف الثوابت الوظيفية المحلية، لا تزال العديد من الأسئلة مفتوحة، بما في ذلك القياس الدقيق لمجموعة المعالم القابلة للتحديد، والتوصيف شبه الجبري لـ "الليف"، وسلوك الهياكل التي تحتوي على طبقات بعرض 1.