Optimal Neural Network Approximation via Empirical Least Squares with Deterministic Samples

ملخص تقني: التقريب الأمثل للشبكات العصبية عبر المربعات الصغرى التجريبية باستخدام عينات حتمية

بيان المشكلة
يتناول هذا العمل التحليل النظري لتقريب المربعات الصغرى للبواقي المنفصلة للمعادلات الطيفية الإهليلجية $L_\beta u = f$ على الكرة الوحدة $S^d$. تركز الدراسة على الشبكات العصبية الخطية من نوع ReLU$^k$، حيث دالة التنشيط هي $\sigma_k(x) = (\max\{0, x\})^k$ لـ $k \in \mathbb{N}$. يكمن التحدي الرئيسي في سد الفجوة بين نظرية التقريب المستمر وتقليل المخاطر التجريبية المنفصلة. وتحديداً، يبحث المؤلفون فيما إذا كان يمكن استعادة معدلات التقريب المثلى، المستمدة عادةً من فضاءات الدوال المستمرة، باستخدام عدد محدود من نقاط التصادم الحتمية أو العشوائية دون استخدام التكامل العددي (التربيع). وتعتبر الدراسة حالة تكون فيها معاملات الطبقة الخفية (الأوزان والانحيازات) ثابتة على الكرة، مما يحول المشكلة إلى تحسين خطي للمربعات الصغرى على معاملات المخرجات.

المنهجية
يطور المؤلفون إطاراً صارماً يعتمد على هندسة فضاء المعلمات والخصائص الطيفية لدوال الشبكة. وتشمل المكونات المنهجية الرئيسية ما يلي:

1. التطبيع الكروي: بالاستفادة من التجانس الموجب لـ $\sigma_k$، يقوم المؤلفون بتطبيع فضاء المعلمات إلى الكرة $S^d \subset \mathbb{R}^{d+1}$. تأخذ دالات الشبكة شكل دالات الحافة (ridge functions) $\sigma_k(\theta \cdot \eta)$ حيث $\theta, \eta \in S^d$.
2. متراجحات بيرنشتاين: الأداة التحليلية المركزية هي اشتقاق متراجحة بيرنشتاين لفضاءات الشبكات الخطية من نوع ReLU$^k$. تحد هذه المتراجحة معايير سوبوليف ذات الرتب العليا بالمعايير ذات الرتب الأدنى، مقاسة بعكس مسافة الفصل المتناظر (antipodal separation distance) $h$ لمعلمات الشبكة. وتحديداً، بالنسبة لـ $0 \le s < r < k + 1/2$، يتم إثبات المتراجحة $\|v_n\|_{H^r(S^d)} \lesssim h^{-(r-s)} \|v_n\|_{H^s(S^d)}$.
3. تحليل فضاء البواقي: يوسع المؤلفون هذه المتراجحات لتشمل فضاء البواقي $V_{n,\beta} = L_\beta L^k_n(\Theta_n)$، حيث $L_\beta$ هو مضاعف طيفي إهليلجي موجب من الرتبة $\beta$. يسمح هذا بتقديرات الاستقرار في سياق حل المعادلات التفاضلية الجزئية.
4. متراجحات أخذ العينات: يتم تحليل مشكلة المربعات الصغرى المنفصلة باستخدام متراجحات مارسينكويتش–زيغموند (Marcinkiewicz–Zygmund) وتقديرات أخذ العينات لمقارنة المعايير التجريبية (المحسوبة عند نقاط التصادم) مع معايير سوبوليف المستمرة.
5. التمديد إلى النطاقات المحدودة: بالنسبة لحالة الرتبة صفر ($\beta=0$)، يقوم المؤلفون ببناء تفسير للشبكة الأفينية على النطاقات المحدودة من نوع ليبشيتز عن طريق رفع الدالة المستهدفة إلى الكرة، وتطبيق النظرية الكروية، ثم تقييد النتيجة مرة أخرى على النطاق. يعتمد هذا على مؤثرات تمديد سوبوليف البنائية والتحويلات المتجانسة.

المساهمات والنتائج الرئيسية

• المعدلات الحتمية المثلى: يثبت البحث أنه بالنسبة لمجموعات معلمات الشبكة شبه المنتظمة تناظرياً ونقاط التصادم شبه المنتظمة مع حجم عينة $m \gtrsim n$، فإن حل المربعات الصغرى للبواقي المنفصلة $u_{n,m}$ يحقق معدل التقريب الأمثل. وتحديداً، إذا كانت $k > \beta + \frac{d-1}{2}$ والدالة المستهدفة تمتلك نعومة كافية، فإن الخطأ يحقق:
  $$\|u - u_{n,m}\|_{H^{s+\beta}(S^d)} \lesssim n^{-\frac{r-s}{d}} \|f\|_{H^r(S^d)}$$
  هذا المعدل يطابق أفضل معدل ممكن للتقريب المستمر، مما يثبت أن خطأ التجزئة لا يؤدي إلى تدهور رتبة التقارب عند استخدام عينات حتمية.
• تقديرات الاحتمالية العالية العشوائية: بالنسبة لنقاط التصادم المستقلة والمتماثلة توزيعياً (i.i.d.) والموزعة بانتظام، يضع المؤلفون تقديراً للبواقي باحتمالية عالية. المعدل يقترب من المثالية، حيث لا يتضمن سوى عامل لوغاريتمي وفقدان ضئيل جداً في النعومة ($\epsilon$).
• نظرية التقريب العكسي: كنتيجة لمتراجحة بيرنشتاين، يثبت البحث نظرية عكسية: إذا كان بالإمكان تقريب دالة بواسطة شبكات ReLU$^k$ الخطية بمعدل معين، فإن الدالة تمتلك نعومة سوبوليف مقابلة.
• تفسير الشبكة الأفينية: بالنسبة لـ $\beta=0$، يتم ترجمة النتائج الكروية إلى نطاقات محدودة $\Omega \subset \mathbb{R}^d$. يوضح المؤلفون أن الشبكة الخطية الكروية عند تقييدها بنطاق كروي تولد شبكة ReLU$^k$ أفينية عادية. يوفر هذا مساراً بنائياً لتقريب الدوال على $\Omega$ باستخدام النظرية الكروية، رغم أن المؤلفين يشيرون إلى أن هذا لا يشكل إثباتاً مباشراً لاستقرار المربعات الصغرى المتكونة فقط من عينات في $\Omega$.

الأهمية والادعاءات
يزعم البحث تقديم أول نتائج تقريب صارمة من الشكل (1.7) لفضاءات الشبكات العصبية الخطية تحت تجزئة المربعات الصغرى المنفصلة، حتى مع أخذ عينات متساوية الوزن. ويؤكد المؤلفون أن نهجهم يتجاوز خطوة التكامل العددي، والتي غالباً ما تكون مصدراً للتحيز وعدم الاستقرار في حلول المعادلات التفاضلية الجزئية القائمة على الشبكات العصبية (مثل الشبكات العصبية المستوحاة من الفيزياء - PINNs).

تكمن الأهمية في:

1. آلية الاستقرار: يعمل اشتقاق متراجحة بيرنشتاين لفضاءات ReLU$^k$ على الكرة كآلية استقرار أساسية، حيث تتحكم في فضاء البواقي وتضمن أن المشكلة المنفصلة جيدة التحديد ومتقاربة.
2. تعقيد العينة: تظهر النتائج أن حجم العينة المطلوب للتقارب الأمثل يتناسب مع عدد معاملات المخرجات القابلة للتدريب ($m \asymp n$)، وهو تعقيد عينة ملائم مقارنة بالطرق التي تتطلب عينات أكثر كثافة للتغلب على أخطاء التربيع.
3. الأساس النظري: يقدم العمل أساساً رياضياً صارماً لتدريب المربعات الصغرى المنفصلة للشبكات العصبية، متجاوزاً حدود التعميم الاحتمالي إلى تقديرات الخطأ الحتمية القائمة على هندسة مجموعة المعلمات.

القيود والنطاق
يذكر المؤلفون صراحة أن نتائج النطاق المحدود تقتصر على حالة الرتبة صفر ($\beta=0$). وهم لا يدعون حل استقرار صيغ المربعات الصغرى للمعادلات الإهليلجية العامة ($\beta > 0$) على النطاقات المحدودة مع الشروط الحدية، مشيرين إلى أن مثل هذه النظرية ستتطلب التعامل مع بواقي الحدود والمؤثرات ذات المعاملات المتغيرة، وهو ما يظل توجهاً مفتوحاً للأعمال المستقبلية. كما أن التجارب العددية المقدمة هي أدلة محدودة النطاق تدعم التوقعات النظرية وليست إثباتات تجريبية للسلوك التقاربي.