ملخص تقني: القدرة التعبيرية للشبكات العصبية ذات الفاصلة العائمة مع أوامر اختزال عشوائية وتنفيذات تفعيل غير دقيقة

1. بيان المشكلة

تعتمد الأطر النظرية القائمة للقدرة التعبيرية للشبكات العصبية بشكل أساسي على الحساب الحقيقي الدقيق. ومع ذلك، تعمل الشبكات العصبية العملية تحت نظام حساب الفاصلة العائمة ذي الدقة المحدودة، والذي يتميز بـ:

• التمثيل المحدود: المعلمات والتنشيطات تنتمي إلى مجموعة منفصلة من الأعداد الآلية.
• أخطاء التقريب: العمليات الحسابية تتسبب في أخطاء تقريب.
• عدم التجميعية: عملية الجمع في الفاصلة العائمة غير تجميعية، مما يعني أن مخرجات التحويلات التآلفية تعتمد على ترتيب الاختزال (التسلسل الذي تُجمع فيه الحدود).
• التنفيذات غير الدقيقة: غالبًا ما تنحرف التنفيذات العملية لدوال التفعيل (مثل exp و tanh و sin) عن القيم المقربة بشكل صحيح بمقدار عدة وحدات في آخر مكان (ulp) لتحسين التكلفة الحسابية.

كانت الأعمال السابقة التي تناولت التعبيرية في الفاصلة العائمة محدودة بـ افتراضات مثالية، مثل:

1. قصر التحليل على التنشيطات الخطية المجزأة (مثل ReLU و Step).
2. افتراض أوامر اختزال ثابتة من اليسار إلى اليمين.
3. افتراض تنفيذات التفعيل المقربة بشكل صحيح.

تفشل هذه الافتراضات في التقاط سلوك الشبكات في البيئات الحديثة والمتوازية بشكل هائل (مثل وحدات معالجة الرسومات GPU)، حيث تختلف أوامر الاختزال، وحيث يتم تنفيذ دوال التفعيل السلسة واسعة الاستخدام (مثل Sigmoid و GELU و Swish) مع أخطاء تقريب محدودة. وبناءً على ذلك، يظل من غير الواضح ما إذا كانت الشبكات العصبية ذات الفاصلة العائمة تحتفظ بقدرتها على التمثيل الشامل تحت هذه الظروف الواقعية.

2. المنهجية

يقدم المؤلفون إطارًا عامًا لتحليل التمثيل الشامل للشبكات العصبية ذات الفاصلة العائمة. تُعتبر الشبكة "ممثلاً شاملاً" إذا كان بإمكانها تمثيل كل دالة بين نطاقات الفاصلة العائمة المحددة بدقة.

تعريفات وإطار عمل رئيسي

• الشبكات العصبية ذات الفاصلة العائمة ($N(I,S)$): مُعرفة تحت أمر اختزال عشوائي $S$. يقوم التحويل التآلفي في الطبقة $\ell$ بحساب $\Sigma((w_i \otimes x); o_{d_{in}}) \oplus b_i$، حيث يمثل $\Sigma$ اختزال الجمع وفقًا للترتيب $o$، و $\otimes$ و $\oplus$ هما الضرب والجمع في الفاصلة العائمة.
• التمييز: المفهوم الأساسي المقدم هو التمييز بـ $\sigma$ ($\sigma$-distinguishability). يكون النطاق $X$ مميزًا بـ $\sigma$ تحت $S$ إذا كان لأي $x, x' \in X$ متمايزين، يوجد تحويل تآلفي للفاصلة العائمة $\phi$ بحيث يكون $\sigma(\phi(x)) \neq \sigma(\phi(x'))$.
  • الضرورة: يثبت البحث أنه إذا لم يكن النطاق مميزًا بـ $\sigma$، فلا يمكن للشبكة تمثيل جميع الدوال على ذلك النطاق (التمهيدية 2).
  • الكفاية: تحت شروط معينة على دالة التفعيل (الشرط 1)، يُظهر أن التمييز بـ $\sigma$ كافٍ للتمثيل الشامل (النظرية 5).

النهج التقني

1. فصل النقاط: يعرّف المؤلفون "نقاط الفصل" ($\eta$) حيث يتغير مخرج دالة التفعيل بشكل غير مستمر بالنسبة لشبكة الفاصلة العائمة (أي أن $\sigma(\eta^-) \notin \{\sigma(\eta), \sigma(\eta^+)\}$). ويضعون شروطًا تتحقق تحتها هذه النقاط لكل من التنفيذات المقربة بشكل صحيح وغير الدقيقة.
2. القابلية للنقل: توضح سلسلة من التمهيدات التقنية (القسم الخامس) أنه تحت الشرط 1، يمكن "نقل" أزواج محددة من أعداد الفاصلة العائمة إلى قيم مستهدفة باستخدام عمليات الجمع من اليسار إلى اليمين ودوال التفعيل. وهذا يسمح ببناء شبكات تعزل مدخلات محددة.
3. التعامل مع عدم الدقة: بالنسبة للتنفيذات ذات أخطاء ulp المحدودة، يشتق المؤلفون شروطًا (الشرط 2) تضمن أن خطأ التقريب لا يؤدي إلى انهيار نقاط الفصل الضرورية، بشرط أن تكون الدقة $p$ عالية بما يكفي (على سبيل المثال، $p \geq 7$).

3. المساهمات الرئيسية

أ. إطار عمل التمييز العام

يؤسس البحث شرطًا ضروريًا وكافيًا للتمثيل الشامل بناءً على التمييز.

• الشرط الضروري: إذا لم تستطع الشبكة تمييز كل زوج من المدخلات المتمايزة في الطبقة الأولى عبر تحويل تآلفي متبوع بتفعيل، فلا يمكنها تمثيل جميع الدوال. هذا الإطار يعمم الأمثلة المضادة السابقة (مثل جيب التمام المقرب بشكل صحيح) لتشمل فئات أوسع من الدوال.
• الشرط الكافي: إذا استوفت دالة التفعيل الشرط 1 (وجود قيم مخرجات محددة $C_0, C_1, C_2$) وكان النطاق مميزًا بـ $\sigma$، فإن شبكة مكونة من أربع طبقات يمكنها تمثيل أي دالة على ذلك النطاق. والأهم من ذلك، أن هذا ينطبق على أوامر الاختزال العشوائية، مما يثبت أن التمثيل الشامل ليس مجرد نتاج تسلسل جمع محدد.

ب. التوسع ليشمل دوال التفعيل العملية

يتجاوز النظر الدوال الخطية المجزأة ليشمل فئة واسعة من دوال التفعيل السلسة والعملية:

• المقربة بشكل صحيح: يثبت البحث التمثيل الشامل للنسخ المقربة بشكل صحيح من Sigmoid، و tanh، و ReLU، و ELU، و SeLU، و GELU، و Swish، و Mish، و sin.
• التنفيذات غير الدقيقة: يقدم المؤلفون شروطًا قابلة للتحقق تحتها تظل التنفيذات ذات أخطاء ulp المحدودة (حتى $K=10$ ulps) ممثلات شاملة. وهذا يغطي المكتبات العملية حيث يتم تقريب دوال مثل exp و sin.

ج. النتائج السلبية والأمثلة المضادة

يحدد إطار العمل دوال تفعيل محددة تفشل في كونها ممثلات شاملة تحت ظروف معينة.

• النتيجة 4: الشبكات التي تستخدم دالة جيب التمام (cosine)، أو $\sqrt{1+x^2}$، أو الظل الزائدي (cosh)، أو $e^{-x^2}$ المقربة بشكل صحيح، لا يمكنها تمثيل جميع الدوال على نطاقات محددة (مثل $[-2^{p+3}, 2^{p+3}]_F$) لأنها تفشل في شرط التمييز. وهذا يعمم المثال المضاد المعروف لدالة جيب التمام.

4. النتائج

يقرر البحث المبرهنات الرئيسية التالية:

• النظرية 5: إذا استوفى $\sigma$ الشرط 1 وكان $X$ مميزًا بـ $\sigma$ مع نطاق $[-2^{e_{max}}, 2^{e_{max}}]_F$، فإن أي دالة $f: X \to (F \cup \{-\infty, \infty\})^{d_{out}}$ يمكن تمثيلها بواسطة شبكة $\sigma$ مكونة من أربع طبقات تحت أي أمر اختزال $S$.
• النتيجة 9 و 12: بالنسبة لـ Sigmoid، و tanh، و ReLU، و ELU، و SeLU، و GELU، و Swish، و Mish، و sin المقربة بشكل صحيح، فإن التمثيل الشامل يتحقق عبر نطاقات كبيرة (مثل $(-2^{e_{max}-1}, 2^{e_{max}-1})_F^d$). ومن الجدير بالذكر أنه حتى دالة المحايدة (Identity) أظهرت أنها ممثل شامل في حساب الفاصلة العائمة (على عكس الحساب الحقيقي) بسبب الطبيعة غير التآلفية لعمليات الفاصلة العائمة.
• النتيجة 13 و 16: بالنسبة لـ Sigmoid، و tanh، و ReLU، و ELU، و SeLU، و GELU، و Swish، و sin المنفذة مع أخطاء ulp محدودة (الشرط 2)، فإن التمثيل الشامل يتحقق بشرط أن تكون الدقة $p \geq 7$.

5. الأهمية والادعاءات

يزعم البحث أنه يوسع بشكل كبير الفهم النظري للشبكات العصبية ذات الفاصلة العائمة:

1. الواقعية: ينتقل البحث من الافتراضات المثالية (أوامر اختزال ثابتة، تقريب صحيح) إلى نماذج تعكس التنفيذ الفعلي للأجهزة (أوامر عشوائية، أخطاء ulp محدودة).
2. شمولية التطبيق: يقدم أول ضمانات نظرية للقدرة التعبيرية للشبكات التي تستخدم دوال تفعيل سلسة وغير خطية مجزأة (مثل GELU و Swish) تحت دلالات الفاصلة العائمة الواقعية.
3. رؤية جوهرية: يوضح أن ظاهرة "التقريب الشامل" في حساب الفاصلة العائمة قوية تجاه عدم التجميعية في الجمع وعدم دقة التنفيذ، بشرط أن تحافظ دالة التفعيل على خصائص "الفصل" الكافية.
4. القيود: النتائج متواضعة فيما يتعلق بتنسيقات الدقة المنخفضة (مثل float8)، حيث يكون عدد القيم القابلة للتمثيل صغيرًا جدًا بحيث لا تتحقق الشروط المستمدة دون استخدام تنفيذات جداول البحث (lookup tables). كما يشير البحث إلى أن البراهين تعتمد على وجود نقاط فصل محددة، والتي قد تفشل لبعض الدوال (مثل جيب التمام) أو للدقات المنخفضة جدًا.

يؤكد المؤلفون أن هذه النتائج مشتقة من إطار عمل جديد لا يعتمد على الخطية المجزأة، أو أوامر الجمع الثابتة، أو سلوكيات التفعيل الدقيقة، مما يوفر أساسًا أكثر صرامة لفهم الشبكات العصبية في سياقات الفاصلة العائمة العملية.