ملخص تقني: الفعل عن بُعد: فضاء هيلبرت لإعادة الإنتاج عالمي من خلال المحاذاة متعددة الحدود ومسافة IMQ

بيان المشكلة

تفتقر طبقات الإدراك متعدد الطبقات (MLP) القياسية إلى معيار (norm) كينوني في فضاء هيلبرت. تعتمد حدود التعميم للشبكات المدربة عادةً على بدائل Lipschitz أو طيفية لمصفوفة الأوزان، وهي كائنات على مستوى الدوال مبنية بشكل فضفاض ومنفصلة عن الوحدات المحددة. ينشأ هذا الفجوة الهيكلية لأن التنشيطات القياسية (مثل ReLU، GELU، sigmoid) هي دوال لضرب داخلي $\sigma(w^\top x)$، وليست أقسام نواة متماثلة للمتغير المشترك $(w, x)$. وبالتالي، فإن مخرجات الطبقة المدربة ليست عنصراً نهائياً في أي فضاء هيلبرت لإعادة الإنتاج (RKHS)، مما يحرم النموذج من أدوات مثل المعايير ذات الصيغة المغلقة، وعالمية النواة الثابتة، والخصائص المميزة.

تعاني النماذج الأولية لقطاعات ميرسر (Mercer-section) الموجودة حالياً من مقايضة:

1. النوى الشعاعية (Gaussian RBF، Inverse Multiquadric/IMQ) تمتلك المحلية والبنية الهيلبرتية ولكنها تفتقر إلى "المحاذاة" (القطر النواتي ثابت، ودالة المحاذاة متعددة الحدود $(w^\top x + b)^2$ لا تلعب دوراً).
2. النوى المحاذية (نوى ضرب نقطي عالمية) تمتلك المحاذاة والبنية الهيلبرتية ولكنها تفتقر إلى محلية المسافة (لا يوجد اضمحلال $\|x-w\|$).

يحدد البحث الحاجة إلى نموذج أولي محدود وقابل للتدريب للوحدات المخفية يجمع في آن واحد بين المحلية، والمحاذاة، والبنية الهيلبرتية.

المنهجية

يقدم المؤلفون نواة يات ($k_\Upsilon$)، وهي نموذج أولي عقلاني للوحدات المخفية معرف كالتالي:
$$k_{b,\varepsilon}(w, x) = \frac{(w^\top x + b)^2}{\|x - w\|^2 + \varepsilon}, \quad b \ge 0, \varepsilon > 0$$
هذه النواة هي حاصل الضرب الموجه (Schur product) لمقام محاذاة متعدد الحدود $p_b(x, w) = (x^\top w + b)^2$ وبسط Inverse Multiquadric (IMQ) وهو $h_\varepsilon(x, w) = (\|x - w\|^2 + \varepsilon)^{-1}$.

تتقدم المنهجية من خلال أربعة ركائز نظرية رئيسية:

1. بنية ميرسر والعالمية: يثبت البحث أنه بالنسبة لـ $b \ge 0$، فإن النواة موجبة شبه محددة (PSD) وبالتالي هي نواة ميرسر. والأهم من ذلك، أنه بالنسبة لـ $b > 0$، فإن نواة يات تهيمن لوينر (Loewner-dominates) على نواة IMQ مُقاسة ($b^2 h_\varepsilon \preceq k_{b,\varepsilon}$). وبموجب مبرهنة الاشتمال لأرونسون، يعني هذا أن RKHS الخاص بـ يات ($\mathcal{H}_{b,\varepsilon}$) يحتوي على RKHS الخاص بـ IMQ، ويرث خصائص العالمية والتمييز الخاصة به.
2. بنية المحاذاة غير الشعاعية: على عكس النوى الشعاعية البحتة، تحتفظ ذرات يات بـ "ظل تربيعي اتجاهي" عند اللانهاية. الأثر التقاربي على طول شعاع $ru$هو$T_\infty g_\varepsilon(u) = (u^\top w)^2$، وهو مستقل عن$b$و$\varepsilon$. هذا يفتح قنوات محاذاة غير شعاعية غائبة في توسعات IMQ المحدودة، والتي تضمحل إلى الصفر عند اللانهاية.
3. الاندماج الجبري لـ IMQ: يقدم البحث برهاناً بنائياً مفاده أن أي ذرة IMQ يمكن استعادتها تماماً من ثلاث ذرات يات عبر فرق مالي من الدرجة الثانية في معامل الانحياز $b$:
   $$g_\varepsilon(\cdot; w, 3h) - 2g_\varepsilon(\cdot; w, 2h) + g_\varepsilon(\cdot; w, h) = 2h^2 k_\varepsilon^{\text{IMQ}}(\cdot, w)$$
   هذه المتطابقة حادة؛ حيث لا تكفي ذرتان لإعادة إنتاج قسم IMQ.
4. سعة RKHS المحلية للطبقة: بالنسبة لطبقة مدربة ذات $(b, \varepsilon)$ مشترك، فإن مربع معيار RKHS لتوسع نهائي $f = \sum \alpha_j k_{b,\varepsilon}(w_j, \cdot)$ يقبل تعبيراً ذا صيغة مغلقة: $\|f\|^2 = \alpha^\top K \alpha$، حيث $K$ هي مصفوفة جرام للأوزان المدربة. يسمح هذا بحد رادماخر للتعميم مدفوعاً صراحة بقطر النواة $k_{b,\varepsilon}(x, x) = (\|x\|^2 + b)^2 / \varepsilon$.

المساهمات الرئيسية

1. نواة يات: نموذج أولي عقلاني، محدود، وقابل للتدريب يوحد المحاذاة متعددة الحدود ومحلية IMQ.
2. عالمية النواة الثابتة: برهان على أن نواة يات واحدة ثابتة (مع $b>0$) هي عالمية على كل نطاق متراص، وليس مجرد عضو في عائلة عالمية.
3. الأثر البعيد الاتجاهي: تحديد ثابت هيكلي حيث تحافظ ذرات يات على أثر تربيعي غير صفري عند اللانهاية، مما يميزها عن جميع التوسعات الشعاعية المحدودة.
4. الاستعادة الجبرية لـ IMQ: متطابقة جبرية تظهر أن ذرات IMQ يمكن بناؤها تماماً من ثلاث ذرات يات (حادة عند ثلاث ذرات).
5. المعيار والحدود ذات الصيغة المغلقة: اشتقاق معيار RKHS دقيق ($\alpha^\top K \alpha$) وحد رادماخر أحادي الطبقة يعتمد صراحة على المعاملات الفائقة $b$ و $\varepsilon$ ومعيار المدخلات $\|x\|$, مما يوفر شفافية تفتقر إليها شبكات MLP القياسية.

النتائج

• الخصائص النظرية: يثبت البحث أن نويات يات موجبة شبه محددة، مميزة، وموجبة محددة تماماً لـ $b > 0$. وهي تحقق احتواء RKHS صارم $\mathcal{H}_{\text{IMQ}} \subsetneq \mathcal{H}_{b,\varepsilon}$.
• معدلات التقريب: من خلال متطابقة الفرق المالي، تنتقل أي معدل تقريب لـ IMQ إلى يات. وعلى العكس من ذلك، يوضح البحث "فجوة تعقيد العرض": يمكن لذرة يات واحدة تقريب دالة حافة تربيعية بدقة تعسفية، بينما يتطلب توسع IMQ ذو التباين المحدود عدداً أسياً من الذرات في البعد المحيط.
• حدود التعميم: يتدرج حد رادماخر المستمد كـ $B(R^2 + b)/(\sqrt{n}\sqrt{\varepsilon})$. بخلاف Gaussian RBF (قطر ثابت) أو IMQ (قطر ثابت $\varepsilon^{-1}$)، يعتمد قطر يات بشكل متعدد الحدود على $\|x\|$, مما يجعل $b$ و $\varepsilon$ أهدافاً صريحة للتنظيم (regularization).
• التشخيصات التجريبية:
  • اختبار CLIP: على ImageNet-1k مع ميزات CLIP مجمدة، حقق مصنف يات أحادي الطبقة (مراكز مدربة) دقة 73.9%، متفوقاً على نواة متعددة الحدود بحتة (72.5%) ومتغير يات مع مراكز عشوائية مجمدة (69.5%)، مما يعزل فوائد مقام IMQ وتحسين المراكز.
  • نموذج لغوي سببي: نموذج لغوي سببي بـ 261 مليون معلمة استبدل كتل MLP الخاصة بـ GELU بنماذج أولية من يات، ووصل إلى مستوى دقة خط الأساس لـ GELU (مطابق لتباين البذرة) مع تحقيق تقليل في الارتياب (perplexity) على WikiText-103 والمهام طويلة المدى. ظل معيار RKHS ذو الصيغة المغلقة قابلاً للتطبيق لكل طبقة.

الأهمية والادعاءات

يدعي البحث أن نواة يات هي أول نموذج أولي للوحدات المخفية، محدود وقابل للتدريب يمتلك في آن واحد:

1. بنية PSD/Mercer لـ $b \ge 0$.
2. عالمية النواة الثابتة لـ $b > 0$ عبر هيمنة لوينر.
3. محاذاة غير شعاعية مع أثر بعيد اتجاهي غير صفري.
4. اندماج جبري دقيق لذرات IMQ (حادة عند ثلاث ذرات).
5. معيار RKHS محلي للطبقة بصيغة مغلقة مع اعتماد صريح على المعاملات الفائقة.

يؤكد المؤلفون أنه بينما تنطبق هذه الخصائص على طبقة واحدة، فإنها لا تمتد إلى نظرية عالمية للشبكات العميقة. لا توجد نواة ميرسر مستقلة عن المعاملات تلتقط بنية جرام لمكدس يات عميق. تقتصر نظرية الطبقات العميقة على:

• السحب المشروط بالسابقة (Prefix-conditioned pullbacks): توجد هياكل RKHS صالحة إذا كانت الطبقات السابقة ثابتة.
• الاحتواء في فضاء Sobolev المحيط: المكدسات ذات العمق المحدود تقع في RKHS Sobolev ثابت، لكن حدود السعة هي نوعية وتعاني من نمو فائق الأسس في العمق.

يضع هذا العمل "يات" ليس كبديل لـ MLPs القياسية في جميع السياقات، بل كبديل راسخ نظرياً يعيد الوصل بين الوحدات العصبية ونظرية RKHS، موفراً معايير صريحة وحدود تعميم غير متوفرة لعمليات التنشيط القياسية.