Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers

ملخص تقني: حدود التعميم التكيفية مع الطيف للنماذج التحويلية (Transformers) العميقة المدربة

بيان المشكلة
لا يزال فهم سبب تعميم النماذج التحويلية (Transformers) المفرطة في البارامترات بشكل جيد تحدياً جوهياً في نظرية التعلم الآلي الحديثة. وبينما نجحت حدود التعميم القائمة على المعايير (Norm-based bounds) الحالية (مثل: Edelman et al., 2022; Trauger and Tewari, 2024) في إزالة الاعتماد متعدد الحدود الصريح على الأبعاد المخفية وأطوال الرموز (Tokens)، إلا أنها تعاني من قصورين رئيسيين عند تطبيقها على النماذج العميقة والمدربة:

1. تراكم العمق (Depth Accumulation): غالباً ما تظهر هذه الحدود اعتماداً غير ملائم أسياً أو متعدد حدود عالي الدرجة على عمق الشبكة ($L$) بسبب عوامل الانتشار عبر الطبقات (التي تتدرج كـ $C^L$ أو $L^{3/2}$).
2. قيود المعيار الثابتة (Fixed Norm Constraints): تعتمد هذه الحدود على أنصاف أقطار معيار ثابتة (مثل معايير $(2,1)$ أو $(1,1)$ المختلطة) يتم تحديدها مسبقاً. وتنمو هذه الأنصاف عادةً مع البعد المخفي ($N$)، وتفشل في التكيف مع الهياكل الطيفية غير المتجانسة الملاحظة في الأوزان المدربة، حيث تظهر مصفوفات الانتباه غالباً هياكل ذات رتب منخفضة (Low-rank) تختلف عن مصفوفات التغذية الأمامية (Feedforward).

المنهجية
يستنتج المؤلفون حدود تعميم تكيفية مع الطيف (Spectrum-adaptive post hoc generalization bounds) للنماذج التحويلية متعددة الطبقات. وتشمل الابتكارات المنهجية الجوهرية ما يلي:

• التكيف البعدي (Post Hoc Adaptivity): على عكس الحدود التقليدية حيث تكون معاملات التعقيد ثابتة قبل التدريب، يسمح هذا النهج باختيار مؤشرات شاتن (Schatten indices $p$) بعد ملاحظة الأوزان المدربة. ويمكن اختيار هذه المؤشرات بشكل منفصل لكل نوع من المصفوفات (Query-Key، Value، Feedforward) ولكل طبقة.
• الاستكمال البارامتري (Parametric Interpolation): يوسع البحث تقنيات الاستكمال البارامتري (Ledent et al., 2025) لتشمل فئات الدوال ذات القيم المصفوفية. ومن خلال تفكيك مصفوفات الأوزان إلى جزء رائد منخفض الرتبة وجزء ذيل متحكم فيه بمعيار فروبينيوس (Frobenius-controlled tail)، يستنتج المؤلفون حدود أعداد التغطية (Covering number bounds) التي تستكمل بين أنظمة الرتبة ($p=0$) والأنظمة القائمة على المعيار ($p=2$).
• مقاييس التعقيد الطيفي: يتم التعبير عن الحدود بدلالة كميات شاتن الطبقية ($\|W\|_{s,p}$) والمعيار الطيفي ($\|W\|_2$). ويُعرَّف مقياس التعقيد كقيمة صغرى (Infimum) عبر جميع مؤشرات شاتن المقبولة $p \in [0, 2]^{3L}$.
• تحليل عدد التغطية (Covering Number Analysis): يقوم الإثبات ببناء أعداد التغطية للنموذج التحولي تحت متري $\|\cdot\|_{2\to\infty}$. ويستخدم حجة التقشير الثنائية (Dyadic peeling argument) فوق أنصاف أقطار كميات شاتن المتحققة لضمان تحقق الحد باحتمالية عالية بشكل موحد عبر جميع خيارات $p$، مما يتيح الاختيار البعدي (Post hoc selection).

المساهمات الرئيسية

1. النظرية 3.1 (الحدود التكيفية مع الطيف): توفر النتيجة الأساسية حداً لفجوة التعميم يتضمن حد التعقيد كقيمة صغرى عبر مؤشرات شاتن. وهذا يسمح للحد باختيار أفضل مقايضة تلقائياً بين التعقيد الطيفي، والبعد المخفي، والعمق لكل مصفوفة متعلمة محددة.
2. النظرية 4.1 (الاستكمال البارامتري للقيم المصفوفية): امتداد تقني يوفر حدود أعداد التغطية للدوال الخطية ذات القيم المصفوفية تحت قيود معيار طيفي وكمية شاتن متزامنة. ويعمل هذا كحجر بناء لتحليل النموذج التحولي.
3. المقارنة النظرية: يوضح البحث أنه في الأنظمة التمثيلية (قيود معيار فروبينيوس، والرتبة، والمعيار الطيفي)، تحسن الحدود المقترحة من الاعتماد على العمق مقارنة بالنماذج المرجعية القائمة على المعيار. وتحديداً، يتحسن الاعتماد على العمق من $L^{3/ la 2}$ (في Edelman et al., 2022) إلى $\sqrt{L}$ أو أفضل، اعتماداً على البنية الطيفية.
4. التحقق التجريبي: باستخدام نقاط فحص (Checkpoints) من نماذج BERT Miniatures، قام المؤلفون ببناء "وكلاء متوافقين مع BERT" (BERT-adapted proxies) لعوامل التعقيد الرائدة. وقد لاحظوا أن الوكلاء المستمدين من حدودهم التكيفية مع الطيف ينمو بشكل أبطأ بكثير مع زيادة العمق ($L$) والبعد المخفي ($N$) مقارم بالوكلاء المستمدين من Edelman et al. (2022).

النتائج

• تدرج العمق والبعد: يظهر التحليل النظري أنه من خلال اختيار $p$ أصغر (أقرب إلى الرتبة)، يتم تقليل عامل الانتشار الطبقي وعوامل تعدد الحدود للعمق. وتؤكد النتائج التجريبية على نقاط فحص BERT أن عوامل التعقيد الرائدة للحدود المقترحة تتدرج بشكل أكثر ملاءمة مع زيادة $L$ و $N$ مقارنة بنظيراتها القائمة على المعيار.
• عدم تجانس الأوزان: يكشف التحليل التجريبي أنه بينما تكون المصفوفات المرتبطة بالانتباه (Query-Key، Value) ذات رتبة منخفضة تماماً (بسبب قيود بُعد الرأس)، فإن مصفوفات التغذية الأمامية تظهر اضمحلالاً طيفياً أبطأ. ومع ذلك، حتى بالنسبة لهذه المصفوفات، فإن الاختيار البعدي لـ $p=0$ (القائم على الرتبة) غالباً ما يعطي أضيق حد لأن تقليل المصطلح الطيفي يفوق عقوبة عوامل التدرج المعمارية.
• الاعتماد على طول الرمز (Token Length): تحتفظ الحدود باعتماد لوغاريتمي على طول الرمز ($T$)، وهو ما يتوافق مع التطورات الأخيرة، رغم أن البحث يشير إلى أن هذا ينشأ من حجة التغطية من النوع $\ell_2$ المستخدمة في النهج الطيفي، على عكس حجج النوع $\ell_1$ المستخدمة لإزالة اعتماد الرموز في أعمال أخرى.

الأهمية والادعاءات
يدعي البحث تقديم منظور قائم على التعقيد حول كيفية انعكاس البنية الطيفية للنماذج التحويلية المدربة في تحليلات التعميم. وتكمن أهميته في:

• التكيفية: تجاوز قيود المعيار العالمية الثابتة للسماح بمقاييس تعقيد تتكيف مع ملفات القيم المفردة للأوزان المدربة.
• الاستكمال: تقديم جسر نظري بين أنظمة الرتبة وأنظمة المعيار، وإثبات أن مقياس التعقيد الأمثل هو مقياس يعتمد على البيانات ويمكن اختياره بعدياً.
• حدود أضيق للنماذج العميقة: توفير آلية لتخفيف الحدود الفضفاضة التي غالباً ما ترتبط بالشبكات العميقة من خلال استغلال الطبيعة منخفضة الرتبة أو القابلة للضغط للتمثيلات المتعلمة.

يشير المؤلفون بتواضع إلى أن تحليلهم غير مرتبط بالتدريب (Training-agnostic)، حيث يعتمد فقط على الكميات الطيفية البعدية بدلاً من مسار التحسين أو التنظيم الضمني. ويقترحون أن العمل المستقبى يمكن أن يدمج هياكل التنشيط المعتمدة على البيانات وديناميكيات التحسين للحصول على حدود أكثر دقة.