ملخص تقني: آلية التعميم من الضعيف إلى القوي

بيان المشكلة

يصف التعميم من الضعيف إلى القوي (W2S) الظاهرة التي يتم فيها تمكين نموذج قوي، مُدرب مسبقاً، عند ضبطه بدقة (fine-tuning) على مخرجات نموذج أضعف ومتخصص في مهمة معينة، من تجاوز أداء النموذج الضعيف في تلك المهمة المحددة مع الاحتفاظ بقدراته الأوسع نطاقاً. وبينما أثبتت الدراسات التجريبية (مثل Burns et al., 2023) أن الضبط الدقيق الكامل (تعلم الميزات) يتفوق على الاختبار الخطي (التمثيلات الثابتة)، إلا أن التحليلات النظرية القائمة ظلت محصورة إلى حد كبير في أطر تجريدية أو نماذج ميزات خطية/عشوائية لا تستمد تعلم الميزات من عملية التحسين (optimization) نفسها.

السؤال المركزي المفتوح الذي تعالجه هذه الورقة هو ما إذا كان خوارزم "الاشتقاق المتدرج العشوائي" (SGD) متعدد الخطوات يمكنه النجاح بشكل مثبت في تعلم ميزات W2S — وتحديداً تعلم اتجاه الميزة المستهدفة مع الحفاظ على القدرات المتنوعة المدربة مسبقاً — في إعداد يشبه إلى حد كبير النماذج اللغوية الكبيرة (LLMs) المدربة مسبقاً.

المنهجية وإعداد المشكلة

يصيغ المؤلفون مفهوم W2S في سياق تعلم نموذج المكافأة باستخدام شبكات عصبية ذات طبقتين. يتضمن الإعداد ما يلي:

1. نموذج مكافأة إضافي: يتم نمذجة المكافأة الحقيقية $r^*(x)$ كمجموع لـ $K$ من مكونات المؤشر الواحد، حيث $r^*(x) = \sum_{k=1}^K \pi_k \sigma^*_k(\theta_k^\top x)$، حيث تقابل كل مهمة $k$ اتجاه ميزة محدد $\theta_k$.
2. الفضاءات الجزئية المدربة مسبقاً: تماشياً مع النتيات التجريبية التي تشير إلى أن النماذج اللغوية الكبيرة تشفر المفاهيم في فضاءات جزئية منخفضة الأبعاد، يُفترض أن النموذج القوي يمتلك معرفة مسبقة بالفضاءات الجزئية الخاصة بالمهمة $V_k$ ذات البعد $s \ll d$. النموذج القوي يعرف الفضاء الجزئي $V_k$ الذي يحتوي على $\theta_k$ ولكنه لا يعرف الاتجاه الدقيق $\theta_k$ نفسه.
3. النموذج الضعيف: شبكة عصبية صغيرة ذات طبقتين متخصصة في مهمة مستهدفة $\kappa$. يتم تدريبها لتقريب مكون المكافأة $r^*_\kappa$ وتمتلك محاذاة ميزات مع $\theta_\kappa$.
4. النموذج القوي: شبكة أكبر ذات طبقتين، حيث يتم تقسيم الخلايا العصبية إلى مجموعات تتوافق مع المهام الـ $K$. يتم تهيئتها بوضع الخلايا العصبية محلياً في الفضاءات الجزئية الخاصة بها.
5. ديناميكيات التدريب:
   • خوارزمية W2S: يتم تدريب النموذج القوي عبر SGD عبر الإنترنت (online SGD) على مدخلات مستمدة من توزيعه التوليدي الخاص به (المتركز على الفضاء الجزئي المستهدف $V_\kappa$) وتحت إشراف مخرجات النموذج الضعيف. ومن الأهمية بمكان أن مخرجات النموذج الضعيف تخضع لتحويل غير خطي ($z \mapsto z \exp(z)$) قبل استخدامها كملصق (label).
   • الضبط الدقيق القياسي (SFT - خط الأساس): للمقارنة، يتم تدريب النموذج القوي عبر SGD عبر الإنترنت على مدخلات متناحية (isotropic inputs) ($x \sim N(0, I_d)$) مع ملصقات مباشرة من دالة المكافأة الحقيقية $r^*_\kappa$.

المساهمات الرئيسية والنتائج النظرية

1. استخراج الميزات عبر SGD متعدد الخطوات (النظرية 1)

تقدم الورقة أول ضمان تقارب لـ SGD متعدد الخطوات في نظام تعلم الميزات لـ W2S.

• الآلية: يعمل التحويل غير الخطي لإشارة المعلم على تقليل "الأس التوليدي" الفعال لمشكلة التعلم. بينما قد يكون لدالة الربط المستهدفة $\sigma^*_\kappa$ أس معلوماتي عالٍ $p > 2$، فإن التحويل يسمح للنموذج القوي بتعلم اتجاه الميزة $\theta_\kappa$ بتعقيد عينة يعتمد على الأس التوليدي (الذي يصبح 2 حتى للحدود متعددة الحدود الزوجية).
• تعقيد العينة: يحقق النموذج القوي محاذاة مع الميزة المستهدفة $\theta_\kappa$ بتعقيد عينة قدره $\tilde{O}(s^{3/2})$، حيث $s$ هو بُعد الفضاء الجزئي للمهمة. وهذا أقل بكثير من تعقيد $\tilde{O}(d^{p/2} s^{(p-2)/2})$ المطلوب للنموذج الضعيف لتعلم نفس الميزة من الصفر، وأقل من تعقيد $\tilde{O}(d^{p-1})$ الخاص بـ SFT القياسي تحت أخذ العينات المتناحي.
• الأولوية للفضاء الجزئي: تعتمد النتيجة على كون توزيع مدخلات النموذج القوي مركزاً على الفضاء الجزئي المستهدف $V_\kappa$ (المعبر عنه بـ $\lambda_\kappa \approx 1$)، مما يقلل فعلياً من بُعد التعلم من $d$ إلى $s$.

2. حفظ الميزات (الفرضية 2)

مساهمة حاسمة هي إثبات أن W2S يحافظ على الميزات المدربة مسبقاً للمهام خارج الهدف ($k \neq \kappa$).

• التنظيم الضمني: يعمل الجمع بين التوزيع التوليدي للنموذج القوي (المركز على $V_\kappa$) والتحويل غير الخطي للمعلم كمنظم ضمني.
• شرط الحفظ: يتم الحفاظ على الميزات خارج الهدف بشرط تخصيص عدد خلايا عصبية أكثر للمهام خارج الهدف (أو حمل أوزان مكافأة أصغر)، وهو ما يتم قياسه بواسطة معامل التمركز $\chi_k = N_\kappa \pi_k / (N_k \pi_\kappa)$.
• النتيجة: يتم الحفاظ على محاذاة الخلايا العصبية خارج الهدف مع اتجاهاتها الأصلية $\theta_k$، مع بقاء الانخفاض في المحاذاة محدوداً بمصطلحات تتعلق بالتداخل مع التهيئة وضجيج SGD، بدلاً من النسيان الكارثي.

3. النسيان الكارثي في SFT القياسي (النظرية 2)

على النقيض من W2S، تثبت الورقة أن الضبط الدقيق الخاضع للإشراف القياسي (SFT) يؤدي إلى نسيان كارثي للميزات خارج الهدف عندما تشترك تلك الميزات في الاتجاهية مع المهمة المستهدفة.

• الآلية: تحت أخذ العينات المتناحي، تنتشر إشارة التدرج إلى جميع الخلايا العصبية. إذا كان التداخل الأولي بين خلية عصبية خارج الهدف واتجاه الهدف $\theta_\kappa$ غير مهمل (تحديداً إذا كان $\theta_k^\top \theta_\kappa \gtrsim s^{-1/2}$)، فإن الخلايا العصبية خارج الهدف تتقارب مع $\theta_\kappa$ بشكل أسرع من تقارب خلايا المهمة المستهدفة مع $\theta_\kappa$.
• النتيجة: تُفقد الميزة المدربة مسبقاً $\theta_k$ قبل تعلم المهمة المستهدفة بالكامل، مما يؤدي إلى تدمير القدرات العامة للنموذج.

التجارب العددية

يتحقق المؤلفون من نتائجهم النظرية باستخدام بيانات اصطناعية ذات بُعد مدخل $d=1024$ وبُعد فضاء جزئي $s=128$.

• أداء W2S: تؤكد التجارب أن النموذج القوي يتعلم اتجاه الميزة المستهدفة ($\theta_1$) مع الحفاظ على المحاذاة مع الميزة خارج الهدف ($\theta_2$)، بما يتوافق مع النظرية 1 والفرضية 2.
• فشل SFT: في إعداد SFT، تتقارب الخلايا العصبية خارج الهدف مع اتجاه المهمة المستهدفة $\theta_1$ قبل أن تتقارب خلايا المهمة المستهدفة بالكامل، مما يؤكد التنبؤ النظري بالنسيان الكارثي (النظرية 2).

الأهمية والادعاءات

تدعي الورقة أنها أرست أساساً نظرياً لتعميم W2S في نظام تعلم الميزات، متجاوزة التحليلات السابقة التي افترضت تمثيلات ثابتة أو نماذج خطية.

• آلية الاستخراج: توضح أن W2S لا يقوم مجرد "غرس" قدرات جديدة، بل "يستخرج" بفعالية المعرفة الكامنة من خلال الاستفادة من الفضاءات الجزئية المدربة مسبقاً والتحويلات غير الخطية لتقليل تعقيد العينة.
• الميزة على SFT: يقدم العمل تفسيراً نظرياً لسبب تفوق W2S في الحفاظ على القدرات العامة. ويعزو ذلك إلى الاختلاف الخوارزمي: حيث يقوم W2S باستعلام النموذج الضعيف بناءً على التوزيع التوليدي للنموذج القوي (المركز على الفضاء الجزئي للمهمة)، بينما يعتمد SFT على أخذ العينات المتناحي الذي يسبب تداخلاً بين الميزات المترابطة.
• القيود: يشير المؤلفون إلى أن تحليلهم يركز على محاذاة الميزات في الطبقة الأولى ولا يحلل رسمياً تعلم الطبقة الثانية (تحديثات الأوزان لطبقة المخرجات). كما يقرون بأن تقليل الأس التوليدي يتطلب أن تكون دالة الربط المستهدفة متعددة حدود زوجية.

باختاًصار، تجادل الورقة بأن W2S ينجح لأن بنية النموذج القوي المدربة مسبقاً (التمركز في الفضاء الجزئي) مقترنة ببروتوكول التدريب المحدد (التوزيع التوليدي + التحويل غير الخطي) تسمح له بتعلم الميزة المستهدفة بكفاءة دون تعطيل الميزات المتعامدة أو ضعيفة الارتباط التي تشفر معرفته الأوسع.