ملخص تقني: BiCo – محاذاة الإحداثيات ثنائية الخطية لنقل متجهات المهام دون الحاجة لإعادة التدريب

بيان المشكلة

يتضمن النموذج السائد في التعلم الآلي الحديث تكييف النماذج مسبقة التدريب واسعة النطاق مع مهام متخصصة لاحقة عبر الضبط الدقيق (fine-tuning). ومع ذلك، مع توسع عائلات النماذج مسبقة التدريب بظهور متغيرات جديدة تختلف في الحجم، أو بيانات التدريب المسبق، أو وصفات التدريب، تصبح الخبرة المكتسبة من خلال الضبط الدقيق مرتبطة بالبارامترية المحددة للنموذج الأصلي. وبناءً على ذلك، عندما يتم إصدار نسخة جديدة من النموذج، لا يمكن إعادة استخدام المعرفة المكتسبة من الضبط الدقيق بشكل مباشر، مما يستلزم عمليات ضبط دقيق مكلفة ومتكررة.

تواجه الأساليب الحالية لنقل هذه "الخبرة المتمثلة في متجه المهمة" (المُعرف كفرق البارامترات $\tau = \theta_{ft} - \theta_{pre}$) عبر نماذج مختلفة قيوداً كبيرة. فالأساليب التي تعتمد على محاذاة فضاء البارامترات (مثل re-basin عبر التناظر التبدلي) تتطلب توافقاً هيكلياً صارماً وأبعاداً متطابقة. أما الطرق الحديثة التي لا تتطلب تدريباً وتستخدم إشارات خاصة بالمهمة مثل التنشيطات (activations) أو التدرجات (gradients) (مثل THESEUS وGradFix)، فهي توفر توافقات جزئية ولكنها لا تزال تظهر فجوة أداء كبيرة مقارنة بالضبط الدقيق المباشر للنموذج المستهدف. ويكمن التحدي الجوهري في نقل متجهات المهام عبر نماذج تختلف في العرض، والعمق، وتكوينات التدريب المسبق دون تحديثات إضافية للبارامترات.

المنهجية: BiCo

يقترح المؤلفون BiCo (محاذاة الإحداثيات ثنائية الخطية)، وهو إطار عمل لا يتطلب تدريباً يعيد صياغة نقل متجه المهمة كمسألة محاذاة في فضاء مزدوج.

1. الرؤية النظرية: التكوين ثنائي الخطية لمتجهات المهام

يعيد المؤلفون النظر في التكوين الميكانيكي لمتجه المهمة. ومن خلال تحليل قاعدة تحديث الانحدار الاشتقاقي (gradient descent)، يوضحون أن متجه المهمة $\tau^{(l)}$ للطبقة $l$ هو تراكم للتفاعلات ثنائية الخطية بين تنشيطات جانب المدخلات ($x_t$) وتدرجات جانب المخرجات ($g_t$) عبر مسار الضبط الدقيق:
$$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$$
تشير هذه الصيغة إلى أن متجه المهمة ليس مجرد إزاحة في البارامترات، بل هو اقتران بين فضاءين إحداثيين متميزين: فضاء تنشيط المدخلات وفضاء تدرج المخرجات. ويجادل المؤلفون بأن النقل الناجح يتطلب محاذاة كلا الفضائين للحفاظ على الهندسة الأساسية للتحديث، بدلاً من محاذاة التنشيطات فقط أو التدرجات فقط.

2. إطار عمل BiCo

يقوم BiCo بتقدير خرائط بروكروستس المتعامدة (orthogonal Procrustes mappings) لكل من فضاء المدخلات وفضاء المخرات باستخدام مجموعة معايرة صغيرة ($N$ من العينات) وعملية تمرير أمامي-خلفي واحدة عبر النماذج مسبقة التدريب المجمدة. لا يتم تحديث أي بارامترات للنموذج المستهدف.

• المحاذاة من جانب المدخلات: يفترض الأسلوب أن التنشيطات مسبقة التدريب تعمل كبدائل فعالة لمسار التنشيطات. يقوم بحساب التباين المشترك (cross-covariance) بين تنشيطات المصدر مسبقة التدريب ($\bar{X}_{A,pre}$) وتنشيطات الهدف مسبقة التدريب ($\bar{X}_{B,pre}$). ويتم اشتقاق حل بروكروستس المتعامد ($R_{in}$) عبر تحليل القيم المفردة (SVD) لتعيين إحداثيات مدخلات المصدر إلى فضاء مدخلات الهدف مع الحفاظ على الهندسة العلاقاتية (المقاسة بـ Centered Kernel Alignment, CKA).
• المحاذاة من جانب المخرجات: وبالمثل، يحسب الأسلوب التدرجات بالنسبة لمخرجات الطبقة عند التهيئة مسبقة التدريب ($\bar{G}_{A,pre}$ و $\bar{G}_{B,pre}$). ويتم تقدير حل بروكروستس متعامد ثانٍ ($R_{out}$) لمحاذاة إحداثيات تدرج المخرجات. هذه الخطوة حاسمة لأن أبعاد المخرجات غالباً ما تختلف بين نماذج المصدر والهدف، وقد تكون الاتجاهات "الحساسة للمهمة" مشفرة في قواعد مختلفة.
• نقل متجه المهمة: يتم تحويل متجه مهمة المصدر $\tau_A^{(l)}$ إلى التحديث المتوافق مع الهدف $\hat{\tau}_B^{(l)}$ عن طريق تطبيق الخرائط المتعلمة على كلا جانبي البنية ثنائية الخطية:
  $$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$$
  ويتم تحديث النموذج المستهدف النهائي كـ $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$.

3. التعامل مع عدم التطابق الهيكلي

• عدم تطابق العرض: تتعامل صيغة بروكروستس بشكل طبيعي مع الحالات التي تختلف فيها أبعاد المدخلات/المخرجات (مثل النقل من ضيق إلى عريض أو من عريض إلى ضيق) عن طريق إيجاد الإسقاط المتعامد الأمثل.
• عدم تطابق العمق: بالنسبة للنماذج ذات عدد طبقات مختلف، يتم استخدام استراتيجية بسيطة لمطابقة مؤشر الطبقة المنفصل، حيث يتم ربط الطبقة $j$ في الهدف بأقرب طبقة $i(j)$ في المصدر.

المساهمات الرئيسية

1. إعادة النظر في تكوين متجه المهمة: تثبت الورقة أن متجهات المهام هي تراكمات للتفاعلات ثنائية الخطية بين تنشيطات المدخلات وتدرجات المخرات، مما يدعم نهج المحاذاة في الفضاء المزدوج بدلاً من محاذاة الفضاء الواحد أو محاذاة البارامترات.
2. إطار عمل BiCo: تقديم طريقة لا تتطلب تدريباً تستخدم محاذاة بروكروستس المتعامدة على كل من تنشيطات المدخلات وتدرجات المخرجات لنقل متجهات المهام. وهي تتطلب فقط عملية تمرير أمامي-خلفي واحدة على مجموعة معايرة صغيرة ولا تتضمن أي تحديثات للبارامترات أو ضبطاً للمعلمات الفائقة (hyperparameters).
3. التحقق التجريبي: أظهرت التجارب المكثفة عبر اختبارات الرؤية الحاسوبية (8-Vision benchmark) واختبارات معالجة اللغات الطبيعية (GLUE suite) أن BiCo يتفوق باستمرار على النماذج المرجعية الأخرى التي لا تتطلب تدريباً (مثل THESEUS و GradFix و TransFusion) ويقلص فجوة الأداء مقارنة بالضبط الدقيق المباشر، حتى عبر النماذج ذات العروض والأعماق وتوزيعات التدريب المسبق المختلفة.

النتائج

• تدرج العرض (Width Scaling): عند النقل من ViT-B/16 إلى ViT-B/16-plus الأكثر عرضاً، يتفوق BiCo بشكل كبير على الحشو الساذج (naive padding) و THESEUS. باستخدام 100 عينة معايرة فقط، يحقق BiCo متوسط زيادة في الدقة قدرها +18.88% فوق خط الأساس (zero-shot baseline)، مقارنة بـ +3.81% لـ THESEUS.
• البنية المتطابقة: حتى عندما تتطابق البنى ولكن تختلف بيانات التدريب المسبق (من Datacomp-XL إلى LAION-2B)، فإن النقل الساذج يؤدي إلى تدهور الأداء. يحسن BiCo متوسط الدقة بمقدار +17.81% فوق خط الأساس (zero-shot) مع 5 عينات لكل فئة، متفوقاً بشكل كبير على GradFix و THESEUS.
• تدرج العمق والعرض: في السيناريوهات الصعبة التي تتضمن عدم تطابق في العمق والعرض معاً (من ViT-B/16 إلى ViT-L/14)، يحسن BiCo خط الأساس (zero-shot) بمقدار +12.89%، مما يظهر القدرة على التعميم الهيكلي.
• التعميم في معالجة اللغات الطبيعية (NLP): عند تطبيقه على نماذج T5 (من T5-3B إلى T5-Large)، أظهر BiCo تحسينات قوية في دقة الاختبار الخطي (linear probing) عبر مهام GLUE، حيث يتوسع بفعالية مع عدد عينات المعايرة.
• دراسات الاستئصال (Ablation Studies): يؤكد التحليل أن محاذاة جانب المدخلات فقط أو جانب المخرجات فقط غير كافية. إن الجمع بين كليهما، وتحديداً استخدام التدرجات لجانب المخرجات، أمر بالغ الأهمية للأداء. بل إن المحاذاة من جانب المدخلات فقط قد تؤدي إلى تدهور الأداء إلى ما دون خط الأساس (zero-shot) في الطبقات العميقة.

الأهمية والادعاءات

تدعي الورقة أن BiCo يعالج عدم كفاءة إعادة الضبط الدقيق للنماذج من خلال تمكين إعادة الاستخدام المباشر للخبرة الخاصة بالمهمة عبر متغيرات النماذج المختلفة. ومن خلال تفسير متجهات المهام كتفاعلات ثنائية الخطية، يرى المؤلفون أن الحفاظ على هندسة كل من فضاء تنشيط المدخلات وفضاء تدرج المخرات أمر ضروري للنقل الفعال.

تكمن أهمية هذا العمل في قدرته على:

• تقليل العبء الحسابي: القضاء على الحاجة إلى الضبط الدقيق المتكرر للنماذج المستهدفة، حيث يتطلب فقط عملية تمرير أمامي-خلفي واحدة للمعايرة.
• تمكين إعادة الاستخدام القابل للتوسع: تسهيل نقل المعرفة عبر النماذج ذات العروض والأعماق وتكوينات التدريب المسبق المختلفة، وهو أمر بالغ الأهمية مع تطور عائلات النماذج التأسيسية.
• سد فجوة الأداء: تقليص الفجوة بشكل كبير بين النقل الذي لا يتطلب تدريباً والضبط الدقيق المباشر، مما يوفر بديلاً عملياً وسهلاً (plug-and-play) لتكييف النماذج.

يحافظ المؤلفون على التواضع فيما يتعلق بالقيود، مشيرين إلى أن الطريقة تفترض وجود هياكل داخلية متوافقة بما يكفي (على سبيل المثال، ضمن نفس عائلة الـ backbone)، وأن هناك فجوة صغيرة متبقية للضبط الدقيق المباشر، مما يشير إلى أن محاذاة الإحداثيات الخطية وحدها قد لا تلتقط جميع المعلومات الخاصة بالمهمة. كما يلاحظون أن الطريقة لا تقوم بطبيعتها بتصحيح الانحيازات الموجودة في متجه مهمة المصدر أو بيانات المعايرة.