ملخص تقني: ParaX - تكييف نماذج الرؤية باستخدام توجيه المعلمات الديناميكي

1. بيان المشكلة

يهدف الضبط الدقيق كفء المعلمات (PEFT) إلى تكييف نماذج الرؤية سابقة التدريب مع المهام اللاحقة باستخدام حد أدنى من المعلمات القابلة للتدريب مع الحفاظ على أداء يقارب الضبط الدقيق الكامل. وبينما نجحت هذه الطريقة في مهام التصنيف، إلا أن أساليب PEFT الحالية تواجه صعوبة في مهام التنبؤ الكثيف المعقدة (مثل اكتشاف الأشياء، والتجزئة الدلالية). تحدد الورقة مشكلتين رئيسيتين في المنهجيات الحالية القائمة على المهايئات (مثل AdaptFormer وMona):

1. نقص التمثيل: غالبًا ما تستخدم المهايئات الحالية نمذجة منخفضة الرتبة غير معتمدة على المدخلات. فهي تتعلم تحويلات ثابتة يجب أن تعمل عالميًا لجميع المدخلات، مما يؤدي إلى الفشل في دعم التكييفات المعتمدة على المدخلات الضرورية لالتقاط الاعتمادات المكانية المعقدة في التنبؤات الكثيفة. ينتج عن ذلك مجال استقبال فعال (ERF) أصغر مقارنة بالضبط الدقيق الكامل.
2. تكرار الميزات: المهايئات المدمجة في طبقات الشبكة المختلفة تكون عادةً معزولة، وتفتقر إلى التفاعل عبر الطبقات. يؤدي هذا إلى تمثيلات مكررة حيث تلتقط الطبقات المختلفة معلومات متشابهة، كما يتضح من تشابه محاذاة النواة المركزية (CKA) العالي بين الطبقات في الأساليب الحالية.

2. المنهجية: ParaX

يقترح المؤلفون ParaX، وهو أسلوب جديد للضبط الدقيق كفء المعلمات (PEFT) مبني على بنية بسيطة لخليط الخبراء (MoE). بدلاً من تعلم أوزان مهايئ معزولة لكل طبقة، يقدم ParaX مركز خبير مشترك وآلية توجيه معلمات ديناميكي.

2.1 مركز الخبير المشترك

يبني ParaX مستودعًا كبيرًا ومشتركًا من مصفوفات المعلمات القابلة للتدريب (الخبراء) لكل مرحلة من مراحل شبكة الرؤية الهرمية.

• تحويلات القنوات: يحتوي المركز على أزواج من المصفوفات ($E_A, E_B$) للإسقاط السفلي والإسقاط العلوي.
• التحويلات المكانية: لتعزيز النمذجة المكانية، يتضمن المركز مجموعات من المصفوفات ($S_A, S_B, S_C$) المصممة لتوليد نوى التلافيف بعمق متعددة القوالب.
• السعة: حجم مركز الخبراء ($M$) والبعد الكامن ($\hat{C}$) هما معلمات فائقة تتحكم في إجمالي عدد المعلمات.

2.2 توجيه المعلمات الديناميكي

خلال عملية التمرير الأمامي، يقوم كل نموذج ParaX بتوليد مصفوفات أوزان ديناميكية مصممة خصيصًا للمدخل الحالي وموقع الوحدة:

1. آلية التوجيه: تقوم شبكة موجهة خفيفة الوزن بمعالجة ميزة المدخلات (عبر متوسط التجميع العالمي وطبقات خطية) لإنتاج ناقلات بوابات ديناميكية ($G$).
2. توليد الأوزان الديناميكية: تقوم ناقلات البوابات هذه بتجميع مصفوفات المعلمات من مركز الخبير المشترك بشكل انتقائي.
   • للإسقاط القنوي: $W_1 = G_1 \times E_A$ و $W_2 = G_2 \times E_B$.
   • للخلط المكاني: تولد الموجه ناقلات بوابات ديناميكية لدمج مصفوفات الخبراء في نوى تلافيف ديناميكية بعمق ($D2Convs$).
3. الاعتماد على المدخلات: على عكس المهايئات الثابتة، فإن مصفوفات الأوزان الناتجة تعتمد على المدخلات، مما يسمح للنموذج بتخصيص تمثيلات الميزات بناءً على تغيرات مدخلات محددة.

2.3 الخلط المكاني متعدد المقاييس الديناميكي

يدمج ParaX النمذجة المكانية متعددة المقاييس عن طريق تكديس التلافيف الدينمايكية بعمق بالتتابع مع زيادة أحجام النوى (مثل 3، 5، 7). يتم تجميع هذه المخرجات عبر وحدة التجميع المتغير مكانيًا (SA)، والتي تستخدم الانتباه المكاني لإعادة معايرة الميزات ديناميكيًا عبر المقاييس. هذا التصميم يعتمد صراحةً على المدخلات، على عكس الأوزان الثابتة وغير المعتمدة على المدخلات المستخدمة في أساليب مثل Mona.

3. المساهمات الرئيسية

• توجيه المعلمات الديناميكي: تقدم الورقة آلية حيث تعمل مصفوفات المعلمات القابلة للتدريب كـ "خبراء" يتم تجميعهم ديناميكيًا عبر ناقلات البوابات. هذا يسهل التكيف منخفض الرتبة بطريقة تعتمد على المدخلات، مما يولد تمثيلات ميزات أكثر قوة وتخصيصًا.
• مركز الخبير المشترك: من خلال مشاركة نفس مركز الخبير عبر طبقات الشبكة المتعددة، يعزز ParaX التفاعل الضمني للميزات عبر الطبقات. هذا ينوع تدفق المعلومات ويقلل من تكرار الميزات دون الحاجة إلى اتصالات صريحة عبر الطبقات.
• النمذجة المكانية المعتمدة على المدخلات: يمدد الأسلوب التوجيه الديناميكي ليشمل التحويلات المكانية، مما يولد نوى تلافيف متعددة المقاييس خاصة بالمدخلات، وبالتالي يعالج نقص التمثيل في المهايئات الثابتة في مهام التنبؤ الكثيف.

4. النتائج التجريبية

قيم المؤلفون ParaX على مهام التعرف البصري المتنوعة باستخدام هياكل Swin وConvNeXt، مقارنة بالضبط الدقيق الكامل وأساليب PEFT الحديثة (VPT, LoRA, AdaptFormer, Mona, إلخ).

• التجزئة الدلالية (ADE20K): باستخدام Swin-L، حقق ParaX نسبة 52.0% mIoU، متفوقًا على الضبط الدقيق الكامل (51.2%) بنسبة 0.8% مع استخدام أقل من 4% من المعلمات القابلة للتدريب. كما تفوق على خط الأساس القوي Mona بنسبة 0.4%.
• اكتشاف الأشياء والتجزئة الجزئية (COCO2017): باستخدام ConvNeXt-L، حسن ParaX قيم APb/APm بمقدار 1.4%/1.6% عن الضبط الدقيق الكامل و0.6%/0.4% عن Mona.
• التجزئة البانوبتيكية (COCO2017): حسن ParaX قيمة PQ بمقدار 1.7% و2.0% مقارنة بـ AdaptFormer عند دمجه مع Swin-B وConvNeXt-B على التوالي.
• تصنيف الصور: في مجموعة بيانات ImageNet-R (التي تحتوي على تحول نطاق كبير)، تفوق ParaX على Mona بنسبة 1.6% في دقة top-1، مما أظهر متانة تجاه تحولات النطاق.
• التعميم: أظهر الأسلوب أداءً فائقًا على بنيات ViT، والنماذج القائمة على Mamba (VMamba)، وتقدير وضعية الجسم البشري، وتجزئة الاستشعار عن بعد.

5. الأهمية والادعاءات

تدعي الورقة أن ParaX يعالج القيود الأساسية للنمذجة غير المعتمدة على المدخلات وتكرار الميزات في أساليب PEFT الحالية. من خلال الاستفادة من مركز خبير مشترك وتوجيه ديناميكي، يحقق ParaX ما يلي:

1. قدرة تمثيل فائقة: تسمح طبيعة الأوزان المعتمدة على المدخلات للنموذج بالتقاط الاعتمادات طويلة المدى والسياقات المكانية المعقدة بشكل أكثر فعالية، وهو ما يتضح من مجالات الاستقبال الفعالة (ERFs) الأكبر التي تضاهي الضبط الدقيق الكامل.
2. تعزيز تنوع الميزات: يسهل مركز الخبير المشترك التفاعلات الضمنية عبر الطبقات، مما يقلل التكرار ويسمح للطبقات باستخراج ميزات أكثر تمثيلًا.
3. الكفاءة: على الرغم من التوجيه الديناميكي والتلافيف متعددة المقاييس، يحافظ ParaX على كفاءة حوسبية تنافسية ويقلل بشكل كبير من تكاليف التخزين (يتطلب أقل من 4% من المعلمات القابلة للتدريب) مقارنة بالحفاظ على نماذج مضبوطة دقيقًا بالكامل لمهام متعددة.

يخلص المؤلفون إلى أن ParaX يضع معيارًا جديدًا للأداء في مهام التنبؤ الكثيف، مما يثبت أن توليد المعلمات الدينمايكي المعتمد على المدخلات أمر بالغ الأهمية لسد الفجوة في الأداء بين PEFT والضبط الدقيق الكامل.