Unlocking the Potential of Continual Model Merging: An ODE Perspective

صياغة المشكلة

تتناول الورقة البحثية مسألة الدمج المستمر للنماذج (CMM)، وهي حالة تصل فيها النماذج المتكيفة مع المهام بشكل متتابع، ويجب تحديث نموذج واحد منشور بشكل تكراري لدمج قدرات جديدة دون الوصول إلى بيانات التدريب الأصلية. بينما يقوم دمج النماذج القياسي بدمج عدة نماذج في وقت واحد، تواجه عملية الـ CMM تحدي النسيان الكارثي (catastrophic forgetting) والتخصيص غير المتسق للأداء.

تعامل طرق الـ CMM الحالية كل عملية دمج كعملية جبرية ثابتة (مثل متوسط الأوزان أو حسابات متجه المهمة) تربط النموذج الحالي $\Psi_k$ والنموذج القادم $\psi_{k+1}$ مباشرة بنقطة نهاية جديدة $\Psi_{k+1}$. ويرى المؤلفون أن هذه الرؤية التي تركز على "نقطة النهاية فقط" تعاني من قصورين حرجين:

1. الافتقار إلى التحكم في المسار: إنها تتجاهل المسار الذي يتم اتخاذه في فضاء المعلمات (parameter space). فإذا مر التحديث عبر مناطق ذات خسارة عالية (حواجز الخسارة/loss barriers)، فقد يعاني النموذج الناتج من تدهور وظيفي أو تداخل مع السلوكيات المتعلمة سابقاً.
2. عدم مرونة المقايضة بين الاستقرار واللدونة (Stability-Plasticity): توفر هذه الطريقة تحكماً محدوداً في مقدار المعرفة التاريخية التي يتم الحفاظ عليها مقابل مقدار الخبرة الجديدة في المهمة المكتسبة. وتبرز هذه المشكلة بشكل خاص في سيناريوهات المنفعة غير المتجانسة (heterogeneous utility scenarios)، حيث تمتلك المهام ترددات أو أوزان أهمية مختلفة؛ إذ تفشل القواعد الثابتة غالباً في تخصيص السعة بشكل مناسب، مما يؤدي إلى أداء دون المستوى على مستوى النظام.

المنهجية: الدمج المدفوع بالمعادلات التفاضلية العادية (ODE-M)

مدفوعين بمفهوم الاتصال النمطي (mode connectivity) — وهو الملاحظة التي تشير إلى أن النماذج المدربة بشكل مستقل يمكن غالباً ربطها بمسارات ذات خسارة منخفضة — يقترح المؤلفون النظر إلى الدمج المستمر ليس كقفزة منفصلة، بل كـ انتقال مستمر محكوم في فضاء المعلمات. وقد قدموا إطار عمل ODE-M، الذي يولد مساراً رابطاً عبر مجال سرعة يعتمد على الزمن.

1. منظور المسار وحواجز الخسرة

بدلاً من الاستيفاء الخطي (linear interpolation)، يبني ODE-M مساراً مستمراً $\theta(t)$ من النموذج الحالي $\theta_0$ إلى النموذج القادم $\theta_1$. والهدف هو تقليل حاجز الخسارة (loss barrier) على طول هذا المسار، والذي يُعرف بأقصى خسارة زائدة يتم مواجهتها بالنسبة للاستيفاء الخطي لخسائر نقاط النهاية.

2. مجال السرعة المصحح (Rectified Velocity Field)

الآلية الجوهرية هي بناء مجال سرعة مدرك للحواجز.

• المجال الأساسي: يتم تعريف مجال متجه أساسي $u_t(\theta) = \alpha(t)(\theta_1 - \theta)$ لدفع النموذج نحو الهدف.
• تحلل التدرج: في كل خطوة، يتم تحليل السرعة إلى مكون محاذٍ لتدرج الخسارة ($u_\parallel$) ومكون متعامد معه ($u_\perp$).
• التصحيح التكيفي: يعمل عامل تكيفي $\gamma(\theta, t) \in [0, 1]$ على تعديل المكون المحاذي للتدرج:
  • إذا أدت الحركة نحو الهدف إلى تقليل الخسارة أو الحفاظ عليها ($\langle g_t, u_t \rangle \le 0$)، يتم تطبيق السرعة الكاملة ($\gamma=1$).
  • إذا أدت الحركة إلى زيادة الخسارة ($\langle g_t, u_t \rangle > 0$)، يتم تخفيف المكون لضمان بقاء زيادة الخسارة ضمن ميزانية محددة ($\Delta L = L(\theta_1) - L(\theta_0)$). وتحديداً، $\gamma = \text{clip}(\frac{\Delta L}{\langle g_t, u_t \rangle}, 0, 1)$.
• التكامل: يتم توليد المسار عن طريق تكامل مجال السرعة المصحح $v_t(\theta) = u_\perp + \gamma u_\parallel$ باستخدام تكامل أويلر (Euler integration) على مجموعة معايرة صغيرة.

3. جدولة الوقت المدركة للمنفعة (Utility-Aware Time Scheduling)

للتحكم في المقايضة بين الاستقرار واللدونة، تختار الطريقة وقت تشغيل $t_k$ على طول المسار بدلاً من التكامل حتى نقطة النهاية الكاملة ($t=1$). يتم تحديد $t_k$ بناءً على المنفعة النسبية للمهمة القادمة:
$$t_k = \frac{w_k}{\sum_{i=1}^k w_i}$$
حيث $w_k$ هو وزن المنفعة للمهمة رقم $k$. وفي الإعدادات الموحدة، يقلل هذا إلى $t_k = 1/k$، مما يقلل طبيعياً من مساهمة المهام الجديدة مع نمو التدفق، وبالتالي يحافظ على المزيد من المعرفة التاريخية.

المساهمات الرئيسية

1. صياغة المسار: تعيد الورقة صياغة الـ CMM كمسألة بحث عن مسار، مما يوسع مفهوم حواجز الخسارة من الاستيفاء الخطي إلى المسارات الرابطة العامة.
2. ديناميكيات مدركة للحواجز: تقترح استراتيجية دمج مبتكرة مدفوعة بالمعادلات التفاضلية العادية باستخدام مجال سرعة مصحح ينظم الحركة التي تزيد من الخسارة عبر تغذية راجعة من الدرجة الأولى خفيفة الوزن، مما يتجنب مناطق الخسارة العالية دون الحاجة إلى إعادة تدريب كاملة.
3. التحكم الصريح: من خلال اختيار نقاط التشغيل على طول المسار بناءً على أوزان المنفعة، توفر الطريقة آلية صريحة لموازنة المعرفة التاريخية المحتفظ بها وخبرة المهمة القادمة.

النتائج التجريبية

قيم المؤلفون طريقة ODE-M على نماذج CLIP ViT backbones (ViT-B/32, ViT-B/16, ViT-L/14) عبر تدفقات مهام بطول 8، 14، و20، باستخدام مجموعات بيانات من مجموعة FusionBench.

• الأداء: حققت ODE-M أداءً رائدًا (SOTA) مقارنة بالنماذج المرجعية القوية (بما في ذلك Continual Task Arithmetic، وContinual Ties-Merging، وOPCM) من حيث متوسط الدقة (ACC) والنقل الخلفي (BWT). على سبيل المثال، في ViT-B/32 مع 8 مهام، رفعت ODE-M الدقة (ACC) من 75.5 (في OPCM) إلى 79.6.
• المنفعة غير المتجانسة: في ظل عدم انتظام أهمية المهام، حققت ODE-M باستمرار أعلى دقة موزونة بالمنفعة ($ACC_w$)، مما يثبت قدرتها على التحسين لأولويات مهام محددة بشكل أفضل من الطرق التي تُحسن المتوسطات الكلية الموحدة.
• المتانة: أظهرت دراسات الاستئصال (Ablation studies) أن الطريقة متينة تجاه حجم مجموعة المعايرة (تعمل جيداً مع 512 عينة فقط) وحجم خطوة التكامل العددي.
• الكفاءة: التكاليف الحسابية لكل عملية دمج عملية (مثلاً ~124 ثانية لـ ViT-B/32)، حيث يهيمن التكامل العددي وحسابات التدرج على مجموعة المعايرة، وهو أمر ضئيل مقارنة بإعادة التدريب الكاملة.

الأهمية والادعاءات

تدعي الورقة أن ODE-M تفتح آفاق دمج النماذج المستمر من خلال نقل النموذج من التحديثات الجبرية الثابتة إلى الانتقالات المستمرة المحكومة. ومن خلال بناء مسارات تحترم مشهد الخسارة وتنظيم سرعة التكامل بناءً على منفعة المهمة، تنجح ODE-M بفعالية في الحد من النسيان والتعامل مع أهمية المهام غير المتجانسة.

يضع المؤلفون هذا العمل كخطوة نحو تخصيص النماذج بشكل أكثر قابلية للتوسع والتحكم، مما يقلل من الأعباء الهندسية والحسابية لصيانة الأنظمة متعددة المهام. كما يقرون بالقيود، مثل الحاجة إلى مجموعة معايرة لحساب التدرجات والتركيز الحالي على مهام التصنيف البصري، مشيرين إلى أن العمل المستقبلي سيستكشف نماذج لغوية أكبر واستراتيجيات تكامل أكثر كفاءة.