ملخص تقني: التذكر عبر إعادة البناء

بيان المشكلة

تتناول الورقة البحثية التعلم المتزايد للمجالات (Domain Incremental Learning - DIL)، وهو تحدٍ محدد ضمن التعلم المستمر (CL) حيث يجب على النماذج التكيف مع تسلسل من مجالات البيانات المتطورة وغير المستقرة دون الوصول إلى هوية المجال في وقت الاختبار. وبينما تسعى أساليب DIL التقليدية جاهدة لمنع النسيان الكارثي (فقدان الأداء في المجالات السابقة عند تعلم مجالات جديدة)، تفترض هذه الدراسة أنه في سيناريوهات البيانات المتدفقة في العالم الحقيقي (مثل الفيديو)، تكون البيانات مرتبطة زمنياً بشكل كبير، وتكون التحولات في المجالات غالباً تدريجية.

يتحدى المؤلفون الرؤية التقليدية التي ترى ضرى تجنب النسيان بشكل صارم. وبدلاً من ذلك، يجادلون بأنه بالنسبة للبيانات المتدفقة، يمكن أن يكون النموذج الذي يتخصص بكثافة في المجال الحالي (مما يؤدي إلى نسيان مؤقت للمجالات الأخرى) مفيداً، بشرط أن يكون قادراً على الاستعادة السريعة ("التذكر") للمجالات السابقة عند ظهورها مجدداً. المشكلة الجوهرية هي كيفية الاستفادة من التدريب في وقت الاختبار (Test-Time Training - TTT) على فيديوهات متدفقة لاختيار المعرفة الخاصة بالمجال المناسب ديناميكياً دون الحاجة إلى تسميات صريحة للمجال.

المنهجية

تستخدم الطريقة المقترحة، "التذكر عبر إعادة البناء" (Remembering by Reconstructing)، بنية ثنائية الرأس مدمجة مع تقنية التكيف منخفض الرتبة (LoRA) والتدريب في وقت الاختبار.

1. بنية النموذج

يتكون النموذج من مشفر خلفي مشترك $E$ ورأسين موازيين لفك التشفير:

• رأس المهمة الرئيسية ($M$): يقوم بالمهمة النهائية (مثل التعرف على الأفعال أو التجزئة الدلالية).
• رأس MAE ذاتي الإشراف ($D$): فرع من "المشفر التلقائي للقناع" (Masked Autoencoder - MAE) مدرب على إعادة بناء قطع المدخلات المقنعة. يعمل هذا الفرع كمسبار للتكيف مع المجال.

2. مرحلة التدريب (خارج الإنترنت/أوفلاين)

• التهيئة: يتم تهيئة النموذج باستخدام نسخة MAE مدربة مسبقاً. يتم ضبط المشفر $E$ وفك تشفير MAE $D$ بدقة جنباً إلى جنب مع رأس المهمة الرئيسية $M$ على المهمة الأولية $T_0$.
• وصلات LoRA الخاصة بالمجال: لكل مجال لاحق $T_i$، يتم تجميد المعلمات الأساسية $\theta_0$. يتم إنشاء وصلات LoRA جديدة قابلة للتدريب ($\Delta_i$) لجميع الطبقات الخطية في النموذج.
• التخصص: يتم تدريب هذه الوصلات حصرياً على بيانات المجال الجديد باستخدام خسارة مشتركة لمهمة المهمة الرئيسية ومهمة إعادة بناء MAE. تؤدي هذه العملية طبيعياً إلى إحداث النسيان في المجالات الأخرى مع تخصص الـ LoRA، مما يؤثر على كل من الرأس الرئيسي ورأس MAE.

3. مرحلة الاستدلال (التدريب في وقت الاختبار عبر الإنترنت/أونلاين)

في وقت الاختبار، يواجه النموذج تدفقاً مستمراً من البيانات. الهدف هو تحديد أي LoRA (أو أي مزيج من الـ LoRAs) يتوافق بشكل أفضل مع المدخلات الحالية.

• الجمع الموزون: بدلاً من اختيار LoRA واحد أو دمج الـ LoRAs بشكل عشوائي، يحافظ النموذج على مجموع موزون لجميع $N$ من الـ LoRAs المدربة:
  $$\theta_{TT} = \theta_0 + \sum_{k=1}^{N} c_k \Delta_k$$
  حيث أن $c = \{c_1, ..., c_N\}$ هي معاملات وزن قابلة للتعلم.
• التكيف المدفوع بإعادة البناء: يتم تحسين المعاملات $c$ أونلاين باستخدام تدفق البيانات الواردة:
  $$c = \arg \min_c \mathcal{L}_{\text{MAE}}(F_{\text{MAE}}(x_{\text{mask}}), x)$$
  بما أن رأس MAE عانى أيضاً من النسيان خلال مرحلة التدريب المتزايد، فإن تقليل خسارة إعادة بناء MAE على المدخلات الحالية يجبر النموذج على "عكس" هذا النسيان، مما يوجه الأوزان فعلياً نحو الـ LoRA المتخصص للمجال الحالي.
• اختيار Softmax: يتم تمرير المعاملات المحسنة عبر دالة softmax (مع درجة حرارة $\tau$) قبل تطبيقها على رأس المهمة الرئيسية لضمان الاختيار الواثق لأكثر LoRA صلة.
• الكفاءة: يتم تحديث مجموعة المعاملات الصغيرة $c$ فقط، وليس النموذج بالكامل. تحدث التحديثات بشكل دوري (على سبيل المثال، كل $n$ إطار) باستخدام نافذة منزلقة من الإطارات الأخيرة، مما يجعل النهج فعالاً حوسبياً للتدفق.

المساهمات الرئيسية

1. تحول جذري في مفهوم النسيان: تقترح الورقة تبني النسيان كآلية للتخصص، والاعتماد على TTT لاستعادة المعرفة المفقودة ديناميكياً، بدلاً من محاولة منعها تماماً.
2. رأس مزدوج لـ TTT في سياق DIL: تقدم تطبيقاً مبتكراً لـ TTT في إطار DIL، باستخدام خسارة إعادة بناء MAE كوسيط لتحديد المجال الحالي وضبط أوزان LoRA وفقاً لذلك.
3. التكيف مع التدفق: تم تصميم الطريقة خصيصاً لتدفقات الفيديو حيث تكون الإطارات المتتالية مرتبطة، مما يسمح بالتكيف السريع مع التحولات التدريجية في المجالات دون الحاجة لمعالجة كل إطار للتحديثات.
4. معيار جديد: قدم المؤلفون Domains-Campus، وهو مجموعة بيانات تجزئة دلالية تتميز بتدفقات فيديو من منظور الشخص الأول مع انتقالات مجال تدريجية وبيئات وسيطة غير مرئية، مما يعالج نقص مثل هذه المعايير في الأدبيات الحالية.

النتائج التجريبية

تم تقييم الطريقة في مهمتين:

• التعرف على أفعال الفيديو: باستخدام مجموعة بيانات NTU RGB+D120 مع إعداد متزايد للمجالات يتضمن زوايا كاميرا ومواقع مختلفة.
• التجزئة الدلالية: باستخدام مجموعة بيانات Domains-Campus الجديدة و Places365 للتدريب المسبق.

النتائج الرئيسية:

• الأداء: حققت الطريقة المقترحة أعلى متوسط دقة (أو درجة Dice) بين جميع النماذج المرجعية، بما في ذلك Replay و DRIFT و LoRA merging.
• النسيان: أظهرت نسياناً أقل بكثير ($F$) مقارنة بالضبط الدقيق الساذج وأداءً تنافسياً مع أساليب التعلم المستمر الحديثة.
• التفوق على التدريب المشترك: في مجموعة بيانات Domains-Campus، تفوقت الطريقة على نموذج "الضبط الدقيق المشترك" (حيث يتم تدريب جميع المهام في وقت واحد). ويعزو المؤلفون ذلك إلى الطبيعة "الخبيرة" لـ LoRAs الفردية، والتي يمكن أن تتفوق على نموذج عام واحد في مجالاتها المحددة.
• دراسات الاستئصال (Ablation Studies): أثبتت الطريقة قوتها تجاه التباينات في المعلمات الفائقة. فقد عملت بفعالية مع أحجام دفعات صغيرة وفترات تحديث (مثل التحديث كل 16 إطاراً)، وبشكل مفاجئ، حتى مع حجم نافذة قدره 1 (التحديث بناءً على الإطار الحالي فقط).

الأهمية والادعاءات

تدعي الورقة أن نهجها يقدم منظوراً أكثر واقعية للتعلم المستمر للتطبيقات في العالم الحقيقي. فمن خلال الاعتراف بأن البيانات تصل كتدفق مستمر وأن النسيان المؤقت يمكن أن يكون مفيداً للتركيز على الحاضر، تستفيد الطريقة من الاستمرارية الزمنية والمحلية لتحقيق تكيف سريع.

يؤكد المؤلفون أنه بينما تعد الطريقة فعالة للغاية لبيانات التدفق، إلا أنها تفرض عبئاً حسابياً أثناء الاستدلال بسبب خطوة TTT. ويقترحون أن العمل المستقبلي يمكن أن يركز على تقليل عدد الـ LoRAs (عبر الدمج أو التقليم) أو تطوير محفزات أكثر كفاءة لتحديد متى تكون التحديثات ضرورية، بدلاً من إجراء تحديثات دورية.

تخلص الورقة إلى أن الجمع بين الضبط الفعال للمعلمات الخاص بالمجال (LoRA) والتكيف الذاتي عبر الإنترنت (TTT) يوفر إطاراً قوياً للتعامل مع تدفقات البيانات المتطورة وغير المستقرة في تطبيقات الفيديو.