🤖 machine learning

TRACER: Persistent Regularization for Robust Multimodal Finetuning

تقدم الورقة البحثية TRACER، وهي طريقة ضبط دقيق متعدد الوسائط قوية تعالج مشكلتي النسيان الكارثي وانهيار المعلم من خلال توظيف معلم يعتمد على المتوسط المتحرك الموزون (WMA) لضمان التنظيم المستمر، مما يحسن بشكل كبير من دقة التوزيع خارج النطاق والمعايرة.

المؤلفون الأصليون: Hesam Asadollahzadeh, Feng Liu, Christopher Leckie, Sarah M. Erfani

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hesam Asadollahzadeh, Feng Liu, Christopher Leckie, Sarah M. Erfani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً، واسع الاطلاع، سافر حول العالم (هذا هو النموذج المدرب مسبقاً)، وهو يعرف كل شيء عن العالم: الفن، والعلوم، والتاريخ، والطبيعة. لقد قرأ هذا الأمين ملايين الكتب ويمكنه التعرف على أي شيء تقريباً في لمح البصر.

الآن، قمت بتوظيف هذا الأمين ليعمل في مكتبة محددة للغاية وضيقة النطاق، لا تحتوي إلا على كتب حول الأطعمة الحارة. أنت تريد منه أن يصبح خبيراً في الأطعمة الحارة.

المشكلة: الأمين "النسّاء"

إذا قلت للأمين ببساطة، "انسَ كل شيء آخر، وتعلم فقط عن الأطعمة الحارة"، فسيقوم بعمل رائع في التعرف على الفلفل الحار. ولكن، بسبب تركيزه الشديد على المهمة الجديدة، يبدأ في نسيان معرفته القديمة. إذا سألته فجأة، "ما هي اللوحة؟" أو "ما هي القطة؟"، فقد يواجه صعوبة أو يعطي إجابة خاطئة. في الورقة البحثية، يُسمى هذا النسيان الكارثي (Catastrophic Forgetting). يصبح النموذج بارعاً في المهمة الجديدة ولكنه سيئ في كونه "عاماً"، مما يجعله هشاً عندما يواجه مواقف غريبة أو غير متوقعة (خارج التوزيع - Out-of-Distribution).

الحلول القديمة: الموجهون "الجامدون" و"المنزلقون"

حاول الباحثون إصلاح ذلك من خلال منح الأمين مُوجّهاً يساعده على تذكر الأشياء القديمة أثناء تعلمه للأشياء الجديدة.

الموجه الجامد (Static Mentor): تخيل مُوجّهاً عبارة عن تمثال مجمد للأمين كما كان في اليوم الأول. يحاول الطالب البقاء قريباً من هذا التمثال.
- العيب: التمثال صلب جداً. إذا احتاج الطالب إلى التحرك قليلاً لتعلم مهمة "الأطعمة الحارة" الجديدة، فإن التمثال يجذبه بقوة للعودة. ينتهي الأمر بالطالب عالقاً في المنتصف، لم يتقن المهمة الجديدة تماماً ولم يحافظ على المهمة القديمة تماماً.
الموجه المنزلق (Slippery Mentor - EMA): تخيل مُوجّهاً هو "متوسط متحرك" لخطوات الطالب الأخيرة. بينما يصبح الطالب أفضل في المهمة الجديدة، يتحرك الموجه بجانبه تماماً.
- العيب: بحلول الوقت الذي يصبح فيه الطالب خبيراً، يكون الموجه قد تحرك ليصبح قريباً جداً منه لدرجة أنهما أصبحا شخصاً واحداً تقريباً. يتوقف الموجه عن تقديم أي "سحب" أو توجيه مفيد. ويُترك الطالب وحيداً ليتخصص بشكل مفرط وينسى المعرفة القديمة مرة أخرى.

الحل الجديد: TRACER (مُوجّه "المسار")

ابتكر المؤلفون طريقة جديدة تسمى TRACR. فكر في TRACER كـ مُوجّه متوسط متحرك مرجح (WMA Mentor).

بدلاً من مجرد النظر إلى موقع الطالب الحالي أو ماضيه المجمد، ينظر هذا الموجه إلى الرحلة بأكملها التي قطعها الطالب حتى الآن.

كيف يعمل: يتذكر الموجه ذات "النسخة" التي كان عليها الأمين في "اليوم الأول" (المعرفة العامة القوية)، و الخطوات الأخيرة التي اتخذها لتعلم المهمة الجديدة. وهو يستخدم "عدسة" رياضية خاصة (تسمى نواة بيتا - Beta kernel) تضمن أن الموجه لا ينسى أبداً بداية الرحلة، حتى مع تقدم الطالب في المسار.
النتيجة: يوفر الموجه "جذباً" مستمراً ولطيفاً نحو ذات "الأمين" الأصلية والقوية. هذا الجذب قوي بما يكفي لمنع الأمين من نسيان الأشياء القديمة، ولكنه مرن بما يكفي ليتعلم مهمة الأطعمة الحارة الجديدة بشكل مثالي.

النهج "الجراحي"

تستخدم الورقة بعض الرياضيات الثقيلة لتثبت أن هذه الطريقة تعمل مثل عملية جراحية:

الجزء "الموازي" (Parallel): عندما يحتاج الأمين لتعلم شيء جديد (مثل الأطعمة الحارة)، تسمح له هذه الطريقة بتغيير دماغه في تلك المنطقة المحددة.
الجزء "المتعامد" (Orthogonal): عندما يتعلق الأمر بأشياء غير متعلقة بالأطعمة الحارة (مثل التعرف على القطط أو اللوحات)، تعمل الطريقة كدرع، حيث تحافظ على تلك الأجزاء من الدماغ كما كانت تماماً.

لماذا هذا مهم (في سياق الورقة البحثية)

اختبر المؤلفون هذه الطريقة على CLIP، وهو نموذج ذكاء اصطناعي شهير يفهم الصور والنصوص معاً. ووجدوا أنه:

لا ينسى: يحافظ النموذج على قدرته على التعرف على الأشياء العامة (مثل القطط، السيارات، أو الفنون) حتى بعد تدريبه على مهام محددة.
يتعامل مع المفاجآت: عندما يرى النموذج صوراً غريبة (مثل قطة مرسومة بأسلوب الرسم التخطيطي أو صورة بفلتر معين)، فإنه لا يزال يعمل جيداً. تفشل الطرق الأخرى هنا لأنها تعاني من "الفرط في التخصيص" (Overfitting) لبيانات التدريب.
مستقر: على عكس الطرق الأخرى التي تتطلب توقيتاً دقيقاً ومعقداً لتعمل، يعمل TRACER بشكل جيد بغض النظر عن عدد مرات تحديث الموجه.

ملخص التشبيه

إذا كان تدريب الذكاء الاصطناعي يشبه تعليم طالب لامتحان نهائي:

التدريب العادي: يدرس الطالب مواضيع الامتحان فقط وينسى كل الأشياء الأخرى التي تعلمها في المدرسة.
الطرق القديمة: المعلم إما يقف ثابتاً (جامد جداً) أو يمشي مع الطالب (منزلق جداً)، مما يؤدي إلى فقدان المعرفة العامة.
TRACER: المعلم يمشي مع الطالب ولكنه يشير باستمرار إلى دفتر ملاحظات الطالب الأصلي الذي يحتوي على المعرفة العامة، مما يضمن تعلم مادة الامتحان دون فقدان عقله.

تخلص الورقة إلى أن "الترسيخ المتين عبر المسار" (TRACER) هو طريقة مثبتة رياضياً لجعل نماذج الذكاء الاصطناعي أكثر ذكاءً في المهام الجديدة دون جعلها أقل ذكاءً في كل شيء آخر.

ملخص تقني: TRACER – التنظيم المستمر لضبط الأداء متعدد الوسائط المتين

1. بيان المشكلة

تمتلك النماذج متعددة الوسائط سابقة التدريب، مثل CLIP، قدرات نقل مذهلة في حالة "التعلم من الصفر" (zero-shot) مستمدة من التدريب المسبق واسع النطاق. ومع ذلك، فإن تكييف هذه النماذج مع المهام اللاحقة عبر الضبط الدقيق القياسي (standard finetuning) غالبًا ما يؤدي إلى النسيان الكارثي (catastrophic forgetting)، حيث يضحي النموذج بالمتانة العامة للأغراض العامة (OOD robustness) من أجل تحسين الأنماط الخاصة بالمهمة. وبينما توجد استراتيجيات متنوعة للتخفيف من حدة هذه المقايضة (مثل متوسط الأوزان، وتنظيم L2، والتقطير الذاتي)، إلا أنها غالبًا ما تعاني من قيود جوهرية.

ثمة قيد حرج، تم تحديده في هذا العمل ولم يتم الالتفات إليه بشكل كافٍ، وهو سلوك معلم "المتوسط المتحرك الأسي" (EMA) المستخدم في الضبط الدقيق المتين. فمع اقتراب نموذج الطالب من المعلم أثناء تقارب التدريب، ينهار معلم EMA على الطالب، مما يتسبب في تلاشي إشارة التنظيم في اللحظة التي تكون فيها المتانة ضد التوزيعات خارج النطاق (OOD) في أمس الحاجة إليها. علاوة على ذلك، تفرض طرق التقطير الذاتي الثابتة "تحيز المرساة" (anchor bias) عن طريق تثبيت المعلم عند أوزان التدريب المسبق الأولية، مما يمنع النموذج من التقارب الكامل نحو الحل الأمثل للمهمة داخل الفضاء الجزئي للمهمة.

2. المنهجية: TRACER

يقترح المؤلفون TRACER (التثبيت القوي للمسار لتنظيم المشفر التبايني)، وهو إطار عمل للضبط الدقيق يستند إلى تحليل نظري جديد للتعلم التبايني.

2.1 الإطار النظري

يطور البحث إطارًا نظريًا للضبط الدقيق التبايني متعدد الوسائط من خلال خطية مشفرات الصور والنصوص. وتشمل الرؤى النظرية الرئيسية ما يلي:

إعادة صياغة مصفوفة الهدف التبايني: تمت إعادة صياغة هدف التعلم التبايني متعدد الوسائط الخطي (MMCL) كمسألة مربعات صغرى للمصفوفات مدفوعة بـ "مصفوفة هدف تبايني" ( $Y_{FT}$ ). يسمح هذا بإيجاد حلول مغلقة لعدة استراتيجيات ضبط دقيق.
التفكيك الهندسي: يكشف التحليل أن الضبط الدقيق يتضمن سلوكين هندسيين متميزين:
1. الحفاظ على التعامد: الحفاظ على المعرفة سابقة التدريب في الاتجاهات المتعامدة مع بيانات الضبط الدقيق.
2. خلط الفضاء الجزئي للمهمة: تكييف أو خلط المعرفة داخل الفضاء الجزئي الذي تغطيه بيانات الضبط الدقيق.
قيود الطرق الموجودة:
- الضبط الدقيق المباشر يتخلص من المعرفة السابقة في الفضاء الجزئي للمهمة.
- تنظيم L2 يخلق مزيجًا معقدًا وغير دقيق من الأوزان القديمة والجديدة.
- التقطير الذاتي الثابت يحافظ على المعرفة المتعامدة ولكنه يدخل تحيزًا في الفضاء الجزئي للمهمة، مما يمنع التقارب نحو الحل الأمثل للمهمة.
- معلم EMA يعاني من انهيار الإشارة مع تقارب المعلم والطالب.

2.2 معلم WMA

لمعالجة انهيار معلم EMA وتحيز المعلم الثابت، يقدم TRACER معلم المتوسط المتحرك الموزون (WMA).

الآلية: على عكس EMA، الذي يزن التاريخ بناءً على الحداثة، يقوم معلم WMA بوزن مسار الطالب بأكمله بناءً على نواة زمنية موحدة (مثل توزيع بيتا).
التنظيم المستمر: من خلال استخدام نواة تضع وزنًا على كل من الحالات المبكرة (سابقة التدريب) والمتأخرة (المتقاربة)، يحافظ معلم WMA على قوة تنظيم مستمرة عبر آفاق تدريب محدودة. فهو يمنع الفجوة بين المعلم والطالب من التلاشي مبكرًا جدًا.
التقارب الخالي من التحيز: يثبت المؤلفون أن معلم WMA يمكّن الطالب من التقارب نحو حل المهمة ذو المعيار الأدنى (minimum-norm task solution) داخل الفضاء الجزئي للمهمة (مما يزيل تحيز المرساة الثابتة) مع الحفاظ بصرامة على المعرفة في الفضاء المتعامد.

2.3 هدف التدريب

يجمع TRACER بين فقدان InfoNCE المتماثل القياسي وفقدان التقطير الذاتي الديناميكي الموجه بواسطة معلم WMA:
$L_{TRACER} = L_{MMCL} + \lambda_{SD} L_{SD-WMA}$
إن فقدان التقطير ( $L_{SD-WMA}$ ) هو مزيج من أربعة منظورات لتشغيل المبادئ الهندسية:

تقطير الميزات (FD): محاذاة تضمينات الطالب والمعلم.
التقطير العلاقي التبايني (CRD): مطابقة توزيعات التشابه داخل الدفعة (batch-wise).
التعلم التبايني التفاعلي (ICL): تشجيع المحاذاة بين الوسائط للطالب والمعلم.
تقطير المعرفة المتقاطع (Cross-KD): محاذاة لوجيتات (logits) الوسائط المتقاطعة لنقل البنية العلاقية.

3. المساهمات الرئيسية

إعادة الصياغة النظرية: تقديم "مصفوفة الهدف التبايني" لإعادة صياغة الفقد الخطي التبايني كمسألة مربعات صغرى، مما سمح بالوصول إلى حلول مغلقة وتفكيك هندسي لاستراتيجيات الضبط الدقيق.
تحديد انهيار المعلم: إثبات أن معلم EMA القياسي يعاني من انهيار متأصل، مما يضعف التنظيم تمامًا عندما تكون المتانة ضد التوزيعات خارج النطاق (OOD) في أضعف حالاتها.
معلم WMA والتقارب الخالي من التحيز: إثبات أن معلم المتوسط المتحرك الموزون يحافظ على إشارة تنظيم مستمرة ويحقق تقاربًا خاليًا من التحيز في الفضاء الجزئي للمهمة مع الحفاظ على المعرفة المتعامدة.
تنفيذ TRACER: تطبيق هذه المبادئ في طريقة عملية تجمع بين التعلم التبايني والتقطير متعدد المنظور الموجه بواسطة WMA.

4. النتائج التجريبية

قيم المؤلفون TRACER على نماذج CLIP (ViT-B/16, ViT-L/14, ResNet50) التي تم ضبطها بدقة على ImageNet-1K واختبارها على خمسة انزياحات توزيع OOD (IN-V2, IN-R, IN-A, IN-S, ObjectNet).

أداء OOD: تفوق TRACER باستمرار على الخطوط المرجعية (baselines) الحديثة (بما في ذلك LP-FT, FLYP, Lipsum-FT, CaRot, و Model Stock) في متوسط دقة OOD. على سبيل المثال، في ViT-B/16، حقق TRACER دقة OOD متوسطة بلغت 64.07% مقارلة بـ 62.54% لـ CaRot و 59.91% لـ LP-FT.
المعايرة: حقق TRACER أدنى خطأ معايرة متوقع (ECE) عبر مجموعات بيانات OOD، مما يشير إلى تحسن الموثوقية الاحتمالية تحت انزياحات التوزيع.
الحفاظ الهندسي: أظهر تحليل تشابه التمثيل على مستوى الطبقات (CKA و SVVA) أنه بينما تسبب الضبط الدقيق المباشر في انحراف كبير في الطبقات العميقة (النسيان)، حافظ TRACER على تشابه أكبر من 0.97 مع النموذج السابق للتدريب عبر جميع الطبقات.
دراسات الاستبعاد (Ablation Studies): أكدت الدراسات الشاملة أن:
- مكونات التقطير متعددة المنظور متكاملة.
- قوة التقطير المتوسطة ( $\lambda_{SD} \approx 1.0-1.0$ ) تقدم أفضل مقايضة بين ID و OOD.
- الطريقة قوية تجاه ترددات تحديث المعلم (على عكس CaRot، الذي يتطلب جدولة هشة).
- الوزن الشبيه بـ Arcsine (توزيع Beta(0.5, 0.5)) هو الأكثر فعالية للنواة.
الكفاءة: يعد TRACER أكثر كفاءة حاسوبيًا من CaRot، حيث يتجنب تكلفة التنظيم الطيفي البالغة $O(d^3)$ ، مع عبء إضافي قدره $O(B^2)$ فقط للتقطير.

5. الأهمية والادعاءات

يزعم البحث أن TRACER يسد الفجوة بين هندسة الضبط الدقيق والتصميم العملي للطرق المتينة. ومن خلال الإثبات النظري بأن التنظيم المساري باستخدام معلم WMA يمنع انهيار إشارة التنظيم، تقدم الطريقة حلاً مبدئيًا للنسيان الكارثي في النماذج متعددة الوسائط.

يؤكد المؤلفون أن عملهم هو عمل دفاعي بحت، يهدف إلى تعزيز موثوقية النماذج التأسيسية في التطبيقات الواقعية حيث قد تختلف المدخلات عن بيانات التدريب (مثل التصوير الطبي، والأنظمة ذاتية القيادة). وهم يصرحون بوضوح أن الطريقة لا تسرع القدرات الضارة بل تعمل على تخفيف الإفراط في التخصيص (overfitting) وتحسين التعميم. التحليل النظري مطور حاليًا في نظام خطي، مع اقتراح أعمال مستقبلية للتوسع في إعدادات Neural Tangent Kernel (NTK) والميزات العشوائية للنماذج غير الخطية الأكبر.