💬 NLP

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

تقترح الورقة البحثية AWARe، وهي طريقة لضبط النماذج بدقة تخفف من حدة النسيان الكارثي في النماذج اللغوية الكبيرة متعددة الوسائط من خلال تجميد المعلمات الحرجة للمعرفة السابقة ديناميكيًا بناءً على أنماط التنشيط، مما يحافظ على القدرات السابقة مع تحقيق أداء متفوق في المهام اللاحقة دون تعديل بنيات النماذج.

المؤلفون الأصليون: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

نُشر 2026-08-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقًا آليًا عبقريًا وفائق الذكاء، قضى سنوات في قراءة كل كتاب في المكتبة وتأمل كل لوحة في العالم. هذا الروبوت، وهو نموذج لغوي كبير متعدد الوسائط (MLLM)، مذهل في فهم الصور والكلمات معًا. لكن الجزء الصعب هو أنه إذا حاولت تعليم هذا الروبوت مهارة جديدة ومحددة — مثل كيفية حل لعبة ألغاز أو كتابة قصيدة عن قطة معينة — فإنه غالبًا ما ينسى كل ما عرفه سابقًا. الأمر يشبه أن تتعلم عزف أغنية جديدة على البيانو بتركيز شدم شديد لدرجة أنك تنسى فجأة كيف تربط حذاءك. يُسمى هذا "النسيان" بـ "النسيان الكارثي" (Catastrophic Forgetting)، وهو يمثل صداعًا كبيرًا للعلماء الذين يريدون الحفاظ على نماذج الذكاء الاصطناعي هذه مفيدة وواسعة المعرفة أثناء تعلم أشياء جديدة.

الطريقة المبتكرة التي تعالجها هذه الورقة البحثية تسمى AWARe. فكر في دماغ الروبوت كمدينة ضخمة بها مليارات العمال الصغار (النيورونات/الخلايا العصبية) الذين يقومون بوظائف مختلفة. عندما يتعلم الروبوت شيئًا جديدًا، فإنه عادة ما يطلب من جميع العمال تغيير عاداتهم، مما يسبب فوضى ويجعله ينسى وظائفه القديمة. تقترح AWARe نهجًا أذكى: بدلًا من طلب التغيير من الجميع، تستمع إلى العمال لترى من منهم "يصرخ" بأعلى صوت (ينشط أكثر) عندما ينظر الروبوت إلى مهامه القديمة المألوفة. ثم تخبر أولئك العمال المشغولين تحديدًا: "ابقوا كما أنتم تمامًا! استمروا في أداء وظيفتكم القديمة". أما العمال الأقل انشغالًا والأكثر هدوءًا، فيُسمح لهم فقط بتغيير عاداتهم لتعلم المهمة الجديدة. بهذه الطريقة، يتعلم الروبوت المهارة الجديدة دون فقدان ذكرياته القديمة.

المشكلة: خلل "الاستبدال" (Overwrite)

النماذج اللغوية الكبيرة متعددة الوسائط تشبه الطلاب الخارقين الذين تخرجوا بالفعل من جامعة ضخمة من الصور والنصوص. يمكنهم التفكير، والشرح، والدردشة حول أي شيء تقريبًا. ولكن عندما نحاول "ضبطها بدقة" (Fine-tuning) — أي تعليمها وظيفة جديدة ومحددة مثل تحديد الحالات الطبية أو الإجابة على أسئلة حول لعبة فيديو معينة — فإنها غالبًا ما تعاني من النسيان الكارثي.

تخيل أنك تحاول تعلم حركة رقص جديدة. إذا مارستها بقوة لدرجة أنك تنسى كيف تمشي، فهذا هو النسيان الكارثي. في عالم الذكاء الاصطناعي، يحدث هذا لأن عملية تعلم المهمة الجديدة تتضمن تحديث "أوزان" النموذج الداخلية (وهي المقابض والأزرار التي تتحكم في طريقة تفكيره). عندما يقوم النموذج بتعديل هذه المقابض للمهمة الجديدة، فإنه يعبث بالخطأ بالمقابض التي كانت تدعم معرفته القديمة، مما يؤدي إلى انهيار مهاراته القديمة.

الحل: AWARe (الاحتفاظ التكيفي الموزون بالتنشيط)

يقترح المؤلفون طريقة تسمى AWARe لإصلاح ذلك. بدلًا من تغيير الدماغ بأكاء، تعمل AWARe مثل أمين مكتبة ذكي يعرف بالضبط أي الكتب هي الأكثر أهمية للبقاء على الرف.

إليك كيف تعمل، خطوة بخطوة:

مرحلة "الاستماع" (التوصيف - Profiling): قبل تعليم الروبوت أي شيء جديد، يترك الباحثون النموذج ينظر إلى مجموعة صغيرة من الأمثلة "المعايرة" (مثل بعض الصور القديمة أو الأسئلة التي يعرفها جيدًا بالفعل). هم لا ينظرون فقط إلى بنية دماغ الروبوت؛ بل يراقبون كيف يضيء الدماغ. إنهم يقيسون التنشيط (Activation) — أي مقدار الطاقة التي يستهلكها كل عامل صغير (نيورون) عند معالجة هذه المهام المألوفة.
قرار "التجميد": وجد الباحثون أن بعض النيورونات نشطة للغاية وحرجة لمعرفة الروبوت القديمة، بينما البعض الآخر أكثر استرخاءً. تحدد AWARe النيورونات "الصاخبة" (أعلى 30% الأكثر نشاطًا) وتقول لها: "أنت ضروري! تجمد". وهذا يعني أن إعداداتها مقفلة ولا يمكن تغييرها.
مرحلة "التكيف": تُترك النيورونات المتبقية (الـ 70% الهادئة) مفتوحة. عندما يتعلم الروبوت المهمة الجديدة، يُسمح فقط لهذه النيورونات المفتوحة بالتغيير. أما النيورونات المقفلة، فتُبقي ذكريات الروبوت القديمة آمنة ومحمية.

لماذا يعد هذا أمرًا بالغ الأهمية؟

تظهر الورقة البحثية أن هذه الطريقة تُعد نقطة تحول لسببين رئيسيين:

ترقية "لا تحتاج لتفكير" (No-Brainer): على عكس الطرق الأخرى التي تتطلب بناء إضافات معقدة جديدة لدماغ الروبوت أو تخزين مكتبات ضخمة من البيانات القديمة (مما يستهلك الكثير من الذاكرة)، تعمل AWARe مع دماغ الروبوت الحالي. هي لا تغير البنية؛ بل تغير فقط أي الأجزاء مسموح لها بالحركة. الأمر يشبه إعادة ترتيب الأثاث في غرفة دون بناء جدران جديدة.
تحقق نتائج مذهلة: في تجاربهم، اختبر الفريق طريقة AWARe على نماذج مثل LLaVA-v1.5 و Qwen2.5-VL.
- عند تعليم النموذج الإجابة على أسئلة حول المخططات (IconQA)، حافظت AWARe على معرفة النموذج القديمة (مثل الإجابة على الأسئلة العامة حول الصور) بنسبة 98.4% من قوتها الأصلية، بينما تعلمت المهمة الجديدة بشكل جيد جدًا.
- في اختبار التعلم المستمر حيث كان على النموذج تعلم خمس مهام متتالية (مثل الأسئلة الطبية، والقيادة، والتمويل)، تفوقت AWARe على جميع الطرق الأخرى، حيث حافظت على متوسط درجة أعلى بـ 3.18 نقطة من أفضل طريقة تالية لها.

ما تقوله الورقة (وما لا تقوله)

المؤلفون واضحون جدًا بشأن ما وجدوه وما لم يجدوه.

ما الذي ينجح: لقد أثبتوا أن استخدام التنشيط (مدى عمل النيورون) هو وسيلة أفضل لتحديد ما يجب تجميده من مجرد النظر إلى حجم الوزن أو اختيار النيورونات عشوائيًا. إذا اخترت النيورونات عشوائيًا، فسينسى النموذج مهاراته القديمة فورًا. أما إذا اخترتها بناءً على مدى كونها "صاخبة"، فسيظل النموذج ذكيًا.
ما لا ينجح (أو ليس مطلوبًا): أظهروا أنك لست بحاجة لتجميد الدماغ بالكامل. تجميد أعلى 30% فقط من النيورونات الأكثر نشاطًا في أجزاء معينة من الدماغ (طبقات الانتباه الذاتي والوصلة التي تربط الصور بالنصوص) كافٍ. تجميد أجزاء الـ "MLP" (طبقات التفكير العميق) يضر بالأداء فعليًا، مما يشير إلى أن تلك الطبقات مصممة لتكون مرنة.
مجموعة المعايرة "السحرية": أحد أروع النتائج هو أنك لست بحاجة لبيانات التدريب الأصلية للروبوت لمعرفة أي النيورونات يجب تجميدها. يمكنك استخدام مجموعة أسئلة عامة وعشوائية (مثل مجموعة بيانات MMMU) للقيام بالتوصيف. حتى مع هذه البيانات العامة، تعمل AWARe بنفس كفاءة استخدام البيانات القديمة المحددة. وهذا يجعل الطريقة عملية جدًا للاستخدام في العالم الحقيقي.
الكفاءة: الطريقة فعالة للغاية. في أفضل إعداداتها، قاموا بتحديث حوالي 17.5% فقط من إجمالي المعلمات (Parameters). هذا يعني أن الكمبيوتر لا يحتاج للعمل بجهد كبير كما لو كان عليه تحديث النموذج بالكامل.

الخلاصة

تشير AWARE إلى أن السر في منع الذكاء الاصطناعي من النسيان ليس في إيقافه عن التعلم، بل في أن تكون انتقائيًا بشأن ما الذي تغيره. من خلال الاستماع إلى الأجزاء التي تعمل بجد في المهام القديمة وحمايتها، يمكننا تعليم هذه النماذج حيلًا جديدة دون فقدان حكمتها القديمة. إنها طريقة بسيطة، فعالة، ولطيفة بشكل مفاجئ للحفاظ على أصدقائنا الرقميين أذكياء، مستقرين، ومستعدين لأي شيء قادم.

ملخص تقني: AWARe

بيان المشكلة

تمتلك النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات تعميم واستدلال قوية مستمدة من التدريب المسبق واسع النطاق. ومع ذلك، فإن الضبط الدقيق لهذه النماذج على مهام لاحقة غالبًا ما يؤدي إلى النسيان الكارثي (Catastrophic Forgetting - CF)، حيث يؤدي التحسين للأهداف الجديدة إلى تدهور القدرات المكتسبة مسبقًا من المهام العليا. وتعد هذه المشكلة شديدة الخطورة في النماذج متعددة الوسائط نظرًا للتفاعل المعقد بين الوسائط والبعد العالي لفضاء المعلمات. إن استراتيجيات التخفيف الحالية، مثل إعادة التجربة (Experience Replay) أو الأساليب القائمة على التنظيم (Regularization-based methods)، غالبًا ما تفرض أعباء حسابية باهظة أو تواجه صعوبة في التوسع لتشمل مليارات المعلمات. علاوة على ذلك، فإن طرق الضبط الدقيق الفعال للمعلمات (PEFT) مثل LoRA، رغم تقليلها للمعلمات القابلة للتدريب، لا تمنع بطبيعتها تآكل المعرفة المسبقة، حيث يمكنها أن تخل بالميزات الموثوقة المكتسبة مسبقًا. يكمن التحدي الجوهري في تمكين النماذج متعددة الوسائط من التكيف مع المهام اللاحقة مع الحفاظ بقوة على القدرات المسبقة دون تكبد تكاليف باهظة أو إجراء تعديلات هيكلية.

المنهجية: AWARe

يقترح المؤلفون إطار عمل الاحتفاظ التكيفي الموزون بالتنشيط (Activation-Weighted Adaptive REtention - AWARe)، وهو إطار للضبط الدقيق يعمل على تخفيف النسيان الكارثي من خلال التحكم الديناميكي في تحديثات المعلمات بناءً على أنماط التنشيط. تستند الطريقة إلى مبدأ أن جزءًا صغيرًا من الأوزان المرتبطة بقيم تنشيط كبيرة يكون ذا أهمية غير متناسبة في الحفاظ على سلوك النموذج (وهو مفهوم لوحظ في دراسات تقليص حجم الأوزان والكمية الواعية بالتنشيط).

يعمل AWARe في مرحلتين:

توصيف المعرفة (Knowledge Profiling):
- يستخدم الأسلوب مجموعة معايرة (Calibration Set - $S_{cal}$ ) صغيرة مأخوذة من المهام العليا. إذا لم تتوفر البيانات العليا، تعمل مجموعة مرجعية عامة (مثل MMMU) كبديل.
- بالنسبة لطبقة خطية مستهدفة ذات مصفوفة أوزان $W$ ، يقوم النموذج بعملية تمرير أمامي (Forward Pass) على مجموعة المعايرة للحصول على تنسور التنشيط $A$ .
- تقدير البروز (Saliency Estimation): تحسب الطريقة درجة بروز لكل عصبون مخرج من خلال عملية تجميع ثلاثية الخطوات:
  1. حساب معيار L2 للتنشيطات على طول بُعد طول التسلسل.
  2. تطبيق تطبيع L2 لكل عينة عبر البعد الخفي لضمان القابلية للمقارنة ومنع الانحياز الناتج عن التنشيطات ذات المقاييس الشاذة.
  3. متوسط القيم المطبطبة عبر الدفعة (Batch) لإنشاء متجه بروز نهائي $s$ .
- تحدد هذه العملية الأعصاب التي تلتقط باستمرار الميزات الهيكلية عبر المهام العليا المتنوعة.
الضبط الدقيق المقيد (Constrained Fine-tuning):
- بناءً على درجات البروز، تُستخدم نسبة احتفاظ $\rho$ (على سبيل المثال 30%) لتحديد أعلى نسبة $\rho$ من أعصاب المخرج الأكثر بروزًا عالميًا عبر الطبقات المستهدفة.
- يتم إنشاء قناع تدرج ثنائي $M_{grad}$ حيث يتم ضبط الصفوف المقابلة للأعصاب عالية البروز على 0 (مجمدة)، والآخرين على 1 (قابلة للتدريب).
- أثناء التحسين اللاحق، تظل المعلمات المرتبطة بالمناطق البارزة ثابتة عبر تحديثات التدرج المقنعة: $W^{(t+1)} = W^{(t)} - \eta \cdot (\nabla_W L_{down} \odot M_{grad})$ .
- اختيار الهدف (Target Selection): يطبق AWARe هذه الاستراتيجية تحديدًا على طبقات الإسقاط الخطي داخل آليات الانتباه الذاتي ( $q\_proj, k\_proj, v\_proj$ ) وعلى جهاز الإسقاط متعدد الوسائط ( $mm\_projector$ ). تظل المكونات الأخرى، مثل كتل MLP وإسقاط المخرجات، مجمدة تمامًا. يعتمد هذا الاختيار على النتائج التي تشير إلى أن تحديث إسقاطات الانتباه الذاتي يسبب نسيانًا أقل للمعرفة الموجودة مسبقًا مقارنة بكتل MLP.

المساهمات الرئيسية

إطار عمل AWARe: تقديم طريقة بسيطة تعتمد على التنشيط للحفاظ على المعرفة العليا الحرجة أثناء التكيف مع المهام اللاحقة في النماذج متعددة الوسائط. وهي تعيد توظيف بروز التنشيط من سياقات الضغط والدمج في سياق تخفيف النسيان.
الكفاءة والبساطة: لا يتطلب النهج أي تغييرات هيكلية، ولا يقدم وحدات مهايئ (Adapter) إضافية، ويحدث فقط مجموعة فرعية صغيرة من المعلمات (حوالي 17.5% في الإعداد الأمثل). كما أنه يتجند الحاجة إلى مخازن إعادة التجربة (Replay Buffers) أو الإحصاءات من الدرجة الثانية.
التحقق الشامل: يوضح المؤلفون من خلال دراسات الاستئصال (Ablation Studies) والاختبارات المرجعية أن اختيار البروز القائم على التنشيط هو معيار فعال لاختيار المعلمات، متفوقًا على اختيار حجم الوزن الثابت أو الاختيار العشوائي.

النتائج التجريبية

قيم المؤلفون AWARe على العمود الفقري LLaVA-v1.5-7B وتحقق من قابليته للنقل إلى Qwen2.5-VL-7B.

التكيف أحادي المهمة (Single-Task Downstream Adaptation): في مهام IconQA (VQA) و COCO-Caption (وصف الصور)، حقق AWARe توازنًا فائقًا بين الاحتفاظ بالمعرفة (R) (استقرار المهام العليا) و كفاءة التعلم (E) (الأداء على المهمة الجديدة).
- مقارنة بالنماذج المرجعية المتطورة (بما في ذلك LoRA, DoRA, Orth-Reg, Model Tailor, LoRASculpt, و SPIDER)، حافظ AWARe على معدلات احتفاظ عالية (على سبيل المثال، $R \approx 98.4$ في IconQA) مع تحقيق أداء تنافسي في المهام اللاحقة.
- ومن الجدير بالذكر أن استخدام مجموعة معايرة عامة (MMMM) بدلاً من البيانات العليا المحددة أعطى نتائج مماثلة لاستخدام مجموعة البيانات العليا الكاملة، مما يدل على المتانة.
الضبط الدقيق للتعليمات المستمر (Continual Instruction Tuning): في اختبار MLLM-DCL المرجعي (سلسلة من خمس مهام: الاستشعار عن بعد، الطب، القيادة الذاتية، العلوم، والتمويل)، حقق AWARe أعلى متوسط أداء عبر جميع المهام وأفضل أداء نهائي بعد المهمة الأخيرة. لقد حسن المتوسطات العامة بمقدار 3.18 و 1.77 نقطة فوق أقوى نموذج مرجعي (DISCO) في مقاييس المتوسط والمهمة الأخيرة على التوالي.
دراسات الاستئصال (Ablation Studies):
- استراتيجية الاختيار: تفوق الاختيار القائم على التنشيط بشكل كبير على الاختيار العشوائي والاختيار القائم على معيار وزن المصفوفة (Weight-norm).
- نسبة الاحتفاظ: وفرت نسبة احتفاظ 30% (تجميد أعلى 30% من الأعصاب البارزة) أفضل مقايضة بين الاستقرار والمرونة (Stability-Plasticity Trade-off).
- أهداف التدريب: أدى تطبيق AWARe على كل من إسقاطات الانتباه الذاتي وجهاز الإسقاط متعدد الوسائط إلى تحقيق أفضل النتائج. كان تجميد كتل MLP بالكامل أمرًا حاسمًا، حيث أدى تدريبها إلى انهيار حاد في الأداء على المهام العليا.

الأهمية والادعاءات

يدعي البحث أن AWARe يقدم حلاً عمليًا وفعالاً للنسيان الكارثي في النماذج متعددة الوسائط من خلال الاستفရာ من أنماط التنشيط الديناميكية المعتمدة على البيانات بدلاً من الأولويات الثابتة للأوزان. تكمن أهمية العمل في:

الاستقلالية عن البنية (Architecture Agnosticism): يعمل دون تعديل بنيات النماذج، مما يضمن التوافق مع محركات الاستدلال الحالية.
فعالية التكلفة: من خلال تجميد المعلمات عالية البروز وتحديث جزء صغير فقط، فإنه يقلل بشكل كبير من الأعباء الحسابية مقارنة بالضبط الدقيق الكامل أو الأساليب القائمة على إعادة التجربة.
المتانة: تظل الطريقة فعالة حتى عندما تكون بيانات المهام العليا محدودة، بالاعتماد على مجموعات معايرة عامة.
مقايضة الاستقرار والمرونة: نجح AWARe في الموازنة بين الحفاظ على القدرات العامة الأساسية والمرونة المطلوبة للتكيف مع المهام المتخصصة، مما يعالج عقبة حرجة في النشر العملي للنماذج متعددة الوسائط.

يقر المؤلفون بوجود قيود، مشيرين إلى أن جودة بيانات المعايرة يمكن أن تؤثر على المناطق المجمدة المختارة وأن التحولات التوزيعية الكبيرة للغاية قد تتطلب ضبط نسبة الاحتفاظ. ومع ذلك، فإن إطار العمل المقترح يضع معيارًا جديدًا للضبط الدقيق المستقر والفعال للنماذج متعددة الوسائط.