A Model Merging Approach for Continual MLLM Unlearning
تقدم هذه الورقة البحثية MCU، وهو نهج لدمج النماذج يقوم بدمج عدة محولات "إلغاء تعلم بلمسة واحدة" (one-shot unlearning adapters) ديناميكيًا في نموذج موحد لمعالجة تحديات إلغاء التعلم المستمر متعدد الوسائط بفعالية من خلال التخفيف من التداخل والحفاظ على الفائدة عبر إدارة التبعية بين المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك بنيت صديقاً آلياً فائق الذكاء يمكنه رؤية الصور، وقراءة النصوص، والدردشة حول أي شيء تقريباً. هذا الروبوت هو "نموذج لغوي كبير متعدد الوسائط" (MLLM). إنه موهوب للغاية، لكنه أحياناً يتعلم أشياء لا ينبغي له تعلمها—مثل الأسرار الخاصة، أو القصص المحمية بحقوق الطبع والنشر، أو الحقائق القديمة. في عالم الذكاء الاصطناعي، هناك حاجة متزايدة لتعليم هذه الروبوتات كيفية "نسيان" معلومات محددة ضارة أو حساسة دون جعلها تنسى كل ما تعرفه. فكر في الأمر كأنك تحاول إزالة بقعة معينة من سترة مفضلة دون تقليص كامل الثوب أو إفساد نمط تصميمه.
لفترة طويلة، حاول العلماء القيام بذلك عن طريق الضغط على زر "إعادة الضبط" في دماغ الروبوت في كل مرة تظهر فيها معلومة جديدة تحتاج إلى مسحها. ولكن هنا تكمن المشكلة، فإذا استمررت في الضغط على زر إعادة الضبط مراراً وتكراراً، سيبدأ الروبوت في الارتباك. قد ينسى الشيء الجديد الذي طلبت منه نسيانه، أو الأسوأ من ذلك، قد يبدأ في نسيان أشياء كان من المفترض أن يحتفظ بها، مثل كيفية إلقاء نكتة أو التعرف على قطة. يُسمى هذا "ارتداد النسيان" (unlearning rebound) و"انزياح الاحتفاظ" (retention drift). تتناول هذه الورقة البحثية المشكلة المعقدة المتمثلة في كيفية الحفاظ على نظافة وحدة وذكاء الروبوت عندما يتعين عليك حذف قائمة طويلة ولا تنتهي من الأسرار واحداً تلو الآخر.
هنا يأيد MCU (الدمج من أجل النسيان المستمر)، وهو نهج جديد ذكي اقترحه الباحث يوهانغ وانغ وفريقه. بدلاً من إعادة كتابة دماغ الروبوت باستمرار، مما يسبب كل هذا الارتباك والضرر، يعامل MCU كل "طلب نسيان" كأنه دليل تعليمات منفصل وصغير جداً. تخيل أن لديك كومة من الملاحظات اللاصقة، كل منها يخبر الروبوت بأن ينسى سراً مختلفاً. الطرق القديمة كانت تحاول لصق هذه الملاحظات واحدة تلو الأخرى على دماغ الروبوت، مما يؤدي في النهاية إلى تغطيته بمزيج فوضوي ومتضارب من الورق.
يتبع MCU نهجاً أكثر تنظيماً. فهو يجمع كل هذه الملاحظات اللاصقة (والتي يسميها الباحثون "المهايئات" أو adapters) ويمزجها معاً في ورقة تعليمات واحدة مثالية قبل تطبيقها على الروبوت. السحر يحدث في كيفية مزج هذه الملاحظات. اكتشف الباحثون أن "ملاحظات النسيان" هذه ليست معزولة؛ بل إنها تتحدث مع بعضها البعض. أحياناً، تساعد الملاحظتان بعضهما البعض للنسيان بشكل أفضل (التآزر/synergy)، وأحياناً أخرى تتصارعان ويلغي بعضهما بعضاً (التداخل/interference)، أو قد يمسحان بالخطأ ذكريات جيدة جنباً إلى جنب مع الذكريات السيئة.
ولحل هذه المشكلة، يعمل MCU مثل طاهٍ ماهر يمزج المكونات. أولاً، ينظر إلى الملاحظات ويحتفظ بالأجزاء الأكثر أهمية فقط، مستبعداً الخربشات الضعيفة وغير الواضحة (وهذا ما يسمى "اختيار الاتجاه المهيمن"/dominant direction selection). ثم، يتحقق مما إذا كانت أي ملاحظة واحدة تصرخ بصوت عالٍ جداً وتطغى على الملاحظات الأخرى، ويخفض صوتها بلطف (وهذا هو "التحكم في سعة القناة"/channel capacity control). وأخيراً، والأهم من ذلك، يقوم بإعادة ترتيب الملاحظات بحيث تعمل الملاحظات المفيدة معاً بينما يتم فصل الملاحظات المتصارعة، مما يضمن عدم إفساد مهارات الروبوت الأخرى.
اختبر الفريق هذا النهج على معيارين رئيسيين، ICU-Bench و MLLMU-Bench، وهما يشبهان مسارات عقبات عملاقة لتعلم النسيان في الذكاء الاصطناعي. أجروا تجارب حيث كان على الروبوت نسيان ما يصل إلى 100 شيء على التوالي. كانت النتائج مبهرة. فبينما بدأت الأساليب الأخرى في الانهيار، إما عبر نسيان الأشياء الجيدة أو الفشل في نسيان الأشياء السيئة مع طول القائمة، ظل MCU ثابتاً. على سبيل المثال، بعد 100 مهمة على نموذج Qwen2-VL-7B، تمكن MCU من خفض درجة "النسيان" (التي تعني أنه مسح المعلومات السيئة بنجاح) إلى حوالي 28.7، مع الحفاظ على درجة "الاحتفاظ" (مدى احتفاظه بذكائه العام) مرتفعة عند 75.6. في المقابل، شهدت الأساليب الأخرى انخفاضاً كبيراً في درجات الاحتفاظ أو أصبح النسيان لديها غير فعال.
تشير الورقة البحثية إلى أنه من خلال دمج تعليمات النسيان هذه بذكاء بدلاً من تطبيقها بالتتابع، يمكننا منع الروبوت من الإصابة بـ "ضبابية الدماغ" بعد عمليات حذف عديدة. إنها طريقة للحفاظ على ذاكرة الذكاء الاصطناعي نظيفة وعقله حاداً، مما يثبت أنك لست بحاجة لكسر الآلة لإصلاح ذاكرتها. يوضح المؤلفون أن هذه الطريقة تعمل دون الحاجة إلى إعادة تدريب النموذج بالكامل من الصفر، مما يجعلها أداة عملية للحفاظ على سلامة الذكاء الاصطناعي ومواكبته للعصر في عالم تهم فيه الخصوصية وحقوق الطبع والنشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.