Null Space Constrained Contrastive Visual Forgetting for MLLM Unlearning
تقترح هذه الورقة البحثية طريقة "النسيان البصري التبايني المقيد بالفضاء الصفري" (Null Space Constrained Contrastive Visual Forgetting)، وهي طريقة تعمل على ضبط النموذج البصري للنماذج اللغوية الكبيرة متعددة الوسائط باستخدام التعلم التبايني وقيود الفضاء الصفري لنسيان المعرفة البصرية المستهدفة بفعالية مع الحفاظ على المعرفة البصرية غير المستهدفة وكافة المعرفة النصية في كل من سيناريوهات النسيان الثابت والمستمر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً ذكياً للغاية وشديد الملاحظة (نموذج لغوي كبير متعدد الوسائط، أو MLLM)، وقد حفظ مكتبة ضخمة من الكتب وألبومات الصور. هذا المساعد بارع في الإجابة على الأسئلة المتعلقة بالأشخاص والأماكن والأشياء.
ومع ذلك، فإن بعض الصور والقصص في تلك المكتبة خاصة أو حساسة. أنت تريد من المساعد أن ينسى تفاصيل محددة عن شخص معين (لنطلق عليه اسم "السيد سميث") دون أن ينسى أي شيء عن أي شخص آخر، ودون أن يفقد القدرة على القراءة أو التحدث بشكل طبيعي.
المشكلة هي أن "الذاكرة البصرية" للمساعد (كيف يبدو شكل السيد سميث) و"الذاكرة النصية" (اسمه، وعنوانه، ووظيفته) متشابكتان معاً مثل عقدة من الخيوط. إذا حاولت سحب الخيط البصري، فقد تفك العقدة بالكامل عن طريق الخطأ، مما يجعل المساعد ينسى كل شيء أو يتوقف عن العمل بشكل صحيح.
تقترح هذه الورقة البحثية طريقة جديدة وذكية لفك تلك العقدة. إليك كيف فعلوا ذلك، مشروحاً ببساطة:
1. الاستراتيجية: جمّد الدماغ، ودرب العينين
حاولت معظم الطرق السابقة إعادة تدريب "دماغ" المساعد بأكلى لكي ينسى السيد سميث. هذا يشبه محاولة مسح ذاكرة محددة عن طريق إعادة كتابة شخصية المساعد بالكامل؛ وهو أمر مكلف وغالباً ما يدمر الذكريات الأخرى.
بدلاً من ذلك، قرر المؤلفون تجميد "دماغ" المساعد (الجزء اللغوي) وتدريب "عينيه" (الجال الجزء البصري) فقط.
- التشبيه: تخيل أن المساعد هو محقق. "الدماغ" يعرف كيف يتحدث ويستنتج، بينما "العينان" هما الجزء الذي ينظر إلى الصور لتحديد هوية الأشخاص فيها.
- الخطوة: أخبروا الدماغ: "ابقَ كما أنت تماماً". لقد قاموا فقط بتعديل العينين بحيث عندما تنظران إلى صورة للسيد سميث، لا تعودان تتعرفان عليه. ولكن عندما تنظران إلى صور لأشخاص آخرين، تظلان تتعرفان عليهم بشكل مثالي.
2. الحيلة الأولى: لعبة "الدفع والسحب" (النسيان البصري التبايني)
كيف تعلم العينين نسيان شخص واحد دون جعلها تنسى الجميع؟
ابتكر المؤلفون لعبة تسمى النسيان البصري التبايني (Contrastive Visual Forgetting).
- "الدفع": عندما يرى المساعد صورة للسيد سميث، يصرخ النظام: "لا تبدُ مثل النسخة القديمة من نفسك! ابعد الصورة الذهنية له بعيداً!"، فهو يدفع تمثيل السيد سميث إلى زاوية مختلفة في العقل.
- "السحب": ولكن إذا قمت بدفع الأشياء بعيداً بشكل عشوائي، فقد تدفع بالخطأ ذكريات أشخاص آخرين أيضاً. لذا، يقول النظام أيضاً: "لكن تأكد من البقاء قريباً من 'المنطقة الآمنة المتوسطة' حيث يعيش جميع الأشخاص الآخرين".
- النتيجة: تتعلم العينان دفع صورة السيد سميث إلى "منطقة محظورة"، مع الحفاظ على صور جميع الأشخاص الآخرين في "المنطقة الآمنة". وهذا يضمن نسيان السيد سميث، مع بقاء بقية المكتبة سليمة.
3. الحيلة الثانية: "النفق الآمن" (النسيان المقيد بالفضاء الصفري)
حتى مع لعبة "الدفع والسحب"، هناك خطر من أن التغييرات التي تُجرى لنسيان السيد سميث قد تضر بالخطأ بذاكرة جارٍ يشبهه قليلاً.
لإصلاح ذلك، بنى المؤلفون "نفقاً آمناً" (يسمى الفضاء الصفري - Null Space).
- التشبيه: تخيل أن معرفة المساعد هي مدينة ضخمة. "النفق الآمن" هو طريق تحت الأرض خاص يربط فقط بالأجزاء من المدينة التي لا تهم لتذكر الآخرين.
- الخطوة: قاموا بحساب الاتجاهات التي يمكن تغييرها بأمان في عقل المساعد. ثم أجبروا جميع تحديثات "النسيان" على السفر فقط عبر هذا النفق الآمن.
- النتيجة: يمكن للمساعد إجراء تغييرات لنسيان السيد سميث، ولكن بما أنه عالق في النفق، فإنه لا يستطيع مادياً لمس أو إتلاف ذكريات أي شخص آخر. إنه يشبه تجديد المطبخ دون كسر مواسير المياه في الحمام بالخطأ.
4. الإضافة: التعامل مع الهدف المتحرك (النسيان المستمر)
أحياناً، لا تريد نسيان شخص واحد فقط؛ قد تحصل على قائمة لعشرة أشخاص لنسيانهم، واحداً تلو الآخر، بمرور الوقت. هذا ما يسمى النسيان المستمر (Continual Unlearning).
عادةً، جعل نسيان الشخص (أ) يجعل من الصعب نسيان الشخص (ب) لاحقاً دون إفساد كل شيء. ولكن لأن المؤلفين بنوا "نفقهم الآمن" بعنامة شديدة، يمكن لطريقتهم التعامل مع قائمة طويلة من الأشخاص المراد نسيانهم. في كل مرة يضيفون فيها شخصاً جديداً إلى قائمة "النسيان"، يستخدم المساعد نفس النفق الآمن لإزالة صورة ذلك الشخص دون المساس بالعمل السابق أو المعرفة العامة.
الخلاصة
تزعم الورقة البحثية أنه من خلال تجميد الدماغ اللغوي واستخدام هاتين الحيلتين (الدفع/السحب و النفق الآمن) على العينين البصريتين، يمكنهم:
- نسيان المظهر البصري المحدد لشخص مستهدف بفعالية كبيرة.
- تذكر الجميع الآخرين بشكل مثالي.
- الحفاظ على قدرة المساعد على القراءة والتحدث والاستنتاج سليمة تماماً.
لقد اختبروا ذلك على عدة معايير (مثل MLLMU و UMU و CLEAR) ووجدوا أن طريقتهم كانت أفضل في تحقيق التوازن بين "النسيان" و"التذكر" من أي طريقة سابقة، حتى عندما تأتي الطلبات واحداً تلو الآخر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.