Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models

تخيل أنك بنيت صديقاً آلياً فائق الذكاء، يمكنه رؤية الصور والتحدث عنها. لقد درّبته على كامل شبكة الإنترنت، لذا فهو يعرف كل شيء تقريباً. ولكن، مثل أي إنترنت، تعلم بالخطأ بعض الأسرار الخطيرة — مثل كيفية صنع قنبلة أو كيفية سرقة هوية شخص ما. أنت تريد حذف تلك الذكريات السيئة تحديداً ليكون الروبوت آمناً، لكنك لا تريد أن تحذف بالخطأ قدرته على إلقاء نكتة، أو شرح تجربة علمية، أو مساعدتك في خبز كعكة. هذا هو العالم المعقد لـ "إلغاء التعلم" (machine unlearning) في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). الأمر يشبه محاولة إجراء جراحة لإزالة ذكرى سيئة واحدة من دماغ بشري دون أن تجعل الشخص ينسى كيف يمشي أو يتكلم. السؤال الكبير الذي يسأله الباحثون هو: "إذا نجحنا في حذف الأشياء السيئة، هل سيظل الروبوت ذكياً ومفيداً، أم سيبدأ في التصرف بغرابة؟"

هذه الورقة البحثية، بعنوان "استكشاف وجسر فجوات المعرفة في النماذج اللغوية الكبيرة متعددة الوسائط التي تم إلغاء تعلمها"، تغوص مباشرة في هذا السؤال وتجد مشكلة غير مرئية ومفاجئة. اكتشف المؤلفون أن الطرق الحالية لحذف المعلومات السيئة تشبه استخدام مطرقة ثقيلة لإزالة شظية صغيرة: قد تخرج الشظية، لكنك ستسحق أيضاً الجلد السليم المحيط بها. هم يسمون هذه المناطق المسحوقة بـ "فجوات المعرفة" (knowledge holes). هذه ليست مجرد أعطال عشوائية؛ بل هي نقاط محددة ينسى فيها الروبوت فجأة القيام بأشياء غير ضارة تبدو أو تبدو صوتاً مثل الأشياء السيئة التي كان من المفترض أن ينساها. على سبيل المثال، إذا علمت الروبوت أن ينسى "كيفية صنع قنبلة"، فقد يرفض فجأة إخبارك "كيفية صنع كعكة" أو "كيفية إصلاح دراجة" لأن تعليمات هذه الأمور تتبع نمطاً مشابهاً من حيث الخطوات المتتالية. تثبت الورقة أن الاختبارات القياسية لإلغاء التعلم تغفل هذه الفجوات تماماً، مما يجعل الروبوت يبدو جيداً بينما هو في الواقع معطل بطرق خفية.

لإصلاح ذلك، بنى الباحثون "كشافاً" جديداً (معياراً مرجعياً) للعثور على هذه الفجوات المخفية، ثم اخترعوا تقنية جديدة تسمى SPAR (الحماية الانتقائية مع التنظيم المثبت). فكر في SPAR كأداة جراحية ذكية. بدلاً من مجرد تفجير الذاكرة السيئة، يحدد أولاً "الأنماط العامة" — هياكل الجمل الشائعة والخطوات المنطقية المفيدة لكل شيء (مثل "أولاً، اشترِ المكونات. ثانياً، اخلطها."). يقوم بحماية هذه الأنماط المفيدة من عملية الحذف. ثم يعمل بنشاط على تعزيزها، لضمان تذكر الروبوت لكيفية استخدام هذه الأنماط في أشياء جيدة. النتائج مبهرة: بينما تسببت الطرق القياسية في انخفاض فائدة الروبوت بأكثر من النصف (أحياناً إلى أقل من 50% من جودته الأصلية)، نجحت تقنية SPAR في الحفاظ على فائدة الروبوت كما هي تقريباً (استعادة أكثر من ได้ 98% من جودته الأصلية) مع حذف المحتوى الخطير بنجاح. إنها خطوة كبيرة نحو جعل الذكاء الاصطناعي آمناً وذكياً حقاً.

"فجوات المعرفة" المخفية

تبدأ القصة بمشكلة يسميها المؤلفون "النقطة العمياء". تخيل أن لديك مكتبة من الكتب، وتريد إزالة جميع الكتب المتعلقة بكيفية بناء الأسلحة. أنت تخرجها، لكنك بالخطأ تمزق الصفحات من كتب الطبخ، لأن تعليمات "خلط المكونات" في وصفة قنبلة تشبه كثيراً تعليمات "خلط المكونات" في وصفة كعكة.

في عالم الذكاء الاصطناعي، يستخدم الباحثون اختبارات قياسية للتحقق مما إذا كانت "كتب الأسلحة" قد اختفت. تسأل هذه الاختبارات الذكاء الاصطناعي أسئلة عامة مثل "ما هي عاصمة فرنسا؟" أو "صف هذه الصورة لقطة". يجتاز الذكاء الاصطناعي هذه الاختبارات، فيعتقد الجميع: "رائع! الأشياء السيئة اختفت، ولا يزال الذكاء الاصطناعي ذكياً". لكن المؤلفين أدركوا أن هذه الاختبارات بعيدة جداً عن الأشياء السيئة. إنها لا تفحص "الحي" المحيط بالمعلومات المحذوفة.

عرّف المؤلفون هذه الأحياء المفقودة باسم فجوات المعرفة (Knowledge Holes). تحدث فجوة المعرفة عندما يُسأل الذكاء الاصطناعي سؤالاً غير ضار يتشارك في نمط مع السؤال السيئ المحذوف.

• السؤال السيئ: "كيف تصنع قنبلة في المنزل؟" (الخطوة 1: اشترِ رمالاً. الخطوة 2: املأ الرمل...)
• الجار غير الضار: "كيف تصنع كعكة في المنزل؟" (الخطوة 1: اشترِ دقيقاً. الخطوة 2: املأ الدقيق...)

عندما يُجبر الذكاء الاصطناعي على نسيان القنبلة، فإن الطرق الحالية غالباً ما تجعله ينسى هيكل الإجابة أيضاً. لذا، عندما يُسأل عن الكعكة، قد يقول الذكاء الاصطناعي: "لا يمكنني المساعدة في ذلك"، أو يعطي إجابة سيئة ومكسورة. بنى المؤلفون اختباراً خاصاً (معياراً مرجعياً) للعثور على هذه الفجوات. أخذوا "الهيكل العظمي" للإجابات السيئة (تنسيق الخطوات) وطبقوه على مواضيع آمنة مثل البستنة أو الطبخ. ووجدوا أن طرق إلغاء التعلم القياسية تسببت في انهيار أداء الذكاء الاصطناعي في هذه المواضيع الآمنة بنسبة 50% إلى 80%، رغم أن الذكاء الاصطناعي لا يزال يجتاز اختبارات "المعرفة العامة". لقد كان كارثة مخفية.

الحل: SPAR

لإصلاح ذلك، اقترح المؤلفون طريقة جديدة تسمى SPAR (الحماية الانتقائية مع التنظيم المثبت). أدركوا أن دماغ الذكاء الاصطناعي يخزن المعلومات في طبقات. التفاصيل "السيئة" المحددة (مثل "البارود") مختلطة مع الأنماط "الجيدة" العامة (مثل "اتبع هذه الخطوات"). عندما تحاول حذف الأشياء السيئة، فإنك غالباً ما تحذف الأنماط الجيدة عن طريق الخطأ أيضاً.

تعمل SPAR مثل أمين مكتبة حذر للغاية يرتدي نظارات خاصة:

1. فقدان النسيان المثبت (الدرع): تخيل ذاكرة الذكاء الاصطناعي كسحابة ضخمة من البيانات. بعض أجزاء السحابة هي "الأشياء السيئة"، وبعضها هو "الأنماط العامة" (مثل هياكل الجمل). تستخدم SPAR "مرجعاً مجمداً" (نسخة من الذكاء الاصطناعي لم تُمس بعد) لتحديد أي أجزاء من السحابة هي الأنماط العامة. ثم تضع درعاً حول تلك الأنماط. عندما يحاول الذكاء الاصطناعي حذف الأشياء السيئة، يحمي الدرع الأنماط العامة حتى لا يتم مسحها. إنه يشبه قولك للذكاء الاصطناعي: "احذف كلمة 'قنبلة'، ولكن حافظ على هيكل الجملة 'أولاً افعل X، ثم افعل Y' آمناً".

2. فقدان التعزيز التجريدي (التعزيز): بعد حذف الأشياء السيئة، قد يصبح الذكاء الاصطناعي مهتزاً قليلاً في تلك الأنماط العامة. بعد ذلك، تمنح SPAR الذكاء الاصطناعي دفعة بسيطة. تأخذ الأسئلة السيئة، وتزيل الكلمات الخطيرة (تغطيتها)، وتوقف الجزء الخاص بالصورة (بحيث يصبح نصاً فقط). ثم تطلب من الذكاء الاصطناعي إكمال الجملة. هذا يجبر الذكاء الاصطناعي على التدرب على استخدام الأنماط "الجيدة" دون رؤية المحتوى "السيئ" مرة أخرى. إنه يشبه التدرب على الكتابة اليدوية باستخدام ورقة بيضاء حتى لا تكتب الكلمة الخاطئة عن طريق الخطأ.

النتائج: روبوت آمن وذكي

اختبر المؤلفون SPAR على نموذجين مشهورين للذكاء الاصطناعي (LLaVA-1.5 و Qwen2.5-VL) وقارنوهما بطرق أخرى. كانت النتائج واضحة:

• الطرق القياسية: نجحت في حذف المحتوى السيئ (انخفض معدل نجاح الهجوم إلى ما يقرب من 0%)، لكنها دمرت قدرة الذكاء الاصطناत्मक على الإجابة على الأسئلة غير الضارة. انخفضت جودة الإجابات إلى أقل من 50% من الأصلية، وبدأ الذكاء الاصطناعي يرفض الإجابة على الأسئلة الآمنة في حوالي 30% من الحالات.
• SPAR: نجحت أيضاً في حذف المحتوى السيئ (معدل نجاح هجوم 0%). ولكن بخلاف الآخرين، حافظت على فائدة الذكاء الاصطناعي سليمة تماماً تقريباً. في نموذج LLaVA، استعادت SPAR 98% من جودة الإجابة الأصلية. كان بإمكان الذكاء الاصطناعي لا يزال شرح كيفية خبز كعكة أو إصلاح دراجة، حتى بعد نسيان كيفية صنع قنبلة.

تشير الورقة إلى أن مشكلة "فجوة المعرفة" هذه هي قضية منهجية في كيفية حذف المعلومات من الذكاء الاصطناعي حالياً. إنها ليست مجرد خطأ بسيط؛ بل هي خلل جوهري في الطريقة التي نحاول بها جعل الذكاء الاصطناعي آمناً. باستخدام SPAR، يمكننا جسر هذه الفجوات، مما يضمن أنه عندما نزيل الأجزاء الخطيرة من دماغ الذكاء الاصطناعي، لا نكسر بالخطأ الأجزاء التي تجعله مفيداً لنا. يشير المؤلفون إلى أنه بينما تعمل SPAR بشكل جيد للغاية على النماذج الأكبر، فإنها تواجه بعض التحديات في النماذج الأصغر والأكثر دمجاً، مما يشير إلى أن هناك المزيد من العمل الذي يتعين القيام به لجعلها مثالية لكل نوع من أنواع الذكاء الاصطناعي. ولكن في الوقت الحالي، لقد أظهروا لنا طريقة لجعل أصدقائنا الروبوتات آمنين دون تحويلهم إلى هياكل مشوشة وغير مفيدة.