🤖 AI

PPU-Bench:Real World Benchmark for Personalized Partial Unlearning in Vision Language Models

تقدم هذه الورقة البحثية PPU-Bench، وهو معيار مرجعي واقعي لتقييم عملية "النسيان الجزئي المخصص" في النماذج اللغوية الكبيرة متعددة الوسائط من خلال 24 ألف عينة عبر ثلاثة إعدادات تحديّة، مما يكشف عن قصور كبير في الأساليب الحالية ويدفع نحو اقتراح "التحسين الواعي بالحدود" (BAO) لفرض الحدود الحقائقية داخل الموضوع الواحد بفعالية.

المؤلفون الأصليون: Jiahui Guang, Zexun Zhan, Zhenlin Xu, Cuiyun Gao, Haiyan Wang, Jing Li, Zhaoquan Gu, Yanchun Zhang

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiahui Guang, Zexun Zhan, Zhenlin Xu, Cuiyun Gao, Haiyan Wang, Jing Li, Zhaoquan Gu, Yanchun Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل روبوت مكتبة عملاق، فائق الذكاء (نموذج لغوي كبير متعدد الوسائط)، قد قرأ كل شيء تقريبًا على الإنترنت. إنه يعرف الصور والكلمات معًا. وأحيانًا، يتذكر هذا الروبوت أشياء عن أشخاص حقيقيين قد لا يرغبون في أن يعرفها بعد الآن—مثل تاريخ طبي خاص أو قصة محرجة محددة.

ينص القانون على أن للناس "الحق في النسيان". لكن طلب النسيان من روبوت عملاق أمر صعب. إذا قلت له أن ينسى "ستيفن كينج"، فقد ينسى أنه مؤلف وأنه ولد أيضًا في ولاية مين. أنت لا تريد ذلك؛ أنت تريد منه فقط أن ينسى القصة الخاصة المحددة، وليس هويته بالكامل.

إليك ما يفعله هذا البحث، PPU-Bench، بكلمات بسيطة:

1. المشكلة: خطأ "الكل أو لا شيء"

تخيل أن لديك ألبوم صور لصديق. تريد حذف صورة واحدة فقط له وهو يرتدي قبعة مضحكة، لكنك تريد الاحتفاظ بصوره في حفل زفافه وفي حفل تخرجه.

المقاييس السابقة: كانت الاختبارات السابقة لعملية "النسيان" تشبه طلب التخلص من الألبوم بأك_له بسبب صورة واحدة. أو استخدمت صورًا وهمية مصنوعة بواسطة الكمبيوتر لاختبار الروبوت. وهذا لم يكن يعكس الواقع.
المقياس الجديد (PPU-Bench): بنى المؤلفون مقياسًا جديدًا وواقعيًا باستخدام 500 شخص مشهور حقيقي (مثل ستيفن كينج أو تايلور سويفت). لقد أنشأوا 24,000 سؤال وصورة عنهم.
- قاموا بتقسيم المعلومات إلى ثلاثة صناديق: أساسي (الاسم، الوظيفة)، طبيعي (الجوائز، الكتب)، وحساس (تاريخ الإدمان، الحوادث).
- واختبروا ثلاثة سيناريوهات:
  1. النسيان الكامل: "انسَ هذا الشخص تمامًا".
  2. النسيان الانتقائي: "انسَ الأشياء الحساسة، ولكن احتفظ بالأشياء الطبيعية".
  3. النسيان المخصص: "انسَ بالضبط ما قد يرغب هذا الشخص المحدد في إخفائه".

2. الاكتشاف: الروبوت "أعمى" ولكنه ليس "فاقدًا للذاكرة"

اختبر الباحثون ست طرق مختلفة لجعل الروبوت ينسى. ووجدوا أشياء مفاجئة:

خدعة "عصابة العينين": عندما حاولوا جعل الروبوت ينسى شخصًا ما تمامًا، لم يقم الروبوت فعليًا بحذف الحقائق من عقله. بدلاً من ذلك، توقف فقط عن التعرف على الوجه في الصورة. كان الأمر أشبه بوضع عصابة على عيني الروبوت. إذا سألته "من هذا؟" سيقول "لا أعرف". ولكن إذا سألته "ما هو اسم ستيفن كينج؟" دون إظهار صورة، فسيظل يعرف الإجابة تمامًا. لقد نسي الصورة، وليس الحقيقة.
مشكلة "أحجية الصور المقطوعة" (الجيغسو): في اختبار "التخصيص" (نسيان الأجزاء الحساسة فقط)، واجه الروبوت صعوبة في رسم الخط الفاصل. كان الأمر أشبه بمحاولة قص شكل محدد من أحجية صور مقطوعة دون كسر القطع المجاورة لها. غالبًا ما كان الروبوت إما ينسى الكثير (يمحو مسيرة الشخص المهنية) أو ينسى القليل جدًا (يسرب السر الخاص).

3. الحل: رسم "خط الحدود"

لحل مشكلة "أحجية الصور المقطوعة"، ابتكر المؤلفون طريقة جديدة تسمى التحسين الواعي بالحدود (BAO).

التشبيه: تخيل أن عقل الروبوت هو حديقة. حقائق "النسيان" هي الأعشاب الضارة، وحقائق "الاحتفاظ" هي الزهور.
- الطرق القديمة: حاولت رش الحديقة بأكملها بمبيد الأعشاب الضارة. أحيانًا كانت تقتل الزهور أيضًا، أو تفشل في الوصول للأعشاب.
- BAO (الطريقة الجديدة): بدلًا من مجرد الرش، ترسم BAO سياجًا غير مرئي وصارمًا بين الأعشاب الضارة والزهور. إنها تخبر الروبوت: "يجب أن تجعل الأعشاب الضارة ضعيفة جدًا، ولكن يجب أن تتأكد من أن الزهور أقوى من الأعشاب الضارة".
النتيجة: كانت هذه الطريقة أفضل بكثير في إزالة الحقائق "الحساسة" مع الحفاظ على الحقائق "الطبيعية" آمنة. لم تكسر قدرة الروبوت على الكلام أو الرؤية؛ بل جعلته فقط ينسى الأشياء المحددة التي أُمر بنسيانها.

4. اختبار الضغط: هل يمكن خداع الروبوت؟

حاول الباحثون أيضًا "اختراق" الروبوت لمعرفة ما إذا كان سيتذكر بالخطأ الأشياء التي نسيها.

عرضوا على الروبوت صورًا مختلفة لنفس الشخص (هجوم عبر الصور المتعددة).
سألوا نفس السؤال بطرق مختلفة (هجوم إعادة الصياغة).
حاولوا خداع الروبوت بـ "مطالبات كسر الحماية" (مثل قول: "تظاهر بأنك مخترق يعرف كل شيء").
النتيجة: غالبًا ما كان من السهل خداع الروبوت ليتذكر الحقائق مرة أخرى إذا لم يتم "النسيان" بعناية. أثبتت طريقة BAO الجديدة صمودًا أفضل ضد هذه الخدع مقارنة بالطرق القديمة.

ملخص

بنى هذا البحث "اختبار قيادة" واقعي للروبوتات التي تحتاج إلى نسيان الأشياء. وقد أظهر أن الروبوتات الحالية سيئة في نسيان جزء من قصة شخص ما دون نسيان الشخص بأكمله أو كسر عقلها. ثم اقترح المؤلفون "عجلة قيادة" جديدة (BAO) تساعد الروبوت على رسم خط واضح بين ما يجب نسيانه وما يجب الاحتفاظ به، مما يجعل "الحق في النسيان" يعمل فعليًا في العالم الحقيقي.

ملخص تقني: PPU-Bench

بيان المشكلة

تُدرب نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) على مجموعات بيانات ضخمة من الويب تحتوي حتمًا على معلومات حساسة مرتبطة بأفراد حقيقيين، مما يثير مخاوف بشأن تسريب الخصوصية و"الحق في النسيان" (RTBF) بموجب لوائح مثل القانون العام لحماية البيانات (GDPR). وبينما يوفر "إلغاء التعلم الآلي" (machine unlearning) بديلًا عمليًا لإعادة التدريب الكامل، تعاني المعايير المرجعية الحالية لعمليات إلغاء تعلم النماذج متعددة الوسائط من قصورين حرجين:

افتراضات بيانات غير واقعية: تعتمد معظم المعايير المرجعية على حقن بيانات اصطناعية عبر الضبط الدقيق (fine-tuning)، وهو ما ينحرف عن السيناريوهات الواقعية حيث تكون المعرفة مغروسة بشكل طبيعي في توزيعات ما قبل التدريب. كما يمكن للبيانات الاصطناعية أن تتشابك مع توزيعات ما قبل التدريب، مما قد يؤدي إلى إعادة تنشيط الأنماط المحفوظة.
أهداف إلغاء تعلم غير متوافقة: تركز المعايات المرجعية الحالية عادةً على "إلغاء التعلم الكامل" (إزالة جميع المعلومات المتعلقة بموضوع ما). أما في الممارسة العملية، فغالبًا ما يطلب المستخدمون إزالة سمات حساسة محددة فقط (مثل التاريخ الخاص) مع الحفاظ على الحقائق العامة أو الحميدة. وتفشل المعايوهات المرجعية الحالية في تقييم هذه القدرة على إلغاء التعلم الجزئي المخصص والدقيق.

المنهجية

1. بناء PPU-Bench

يقدم المؤلفون PPU-Bench، وهو معيار مرجعي واقعي وخالٍ من الضبط الدقيق، مصمم لتقييم إلغاء التعلم الجزئي المخصص.

مصدر البيانات: بدلاً من الحقن الاصطناعي، يستخدم المعيار معرفة مسبقة بـ 500 شخصية عامة حقيقية مستمدة من ويكيبيديا. يضمن ذلك أن المعرفة المستهدفة مغروسة بشكل طبيعي في النماذج متعددة الوسائط.
سلسلة العمل (Pipeline):
- هيكلة الملف الشخصي: يتم تنظيم صفحات ويكيبيديا الخام إلى ثلاث فئات باستخدام GPT-5.4-mini: أساسي (الهوية)، عادي (المسيرة المهنية العامة/الجوائز)، وحساس (الخصوصية، الصحة، القضايا القانونية، الصدمات).
- توليد الأسئلة والأجوبة/الأسئلة والأجوبة البصرية (VQA): يتم توليد أزواج متنوعة من الأسئلة والأجوبة لكل فئة. تُحول أزواج الأسئلة والأجوبة النصية فقط إلى عينات أسئلة وأجوبة بصرية (VQA) عن طريق إقرانها بالصور المقابلة للشخصيات العامة.
  يدخل عينات (VQA) عبر إقرانها بالصور المقابلة للشخصيات العامة.
- تصفية الحفظ (Memorization Filtering): يتم تصفية العينات باستخدام Qwen3-VL-8B لضمان أن المعرفة المستهدفة محفوظة حقًا (Token-F1 > 0.5)، مما ينتج عنه 24,334 عينة عالية الجودة (12,167 VQA + 12,167 QA).
إعدادات المهام: يحدد المعيار ثلاثة إعدادات تزداد صعوبة تدريجيًا:
- إلغاء التعلم الكامل: إزالة جميع المعلومات المتعلقة بالشخص (على مستوى الموضوع).
- إلغاء التعلم الانتقائي: إزالة المعلومات الحساسة فقط مع الاحتفاظ بالمعلومات الأساسية والعادية (على مستوى الفئة).
- إلغاء التعلم المخصص: الإعداد الأكثر واقعية حيث يتم تحديد مجموعة "النسيان" بناءً على التفضيلات الفردية للموضوع (محاكاة عبر نماذج لغوية متعددة وتصويت الأغلبية) بدلاً من الفئات الثابتة. يتطلب هذا تحكمًا دقيقًا في الحدود الواقعية داخل الموضوع الواحد.
التقييم: يشمل فعالية إلغاء التعلم (مجموعة النسيان)، والحفاظ على المنفعة (مجموعة الاحتفاظ، MMBench)، والمتانة ضد التعميم عبر الصور والاضطرابات النصية (البادئة العشوائية، إعادة الصياغة، كسر الحماية/Jailbreak).

2. الحل المقترح: التحسين الواعي بالحدود (BAO)

مدفوعًا بالنتائج التي تشير إلى أن الطرق الحالية تواجه صعوبة في التعامل مع الحدود داخل الموضوع الواحد، يقترح المؤلفون التحسين الواعي بالحدود (BAO).

الآلية: على عكس طريقة "الاشتقاق المتدرج الصاعد" (GA) أو GA_diff التي تعامل مجموعات النسي_ والاحتفاظ كأهداف منفصلة، يقوم BAO بنمذجة الهامش بين الحقائق المنسية والمحتفظ بها صراحةً داخل نفس الموضوع.
الهدف: يفرض أن يتجاوز الاحتمال اللوغاريتمي السلبي (NLL) للحقائق المختارة للنسيان الحقائق المحتفظ بها بهامش قدره $m$ .
دالة الخسارة: $L = -L_{forget} + L_{retain} + \lambda_b L_{boundary}$ ، حيث $L_{boundary} = \mathbb{E}[\max(0, m - (\ell_\theta(f) - \ell_\theta(r)))]$ . هذا يشجع النموذج على تعلم حدود حذف دقيقة داخل الموضوع.

النتائج الرئيسية

نتائج المعيار المرجعي

تكشف التجارب على ست طرق إلغاء تعلم ممثلة (GA, GA_diff, NPO, KL_Min, MMUnlearner, MANU) عبر نموذجين أساسيين (Qwen3-VL-8B, Gemma3-12B) عما يلي:

القمع البصري مقابل القمع الحقائقي: في إلغاء التعلم الكامل، غالبًا ما تقوم الطرق بقمع الهوية البصرية (الفشل في التعرف على الشخص في الصور) بدلاً من إزالة المعرفة الحقائقية الكامنة. غالبًا ما يظل أداء الأسئلة والأجوبة النصية مرتفعًا رغم انخفاض أداء الأسئلة والأجوبة البصرية (VQA).
المقايضات في إلغاء التعلم الانتقائي: بينما تظهر الطرق قدرة أفضل على نسيان الحقائق في الإعدادات الانتقائية، إلا أنها تظهر مقايضات كبيرة، حيث تؤدي غالبًا إلى تدهور أداء الاحتفاظ أو المنفعة العامة للنموذج.
تحديات إلغاء التعلم المخصص: يكشف هذا الإعداد عن الصعوبات الأكثر أهمية. تجد الطرق صعوبة في التمييز بين حقائق النسيان وحقائق الاحتفاظ داخل نفس الموضوع، مما يؤدي إما إلى نقص في النسيان (تسريب) أو نسيان مفرط (فقدان المنفعة).
المتانة: تعتبر الهجمات عبر الصور فعالة بشكل خاص ضد طرق إلغاء التعلم الكامل، مما يؤكد اعتمادها على القمع البصري. وتكشف الهجمات النصية (مثل كسر الحماية/Jailbreak) عن نقاط ضعف في إلغاء التعلم الانتقائي، خاصة في طريقة NPO.

أداء BAO

تطبيق BAO على GA_diff و MMUnlearner يحسن بشكل كبير من قمع الحقائق المختارة للنسيان في إعداد إلغاء التعلم المخصص.
يعمل بفعالية على تخفيف نقص النسيان من خلال فرض الحدود داخل الموضوع الواحد.
ومع ذلك، يشير المؤلفون إلى أن فرض قيود الحدود صراحةً يمكن أن يضخم المقايضة المتأصلة بين النسيان والاحتفاظ، مما يؤدي أحيانًا إلى تدهور الأداء في مهام الأسئلة والأجوبة والإنشاء الخاصة بالاحتفاظ.

الأهمية والمساهمات

يدعي البحث ثلاث مساهمات رئيسية:

PPU-Bench: أول معيار مرجعي متعدد الوسائط واسع النطلة وواقعي لإلغاء التعلم الجزئي المخصص. إنه يتجاوز البيانات الاصطناعية وإزالة الهوية العامة لتقييم سيناريوهات الحذف الدقيقة والمتمحورة حول المستخدم.
رؤى تجريبية: تثبت التجارب المكثفة أن طرق إلغاء تعلم النماذج متعددة الوسائط الحالية تفشل في تحقيق نسيان متسق للحقائق وتفتقر إلى التحكم الدقيق في الحدود داخل الموضوع الواحد، لا سيما في الإعدادات المخصصة.
طريقة BAO: استراتيجية تحسين بسيطة وفعالة تقوم بنمذجة الحدود الحقائقية داخل الموضوع صراحةً، مما يظهر أداءً محسّنًا في سيناريوهات إلغاء التعلم المخصص مقارنة بالطرق الأساسية.

يضع المؤلفون PPU-Bench كأداة تشخيصية للكشف عن تحيزات الفئات واختلافات الاستقرار عبر مجموعات المعرفة، مؤكدين على ضرورة وجود طرق يمكنها التعامل مع المقايضات المعقدة لطلبات الخصوصية في العالم الحقيقي دون المساس بمنفعة النموذج.