💻 computer science

Object Hallucination-Free Reinforcement Unlearning for Vision-Language Models

تقترح هذه الورقة إطار عمل HFRU، وهو إطار لنسيان التعزيز يعمل على مشفر الرؤية باستخدام تحسين قائم على GRPO ومكافأة تجريد لتحقيق نسيان دلالي عميق للمعرفة الحساسة في نماذج الرؤية واللغة مع منع هلوسة الأشياء بفعالية.

المؤلفون الأصليون: Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج الرؤية واللغة (VLM) كأنه أمين مكتبة فائق الذكاء ومتعدد اللغات، قرأ كل كتاب ونظر إلى كل صورة على الإنترنت. هذا الأمين متعاون للغاية، لكنه أحياناً يتذكر أشياء لا ينبغي له تذكرها، مثل وجه مشهور معين، أو صورة خاصة، أو صورة محمية بحقوق الطبع والنشر.

عندما نطلب من أمين المكتبة "نسيان" هذه الأشياء المحددة، تعمل الطرق الحالية مثل محرر أخرق؛ فهي تكتفي بشطب الأسماء من دفتر ملاحظات أمين المكتبة (المخرج النصي) لكنها تترك الصورة الذهنية الفعلية لذلك الشخص أو الشيء سليمة في عقل أمين المكتبسة. إذا طرحت سؤالاً مخادعاً مثل: "هل هذا الشخص موجود في الصورة؟"، فقد يظل أمين المكتبة قادراً على التعرف عليه، حتى لو وعد بعدم ذكر اسمه. والأسوأ من ذلك، عندما يُجبر على النسيان، قد يبدأ أمين المكتبة في اختلاق أشياء، فيصف بثقة قطة بينما الصورة في الواقع تُظهر كلباً، فقط لملء الفراغ.

تقدم الورقة البحثية طريقة جديدة تسمى HFRU (التعلم غير المعتمد على تعزيز خالي من الهلوسة) لإصلاح ذلك. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "النسيان السطحي"

تحاول معظم الطرق الحالية جعل أمين المكتبة ينسى عن طريق تعديل حديثه فقط (مفكك اللغة).

التشبيه: تخيل أنك تقول لطالب: "لا تقل كلمة 'تفاحة'". سيتوقف الطالب عن قول "تفاحة"، لكنه لا يزال يمتلك صورة ذهنية مثالية لتفاحة في رأسه. إذا عرضت عليه صورة وسألته: "ما هذه الفاكهة؟"، فقد لا يزال يعرف أنها تفاحة، أو قد يصاب بالذعر ويخمن "موزة" فقط لتجنب قول "تفاحة". وهذا ما يسمى بالهلوسة—أي اختلاق حقائق ليست موجودة.

2. الحل: إعادة توصيل "العيون"

تتبع طريقة HFRU نهجاً مختلفاً. فبدلاً من مجرد تعديل الكلام، تذهب مباشرة إلى الجزء من دماغ أمين المكتبة الذي يرى ويتعرف على الصور (مفكك الرؤية).

التشبيه: بدلاً من مجرد إخبار الطالب ألا يقول "تفاحة"، تقوم HFRٍU بتمويه الصورة الذهنية للتفاحة بلطف في عقل الطالب. إنها تعيد تشكيل كيفية معالجة الدماغ لهذا النمط البصري المحدد بحيث لا يعود يبدو كتفاحة.

3. العملية المكونة من خطوتين

تستخدم HFRU عملية تدريب مكونة من مرحلتين للقيام بذلك بأمان:

المرحلة الأولى: مرحلة "الارتباك" (البداية الباردة)
يقوم النظام بعرض صور للأشياء المراد نسيانها (مثل كلب معين) على أمين المكتبة، ولكنه يخبره بوصفها كشيء آخر (مثل "هذا أرنب").
الهدف: هذا يكسر الرابط القوي بين الصورة والاسم الأصلي. الأمر يشبه تعليم أمين المكتبة أنه عندما يرى هذا الكلب المحدد، يجب أن يفكر في "أرنب". هذا يضعف الذاكرة قبل بدء العمل الحقيقي.
المرحلة الثانية: مرحلة "المكافأة الذكية" (التعلم التعزيزي)
يستخدم النظام نظاماً لتسجيل النقاط يشبه الألعاب (يسمى GRPO) لتدريب أمين المكتبة.
العقوبة: إذا ذكر أمين المكتبة الاسم المحظور (مثل "كلب")، فإنه يخسر نقاطاً.
مكافأة التجريد (السر الكبير): إذا أُجبر أمين المكتبة على نسيان "كلب"، فقد يميل إلى التخمين بكلمة "قطة" (هلوسة). هنا تمنح HFRU مكافأة إذا استخدم أمين المكتبة كلمة آمنة وعامة مثل "حيوان".
التشبيه: تخيل معلماً يقول لطالب: "لا تقل 'كلب'". إذا قال الطالب "قطة"، فسيحصل على درجة سيئة (هلوسة). ولكن إذا قال "حيوان"، فسيحصل على نجمة ذهبية. هذا يعلم الطالب أن يكون غامضاً وآمناً بدلاً من تقديم إجابة محددة خاطئة.

4. النتائج

اختبرت الورقة البحثية هذا على نوعين من المهام: التعرف على الأشياء (مثل الكلاب والفيلة) والتعرف على الوجوه (مثل أشخاص مشهورين معينين).

النسيان: نجحت HFRU في جعل أمين المكتبة ينسى الأهداف المحددة بنسبة 98-99% من الوقت.
التذكر: حافظت على قدرة أمين المكتبة على التعرف على كل شيء آخر (مثل القطط أو أشخاص آخرين) بشكل مثالي تقرياً.
لا توجد هلوسات: والأهم من ذلك، على عكس الطرق الأخرى التي جعلت أمين المكتبة يخمن بشكل عشوائي، لم تقم HFRU باختلاق أشياء وهمية تقريباً. كان أمين المكتبة إما يقول "لا أعرف" أو يستخدم كلمة عامة آمنة مثل "حيوان".

ملخص

فكر في HFRU كعملية جراحة متخصصة للذاكرة. بدلاً من مجرد وضع كمامة على أمين المكتبة لمنعه من نطق كلمات معينة، تقوم HFRU بإعادة توصيل مركز التعرف البصري لديه بعناية. إنها تعلمه استبدال الذكريات المحددة والحساسة بمفاهيم عامة وآمنة، مما يضمن عدم اختلاق أشياء كاذبة عندما يحاول النسيان. النتيجة هي نموذج ينسى حقاً ما يجب عليه نسيانه، دون أن يفقد عقله أو يختلق الأكاذيب.

ملخص تقني: التعلم غير الموجه لتعزيز الرؤية واللغة الخالي من هلوسة الكائنات

تعريف المشكلة

تنطوي نماذج الرؤية واللغة (VLMs) على مخاطر كبيرة تتعلق بالخصوصية، وحقوق الطبع والنشر، والتحيز، مما يستدعي ضرءورة "التعلم غير الموجه" (Machine Unlearning) لإزالة معرفة حساسة محددة. ومع ذلك، تعتمد طرق التعلم غير الموجه الحالية بشكل أساسي على الضبط الدقيق لفك التشفير اللغوي (Language Decoder). وقد حدد المؤلفون قصوراً حرجاً في هذا النهج: وهو أنه يؤدي إلى نسيان سطحي. فبينما قد ينجح النموذج في كبح توليد كلمات مفتاحية معينة في النصوص المفتوحة، إلا أنه يحتفظ بالتمثيلات البصرية الأساسية للمفهوم المستهدف داخل مشفر الرؤية (Vision Encoder). ونتيجة لذلك، لا يزال بإمكان النموذج التعرف على المفهوم المنسي أو الاستدلال عنه عند سؤاله بطريقة تمييزية (على سبيل المثال: "هل هذا الشخص هو X؟").

علاوة على ذلك، يسلط البحث الضوء على نمط فشل لم يتم الالتفات إليه سابقاً: هلوسة الكائنات. فعندما يُجبر النموذج على كبح مفهوم ما دون وجود بديل دلالي، فقد يعيد توزيع كتلة الاحتمالية بشكل عشوائي على كائنات غير مرتبطة ليست مستندة إلى المدخلات البصرية. وقد حددت الورقة رسمياً هدف التعلم غير الموجه لنماذج الرؤية واللغة الخالي من هلوسة الكائنات، والذي يتطلب:

النسيان الفعال: إزالة تأثير المفهوم المستهدف عبر المهام التوليدية والتمييزية على حد سواء.
الحفاظ على المنفعة: الحفاظ على الأداء في البيانات غير المستهدفة (المحتفظ بها) والاختبارات العامة.
توليد خالٍ من الهلوسة: ضمان أن النموذج، عندما لا يستطيع تحديد مفهوم مستهدف، لا يؤكد بثقة وجود كائنات غير ذات صلة. بدلاً من ذلك، يجب أن يعبر عن عدم اليقين أو يستخدم أسماء أجناس عليا (Hypernyms) صالحة دلالياً (مثل "حيوان" بدلاً من "كلب" محدد أو "قطة" عشوائية).

المنهجية: إطار عمل HFRU

يقترح المؤلفون إطار عمل HFRU (التعلم غير الموجه لتعزيز الرؤية واللغة الخالي من الهلوسة)، وهو إطار عمل يتكون من مرحلتين يعمل مباشرة على مشفر الرؤية بدلاً من فك التشفير اللغوي. وهذا يضمن الإزالة الدلالية العميقة على مستوى التمثيل.

المرحلة الأولى: تعطيل المحاذاة في البداية الباردة

تستخدم المرحلة الأولى الضبط الدقيق الخاضع للإشراف (SFT) لتعطيل المحاذاة بين الميزات البصرية في مجموعة النسيان وتسمياتها الأصلية.

العملية: يقوم النموذج بتوليد وصف لصورة في مجموعة النسيان. يتم استبدال الكلمات المفتاحية المتعلقة بالمفهوم المستهدف عشوائياً برموز (Tokens) من مجموعة الاحتفاظ (على سبيل المثال، استبدال "كلب" بـ "أرنب").
الهدف: يتم تدريب مشفر الرؤية على ربط المدخل البصري بالنص المعدل وغير المتوافق. هذا يضعف اعتماد النموذج على المفهوم المستهدف ويهيئ المشفر في حالة يتم فيها تعطيل الارتباط الأصلي بشكل كبير.

المرحلة الثانية: التعلم غير الموجه لـ "المشفر فقط" باستخدام التعزيز

تستخدم المرحلة الثانية تحسين السياسة النسبي للمجموعات (GRPO) لتنقيح معاملات مشفر الرؤية مع إبقاء فك التشفير اللغوي مجمداً.

هيكل المكافأة المركب: الابتكار الجوهري هو دالة مكافأة مصممة لمعاقبة المفاهيم المستهدفة مع تشجيع التجريدات الصالمة دلالياً.
- مكافأة العقوبة ( $R_{pen}$ ): تعاقب الكلمات المفتاحية المستهدفة ومرادفاتها.
- مكافأة التجريد ( $R_{abs}$ ): تكافئ توليد الأسماء العليا/الأجناس العليا (مثل "حيوان" لـ "كلب") بدلاً من الكائنات غير المرتبطة. يعمل هذا كـ "بديل دلالي آمن"، حيث يوجه النموذج لاستبدال المفاهيم المنسية بفئات أعلى صالحة.
- مكافأة الاحتفاظ ( $R_{retain}$ ): تضمن احتفاظ النموذج بالمعرفة بالمفاهيم غير المستهدفة.
التحسين: يقوم GRPO بحساب المزايا النسبية ضمن مجموعة من الاستجابات التي تم أخذ عينات منها لاستقرار التدريب. تعمل دالة الهدف على تعظيم المكافأة لمجموعة النسيان (معاقبة الأهداف، ومكافأة الأسماء العليا) ولمجموعة الاحتفاظ (مكافأة الحفاظ)، مما يؤدي فعلياً إلى إعادة تشكيل مساحة التمثيل الكامن.

الضمان النظري

تقدم الورقة برهاناً نظرياً (التمهيدية 1) يوضح أن تضمين مكافأة التجريد ( $R_{abs}$ ) يقلل بشكل منهجي من معدل الهلوسة المتوقع مقارنة باستخدام مكافأة العقوبة فقط. فمن خلال توفير مسار دلالي صالح (الأسماء العليا) لكتلة الاحتمالية التي تمت إزالتها من المفهوم المستهدف، يصبح النموذج أقل عرضة لتوليد كائنات غير مستندة إلى أساس بصري.

المساهمات الرئيسية

تعريف المشكلة: حدد المؤلفون رسمياً مشكلة جديدة وهي التعلم غير الموجه لنماذج الرؤية واللغة الخالي من هلوسة الكائنات، معالجين نمط الفشل حيث يؤدي إزالة المفهوم إلى توليد محتوى غير مستند إلى أساس.
إطار عمل HFRU: اقترحوا إطار عمل من مرحلتين يستهدف مشفر الرؤية. يضمن هذا الإزالة الدلالية العميقة بدلاً من مجرد التصفية المعجمية السطحية. ونظرياً، تقلل هذه الآلية من الهلوسة في مجموعة النسيان.
تصور مبتكر: طور المؤلفون طريقة لإعادة بناء الإدراك الداخلي من الحالات المخفية باستخدام شبكة رسم (Mapping Network) وIP-Adapter قائم على الانتشار، مما يسمح بالملاحظة المباشرة لكيفية تغير الميزات البصرية أثناء عملية التعلم غير الموجه.
تقييم شامل: أظهرت التجارب المكثفة على مهام التعرف على الأشياء (PACS) وهوية الوجه (VGGFace2) فعالية الإطار.

النتائج التجريبية

قيم المؤلفون HFRU على مجموعات بيانات PACS وVGGFace2، وقارنوه بنماذج أساسية تشمل Gradient Ascent (GA)، وGradient Difference (GD)، وNPO، وRMU، وSAUCE، وSLUG.

النسيان والاحتفاظ: حقق HFRU متوسط معدل نسيان وأداء احتفاظ تجاوز 98% عبر تنسيقات الطلبات المختلفة (الأصلية، والمصاغة بأسلوب آخر، والتمييزية).
تخفيف الهلوسة: على عكس النماذج الأساسية التي غالباً ما تضحي بالاحتفاظ مقابل الهلوسة (على سبيل المثال، أظهر SAUCE نسياناً عالياً ولكن بمعدل هلوسة قدره 20.67% على VGGFace2)، قدم HFRU هلوسة كائنات ضئيلة جداً (0.25% على PACS، و1.34% على VGGFace2).
المنفعة العامة: حافظ HFRU على قدرات الرؤية واللغة العامة بما يضاهي النموذج الأساسي، بينما عانت العديد من النماذج الأساسية من تدهور كبير في الاختبارات العامة (MMStar، OCRBench، MMMU، RealWorldQA).
دراسات الاستئصال (Ablation Studies): أدى حذف مكافأة التجريد إلى طفرة هائلة في الهلوسة (وصلت إلى 99.67% على VGGFace2)، مما يؤكد دورها الحاسم. كما تبين أن قصر التحديثات على مشفر الرؤية كان متفوقاً على الضبط الدقيق لكامل المعلمات، والذي غالباً ما يؤدي إلى كبح سطحي على مستوى الرموز (Tokens).

الأهمية والادعاءات

تدعي الورقة أن HFRU يضع معياراً جديداً (SOTA) للتعلم غير الموجه لنماذج الرؤية واللغة من خلال حل التحدي المزدوج المتمثل في إزالة المفهوم بفعالية ومنع الهلوسة. تكمن الأهمية في:

تغيير التركيز: نقل التعلم غير الموجه من فك التشفير اللغوي إلى مشفر الرؤية لتحقيق محو دلالي حقيقي.
السلامة والموثوقية: توفير آلية تمنع النماذج من "هلوسة" حقائق جديدة، قد تكون ضارة أو خاطئة، عند إجبارها على نسيان بيانات محددة.
القوة والمتانة: إثبات أن الطريقة تعمم على الإعدادات خارج التوزيع (OOD) (مثل مجال الرسم Sketch في PACS) دون الإفراط في التكيف مع توزيع التدريب.

خلص المؤلفون إلى أن عملهم يسلط الضوء على ضرورة التدخل على مستوى المشفر وتصميم المكافآت المهيكلة لضمان تعلم غير موجه موثوق للوسائط المتعددة، مما يقدم نهجاً عملياً لأنظمة ذكاء اصطناٍ أكثر أماناً وموثوقية.