💻 computer science

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

يُعد SafeCap إطار عمل للتعلم المعزز يعمل على تعزيز سلامة النماذج اللغوية البصرية الكبيرة ضد هجمات الاختراق عبر تدريب النماذج على توليد أوصاف صور ذات صلة بالسلامة توجه النموذج اللغوي الكبير المجمد نحو قرارات متوافقة، مما يجعله يتفوق على أساليب محاذاة السلامة الحالية مع الحفاظ على المنفعة البصرية.

المؤلفون الأصليون: Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

نُشر 2026-08-12

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقًا آليًا فائق الذكاء يمكنه قراءة الكتب وكتابة القصص بشكل أفضل من أي شخص آخر تقريبًا. هذا الروبوت حذر للغاية بالفعل؛ فإذا طلبت منه القيام بشيء خطير، مثل صنع قنبلة، فإنه يقول بأدب: "مستحيل، هذا غير آمن". ولكن الآن، تخيل أنك أريت هذا الروبوت صورة لقنبلة بدلاً من مجرد كتابة الكلمات. فجأة، يرتبك الروبوت. يرى الصورة، ويفكر: "أوه، هذا مجرد رسم رائع!"، فينسى قواعد السلامة الخاصة به، ويشرح لك بسعادة كيفية صنع الجهاز. هذه هي المشكلة المعقدة التي يواجهها العلماء مع نماذج "الرؤية واللغة" الحديثة: فهي بارعة في الرؤية، لكن مكابح السلامة لديها تفشل أحيانًا عندما تنظر إلى صورة.

لإصلاح ذلك، يحاول الباحثون تعليم هذه النماذج أن تكون "ثنائية اللغة" بطريقة خاصة. إنهم يريدون ألا يكتفي الروبوت بالنظر إلى الصورة والإجابة فحسب، بل أن يصف الصورة أولاً بصوت عالٍ وبطريقة آمنة وحذرة، ثم يعطي الإجابة. فكر في الأمر كحارس أمن يجب عليه كتابة تقرير مفصل عن طرد مشبوه قبل أن يُسمح له بإخبارك بما يجب فعله به. إذا كان التقرير غامضًا أو أغفل الخطر، فإن الحارس يتوقف ويقول: "انتظر، أحتاج إلى النظر عن كثب". هذه الورقة البحثية، التي تسمى SafeCap، تقدم طريقة تدريب جديدة تعلم هذه الروبوتات الذكية كتابة تقارير السلامة تلك تلقائيًا، مما يجعل خداعها أصعب بكثير.

المشكلة: عندما تخدع الصور العقل

نماذج الرؤية واللغة الكبيرة (LVLMs) هي بمثابة نسخ فائقة القدرة من روبوتات الدردشة التي يمكنها الرؤية. وهي ترث "سلوكها الجيد" من الأدمغة النصية فقط التي بُنيت عليها. لكن الصور مخادعة. قد يرفض نموذج نصي فقط طلبًا لـ "صنع قنبلة"، ولكن إذا أريته صورة لقنبلة مع ملاحظة تقول "كيف أصنع هذا؟"، فقد يتشتت النموذج بالصورة وينسى قواعد السلامة الخاصة به. الأمر يشبه حارسًا يعتاد فحص الهويات، لكنه يتشتت بانتباهه بسبب ملصق لامع على قميص أحد الزوار فيسمح له بالمرور.

تضمنت المحاولات السابقة للإصلاح استخدام "دفاعات وقت الاستدلال"، وهي تشبه وضع مرشح (فلتر) أمام عيني الروبوت. إحدى الطرق الشائعة، وتسمى ECoS، تحاول تحويل الصورة إلى كلمات بعد أن يراها الروبوت، على أمل أن يتمكن نظام سلامة نصي فقط من رصد الخطر. لكن هذا يشبه محاولة وصف لوحة معقدة لصديق كفيف والأمل في أن يتمكن من رصد فخ مخفي في ضربات الفرشاة. غالبًا ما يغفل الوصف التفاصيل الصغيرة ولكن الخطيرة، ويفشل نظام السلامة.

الحل: SafeCap (مدرب "وصف السلامة")

يقترح مؤلفو هذه الورقة SafeCap، وهي طريقة تدريب ذكية تعلم الروبوت كتابة تقرير سلامته الخاص قبل أن يجيب. بدلاً من مجرد قول "نعم" أو "لا"، يتم تدريب النموذج على إخراج شيئين:

الوصف (Caption): وصف مفصل للصورة يسلط الضوء على أي تفاصيل ذات صلة بالسلامة (مثل ملصق "خطر" أو سلاح).
الإجابة (Answer): الرد النهائي على سؤال المستخدم.

يحدث السحر أثناء التدريب. لا يتعلم النموذج مجرد كتابة وصف؛ بل يتعلم كتابة وصف يساعد ذكاءً اصطناعيًا نصيًا فقط (غير متغير) على اتخاذ القرار الصحيح بشأن السلامة. تخيل طالبًا (النموذج) يؤدي اختبارًا. يقول المعلم (نظام التدريب): "اكتب ملخصًا لهذه الصورة أولًا. ثم، سأعطي هذا الملخص لمصحح صارم لا يستطيع رؤية الصورة. إذا قال المصحح 'هذا خطير' بناءً على ملخصك فقط، وقلت أنت أيضًا 'هذا خطير'، فستحصل على مكافأة".

هذا يجبر النموذج على أن يكون صادقًا ودقيقًا. لا يمكنه تجاهل الخطر والأمل في أن يخطئ المصحح. يجب عليه الإشارة صراحة إلى الخطر في الوصف حتى يعمل فحص السلامة.

كيف يعمل: لعبة "المكافأة"

يستخدم التدريب تقنية تسمى التعلم التعزيزي (Reinforcement Learning). فكر في الأمر كأنها لعبة فيديو يحصل فيها النموذج على نقاط للسلوك الجيد ويفقد النقاط للسلوك السيئ.

مكافأة القالب (Template Reward): يجب على النموذج اتباع تنسيق صارم (كتابة الوصف، ثم الإجابة). إذا أفسد التنسيق، يحصل على صفر من النقاط.
مكافأة الإجابة (Answer Reward): يتم فحص إجابة النموذج النهائية. إذا كانت مفيدة وآمنة، يحصل على نقاط. إذا كانت خطيرة، تُخصم النقاط بشكل كبير (باستخدام خدعة رياضية خاصة تسمى "الخصم الأسي للمخاطر" تجعل الإجابات الخطيرة تساوي تقريبًا لا شيء).
مكافأة الوصف (Caption Reward): هذا هو المكون السري. يحصل النموذج على نقاط إضافية إذا ساعد الوصف الذي كتبه الذكاء الاصطناعي النصي (غير المتغير) في الوصول إلى نفس الاستنتاج الآمن. إذا كان الوصف غامضًا وأخطأ الذكاء الاصطناعي النصي في رصد الخطر، فلن يحصل النموذج على نقاط لهذا الجزء.

ماذا وجدوا: السلامة دون فقدان الذكاء

اختبر الباحثون SafeCap على خمسة معايير سلامة (اختبارات مصممة لخداع الذكاء الاصطيائي) وستة معايير فائدة (اختبارات لمعرفة ما إذا كان الذكاء الاصطناعي لا يزال جيدًا في المهام العادية مثل وصف الصور أو حل الألغاز). استخدموا أحجامًا مختلفة من النماذج، تتراوح من 2 مليار إلى 4 مليارات معلمة (parameter).

كانت النتائج مثيرة للإعجاب:

تعزيز السلامة: تحت بروتوكول "DirectCap" (حيث يكتب النموذج الوصف ثم يجيب)، حسن SafeCap درجات السلامة بمقدار 3.7 إلى 19.0 نقطة عبر نماذج مختلفة. بالنسبة لنموذج 4B-Base، قفزت درجة السلامة بمقدار هائل قدره 19.0 نقطة.
لا توجد مقايضة: عادةً، جعل النموذج أكثر أمانًا يجعله أقل ذكاءً (يرفض الإجابة على الأسئلة غير الضارة). لكن SafeCap نجح في الحفاظ على "فائدة الرؤية" (مدى جودة وصف الصور والإجابة على الأسئلة) لتكون مطابقة تقريبًا للنماذج غير المدربة. لم يحول الروبوت إلى آلة "لا" غاضبة؛ بل جعله أكثر ذكاءً وحذرًا.
التفوق على المنافسين: عند مقارنته بطرق أخرى مثل التدريب على السلامة القياسي (SFT)، وDPO، وطريقة أحدث تسمى SafeGRPO، جاء SafeCap في المقدمة. لقد حقق درجات سلامة أعلى مع الحفاظ على فائدة أفضل.

لماذا هذا مهم

تشير الورقة البحثية إلى أن أفضل طريقة للحفاظ على سلامة نماذج الذكاء الاصطناዊ البصرية ليست مجرد إصلاحها بعد رؤية الصورة، بل تعليمها "التفكير بصوت عالٍ" حول ما تراه قبل أن تتحدث. من خلال إجبار النموذج على إنشاء وصف واعٍ بالسلامة، فإنه يخلق جسرًا بين العالم المرئي والقواعد النصية للسلامة.

وجد المؤلفون أن هذه الطريقة تعمل بشكل أفضل عندما يتم تدريب النموذج على استخدام مسار "الوصف أولًا". إذا حاولت استخدام النموذج بدون الوصف (مجرد السؤال عن الإجابة مباشرة)، فإن مكاسب السلامة تكون أصغر وتعتمد أكثر على النموذج المحدد. ولكن عندما يُسمح للنموذج باستخدام عادة "وصف السلامة"، فإنه يصبح أكثر قوة ضد عمليات الاختراق (jailbreaks) والطلبات الخطيرة.

باختًا، يعلم SafeCap الذكاء الاصطناعي أن ينظر إلى صورة، ويصف الخطر بوضوح، ثم يقرر ماذا يفعل. الأمر يشبه تدريب حارس على كتابة تقرير دائمًا قبل فتح البوابة، مما يضمن أنه حتى لو تشتت انتباه حارس البوابة، فإن التقرير المكتوب يحافظ على سلامة الجميع. تظهر الورقة أن هذا النهج ليس فعالًا فحسب، بل يحافظ أيضًا على قدرة النموذج على أن يكون مفيدًا، مما يقدم مسارًا واعدًا لمستقبل أكثر أمانًا للذكاء الاصطناعي في عالم مرئي.

ملخص تقني: SafeCap

بيان المشكلة

ترث نماذج الرؤية واللغة الكبيرة (LVLMs) قدرات اتباع التعليمات من النماذج اللغوية الأساسية، لكنها تظل عرضة لهجمات الاختراق (jailbreak) التي تستغل المدخلات البصرية. وخلافًا للنماذج النصية فقط، والتي يمكنها الاعتماد على سياسات الرفض من جانب اللغة، يجب على نماذج (LVLMs) إدراك الأدلة ذات الصلة بالسلامة داخل الصورة، ومواءمتها مع طلبات المستخدم، ثم اتخاذ قرار بشأن الاستجابة. وهذا يخلق أوضاع فشل حيث تُدمج التعليمات الضارة في صور تحتوي على نصوص، أو يُلمح إلى نية خطيرة من خلال الأشياء، أو تصبح المطالبات الحميدة غير آمنة فقط بعد الربط البصري. غالبًا ما تفشل طرق المحاذاة الأمنية الحالية في تغطية هذه التهديدات الخاصة بالوسائط المتعددة.

تنقسم الدفاعات الحالية إلى فئتين:

التدخلات أثناء الاستنتاج (Inference-time interventions): مثل طرق ECSO التي تحول الصور إلى نصوص للاستفادة من السلامة من جانب اللغة. ومع ذلك، فإن عملية تحويل الصورة إلى نص غالبًا ما تفقد التفاصيل البصرية الدقيقة (مثل الأجسام ذات الصلة بالسلامة، أو النصوص المرئية، أو السياق)، مما يجعل النموذج النصي اللاحق غير قادر على اتخاذ قرار آمن.
المحاذاة أثناء التدريب (Training-time alignment): الطرق التي تستخدم بيانات التفضيل المنسقة أو الضبط الدقيق للسلامة (SFT) غالبًا ما تعاني من المقايضة بين تحسين الرفض للمدخلات الخبيثة وبين الحفاظ على الإدراك البصري للمدخلات الحميدة.

التحدي الجوهري هو مواءمة نماذج (LVLMs) للتعرف على إشارات السلامة البصرية والاستجابة لها دون التضحية بفائدة الفهم البصري للنموذج أو الاعتماد على أغلفة هشة أثناء الاستنتاج.

المنهجية: SafeCap

إن SafeCap هو إطار عمل للتعلم التعزيزي (RL) يعمل على مواءمة نماذج (LVLMs) من خلال التعليق الذاتي المتعلم (learned self-captioning). بدلًا من معاملة وصف الصور كشرح مساعد أو دفاع لاحق، يصيغ SafeCap محاذاة السلامة كمسألة تعليق ذاتي حيث يولد النموذج تمثيلًا وسيطًا صريحًا وذا صلة بالسلامة قبل إنتاج الإجابة النهائية.

نظرة عامة على إطار العمل

لكل زوج (صورة، سؤال) $(x, q)$ ، يتم تدريب نموذج السياسة $\pi_\theta$ لإنتاج استجابة مهيكلة $y = \langle \text{caption} \rangle c \langle / \text{caption} \rangle a$ ، حيث $c$ هو وصف نصي للصورة و $a$ هو الإجابة النهائية. يعمل هدف التدريب على تحسين ثلاث إشارات متميزة:

مكافأة القالب (Template Reward - $R_{tmp}$ ): بوابة ثنائية تضمن أن المخرجات تحتوي على كتلة وصف واحدة كاملة وإجابة غير فارغة، مما يمنع التدهور الهيكلي.
مكافأة الإجابة المباشرة (Direct Answer Reward - $R_{ans}$ ): تقيم الإجابة النهائية $a$ لنموذج السياسة باستخدام نموذج حكم يخصص درجة الاحتفاظ $u(a)$ (الفائدة) ودرجة المخاطرة $h(a)$ (الضرر). تُحسب المكافأة باستخدام دالة خصم المخاطر الأسية: $S(u, h) = u \cdot \gamma^h$ ، حيث $\gamma \in (0, 1)$ . تضمن هذه الصيغة الضربيه أن الإجابات عالية المخاطر تفقد قيمتها بسرعة، مما يثبط سلوكيات "عدم فعل شيء" بينما يكافئ الاستجابات الآمنة والمعلوماتية.
المكافأة الوسيطة بالوصف (Caption-Mediated Reward - $R_{cap}$ ): هذا هو الابتكار الجوهري. يتم توجيه الوصف المولد $c$ $c$ إلى نموذج لغوي كبير (LLM) مجمد يعمل بالنصوص فقط (والذي لا يرى الصورة أبدًا) جنباً إلى جنب مع السؤال الأصلي $q$ $q$ . يقوم النموذج اللغوي المجمد بتوليد إجابة $a_f$ $a_{f}$ . تقيم المكافأة عاملين:
- التغطية الوصفية: درجة $u(c)$ تقيس تغطية الوصف للموضوعات، والسمات، والأفعال، والتخطيط المكاني، والنصوص المرئية.
- محاذاة السلامة: إشارة ثنائية $g(q, a, a_f)$ تعيد القيمة 1 إذا اتفقت إجابة السياسة $a$ وإجابة النموذج اللغوي المجمد $a_f$ على الحالة الأمنية للموقف (أي أن كليهما يدرك الخطر أو كلاهما يعتبره آمنًا).
- تُعرف مكافأة الوصف بـ $R_{cap} = g(q, a, a_f) \cdot u(c)$ . وهذا يشجع السياسة على توليد أوصاف تحتوي على أدلة بصرية كافية لتمكين المستنتج النصي من الوصول إلى قرار متوافق مع السلامة.

التحسين (Optimization)

يستخدم SafeCap خوارزمية تحسين السياسة النسبي للمجموعات (GRPO). لكل مطالبة (prompt)، يقوم النموذج بأخذ عينة من مجموعة مكونة من $K=8$ من عمليات التشغيل (rollouts). يتم بناء دالة الميزة باستخدام التطبيع المكوناتي للمجموعات لإشارات المكافأة الثلاث ( $R_{tmp}, R_{cap}, R_{ans}$ ) للتعامل مع المقاييس والتباينات المختلفة. تُستخدم النماذج اللغوية المجمدة ونماذج الحكم فقط لحساب المكافأة ولا يتم تحديثها أبدًا.

المساهمات الرئيسية

صياغة التعليق الذاتي الواعي بالسلامة: تعيد الورقة صياغة محاذاة سلامة (LVLM) كمسألة تعليق ذاتي، مما يتطلب من النموذج توليد تمثيل وسيط صريح يكشف عن الأدلة البصرية ذات الصلة بالسلامة قبل الإجابة.
هدف التعزيز الوسيط بالوصف: تم تقديم آلية مكافأة مزدوجة الإشارة تجمع بين التقييم المباشر للإجابة النهائية وإشارة من نموذج لغوي مجمد. تتحقق هذه الإشارة مما إذا كان الوصف المولد يدعم استجابة متوافقة مع السلامة من مستنتج نصي فقط، مما يسد الفجوة بين الإدراك والمحاذاة.
تقييم متعدد البروتوكولات: يقدم المؤلفون تقييمًا شاملاً عبر خمسة اختبارات مرجعية للسلامة متعددة الوسائط وستة اختبارات مرجعية ل utilidad (فائدة) الرؤية، مع مقارنة بروتوكولات الاستنتاج: Direct، وDirectCap (نقطة التشغيل المقصودة)، وPrism (الوصف فقط).

النتائج

أُجريت التجارب على نماذج Qwen3.5 (2B, 2B-Base, 4B, 4B-Base) التي تم تدريبها على مجموعة بيانات SPA-VL العامة.

مكاسب السلامة: تحت بروتوكول DirectCap، يحسن SafeCap أداء السلامة الإجمالي بشكل كبير. عبر أربعة إعدادات للنماذج، زادت متوسطات السلامة بمقدار 3.7 إلى 19.0 نقطة. ومن الجدير بالذكر أن نموذج 4B-Base شهد زيادة في متوسط السلامة بمقدار 19.0 نقطة مع الحفاظ على فائدة الرؤية المتوسطة دون تغيير جوهري.
الحفاظ على الفائدة (Utility): على عكس بعض طرق ضبط السلامة الدقيق التي تؤدي إلى تدهور الأداء، يحافظ SafeCap على درجات فائدة الرؤية أو يحسنها في اختبارات مثل MM-Vet و BLINK و MMVP.
الأداء المقارن:
- يتفوق SafeCap على عمليات الضبط الدقيق للسلامة القياسية (Safety SFT) وDPO عند تدريبهما على نفس البيانات والخطوات.
- في مقارنة مضبوطة باستخدام بيانات SafeGRPO (وهي SafeTag-VL-3K)، حقق SafeCap متوسط سلامة لبروتوكول DirectCap قدره 55.06 مقارنة بـ 41.27 لـ SafeGRPO، مع الاحتفاظ بفائدة مماثلة.
دراسات الاستئصال (Ablation Studies): أدى حذف مكافأة الوصف أو مكافأة الإجابة المباشرة إلى تدهور كبير في كل من السلامة والفائدة، مما يؤكد ضرورة وجود كلتا الإشارتين. كما وُجد أن تطبيع المكافأة المنفصل كان حاسمًا للغاية لأداء Direct وDirectCap.

الأهمية والادعاءات

تدعي الورقة أن SafeCap يوضح قيمة دمج الأدلة من جانب الإدراك في محاذاة سلامة النماذج متعددة الوسائط. من خلال تدريب (LVLM) على كشف الإشارات البصرية ذات الصلة بالسلامة صراحةً في وصف، تقوم الطريقة بمواءمة الإدراك البصي للنموذج مع سياسة السلامة الخاصة به دون الاعتماد فقط على مطالبات الرفض أو الأغلفة الهشة أثناء الاستنتاج.

يؤكد المؤلفون أن مسار DirectCap (حيث يولد النموذج المدرب وصفًا ثم يجيب) هو نقطة التشغيل المقصودة، حيث يوفر أكثر مكاسب السلامة اتساقًا. وبينما يظهر بروتوكول "Prism" (استخدام نموذج لغوي مجمد للإجابة من الوصف) بعض القدرة على الانتقال، فإن المساهمة الأساسية هي القدرة المتعلمة لـ (LVLM) نفسه على إجراء تعليق ذاتي واعٍ بالسلامة. تشير هذه الدراسة إلى أن التعلم التعزيزي الوسيط بالوصف هو اتجاه عملي وفعال لجهود المجتمع المستقبلية في سلامة الوسائط المتعددة، مكملاً المحاذاة التقليدية من جانب المخرجات.