🤖 AI

Inference-Only Prompt Projection for Safe Text-to-Image Generation with TV Guarantees

تقدم هذه الورقة SPOT، وهو إطار عمل يعمل أثناء مرحلة الاستدلال يقوم باختيارياً بإسقاط المطالبات غير الآمنة نحو "مجموعة تاو الآمنة" (tau safe set) باستخدام نموذج لغوي كبير (LLM) ونموذج رؤية لغوي كبير (VLM) وقائي، وذلك لتقليل توليد الصور غير اللائقة بشكل كبير مع الحفاظ على سلوك المطالبات السليمة دون إعادة تدريب نموذج الانتشار.

المؤلفون الأصليون: Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك آلة فنية سحرية ومجمدة (ذكاء اصطناعي لتحويل النص إلى صورة) يمكنها رسم أي شيء تصفه. إنها موهوبة للغاية، لكنها أحياناً، إذا أعطيتها أمراً معقداً أو خطيراً، قد ترسم بالخطأ شيئاً غير لائق.

المشكلة هي: إذا حاولت "إصلاح" الآلة نفسها لمنعها من رسم الأشياء السيئة، فقد تعطل دون قصد قدرتها على رسم الأشياء الجيدة أيضاً. الأمر يشبه محاولة منع طباخ من طبخ الطعام الحار عن طريق نزع سكينه؛ فجأة لن يعود قادراً حتى على تقطيع الخضروات للسلطة.

تقدم هذه الورقة البحثية طريقة جديدة تسمى SPOT (الإسقاط الانتقائي للمطالبات - Selective Prompt Projection)، وهي تعمل مثل محرر ذكي يجلس قبل الآلة، بدلاً من محاولة إعادة بناء الآلة نفسها.

إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. قاعدة "الآلة المجمدة"

قرر المؤلفون عدم لمس الآلة الفنية على الإطلاق. لقد تركوها كما هي تماماً (مجمدة). لماذا؟ لأنك إذا غيرت الآلة، فإنك تغير شخصيتها. أرادوا إبقاء سلوك الآلة "الجيد" كما هو تماماً، مع إيقاف سلوكها "السيئ" فقط.

2. "خريطة السلامة" (مجموعة $\tau$ الآمنة)

تخيل خريطة حيث توجد بعض المناطق "الخضراء" (آمن للرسم فيها) وأخرى "حمراء" (غير آمنة).

الهدف: إذا طلبت شيئاً في المنطقة الخضراء، يترك المحرر طلبك وشأنه. ترسم الآلة ما طلبته بالضبط.
المشكلة: إذا طلبت شيئاً في المنطقة الحمراء، يجب على المحرر التدخل. ولكن بدلاً من مجرد قول "لا"، فإنه يحاول إيجاد أقرب منطقة خضراء لا تزال تشبه طلبك الأصلي.

3. فريق التحري المكون من مرحلتين

يستخدم SPOT عملية من خطوتين للتعامل مع الطلبات الخطرة، حيث يعمل كفريق أمني يضم ماسحاً ضوئياً رخيصاً ومفتشاً صارماً.

المرحلة 1: الماسح السريع (النموذج اللغوي الكبير - LLM)
عندما يأتي طلب خطر، يعمل ذكاء اصطناعي نصي سريع (LLM) ككشاف. يقوم بسرعة بإنشاء نسخ "معاد صياغتها" من طلبك. يسأل: "إذا غيرت هذه الكلمة بتلك الكلمة، هل سيبدو الأمر أكثر أماناً؟"
يختار النسخة الأقرب لفكرتك الأصلية ولكنها تنقلها من المنطقة الحمراء إلى المنطقة الخضراء.
هذه العملية سريعة وغير مكلفة لأنها تعتمد فقط على الكلمات، وليس الصور.
المرحلة 2: المفتش الصارم (نموذج الرؤية واللغة - VLM)
بمجرد أن يختار المحرر المطالبة المعاد صياغتها الأفضل، تقوم الآلة الفنية الفعلية برسم الصورة. ثم، يقوم ذكاء اصطناعي ثانٍ (نموذج الرؤية واللغة) بفحص الصورة الفعلية التي تم إنشاؤها.
يسأل: "هل هذه الصورة آمنة حقاً؟"
إذا كانت الصورة آمنة، فإنه يعطي الضوء الأخضر.
إذا كانت الصورة لا تزال غير آمنة (ربما لأن الآلة أساءت فهم المطالبة الجديدة)، يعود النظام إلى المرحلة 1، ويجرب إعادة صياغة مختلفة، ويرسم مرة أخرى.

4. المقايضة بين "السلامة والإبداع"

تشير الورقة البحثية إلى نقطة رياضية مهمة جداً: لا يمكنك جعل الذكاء الاصطناعي أكثر أماناً دون تغيير مخرجاته قليلاً.
فكر في الأمر مثل النهر. إذا كنت تريد تحويل فيضان خطير (صور غير آمنة) بعيداً عن قرية، فعليك بناء قناة جديدة. تلك القناة الجديدة ستغير مسار الماء.

خدعة SPOT: إنها تبني قناة جديدة للفيضان الخطير فقط. إذا كان الماء يتدفق بأمان بالفعل (مطالبات سليمة)، فإنها تترك النهر تماماً كما هو. هذا يضمن أنه عندما تطلب "قطة لطيفة"، ستحصل على "قطة لطيفة"، وليس على "قطة كرتونية" أو "شاشة سوداء".

5. النتائج

اختبر المؤلفون هذه الطريقة على أربع مجموعات مختلفة من البيانات وثلاث آلات فنية مختلفة.

السلامة: نجحت في تقليل عدد الصور غير اللائقة بشكل كبير (بنسبة تترا بين 14% و44% أفضل من الطرق الأخرى).
الإبداع: حافظت على بقاء الصور "الجيدة" تبدو تماماً كما لو كانت بدون مرشحات سلامة.
السرعة: لأن المرحلة الأولى (الماسح النصي) سريعة جداً، فإن العملية برمتها أسرع بكثير من الطرق التي تفحص كل فكرة صورة قبل رسمها.

الملخص

SPOT مثل حارس الأمن في ملهى ليلي لا يغير الموسيقى أو الدي جي (نموذج الذكاء الاصطناعي). بدلاً من ذلك، إذا حاول شخص ما قول شيء وقح عند الباب، يقترح عليه الحارس بلطف إعادة صياغة كلامه ليكون مهذباً. إذا سمحت له الصياغة الجديدة بالدخول، فإنه يدخل. وإذا استمر في محاولة أن يكون وقحاً، فلا يدخل. أما إذا كان مهذباً منذ البداية، فإنه يدخل مباشرة دون أن يمسه أحد.

هذا يضمن بقاء المكان آمناً دون إفساد التجربة على الضيوف الطيبين.

ملخص تقني: SPOT – الإسقاط الانتقائي للمطالبات عبر التباين الكلي

بيان المشكلة
تتيح نماذج الانتشار لتحويل النص إلى صورة (T2I) توليد صور عالية الجودة ومفتوحة النهايات، لكنها تنطوي على مخاطر أمنية كبيرة، حيث يمكن للمستخدمين استحضار صور ضارة أو منتهكة للسياسات. تعاني طرق المحاذاة الأمنية الحالية غالبًا من مقايضة حرجة: التدخلات الشاملة (مثل تعديل أوزان المولد أو تطبيق مطالبات ناعمة عالمية) يمكن أن تشوه سلوك النموذج حتى في المطالبات الحميدة، مما يؤدي إلى تدهور جودة الصورة والدقة الدلالية. ومن ناحه أخرى، فإن الطرق التي تتحقق من الصور المولدة قد تترتب عليها تكاليف حوسبة عالية أو تفشل في حصر التدخلات الأمنية فقط في المدخلات الخطرة. تحدد الورقة توترًا جوهريًا: إن تقليل عدم الأمان المتوقع دون مستوى مرجعي يتطلب بطبيعته انحرافًا في توزيع الصور المشروطة بالمطالبة. التحدي يكمكم في تحقيق الأمان دون تشويه سلوك المولد المجمد عالميًا عند التعامل مع المدخلات الحميدة.

المنهجية
يقترح المؤلفون SPOT (الإسقاط الانتقائي للمطالبات - Selective Prompt prOjecTion)، وهو إطار عمل وقت الاستنتاج الذي يقرب "الإسقاط الآمن" دون إعادة تدريب المولد أو تعلم إعادة كتابة خاصة بالفئات. تستند المنهجية إلى تحليل نظري باستخدام مسافة التباين الكلي (Total Variation - TV).

الأساس النظري (SPAT): تصيغ الورقة مقايضة المحاذاة بين السلامة والمطالبة (SPAT). وتثبت أنه إذا تم قياس عدم الأمان كمتوقع محدود عبر الصور المولدة، فإن تقليل هذا المتوقع دون مستوى مرجعي (سلوك المولد المجمد) يستلزم انحرافًا توزيعيًا عن ذلك المرجع. وبناءً عليه، فإن الهدف ليس تجنب الانحراف تمامًا، بل حصره بدقة في المطالبات التي تتطلب تدخلًا.
مجموعة $\tau$ -آمنة والإسقاط: يعرّف المؤلفون مجموعة $\tau$ -آمنة من المطالبات، $C_{safe,\tau}$ ، حيث يكون الخطر المرجعي بحد أقصى عتبة $\tau$ . يتم صياغة التدخل كإسقاط للمطالبات الخطرة (تلك التي تقع خارج $C_{safe,\tau}$ ) نحو أقرب المطالبات داخل هذه المجموعة، مع ترك المطالبات الآمنة بالفعل دون تغيير.
بروتوكول التسلسل ذو المرحلتين: نظرًا لأن الإسقاط الدقيق غير قابل للتطبيق حسابيًا (لأن العضوية تعتمد على خطر مستوى الصورة المتوقع)، يقوم SPOT بتقريبه عبر تسلسل من مرحلتين:
- المرحلة الأولى (البحث القائم على المطالبة فقط): يقوم نموذج لغوي كبير (LLM) بتوليد إعادة كتابات مرشحة لمطالبة معينة. يتم ترتيب هذه المرشحات باستخدام هدف ناعم يوازن بين القرب الدلالي للمطالبة الأصلية (مقاسًا عبر مسافة تضمين الجملة) وبين درجة أمان قائمة على المطالبة فقط. تعمل هذه المرحلة كمرشد رخيص لتحديد المرشحين الواعدين.
- المرحلة الثانية (التحقق على مستوى الصورة): يقوم مولد الانتشار (الذي يظل مجمدًا) بأخذ عينة لصورة من أفضل مطالبة مرشحة تم العثوف عليها في المرحلة الأولى. يقوم نموذج رؤية-لغة (VLM) وقائي بالتحقق من الصورة المولدة مقابل نفس عتبة الأمان $\tau$ .
- آلية إعادة المحاولة: إذا فشلت الصورة في التحقق، تتكرر العملية مع مرشحات جديدة حتى استنفاد ميزانية إعادة المحاولة $R$ . إذا استُنفدت الميزانية، يتم إرجاع المحاولة النهائية.

المساهمات الرئيسية

المقايضة الأمنية القائمة على المرجع: تصيغ الورقة SPAT، موضحة أن تقليل عدم الأمان في المجتمع دون مستوى مرجع يتطلب انحرافًا في التوزيع المشروط بالمطالبة. يوفر هذا تبريرًا نظريًا للتدخل الانتقائي بدلاً من تعديل النموذج عالميًا.
الإسقاط الانتقائي للمطالبات: يعرّف المؤلفون مجموعة $\tau$ -آمنة ويصيغون التدخل الأمني كإسقاط للمطالبات الخطرة نحو هذه المجموعة مع الحفاظ على المطالبات الآمنة، مما يقلل فعليًا من الانزياح الدلالي في المدخلات الحميدة.
تسلسل LLM/VLM في وقت الاستنتاج: يطبق SPOT هذا الإسقاط باستخدام LLM لترتيب المرشحين وVLM للتحقق النهائي من الصورة. يفصل هذا التصميم بين البحث الرخيص والتحقق السلطوي، متجنبًا التكلفة الحسابية للبحث الشامل عن الصور أثناء مرحلة البحث.
أمان قوي وحفاظ على المحتوى الحميد: يحقق الإطار انخفاضات كبيرة في المحتوى غير اللائق مع الحفاظ على سلوك المولد المجمد في المطالبات الحميدة.

النتائج التجريبية
قيم المؤلفون SPOT عبر أربع مجموعات بيانات (CoProV2, I2P, Unsafe Diffusion, COCO) وثلاثة هياكل انتشار (SD1.5, SD2.1, SDXL).

الأداء الأمني: حقق SPOT تخفيضات نسبية في درجات المحتوى غير اللائق (IP) تتراوح بين 14.2% إلى 44.4% مقارنة بنماذج محاذاة أمنية قوية (مثل AlignGuard, LatendGuard, SLD). في نموذج SD1.5، خفض SPOT درجة IP إلى 0.04 في CoProV2، و0.06 في I2P، و0.04 في UD، متفوقًا على النماذج المرجعية التي أظهرت غالبًا درجات IP أعلى في مجموعات البيانات خارج التوزيع.
الحفاظ على المطالبات الحميدة: في مجموعة بيانات COCO، حافظ SPOT على جودة الصورة (FID) والمحاذا_التقنية بين النص والصورة (CLIPScore) بالقرب من المرجع غير المحاذى. على سبيل المثال، في SD1.5، حقق SPOT قيمة FID تبلغ 32.46 وCLIPScore تبلغ 33.36، وهي قيم متطابقة تقريبًا مع المرجع غير المحاذى (32.34/33.42)، بينما أظهرت النماذج الهجومية مثل UCE وPNO تدهورًا ملحوظًا.
الانتقائية: ترك SPOT 97.70% من مطالبات COCO الحميدة دون تغيير، وهي نسبة أعلى بكثير من النماذج المرجعية مثل VALOR (92.4%) وIPR (54.9%)، مما يثبت قدرته على تجنب التعديلات غير الضرورية.
الكفاءة: وفر التسلسل ذو المرحلتين تسريعًا يتراوح بين 4.3× إلى 5.1× مقارنة بطرق البحث القائمة على VLM فقط. كان SPOT أسرع بنسبة 22.4% من VALOR و61.1% من IPR مع تحقيق درجات IP أقل.
المتانة: أظهرت الطريقة متانة ضد أربعة هجمات مطالبات عدائية قائمة على النص (MMA, Ring-A-Bell, SneakyPrompt, P4D)، حيث ارتفعت درجات IP الإجمالية بشكل طفيف فقط (من 0.04 إلى 0.06) تحت الهجوم.

الأهمية والادعاءات
تزعم الورقة أن SPOT يقدم نهجًا مبدئيًا للمحاذاة الأمنية من خلال الاستفادة من الرؤية النظرية بأن مكاسب الأمان تتطلب انحرافًا في التوزيع، ولكن يجب حصر هذا الانحراف في المطالبات الخطرة. من خلال إبقاء المولد مجمدًا واستخدام آلية إسقاط انتقائية، يتجنب SPOT "الانزياح الدلالي" وتدهور الأداء المرتبط غالبًا بتعديل النموذج العالمي أو الكبح العدواني. يضع المؤلفون SPOT كحل عملي في وقت الاستنتاج يسمح بتعديل مستويات الأمان عبر عتبة ( $\tau$ ) دون إعادة تدريب، مما يجعله قابلًا للتكيف مع سياسات أمنية ومجموعات بيانات مختلفة. تؤكد الورقة أن الأمان لا يتطلب التضحية بفائدة المطالبات الحميدة، طالما أن التدخل انتقائي ويتم التحقق منه على مستوى الصورة.