← أحدث الأبحاث
💻 computer science

Scaling Exposes the Trigger: Input-Level Backdoor Detection in Text-to-Image Diffusion Models via Cross-Attention Scaling

تقترح هذه الورقة إطار عمل SET، وهو إطار للكشف عن الأبواب الخلفية على مستوى المدخلات لنماذج الانتشار من نص إلى صورة، والذي يستفيد من ظاهرة تباعد استجابة قياس الانتباه المتقاطع (CSRD) — حيث تُظهر المدخلات السليمة والمدخلات ذات الباب الخلفي أنماط استجابة متميزة تحت اضطرابات قياس محكومة — لتحقيق كشف قوي ومستقل عن نوع المحفز دون الحاجة إلى معرفة مسبقة بالهجوم.

المؤلفون الأصليون: Zida Li, Jun Li, Yuzhe Sha, Ziqiang Li, Lizhi Xiong, Zhangjie Fu

نُشر 2026-04-15
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

المؤلفون الأصليون: Zida Li, Jun Li, Yuzhe Sha, Ziqiang Li, Lizhi Xiong, Zhangjie Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فرشاة رسم سحرية (ذكاء اصطناعي لتحويل النص إلى صورة) يمكنها رسم أي شيء تصفه. تطلب منها "رسم غروب الشمس"، فتقوم بذلك. لكن، هناك عقبة: قام شخص سيء النوايا بتلاعب بالفرشاة سرًا؛ حيث زرع "محفزًا" مخفيًا بداخلها.

إذا قلت "غروب الشمس"، سترسم غروب الشمس. ولكن إذا قلت "غروب الشمس مع كلمة سرية"، فستقوم سرًا برسم قنبلة، أو سلاح، أو شيئًا غير لائق. الجزء المخيف هو أن الشخص السيئ جعل كلمة السر تبدو طبيعية جدًا (مثل جملة عادية)، بحيث لا يمكنك التمييز بينها وبين الجمل العادية بمجرد النظر إلى النص الوصفي (البرومبت).

يقدم هذا البحث حارس أمن جديدًا يسمى SET (Scaling Exposes the Trigger - التوسع يكشف المحفز) للإمساك بهذه النصوص الوصفية المزيفة والخطيرة قبل أن يبدأ الذكاء الاصطناعي في الرسم.

إليك كيف يعمل، مشروحًا عبر تشبيهات بسيطة:

1. المشكلة: المحفز "المتخفي" (Chameleon Trigger)

حاول حراس الأمن القدامى الإمساك بالنصوص الوصفية السيئة من خلال البحث عن علامات حمراء واضحة، مثل الرموز الغريبة أو الكلمات غير المفهومة.

  • التشبيه: تخيل حارس أمن يفحص الحقائب. إذا أحضر شخص ما حقيبة عليها لوحة نيون ضخمة ووامضة تقول "أنا قنبلة"، فسيمسك به الحارس بسهون.
  • الواقع: المتسللون المعاصرون أكثر ذكاءً. فهم لا يستخدمون لوحات النيون، بل يستخدمون محفزات "متخفية" — عبارات تندمج تمامًا مع المحادثات الطبيعية. لا يستطيع الحراس القدامى رؤيتها لأن "القنبلة" تبدو تمامًا مثل "غروب الشمس" حتى يبدأ الذكاء الاصطناعي في الرسم فعليًا.

2. الاكتشاف: "اختبار الضغط"

أدرك الباحثون أنه بينما لا يمكنك رؤية الفرق بين نص وصفي طبيعي وآخر سيء بمجرد القراءة، يمكنك رؤية الفرق إذا قمت بـ "وخز" دماغ الذكاء الاصطناعي.

لقد اكتشفوا ظاهرة تسمى تفاوت استجابة توسع الانتباه المتقاطع (CSRD).

  • التشبيه: تخيل سيارتين متطابقتين في الشكل. إحداهما سيارة عادية؛ والأخرى تحتوي على قطعة محرك معيبة تم تركيبها من قبل مخرب.
    • إذا قدت السيارتين بشكل طبيعي، فستبدو كلتاهما جيدة.
    • ولكن، إذا ضغطت فجأة على دواسة الوقود بنسبة 100% (وهو ما يسمى "التوسيع" أو scaling perturbation)، فإن السيارة العادية ستتعامل مع الأمر بسلاسة. أما السيارة المخربة، فقد تتعثر، أو تهتز، أو تنحرف عن مسارها بطريقة غريبة وغير متوقعة بسبب تلك القطعة المخفية.

في عالم الذكاء الاصطناعي، يقوم الباحثون بـ "الضغط على دواسة الوقود" عن طريق توسيع أو تقليص درجات الانتباه الداخلي للذكاء الاصطناعي (مدى تركيز الذكاء الاصطناعي على كلمات معينة) رياضيًا.

  • النصوص الوصفية الطبيعية: يتفاعل دماغ الذكاء الاصطناعي مع هذا التغيير بسلاسة وتوقع.
  • النصوص الوصفية السيئة: يتفاعل دماغ الذكاء الاصطناعي بشكل مضطرب ومختلف لأن المنطق "الباب خلفي" (backdoor) المخفي يتم تمديده أو ضغطه.

3. الحل: SET (المحقق الذكي)

بنى المؤلفون نظامًا يسمى SET يعمل كمحقق يعرف كيفية إجراء "اختبار الضغط" هذا.

الخطوة 1: المسبار (التوسيع/Scaling)
يأخذ SET نصًا وصفيًا مشبوهًا ويمرره عبر الذكقة الاصطناعي، ولكنه يعدل التركيز الداخلي للذكاء الاصطناعي (الانتباه المتقاطع) قليلًا — بجعل الذكاء الاصطناعي يولي اهتمامًا أكبر بكثير أو أقل بكثير لكلمات معينة. وهو يفعل ذلك عدة مرات بقوى "تأثير" مختلفة.

الخطوة 2: البصمة (تحول الاستجابة)
يقيس مدى تغير "موجات الدماغ" الداخلية للذكاء الاصطناعي بسبب هذا التعديل.

  • المدخل الطبيعي: "هنا موجة هادئة وناعمة".
  • المدخل السيئ: "هنا نبضة حادة وفوضوية".
    حتى لو بدا الشكل النهائي للصورة متشابهًا، فإن "الرحلة" التي قطعها الذكاء الاصطناعي للوصول إلى هناك مختلفة. SET يلتقط "بصمة الرحلة" هذه.

الخطوة 3: المنطقة الآمنة (تعلم المعيار)
يتعلم SET ما تبدو عليه "البصمة الطبيعية" من خلال اختبارها على مجموعة صغيرة من النصوص الوصفية المعروفة بأنها آمنة (مثل "قطة" أو "شاطئ"). إنه يرسم دائرة حول هذه الأنماط الطبيعية. هذه هي المساحة الحميدة (Benign Space).

الخطوة 4: الحكم
عندما يصل نص وصفي جديد:

  • إذا وقعت بصمته داخل الدائرة، فهو آمن.
  • إذا وقعت بصمته خارج الدائرة (بسبب تفاعله بشكل غريب مع اختبار الضغط)، يقوم SET بتمييزه كـ "هجوم باب خلفي" (backdoor attack).

لماذا هذا مميز؟

  • لا يحتاج لمعرفة الكود السري: لا يحتاج SET لمعرفة ما هو المحفز السيئ؛ هو فقط يعرف أن المحفزات السيئة تتفاعل بشكل مختلف مع الضغط.
  • يعمل على الهجمات "غير المرئية": حتى لو استخدم المتسلل محفزًا شديد التخفي يبدو كأنه لغة إنجليزية طبيعية، فإن اختبار الضغط يكشف الخلل المخفي.
  • عملي: لا تحتاج لإعادة تدريب الذكاء الاصطناعي أو الوصول إلى بيانات التدريب الأصلية. كل ما تحتاجه هو القدرة على طرح أسئلة على الذكاء الاصطناعي والتلصص على أفكاره الداخلية.

الخلاية

فكر في SET كـ جهاز كشف الكذب للنصوص الوصفية للذكاء الاصطناعي. بينما قد يُخدع الشخص الطبيعي (أو برامج الأمن القديمة) بشخص يتحدث ببراعة، فإن SET يطرح سؤالًا مخادعًا ("ماذا يحدث إذا غيرنا القواعد قليلاً؟") مما يجبر الكاذب على ارتكاب خطأ. وهذا ما يجعله أداة جديدة قوية للحفاظ على سلامة الصور التي ينشئها الذكاء الاصطناعي من الأخطار الخفية.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →