← أحدث الأبحاث
🤖 machine learning

No Safe Dose: How Training Data Drives Unsafe Image Generation

تُظهر هذه الورقة أن نسبة الصور غير الآمنة في بيانات التدريب، وليس عددها المطلق، هي التي تقود بشكل مباشر وتزايدي المخرجات غير الآمنة في نماذج تحويل النص إلى صورة، مع بيان أن تصفية السلامة تُحسن سلامة النموذج دون تقليل جودة الصور، وأن المشفر النصي يساهم أيضاً بشكل كبير في المخاطر المتبقية.

المؤلفون الأصليون: Felix Friedrich, Lukas Helff, Niharika Hegde, Patrick Schramowski, Kristian Kersting

نُشر 2026-05-28
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

المؤلفون الأصليون: Felix Friedrich, Lukas Helff, Niharika Hegde, Patrick Schramowski, Kristian Kersting

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم فناناً موهوباً جداً كيفية رسم لوحات بناءً على أوصاف مكتوبة. هذا الفنان يتعلم من خلال النظر إلى ملايين الصور وقراءة التعليقات المصاحبة لها.

هذه الورقة البحثية، "لا توجد جرعة آمنة" (No Safe Dose)، تطرح سؤالاً بسيطاً ولكنه حاسم: إذا قمت عن طريق الخطأ بتغذية هذا الفنان ببعض الصور السيئة أو الخطيرة أثناء تعلمه، فهل سيبدأ في رسم صور خطيرة لاحقاً؟

إليك ما وجده الباحثون، مشروحاً عبر تشبيهات بسيطة:

١. تأثير "التفاح الفاسد"

قام الباحثون بإجراء تجربة منضبطة. قاموا بتدريب نفس الفنان الآلي باستخدام "سلال" مختلفة من الصور.

  • السلة أ: ٠٪ صور سيئة (نظيفة تماماً).
  • السلة ب: ١.٢٪ صور سيئة (الكمية الطبيعية الموجودة على الإنترنت).
  • السلة ج: ٥٪ صور سيئة.
  • السلة د: ١٠٪ صور سيئة.

النتيجة: كلما أضافوا المزيد من الصور السيئة إلى سلة التدريب، بدأ الذكاء الاصطناعي في إنتاج المزيد من الصور السيئة. لم يكن ذلك قفزة عشوائية؛ بل كان صعوداً ثابتاً ومتوقعاً. كلما زادت "التفاحات الفاسدة" في بيانات التدريب، أنتج الذكاء الاصطناعي المزيد من "التفاح الفاسد".

٢. الأمر يتعلق بـ "النسبة"، وليس "العدد"

قد تظن: "إذا كان لدي سلة ضخمة تحتوي على ١٠٠,٠٠٠ صورة سيئة، فهذا أسوأ من سلة صغيرة تحتوي على ١,٠٠٠ صورة سيئة". تقول الورقة البحثية: لا.

ما يهم هو النسبة المئوية (التركيز) للصور السيئة، وليس العدد الإجمالي.

  • تشبيه: تخيل أنك تتبل حساءً. إذا أضفت رشة ملح إلى كوب صغير من الحساء، فسيكون مالحاً جداً. أما إذا أضفت رشة ملح إلى قدر ضخم من الحساء، فلن يُلاحظ أثرها. لكن إذا أضفت ملعقة كبيرة من الملح إلى القدر الضخم، فسيصبح مالحاً جداً.
  • النتيجة: يهتم الذكاء الاصطناعي بـ تركيز الأفكار السيئة في بيانات التدريب الخاصة به. سواء كان مجموعة البيانات مليون صورة أو ٨ ملايين صورة، إذا كانت النسبة المئوية للصور السيئة هي نفسها، فسوف يتصرف الذكاء الاصطناعي بنفس الطريقة. وهذا يعني أن فلاتر السلامة تعمل بنفس الطريقة بغض النظر عن حجم مجموعة البيانات الخاصة بك.

٣. "الشبح في الآلة" (الحد الأدنى الذي لا يمكن تجنبه)

هذا هو الجزء المفاجئ: حتى عندما أزال الباحثون ١٠٠٪ من الصور السيئة من بيانات التدريب، ظل الذكاء الاصطناعي ينتج حوالي ١٦.٦٪ من الصور السيئة.

لماذا؟
يتكون الذكاء الاصطناعي من جزأين:
١. الرسام: الجزء الذي يتعلم من الصور (والذي قاموا بتنظيفه).
٢. المترجم: "مشفر النصوص" (text encoder) المُدرب مسبقاً، والذي يقرأ تعليمات المستخدم ويخبر الرسام بما يجب فعله. هذا المترجم تم تدريبه على بيانات إنترنت ضخمة وفوضوية خاصة به قبل أن يبدأ الباحثون عملهم.

التشبيه: تخيل أنك تعطي رساماً مجموعة نظيفة من الصور المرجعية، لكن الشخص الذي يعطي التعليمات (المترجم) يستمر في الهمس بأفكار خطيرة في أذن الرسام لأن المترجم نفسه تعلم تلك الأفكار من مصدر آخر فوضوي. حتى مع وجود ألبوم صور نظيف، لا يزال الرسام يرتكب أخطاء لأن التعليمات ملوثة.

وجد الباحثون أن استبدال هذا "المترجم" بنسخة أكثر أماناً (تسمى SafeCLIP) خفض معدل الصور السيئة من ١٦.٦٪ إلى ٩.٦٪. وهذا يثبت أنك بحاجة لتنظيف كل من الصور والتعليمات معاً للحصول على أفضل النتائج.

٤. السر "العدائي" (Adversarial)

اكتشفت الورقة أن هذا الخطر مخفي في الغالب.

  • المستخدمون العاديون: إذا طلبت من الذكاء الاصطناعي "رسم قطة" أو "رسم غروب الشمس" (مطالبات آمنة)، فإنه ينتج صوراً آمنة في ٩٩٪ من الحالات، بغض النظر عن كمية البيانات السيئة التي رآها. البيانات السيئة في التدريب تكون غير مرئية للاستخدام الطبيعي والودي.
  • الأطراف السيئة: لا يظهر الخطر إلا عندما يحاول شخص ما خداع الذكاء الاصطناعي باستخدام مطالبات "عدائية" (محاولة إجباره على صنع محتوى سيء). بيانات التدريب السيئة تجعل من السهل جداً خداع الذكاء الاصطناعي.

التشبيه: فكر في الذكاء الاصطناعي كقلعة. إذا دخلت من الباب الأمامي بأدب، سيسمح لك الحراس بالدخول وسترى حديقة جميلة. ولكن إذا كنت تمتلك "نظاماً غذائياً سيئاً في التدريب"، فإن القلعة ستكون بها شقوق مخفية في الجدران لا يمكن إلا لـ "لص ماهر" (مطالبة عدائية) اكتشافها واستغلالها.

٥. لا توجد "ضريبة جودة"

هناك قلق شائع هو: "إذا قمنا بتصفية كل الأشياء السيئة، فهل سيصبح الذكاء الاصطناعي أسوأ في الرسم؟"
الإجابة: لا. تحقق الباحثون من جودة الصور (باستخدام مقاييس مثل الوضوح ومدى مطابقة الصورة للنص) ووجدوا لا يوجد فرق. تنظيف البيانات لم يجعل الذكاء الاصطناعي غبياً أو الصور أقبح. لقد كان ترقية أمنية "مجانية".

الملخص

  • بيانات التدريب السيئة تسبب مخرجات ذكاء اصطناعي سيئة. كلما زادت البيانات السيئة، ساءت المخرجات.
  • النسبة المئوية هي ما يهم. تنظيف ١٠٪ من مجموعة بيانات صغيرة فعال تماماً مثل تنظيف ١٠٪ من مجموعة بيانات ضخمة.
  • لا يمكنك الإصلاح بمجرد تنظيف الصور فقط. جزء "المترجم" في الذكاء الاصطناعي يحتاج أيضاً لأن يكون آمناً، وإلا سيظل هناك مستوى أساسي من المخاطر.
  • الأمر غير مرئي للأشخاص العاديين. الخطر يظهر غالباً عندما يحاول شخص ما خداع النظام.
  • السلامة لا تضر الجودة. يمكنك جعل الذكاء الاصطناعي أكثر أماناً دون جعل الصور أسوأ.

تخلص الورقة إلى أنه لجعل الذكاء الاصطناعي آمناً، تحتاج إلى دفاع متعدد الطبقات: تنظيف صور التدريب، استخدام "مترجم" آمن، وامتلاك دفاعات قوية ضد الأشخاص الذين يحاولون خداع النظام.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →