Synthetic Image Detection with CLIP: Understanding and Assessing Predictive Cues
تتقصى هذه الورقة البحثية قابلية التفسير في الكشف عن الصور الاصطناعية القائمة على نموذج CLIP من خلال تقديم معيار SynthCLIC للكشف عن أن هذه النماذج تعتمد على إشارات عامة مرتبطة بالنصوص تتعلق بصقل الصورة وتكوينها بدلاً من عيوب محددة ناتجة عن المولد، مما يسلط الضل على أوجه فشلها المتكاملة والمتميزة في الوقت ذاته مقارنةً بكواشف الأدلة الجنائية الرقمية.
المؤلفون الأصليون:Marco Willi, Melanie Mathys, Michael Graber
في السنوات القليلة الماضية، تعلمت الحواسيب كيفية رسم صور تبدو لا يمكن تمييزها عن الصور الفوتوغرافية التي تلتقطها كاميرات البشر. هذه الآلات، المعروفة باسم النماذج التوليدية، يمكنها إنشاء صور لأشخاص، ومناظر طبيعية، وأشياء مقنعة للغاية لدرجة أن أعيننا لم تعد قادرة على معرفة الفرق. لقد أثارت هذه القدرة مجالاً جديداً من البحث مخصصاً لكشف التزييف. لفترة طويلة، اعتقد الخبراء أن هذه التزويرات تترك وراءها بصمات أصابع صغيرة غير مرئية — أخطاء رياضية دقيقة في طريقة بناء الكمبيوتر للصورة — يمكن استخدامها كعلامة دالة. ومع ذلك، مع تحسن الآلات، أصبحت هذه الحيل القديمة أقل موثوقية. ويتساءل خط بحثي جديد سؤالاً مختلفاً: بدلاً من البحث عن الأخطاء المجهرية، هل يمكننا استخدام كمبيوتر يفهم معنى الصورة والكلمات التي تصفها ليعرف ما إذا كانت الصورة حقيقية أم لا؟ يعتمد هذا النهج على نظام تم تدريبه على مليارات من أزواج الصور والنصوص، مما يسمح له بتعلم كيف يبدو الفوتوغراف "الحقيقي" عادةً من حيث الإضاءة، والتكوين، والملمس، بدلاً من مجرد البحث عن الأعطال الرقمية.
قرر فريق من الباحثين في جامعة العلوم التطبيقية (FHNW) في سويسرا استقصاء كيفية اتخاذ هذا النظام القائم على المعنى لقراراته بالضبط. أرادوا معرفة ما إذا كان النظام يقوم ببساطة بحفظ أنواع معينة من الصور المزيفة، أم أنه تعلم فهماً أعمق وأكثر شمولاً للتصوير الفوتوغرافي. وللقيام بذلك، أنشأوا مجموعة جديدة من صور الاختبار تسمى "SynthCLIC". فقد أخذوا صوراً فوتوغرافية حقيقية من أرشيف مهني واستخدموا أحدث الآلات المولدة للصور لإنشاء توائم اصطناعية مثالية لكل منها، مطابقة للمحتوى بدقة شديدة بحيث لا يكمكن التمييز بينهما سوى من خلال طريقة الإنشاء. ثم اختبروا نظام الكشف الخاص بهم على هذه الأزواج، وكذلك على مجموعات بيانات قديمة مليئة بالصور المزيفة المصنوعة بواسطة أنواع مختلفة من التكنولوجيا.
وجد الباحثون أن النظام يعمل بشكل جيد جداً عندما يتم اختباره على نفس نوع الصور التي تم تدريبه عليها، حيث يحدد الصور المزيفة بدقة عالية. ومع ذلك، عندما حاولوا استخدام كاشف تم تدريبه على صور مزيفة قديمة ومنخفضة الجودة لرصد الصور الجديدة عالية الجودة، فشل النظام فشلاً ذريعاً. يشير هذا إلى أن الكمبيوتر لا يبحث عن "بصمة" مزيفة واحدة وعالمية موجودة في جميع الصور الاصطناعية. بدلاً من ذلك، هو يتعلم مجموعة محددة من القواعد بناءً على الصور المعينة التي رآها من قبل. فعندما يتغير أسلوب الصور المزيفة، فإن القواعد التي يستخدمها الكمبيوتر لرصدها لم تعد صالحة.
من خلال تحليل المنطق الداخلي للنظام، اكتشف الفريق ما الذي ينتبه إليه الكمبيوتر بالفعل. وجدوا أنه عندما يقرر النظام أن صورة ما اصطناعية، فغالباً ما يكون ذلك لأن الصورة تبدو مثالية للغاية. يربط الكمبيوتر الصور المزيفة بالتأطير النظيف، والإضاءة الناعمة، والمظهر المصقول والمثالي تقريباً. في المقابل، عندما يقرر النظام أن صورة ما حقيقية، فغالباً ما يكون ذلك لأن الصورة تحمل الصفات الفوضوية وغير المثالية لالتقاط حقيقي: إضاءة غير متساوية قليلاً، ملمس الفيلم، أو نوع الضجيج البصري الذي يحدث عندما تعاني الكاميرا في الظلام. النظام في الأساس يحكم على "حرفة" الصورة. لقد تعلم أن الصور الفوتوغرافية الحقيقية غالباً ما تحمل أدلة على يد بشرية وبيئة مادية، بينما تميل الصور الاصطناعية إلى حمل أدلة على محاولة كمبيوتر لجعل كل شيء يبدو خالياً من العيوب.
كما أظهرت الدراسة أن هذه القرائن لا توجد في جزء واحد فقط من الصورة أو في ميزة محددة. بدلاً من ذلك، يعتمد القرار على مزيج واسع من العديد من التفاصيل الصغيرة، من كيفية سقوط الظلال إلى مدى حدة الحواف. وعندما حاول الباحثون شرح اختيار الكمبيوتر باستخدام قائمة بسيطة من الكلمات، وجدوا أنه لا يمكن لكلمة واحدة أن تفسر القرار. لقد كان مزيجاً من العديد من الإشارات الدقيقة التي تعمل معاً هو ما رجح الكفة. علاوة على ذلك، فإن المزيج المحدد من القرائن يتغير اعتماداً على نوع الصور المزيفة التي تدرب عليها الكمبيوتر. فإذا تم تدريبه على صور مزيفة قديمة ومليئة بالأعطال، فإنه يبحث عن الأخطاء الرقمية. وإذا تم تدريبه على صور مزيفة حديثة وعالية الجودة، فإنه يبحث عن غياب العيوب الطبيعية.
تشير هذه الأبحاث إلى عدم وجود رصاصة سحرية واحدة لكشف الصور المزيفة. فالكاشف الذي يعمل جيداً على نوع واحد من الفن المولد حاسوبياً قد يفشل تماماً في نوع آخر. ويبدو أن النهج الأكثر فعالية هو تدريب أنظمة الكشف على مجموعة واسعة جداً من الصور المزيفة المختلفة، حتى تتمكن من تعلم الأنماط العامة لما يجعل الصورة تبدو اصطناعية، بدلاً من مجرد حفظ أخطاء آلة واحدة. وتخلص الدراسة إلى أنه على الرغم من أن هذه الكواشف القائمة على المعنى هي أدوات قوية، إلا أنها ليست مثالية. فهي تعمل بشكل أفضل عند دمجها مع طرق أخرى تبحث عن البصمات الرقمية منخفضة المستوى التي قد تغفل عنها أنظمة المعنى. وفي نهاية المطاف، فإن المعركة بين الصور الحقيقية والمزيفة ليست مجرد لعبة بسيطة من الغميضة بقرينة واحدة؛ بل هي صراع معقد تتغير قواعده مع تطور التكنولوجيا.
ملخص تقني: كشف الصور الاصطناعية باستخدام CLIP: فهم وتقييم الإشارات التنبؤية
بيان المشكلة
أدى التقدم السريع في النماذج التوليدية، وخاصة نماذج الانتشار (diffusion models)، إلى إنتاج صور اصطناعية واقعية للغاية، مما يتحدى موثوقية التصوير الفوتوغرافي الرقمي. ورغم وجود طرق لكشف الصور الاصطناعية (SID)، إلا أنها غالبًا ما تفشل في التعميم عبر مجموعات البيانات المختلفة وعائلات النماذج التوليدية المتباينة. فالأساليب الجنائية التقليدية التي تعتمد على بصمات منخفضة المستوى خاصة بنماذج معينة (مثل عيوب GAN) تتدهور بشكل كبير عند مواجهة بنيات جديدة أو تلاعبات عدائية. وعلى الرغم من أن الكواشف القائمة على CLIP قد أظهرت واعدًا في مجال SID نظرًا لمتانتها تجاه تغيرات التوزيع، إلا أن الإشارات المحددة التي تقود قراراتها لا تزال غير مفهومة بشكل جيد. وهذا النقص في القابلية للتفسير يعيق تطوير أنظمة كشف قوية وقابلة للتعميم.
المنهجية
يتناول المؤلفون مسأية SID كمسألة تفسير تجريبي بدلاً من اقتراح بنية كاشف جديدة. وتتمحور منهجيتهم حول تحليل سلوك نموذج CLIP ViT-L/14-336 مجمد مع مصنف خطي خفيف الوزن.
مجموعات البيانات:
CNNSpot: معيار يركز بكثافة على الصور المولدة بواسطة GAN (مثل ProGAN، إلخ).
SynthBuster+: مجموعة بيانات تجمع بين الصور الفوتوغرافية الحقيقية (RAISE-1K) ونظيراتها الاصطناعية المولدة بواسطة نماذج انتشار مختلفة.
SynthCLIC (إسهام جديد): مجموعة بيانات مزدوجة تم إنشاؤها لدعم التحليل المتحكم في المحتوى. وهي تجمع بين صور CLIC الفوتوغرافية الحقيقية (احترافية ومحمولة) ونظيراتها الاصطناعية عالية الجودة المولدة بواسطة نماذج حديثة (Imagen 3، Flux، Stable Diffusion 3) باستخدام تسميات توضيحية (captions) مستمدة من نموذج لغوي بصري (visual LLM). يضمن هذا التوافق الدلالي بين الأزواج الحقيقية والاصطناعية مع تنويع المصدر التوليدي.
بنية الكاشف:
الكاشف المعياري (Dh): مصنف ثنائي خطي يتم تدريبه على التمثيل البصري السابق للإسقاط بـ 1024 بُعدًا (h) من مشفر CLIP المجمد.
رأس الفضاء المشترك (De): رأس خطي يتم تدريبه على التمثيل المشترك للصورة والنص بـ 768 بُعدًا (e) لتمكين المقارنة المباشرة مع تضمينات النصوص.
المسبار المقيد بالإشارات (Dcue): مصنف يتدرب حصريًا على 168 "درجة إشارة" مستمدة من النص (إسقاطات تمثيلات الصور على أزواج المتضادات مثل "تفاصيل حادة" مقابل "تفاصيل ضبابية").
نموذج المفاهيم المتناثرة (Sparse Concept Model): مصنف منفصل قائم على النص يستخدم أولوية بيرنولي تباينية لاختيار مفاهيم متناثرة من مفردات ثابتة، ويُقيم كمصنف تكميلي وليس كشرح للكاشف الخطي.
إطار التحليل: تقيم الدراسة الأداء عبر ثلاثة إعدادات: داخل المجموعة (مجموعة مغلقة)، عبر المجموعات (مولدات متداخلة)، وعبر العائلات (GAN مقابل Diffusion). ويتم تحقيق التفسير من خلال:
ارتباط الدرجات: ربط لوغاريتمات (logits) الكاشف مع درجات الإشارات المستمدة من النص ضمن الفئات.
تحولات الإشارات المزدوجة: قياس التغيرات في درجات الإشارات بين الصور الحقيقية ونظيراتها الاصطناعية المتطابقة في المحتوى.
تحليل الاستقرار: تقييم قابلية إعادة إنتاج اتجاهات القرار عبر البذور العشوائية (random seeds) والتهيئة الأولية.
الإسهامات الرئيسية
مجموعة بيانات SynthCLIC: تقديم مجموعة بيانات مزدوجة من صور CLIC الفوتوغرافية الحقيقية ونظيراتها المولدة بالانتشار عالي الجودة، والمصممة خصيصًا للتحليل المتحكم في المحتوى لإشارات SID.
تقييم شامل: تقييم منهجي للكواشف القائمة على CLIP عبر مجموعات بيانات الانتشار المزدوجة، ومعايير GAN الثقيلة، وسيناريوهات النقل عبر العائلات، ومقارنتها بالكواشف الجنائية ذات الـ CNN منخفضة المستوى والكواشرات واسعة المولدات (CommunityForensics-384).
استقرار وحدات التفسير: إثبات أن المحاور الفردية للرؤوس العاملة المفرطة في المعلمات (over-parameterized factorized heads) غير مستقرة عبر التهتيهات العشوائية. ويحدد المؤلفون أن اتجاه القرار الخطي الفعال (متجه واحد) وملفات تعريف الإشارات المستندة إلى النص هي الوحدات المستقرة للتفسير.
تحليل ملف تعريف الإشارات: تحديد الإشارات الفوتوغرافية والإدراكية المحددة المرتبطة بقرارات CLIP-based SID، مما يكشف أن هذه الإشارات موزعة وتعتمد بشكل كبير على مجموعة بيانات التدريب والعائلة المولدة.
النتائج
الأداء: تحقق الكواشف الخطية القائمة على CLIP أداءً قويًا داخل التوزيع (0.96 mAP في CNNSpot، 0.92 mAP في SynthCLIC) ولكنها تعاني من تدهور كبير في النقل عبر العائلات (تنخفض إلى 0.42 mAP عند الانتقال من SynthCLIC إلى CNNSpot).
التعميم: التعرض لمولدات واسعة النطاق (التدريب على مجموعات بيانات مدمجة) يحسن التعميم ولكنه لا يسد الفجوة تمامًا. ويظهر الكاشف CommunityForensics-384، المدرب على آلاف المولدات، قدرة فائقة على النقل عبر العائلات، مما يسلط الضوء على أهمية بيانات التدريب المتنوعة.
القابلية للتفسير:
ارتباطات الإشارات: ترتبط الدرجات الاصطناعية الأعلى بالصور الأكثر "نظافة"، والأكثر ضبطًا من الناحية التركيبية، والأكثر صقلًا من الناحية التقنية (مثل: تأطير نظيف، مسارات حركة سلسة). وترتبط الدرجات الأقل بظروف الالتقاط "الأكثر فوضوية" وإشارات المصدر (مثل: ملمس الفيلم الفوري، المظهر الوثائقي، النصوص الواضحة).
التحولات المزدوجة: تميل الصور الاصطناعية في المجموعات المزدوجة نحو جماليات "مثالية للكاميرا" (مثل: رندرة إضاءة منخفضة أكثر نظافة، هندسة متسقة) وبعيدًا عن عيوب الالتقاط في العالم الحقيقي.
حدود القرار: حدود القرار لمجموعات البيانات الثقيلة بـ GAN (CNNSpot) ومجموعات البيانات الثقيلة بـ Diffusion (SynthCLoch) مختلفة جوهريًا. تعتمد النماذج المدربة على CNNSpot على إشارات المعالجة والعيوب (الضغط، رفع الدقة)، بينما تعتمد نماذج SynthCLIC على الإشارات الفوتوغرافية والبصرية والحبيبية.
السعة المعلوماتية: تلتقط المفردات الثابتة المكونة من 168 إشارة مسماة جزءًا كبيرًا ولكن غير مكتمل من الإشارة التنبؤية. إن إسقاط الكاشف في الفضاء المشترك يسبب تكلفة صغيرة (0.03 AUROC)، بينما يؤدي التقييد بالإشارات المسماة إلى تكلفة أكبر (0.06 AUROC).
الأهمية والادعاءات
يزعم البحث أن SID القائم على CLIP لا يحركه "بصمة اصطناعية" واحدة عالمية، بل بمزيج موزع من الإشارات الفوتوغرافية والإدراكية والمعالجة. وتتغير الأهمية النسبية لهذه الإشارات اعتمادًا على العائلة المولدة وتوزيع الصور الحقيقية التي تمت رؤيتها أثناء التدريب.
التكامل: تفشل الكواشف القائمة على CLIP والكواشف الجنائية منخفضة المستوى بطرق مختلفة وتوفر أدلة متكاملة. تتفوق الكواشف الجنائية في كشف عيوب محددة (GANs)، بينما تلتقط كواشف CLIP التحولات الجمالية والتركيبية الأوسع (Diffusion).
المتانة: يتطلب SID القوي تغطية واسعة للمولدات أثناء التدريب؛ فالاعتماد على عائلة مولدة واحدة يؤدي إلى حدود قرار هشة.
حدود التفسير: بينما توفر المفاهيم المستندة إلى النص ملخصات قابلة للقراءة البشرية، فإن هويات المفاهيم المحددة غير مستقرة عبر البذور والمفردات. لذلك، يحذر المؤلفون من معاملة قوائم المفاهيم المحددة كتحليلات فريدة للكاشف، مؤكدين بدلاً من ذلك على استقرار عائلات الإشارات الكلية.
يخلص المؤلفون إلى أنه على الرغم من قوة الطرق القائمة على CLIP، إلا أنها ليست عالمية. فقراراتها تعكس تفاعلًا معقدًا ومحددًا بالتوزيع لمجموعة من الإشارات التي لا يمكن اختزالها في إحصائية واحدة مستقرة، مما يستلهزم اتباع نهج هجين وبيانات تدريب متنوعة لأنظمة SID قوية في المستقبل.