NAU-QMUL: Utilizing BERT and CLIP for Multi-modal AI-Generated Image Detection
اقترح فريق NAU-QMUL نموذجاً متعدد الوسائط ومتعدد المهام يستفيد من مشفرات BERT وCLIP سابقة التدريب مع دمج عبر الوسائط وتعزيز البيانات باستخدام التسميات المستعارة لتحقيق المركز الخامس في كل من مهام الكشف وتحديد المصدر في مسابقة CT2 للكشف عن الصور المولدة بواسطة الذكاء الاصطناًعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز في عالم يمكن فيه إنشاء الفن بكل من الأيدي البشرية والروبوتات فائقة الذكاء. بعض الروبوتات (مثل Stable Diffusion أو DALL-E) بارعة جدًا في رسم الصور من الكلمات لدرجة أنه يكاد يكون من المستحيل تمييزها عن الفن البشري.
هذه الورقة هي قصة كيف قام باحثان، شياو يو وأركايتز، ببناء فريق تحقيق رقمي للإيقاط بالفنانين الآليين ومعرفة أي روبوت بالضبط صنع الصورة.
إليك تفصيل حلهما، مشروحاً ببساطة:
1. المشكلة: "الوادي غير المريح" للفن
في الماضي، إذا رأيت صورة لزرافة، كان بإمكانك معرفة ما إذا كان إنسان قد رسمها أو إذا كان حاسوب قد صنعها. ولكن الآن، يمكن للذكاء الاصطناعي كتابة قصة عن زرافة ورسم صورة مثالية لها فوراً.
- المهمة أ (اختبار "هل هو حقيقي؟"): هل يمكنك معرفة ما إذا كانت الصورة من صنع إنسان أم روبوت؟
- المهمة ب (اختبار "من فعل ذلك؟"): إذا كانت من صنع روبوت، فأي روبوت محدد كان؟ هل كان "Midjourney"، أم "DALL-E"، أم "Stable Diffusion"؟
2. الحل: فريق تحقيق بـ "عقلين"
لم يقم الباحثون ببناء أداة واحدة فحسب؛ بل بنوا نظاماً بـ "عقلين" متخصصين يعملان معاً، مثل ثنائي من المحققين.
- العقل 1 (القارئ - BERT): هذا الجزء خبير في قراءة النصوص. ينظر إلى الوصف (القصة) الذي يصف الصورة. يفهم السياق، والقواعد، ومعنى الكلمات.
- العقل 2 (المشاهد - CLIP): هذا الجزء خبير في النظر إلى الصور. يحلل البكسلات، والألوان، والأشكال ليرى التفاصيل البصرية.
الخدعة السحرية (الدمج عبر الوسائط - Cross-Modal Fusion):
عادةً ما يعمل هذان العقلان بشكل منفصل. لكن هذا النظام يجبرهما على الإمساك بأيدي بعضهما البعض. يأخذ ما فهمه "القارئ" عن القصة ويقارنه بما يراه "المشاهد" في الصورة.
- تشبيه: تخيل أن فناناً بشرياً رسم صورة لـ "مهرج حزين". يرى "القارئ" كلمة "حزين"، ويرى "المشاهد" وجهاً عابساً. إنهما يتطابقان تماماً.
- علامة الذكاء الاصطناعي: أحياناً، قد يولد الذكاء الاصطناعي صورة لـ "مهرج حزين" ولكن المهرج لديه ستة أصابع أو الخلفية ضبابية بشكل غريب. يقول "القارئ": "القصة منطقية"، لكن "المشاهد" يقول: "انتظر، التفاصيل خاطئة!". من خلال دمج كلا الرأيين، يكتشف النظام الذكاء الاصطناعي بشكل أفضل بكثير مما لو نظر إلى الصورة فقط أو قرأ النص فقط.
3. التدريب: التعلم من الأخطاء (التوسيم الزائف - Pseudo-Labeling)
تدريب المحقق يتطلب الكثير من حالات الممارسة. لم يكن لدى الباحثين عدد كافٍ من الصور المزيفة "المعروفة" لتدريب نموذجهم بشكل مثالي. لذا، استخدموا خدعة ذكية تسمى التوسيم الزائف (Pseudo-Labeling).
- التشبيه: تخيل أنك تعلم طالباً كيفية رصد التزوير. تعطيه 100 لوحة حقيقية و100 لوحة مزيفة. ولكن لديك أيضاً صندوق يحتوي على 1,000 لوحة لا تعرف أيهما مزيف.
- الاستراتيجية: تترك طالبك يخمن على الـ 1,000 لوحة المجهولة. إذا كان الطالب متأكداً بنسبة 90% أن اللوحة مزيفة، تقول له: "حسناً، أنا أثق بك. لنعتبر هذه اللوحة مزيفة مؤكدة ونضيفها إلى كومة التدريب".
- النتيجة: منح هذا النموذج كمية هائلة من بيانات الممارسة الإضافية، مما جعله أكثر حدة.
4. الحكم بخطوتين (خسارة المهام المتعددة - Multi-Task Loss)
يجب على النظام الإجابة على سؤالين في وقت واحد، لكنه يفعل ذلك بترتيب ذكي:
- السؤال الأول: "هل هذا ذكاء اصطناعي أم بشر؟" (نعم/لا).
- السؤال الثاني: "إذا كان ذكاءً اصطناعياً، فأي نوع؟" (روبوت أ، روبوت ب، أو روبوت ج؟).
تم تصميم النظام بحيث يحاول الإجابة على السؤال الثاني فقط إذا كان متأكداً بالفعل من أن الإجابة على السؤال الأول هي "نعم". هذا يوفر الطاقة ويمنع النظام من الارتباك بسبب الفن البشري الحقيقي.
5. النتائج: أفضل 5 في العالم
أدخل الباحثون فريق التحقيق الخاص بهم في مسابقة عالمية تسمى CT2.
- المهمة أ (حقيقي مقابل مزيف): حصلوا على المركز الخامس عالمياً. كانوا على صواب بنسبة 83% من الوقت.
- المهمة ب (أي روبوت؟): حصلوا أيضاً على المركز الخامس هنا. تحديد الروبوت المحدد أصعب بكثير (مثل تخمين أي علامة تجارية من الكاميرات التقطت صورة بمجرد النظر إلى الصورة)، لذا فإن الحصول على نسبة 48% صحيحة هو في الواقع أداء قوي جداً.
6. الملاحظة (القيود)
المؤلفون صادقون بشأن عيوب خدعة "التوسيم الزائف" الخاصة بهم.
- غرفة الصدى: إذا ارتكب الطالب المحقق خطأً في حالة صعبة وحصل على نتيجة خاطئة، لكنه كان "واثقاً" من نفسه، فإن النظام يضيف تلك الإجابة الخاطئة إلى كومة التدريب. الآن، يتعلم النظام الخطأ وكأنه حقيقة.
- الأهداف السهلة: النظام يثق فقط في تخميناته عندما يكون واثقاً جداً. هذا يعني أنه يتدرب غالباً على الحالات "السهلة" وقد يظل يعاني مع الحالات الصعبة والمبهمة حقاً.
الملخص
باخت تختصار، بنى هؤلاء الباحثون محققاً خارقاً يقرأ القصة وينظر إلى الصورة في آن واحد. ومن خلال تعليمهم الثقة في تخميناتهم الواثقة للتعلم أكثر، أنشأوا نظاماً يعد حالياً من بين الأفضل في العالم في رصد الفن الناتج عن الذكاء الاصطناعي ومعرفة أي ذكاء اصطناعي صنعه بالضبط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.