ForgeryGPT: A Multimodal LLM for Interpretable Image Forgery Detection and Localization

إليك ملخص تقني مفصل لورقة البحث بعنوان "ForgeryGPT: نموذج لغوي متعدد الوسائط للكشف عن تزوير الصور وتحديد مواقعها بشكل قابل للتفسير."

1. بيان المشكلة

أدى التقدم السريع في أدوات تحرير الصور، وخاصة نماذج التوليد القائمة على الانتشار (diffusion-based)، إلى جعل التلاعب بالصور أكثر تعقيداً وانتشاراً. وهذا يشكل مخاطر جسيمة على الثقة المجتمعية، والنزاهة القضائية، وأمن المعلومات.

• قصور طرق الكشف عن تزوير الصور (IFDL) الحالية: تعتمد أساليب الكشف عن تزوير وتحديد مواقع الصور التقليدية بشكل أساسي على تعلم سمات منخفضة المستوى وغير دلالية (مثل أنماط الضوضاء، أو عدم اتساق الأنسجة). وغالباً ما تفشل هذه الأساليب في التقاط الدلالات الجنائية عالية المستوى وتفتقر إلى القدرة على تقديم تفسير منطقي. معظم هذه الطرق لا تنتج سوى درجة ثقة أو تسمية ثنائية، مما يتطلب تحديد عتبة يدوية ولا تقدم أي تفسير لسبب اعتبار الصورة مزورة.
• قصور النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) العامة: بينما تتفوق النماذج اللغوية الكبيرة متعددة الوسائط مثل GPT-4o في الاستدلال البصري، إلا أنها تفتقر إلى الخبرة الجنائية المتخصصة. فهي غالباً ما تكون غير حساسة لآثار التلاعب الدقيقة، ولا يمكنها إجراء تحديد دقيق على مستوى البكسل دون تكييف متخصص.

2. المنهجية: إطار عمل ForgeryGPT

إن ForgeryGPT هو إطار عمل مبتكر مصمم لسد الفجوة بين الاستدلال اللغوي عالي المستوى والتحليل الجنائي منخفض المستوى. وهو يدمج مشفر صور (Image Encoder)، ومستخرج تزوير مدرك للقناع (Mask-Aware Forgery Extractor)، ونموذج لغوي كبير (LLM).

أ. مكونات البنية الأساسية

1. مشفر الصور (Image Encoder): يعتمد على محول الرؤية (ViT) الخاص بـ CLIP، ويقوم باستخراج الرموز البصرية التأسيسية ومحاذاتها مع فضاء تضمين النموذج اللغوي الكبير باستخدام طبقة MLP ثنائية الطبقات.
2. مستخرج التزوير المدرك للقناع (Mask-Aware Forgery Extractor): هذا هو الابتكار الجوهري، ويتكون من وحدتين فرعيتين:
   • خبير تحديد مواقع التزوير (FL-Expert): مبني على بنية CLIP المجمدة، ومعزز بـ:
     • مطالب تزوير غير مرتبطة بكائن (Object-agnostic Forgery Prompt): مطالبات نصية قابلة للتعلم تتكيف ديناميكياً لالتقاط مفاهيم التزوير المجردة عبر فئات كائنات متنوعة، بدلاً من الاعتماد على أوصاف ثابتة خاصة بكائن معين.
     • مشفر رؤية معزز بالمفردات (Vocabulary-enhanced Vision Encoder): شبكة مفردات بصرية قابلة للتدريب (تتشارك في بنية ViT) تعمل على إثراء تمثيلات CLIP بآثار بصرية دقيقة ومتخصصة في المجال لعمليات التلاعب.
     • دمج متعدد المقاييس (Multi-scale Fusion): يجمع السمات من طبقات متعددة للمحول (Transformer) لالتقاط أدلة التزوير بمستويات دقة مختلفة.
     • المخرج: يولد قناعاً دقيقاً لتحديد مواقع التزوير.
   • مشفر القناع (Mask Encoder): يحول قناع التزوير الناتج إلى "رموز قناع" (mask tokens) متوافقة مع فضاء سمات النموذج اللغوي الكبير، حيث يتم دمج هذه الرموز مع رموز الصور والنصوص، مما يسمح للنموذج بالاستدلال حول الموقع وطبيعة التزوير بدقة.
3. النموذج اللغوي الكبير (LLM): نموذج لغوي مخصص (مثل Vicuna-7B) يعالج الرموز المتداخلة (صورة، قناع، نص) للقيام بالكشف، وتحديد المواقع، وتوليد تفسيرات باللغة الطبيعية.

ب. نموذج التدريب ثلاثي المراحل

لتكييف النموذج مع تعقيدات مجال الكشف عن تزوير وتحديد مواقع الصور (IFDL)، اقترح المؤلفون استراتيجية تدريب تدريجية:

1. المرحلة 1: التدريب المسبق لمحاذاة الصورة والنص: محاذاة التمثيلات الصورية العالمية مع التضمينات النصية باستخدام مجموعة بيانات CC3M. يتم تدريب مشروع الـ MLP الخاص بالصورة فقط.
2. المرحلة 2: التدريب المسبق لمحاذاة القناع والنص: مرحلة حاسمة يتم فيها تدريب مستخرج التزوير المدرك للقناع. قام المؤلفون ببناء مجموعة بيانات متخصصة مكونة من 76,013 زوجاً من الصور المزورة والتعليقات الوصفية (تغطي عمليات الدمج/Splicing، والنسخ/Copy-move، والإزالة/Removal) والتي تم توليدها عبر تقنيات طلاء (inpainting) وإعادة طلاء (repainting) متقدمة. تقوم هذه المرحلة بمحاذاة سمات المستوى الإقليمي للقناع مع التضمينات النصية، مما يمكن النموذج من فهم أدلة التزوير دلالياً.
3. المرحلة 3: ضبط التعليمات الخاص بالمهمة (Task-Specific Instruction Tuning): يتم ضبط النموذج بدقة باستخدام 48,000 حالة حوار متعددة الأدوار مستمدة من مجموعات البيانات المرجعية (CASIAv2, Fantastic-Reality). تعمل هذه المرحلة على صقل قدرة النموذج على اتباع التعليمات، وتحديد الكائنات المزورة، وتحديد المواقع، وتصنيف أنواع التزوير، وتقديم التبرير المنطقي.

3. المساهمات الرئيسية

1. أول نموذج لغوي كبير متعدد الوسائط لـ IFDL: رائد في تطبيق النماذج اللغوية الكبيرة متعددة الوسائط في مجال الكشف عن تزوير الصور، مما يتيح كشفاً خالياً من العتبات اليدوية وحواراً تفاعلياً متعدد الأدوار.
2. مستخرج التزوير المدرك للقناع: يقدم وحدة مبتكرة تستخرج أقنعة تزوير دقيقة وتشفرها في فضاء سمات النموذج اللغوي الكبير، مما يسهل الفهم على مستوى البكسل لآثار التلاعب.
3. تصميم خبير تحديد مواقع التزوير (FL-Expert): طور وحدة قائمة على CLIP تتميز بـ مطالبات غير مرتبطة بكائن (للتعميم عبر أنواع الكائنات) ومشفر رؤية معزز بالمفردات (لإثراء السمات الدقيقة).
4. بيانات وتدريب شامل: بناء مجموعتي بيانات عاليتي الجودة وكبيرتي الحجم (محاذاة القناع والنص، وضبط التعليمات) ومسار تدريب ثلاثي المراحل يبني تدريجياً قدرات المحاذاة بين الرؤية واللغة والاستدلال الجنائي.
5. القابلية للتفسير: يتجاوز التصنيف الثنائي لتقديم تفسيرات مفصلة وقابلة للتفسير بشرياً، تحدد الكائنات المزورة، وأنواعها، ومواقعها مع التبرير المنطقي.

4. النتائج التجريبية

أُجريت تجارب واسعة النطاق على ثماني مجموعات بيانات مرجعية (CASIA1.0+, Columbia, NIST16, IMD2020, DSO-1, Korus, AutoSplice, OpenForensics).

• أداء تحديد المواقع: حقق ForgeryGPT أداءً متفوقاً (SOTA) في تحديد المواقع على مستوى البكسل.
  • حقق أعلى درجة F1 وأعلى مساحة تحت المنحنى (AUC) في معظم مجموعات البيانات.
  • بشكل ملحوظ، وصل إلى AUC بنسبة 91.4% في مجموعة بيانات IMD2020 الواقعية، متفوقاً على الطرق المتخصصة القائمة على الشبكات العصبية الالتفافية (مثل HiFi-Net و DiffForensics) وغيرها من الأساليب القائمة على MLLM (مثل FAKESHIELD و SIDA).
• أداء الكشف: حقق أعلى متوسط دقة (80.4%) وأعلى درجة F1 (79.1%) عبر مجموعات البيانات، مما أظهر قوة في الأداء دون الحاجة لضبط العتبة يدوياً.
• القابلية للتفسير:
  • كمياً: تفوق على GPT-4o و LLaVA في مقاييس جودة التفسير (ROUGE-L, BLEU-4, SPICE, CSS).
  • التقييم البشري: في دراسة شملت 100 صورة مزورة، تم تحديد 81% من الصور التي صنفها البشر في البداية على أنها "حقيقية" بشكل خاطئ على أنها "مزيفة" بعد قراءة تفسيرات ForgeryGPT. كما زاد النموذج من ثقة المستخدمين في الأحكام الصحيحة بنسبة 65%.
• المتانة: حافظ النموذج على أداء عالٍ تحت تأثير مختلف أنواع تدهور الصور (تغيير الحجم، الضبابية الغاوسية، الضوضاء، ضغط JPEG)، متفوقاً بشكل كبير على النماذج المرجعية تحت ضغط JPEG.
• التعميم: أظهر قدرة قوية على النقل (zero-shot transferability) إلى مهام كشف الشذوذ الصناعي (MVTec-AD, VisA)، مما يثبت أن قدراته تمتد لما وراء كشف التزوير.

5. الأهمية

يمثل ForgeryGPT تحولاً نوعياً في الأدلة الرقمية من خلال دمج المعرفة الجنائية عالية المستوى مع الذكاء الاصطناٍ التوليدي.

• الثقة والمسؤولية: من خلال تقديم استدلال خطوة بخطوة قابل للتفسير، يعالج النموذج طبيعة "الصندوق الأسود" للأنظمة الحالية، مما يعزز ثقة المستخدم.
• القدرة على التكيف: تتيح قدرته على المشاركة في الحوار استعلامات مرنة (مثل: "أين التزوير؟" أو "ما هو نوع التلاعب هذا؟")، مما يجعله أداة عملية للمتخصصين وغير المتخصصين على حد سواء.
• الاتجاه المستقبلي: يسلط هذا العمل الضوء على إمكانية الجمع بين الوحدات الجنائية المتخصصة وقوة الاستدلال للنماذج اللغوية الكبيرة، مما يمهد الطريق لأنظمة أكثر متانة، وقابلية للتفسير، وتوافقاً مع احتياجات المستخدم لمكافحة التضليل.