LaP-Forensics: Latent-Pixel Consistency Guided Multimodal Reasoning for Deepfake Detection

ملخص تقني: LaP-Forensics

بيان المشكلة
أدت النماذج التوليدية الحديثة (مثل Flux وStable Diffusion 3.5) إلى تقليل العيوب البصرية المرئية بشكل كبير، مما جعل الصور الاصطناعية تزداد تماسكاً على المستويين الدلالي والمحلي. هذا التطور يضعف كواشف الأدلة الجنائية التقليدية والتفسيرات التي تعتمد فقط على إشارات المظهر السطحي. تواجه النهج الحالية ثنائية: توفر الكواشف على مستوى الصورة تفسيراً دلالياً محدوداً، بينما غالباً ما تولد الوكلاء القائمة على نماذج اللغات الكبيرة متعددة الوسائط (MLLM) تفسيرات قابلة للقراءة من قبل البشر تفتقر إلى الاستناد إلى أدلة جنائية صريحة. وبناءً على ذلك، قد تنتج النماذج مبررات مقنعة ولكن غير مدعومة، حيث تعزو التنبؤات إلى شذوذات ظاهرة ليست موجودة في الواقع أو غير مدعومة بإشارات جنائية كامنة. هناك حاجة ماسة لنماذج جنائية لا تتنبأ بالأصالة فحسب، بل تربط تفسيراتها أيضاً بأدلة صريحة وموضعية مكانياً.

المنهجية
LaP-Forensics (الجنائيات الكامنة-البكسلية) هو إطار عمل متعدد الوسائط ثنائي المسار مصمم لدمج الدلالات (Semantics) الخاصة بـ RGB مع إشارات التوافق القائمة على إعادة البناء. تتكون البنية من مكونين رئيسيين:

1. التمثيل البصري ثنائي المسار:

   • مسار الدلالات لـ RGB: يستخدم مشفر CLIP-ViT-L/14 مجمد لاستخراج ميزات على مستوى الرقع (patch-level) تمثل فهم المشهد ودلالات الأشياء.
   • مسار اتساق البكسل الكامن: يستخدم نموذج Stable Diffusion v1.5 مجمد لإجراء عملية قلب DDIM (DDIM inversion) وإعادة بناء حتمية. تقوم هذه العملية بتوليد مرجع إعادة بناء ثابت ($\hat{x}$) من الصورة المدخلة ($x$). يقوم النظام بحساب خريطة متبقيات التوافق عنصر بعنصر ($R = |x - \hat{x}|$). تشير المناطق ذات المتبقيات الأعلى إلى عدم تطابق مع مرجع إعادة البناء، مما قد يكشف عن الهياكل الاصطناعية أو المعدلة.
   • الدمج: يتم ترميز كلا المسارين عبر أجهزة إسقاط (projectors) مستقلة ودمجهما في بُعد رمز مشترك لخلفية النموذج اللغوي الكبير (LLaMA-2-7B).

2. الاستدلال المهيكل والتوطين:

   • يستخدم النموذج نموذج استدلال "أين–ماذا–لماذا" (Where–What–Why). فهو يولد نصاً مهيكلاً يحلل الشذوذات الملحوظة، ويربطها بخريطة الاتساق، ويصدر حكماً على الأصالة.
   • لتفعيل توطين العيوب على مستوى البكسل، يخرج النموذج رمز [SEG]، والذي يتم فكه بواسطة نموذج Segment Anything Model (SAM) مجمد لإنتاج قناع للعيوب (artifact mask).

3. التدريب على مرحلتين:

   • المرحلة الأولى (الضبط الدقيق الخاضع للإشراف - SFT): يتم تدريب النموذج على بيانات سلسلة الأفكار (CoT) منسقة. تقوم دالة الخسارة بتحسين نمذجة اللغة (cross-entropy) وتقسيم العيوب (Dice وBinary Cross-Entropy) بشكل مشترك.
   • المرحلة الثانية (المواءمة القائمة على النتيجة): تعمل مرحلة تحسين السياسة النسبي الجماعي (GRPO) على مواءمة مخرجات النموذج مع الأدلة. تجمع دالة المكافأة ($R_{total}$) بين:
     • مكافأة القناع ($R_{mask}$): تعتمد على تقاطع الاتحاد (IoU) مع الأقنعة الحقيقية.
     • مكافأة التنسيق والمرجع الدليلي ($R_{format}$): تعاقب الهياكل غير الصالحة وتكافئ الإشارات الصريحة لخريطة الاتساق والاستنتاجات الصحيحة. ومن المهم أن هذا المصطلح ينظم الهيكل والإشارة المرجعية للنص، لكنه لا يتحقق من الحقيقة الدلالية للتفسيرات الحرة.

4. الكاشف المستقل: يقوم رأس تصنيف منفصل على مستوى الصورة بدمج رموز [CLS] من كلا مساري RGB والمتبقيات، ويتم تحسينه عبر cross-entropy للكشف الثنائي.

المساهمات الرئيسية

• إطار عمل ثنائي المسار: يقترح بنية مبتكرة تدمج دلالات RGB مع متبقيات إعادة البناء المستمدة من DDIM للتحري، والاستدلال، وتوطين العيوهات بشكل مشترك.
• بروتوكول جنائي: يقدم بروتوكول استدلال "أين–ماذا–لماذا" وهدف GRPO الذي يحسن جودة التوطين، وهيكل المخرجات، والإشارة إلى الأدلة بشكل مشترك.
• التحقق التجريبي: يثبت فعالية مسار المتبقيات والخيارات التصميمية من خلال تجارب مكثفة على الكشف عبر المولدات المختلفة وتوطين العيوب.

النتائج التجريبية

• توطين العيوب: في اختبار SynthScars (البروتوكول الرسمي)، يحقق LaP-Forensics أداءً تنافسياً، متفوقاً على النماذج المرجعية مثل LEGION وHiFi-Net وTruFor من حيث درجات mIoU وF1 عبر فئات مختلفة (بشر، أشياء، حيوانات، مشاهد).
• الكشف عبر المولدات المختلفة: عند التقييم على UniversalFakeDetect، يحقق الكاشف المستقل دقة عالية عبر عائلات المولدات المتنوعة، بما في ذلك GANs (97.23%)، وDiffusion (92.18%)، وCRN (98.98%)، وIMLE (98.62%). كما يظهر قدرة قوية على التعميم، رغم أن النماذج المتخصصة تظل أقوى في عائلات محددة مثل Deepfakes وSAN.
• دراسات الاستئصال (Ablation Studies): تؤكد التجارلات المنضبطة على مجموعة فرعية منسقة من SynthScars-CoT أن:
  • مسار المتبقيات هو المكون الأكثر أهمية؛ حيث يؤدي إزالته إلى انخفاض كبير في mIoU (من 72.19% إلى 61.83%) وF1.
  • يوفر قلب DDIM متعدد الخطوات ($T=50$) توازناً أفضل بين الحساسية والموثوقية مقارنة بمتبقيات VAE أحادية الخطوة أو الآفاق الأطول ($T=100$).
  • مكافأة GRPO الكاملة (القناع + التنسيق + المرجع الدليلي) ضرورية للأداء الأمثل؛ حيث يؤدي التحسين من أجل جودة القناع وحده إلى مخرجات غير مستقرة.
  • التدخلات المضادة للواقع (تصفير أو تبديل خريطة الاتساق) تضعف الأداء بشكل كبير، مما يؤكد اعتماد النموذج على مسار المتبقيات للتنبؤات المكانية.

الأهمية والقيود
يدعي البحث أن LaP-Forensics يطور المجال من خلال الانتقال لما وراء إشارات المظهر السطحية لاستخدام إشارات التوافق القائمة على إعادة البناء من أجل جنايات قابلة للتفسير. وهو يوضح أن دمج مرجع إعادة بناء ثابت يسمح للنماذج بالاستدلال حول أين تحدث العيوب ولماذا تدعم حكماً معيناً، استناداً إلى خريطة اتساق محددة.

ومع ذلك، يحافظ المؤلفون على موقف متواضع فيما يتعلق بالقيود:

• الأمانة الدلالية: تشجع مكافأة جانب النص على الإشارة إلى خريطة الأدلة ولكنها لا تضمن الحقيقة الدلالية أو الأمانة في التفسيرات الحرة المولدة.
• المتانة: ترتبط متبقيات DDIM بمرجع Stable Diffusion محدد وقد تتأثر بمعالجة ما بعد الإنتاج، أو التعديلات الطفيفة، أو الأنسجة الطبيعية عالية التردد (مثل الشعر أو أوراق الشجر)، مما قد يؤدي إلى توطين زائف.
• القدرة على التعميم: إن أفق القلب الأمثل ($T=50$) ومقاييس الأداء هي محددة للنماذج والبروتوكولات التي تم تقييمها، وقد لا تعمم عالمياً عبر جميع مجموعات البيانات أو ظروف معالجة ما بعد الإنتاج.

إن الكود المصدري والنماذج مخصودة للإصدار العام لتسهيل المزيد من الأبحاث في هذا المجال.