TAP into the Patch Tokens: Leveraging Vision Foundation Model Features for AI-Generated Image Detection

إليك ملخص تقني مفصل لورقة البحث بعنوان: "TAP into the Patch Tokens: Leveraging Vision Foundation Model Features for AI-Generated Image Detection" (استغلال توكنات الرقع - Patch Tokens: تسخير ميزات نماذج الرؤية التأسيسية للكشف عن الصور المولدة بالذكاء الاصطناعي).

1. بيان المشكلة

أدى التقدم السريع في توليد الصور بالذكاء الاصطناعي (مثل Stable Diffusion، وMidjourney، وFlux) إلى خلق تحدٍ كبير في التمييز بين الصور الحقيقية والاصطناعية. تواجه طرق الكشف الحالية عقبتين رئيسيتين:

• التعميم (Generalization): غالبًا ما تفشل أجهزة الكشف المدربة على مولدات محددة عند مواجهة نماذج غير مرئية (التعميم خارج التوزيع - out-of-distribution).
• استغلال الميزات (Feature Utilization): تعتمد معظم أجهزة الكشف المتطورة (SOTA) على نماذج المحولات الرؤية (ViTs) المدربة مسبقًا على مجموعات بيانات ضخمة (مثل CLIP). ومع ذلك، فإن هذه الطرق عادة ما تتجاهل توكنات الرقع (patch tokens) (التي تشفر المعلومات البصرية المحلية) وتعتمد فقط على توكن الـ cls (الذي يمثل التمثيل العالمي). ويعد هذا أمرًا دون المستوى الأمثل للكشف عن الصور المولدة بالذكاء الاصطناعي (AIGI)، لأن العيوب التوليدية وعمليات معالجة الصور (inpainting) غالبًا ما تظهر كـ تضاربات موضعية بدلاً من أنماط عالمية.
• النماذج الخلفية القديمة (Outdated Backbones): لا تزال العديد من الطرق الحالية تستخدم نموذج CLIP-ViT الأصلي، متجاهلةً نماذج الرؤية التأسيسية (VFMs) الأحدث التي تقدم تحسينات هيكلية، وأحجامًا أكبر، وأهداف تدريب متنوعة.

2. المنهجية

يقترح المؤلفون إطار عمل يتكون من مرحلتين يجمع بين نماذج الرؤية التأسيسية (VFMs) الحديثة ورأس تصنيف مُعاد تصميمه.

أ. استخراج الميزات الدلالية (Semantic Feature Extraction)

بدلاً من استخدام مشفر CLIP الأصلي، تستخدم الطريقة نماذج الرؤية التأسيسية (VFMs) المجمدة كنموذج خلفي (backbone). يقوم المشفر بمعالجة الصورة المدخلة $x$ لإنتاج مجموعة ميزات $\mathbf{F}$ تحتوي على:

• توكن الـ cls العالمي.
• سلسلة توكنات الرقع ($\mathbf{f}_1, \dots, \mathbf{f}_{N-1}$)، والتي تشفر التفاصيل المكانية المحلية.

ب. تجميع الانتباه القابل للضبط (Tunable Attention Pooling - TAP)

لاستخدام كامل تسلسل المخرجات بفعالية، قدم المؤلفون تجميع الانتباه القابل للضبط (TAP) ليحل محل نهج توكن الـ cls القياسي.

1. الاستعلام القابل للتعلم (Learnable Query): يتم تهيئة متجه استعلام قابل للتعلم $\mathbf{q}$.
2. الانتباه المتقاطع متعدد الرؤوس (Multi-Head Cross-Attention): يقوم الاستعلام بالانتباه إلى مجموعة الميزات $\mathbf{F}$ المعيرة (المفات keys والقيم values) عبر آلية الانتباه متعدد الرؤوس (MHA). وهذا يسمح للنموذج بالتركيز بشكل انتقائي على المناطق المكانية التي تحتوي على عيوب توليدية مع الحفاظ على الدلالات العالمية.
   $$\mathbf{z} = \text{MHA}(\mathbf{q}, \text{LN}(\mathbf{F}))$$
3. التهذيب (Refinement): يتم تمرير التمثيل المجمع $\mathbf{z}$ عبر طبقة تطبيع (LayerNorm) وشبكة MLP ذات طبقتين مع اتصال متبقي (residual connection) لإنتاج متجه مهذب $\mathbf{z}'$.
4. التصنيف (Classification): يتم إسقاط المتجه المهذب إلى توكن مجمع عالميًا ($\mathbf{g}_{pl}$). يتم دمج $\mathbf{g}_{pl}$ هذا مع توكن الـ cls الأصلي وتغذيته في مصنف خطي للتصنيف الثنائي (حقيقي مقابل مولد/معالج بالـ inpainting).

الخيار التصميمي الرئيسي: يظل مشفر VFM مجمدًا؛ حيث يتم تدريب طبقة TAP والمصنف الخطي النهائي فقط. وهذا يقلل عدد المعلمات مع تعظيم استغلال الميزات.

ចំនួន 3. المساهمات الرئيسية

1. تقييم شامل لنماذج VFM: أجرى المؤلفون أول تقييم واسع النطاق لنماذج VFM الحديثة (بما في ذلك DINOv2/3، وSIGLIP2، وSAM2، وPerception Encoder) للكشف عن AIGI. وقد قيموا مختلف أحجام النماذج، وأهداف التدريب المسبق (التباينية، والتعلم الذاتي)، ودقات الإدخال.
2. تجميع الانتباه القابل للضبط (TAP): اقترحوا تغييرًا هيكليًا خفيف الوزن يجمع بين توكنات الـ cls والـ patch tokens. وهذا يتوافق بشكل أفضل مع مهمة AIGI من خلال التقاط العيوب المحلية دون التخلي عن السياق العالمي.
3. أداء جديد هو الأفضل في فئته (SOTA): حقق الجمع بين Perception Encoder (PE-Core) و TAP أداءً جديدًا هو الأفضل في فئته (SOTA) في العديد من الاختبارات الصعبة، متفوقًا بشكل كبير على الطرق التي تعتمد فقط على CLIP أو توكنات الـ cls.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات بيانات رئيسية: GenImage، و Chameleon، و OpenSDI (والتي تتضمن صورًا مولدة بالكامل وصورًا معالجة بالـ inpainting).

• تقييم نماذج VFM:

  • تفوق Perception Encoder (PE-Core) على جميع عائلات النماذج الأخرى، بما في ذلك CLIP وDINOv2 وSIGLIP2.
  • حقق PE-Core-ViT-G (الحجم الكبير) أعلى أداء أساسي، متفوقًا على نموذج CLIP الأصلي بفارق كبير.
  • تأثير الدقة (Resolution Impact): بالنسبة للنماذج ذات الدقة الثابتة، أدت الدقة الأعلى عمومًا إلى تحسين الأداء. ومع ذلك، بالنسبة للنماذج ذات الدقة المتغيرة (مثل DINOv2)، فإن مجرد زيادة الدقة لم يضمن نتائج أفضل بل أدى أحيانًا إلى تراجع الأداء.

• تأثير TAP:

  • أدى دمج TAP إلى تحقيق مكاسب جوهرية في جميع النماذج المختبرة.
  • GenImage: حقق PE-Core-ViT-G + TAP دقة متوسطة بنسبة 97.16%، متفوقًا على SOTA السابق (OMAT) بنسبة ~2.5% وعلى AIDE بنسبة ~10%.
  • Chameleon: حققت الطريقة دقة بنسبة 95.64%، متفوقة على أفضل النتائج السابقة (OMAT) بنسبة >29%.
  • OpenSDI (Inpainting): أثبت TAP فعالية خاصة في اكتشاف الصور المعالجة بالـ inpainting (حيث تكون العيوب موضعية). حسن PE-Core-ViT-G + TAP الدقة المتوسطة بنسبة ~3% مقارنة بأساس الـ cls فقط، وتفوق على DualSight بنسبة >4% في متوسط مقياس F1.

• التعميم (Generalization): أظهر النهج قدرة قوية على التعميم (zero-shot) على المولدات غير المرئية (SD2.1، SD3، SDXL، Flux، Midjourney) عند التدريب فقط على SD1.5.

5. الأهمية

• تحول في النموذج (Paradigm Shift): تتحدى الورقة الاعتماد طويل الأمد على توكن الـ cls في الكشف عن AGI، وتثبت أن توكنات الرقع (patch tokens) تحتوي على أدلة جنائية حاسمة كان يتم تجاهلها سابقًا.
• الكفاءة: تضيف آلية TAP عبئًا حسابيًا ضئيلًا (فقط بضع معلمات قابلة للتدريب) بينما تقدم طفرات هائلة في الأداء، مما يجعلها ترقية عالية الكفاءة لخطوط أنابيب الكشف الحالية.
• اعتماد النماذج التأسيسية: تثبت الورقة أن نماذج VFM الأحدث والأكبر (وتحديدًا Perception Encoder) هي أفضل من CLIP للمهام الجنائية، مما يحث المجتمع على تحديث نماذج استخراج الميزات الخاصة بهم.
• القوة (Robustness): تضع الطريقة معيارًا جديدًا لاكتشاف كل من التوليد الكامل للصور وعمليات معالجة الـ inpainting الدقيقة، مما يعالج حاجة ماسة لأصالة المحتوى في عصر الذكاء الاصطناعي التوليدي.