Non-identifiability of Explanations from Model Behavior in Deep Networks of Image Authenticity Judgments

إليك ملخص تقني مفصل للمخطوطة بعنوان: "عدم قابلية التحديد للتفسيرات من سلوك النماذج في الشبكات العميقة لأحكام أصالة الصور."

1. بيان المشكلة

أظهرت الشبكات العصبية العميقة (DNNs) قدرة على التنبؤ بالأحكام البشرية بشأن أصالة الصور بدقة عالية. ومع ذلك، توجد فجوة حرجة بين الأداء التنبئي والصلاحية التفسيرية.

• القضية الجوهرية: قد يتنبأ النموذج بنجاح بالأحكام البشرية دون استخدام نفس الإشارات التي يستخدمها البشر، أو قد يعتمد على وسائط مترابطة (مثل جودة الصورة) بدلاً من المفهوم المستهدف (الأصالة).
• تأثير راشومون (The Rashomon Effect): حتى عندما تحقق نماذج متعددة دقة تنبؤية مماثلة، فإنها غالباً ما تنتج تفسيرات متباينة (خرائط الانتباه/النسب) لنفس المدخلات.
• السؤال: هل التفسيرات التي تولدها هذه النماذج (مثل Grad-CAM أو LIME) قوية ومتسقة بما يكفي لتكون دليلاً صالحاً لفهم الآليات النفسية الكامنة وراء أحكام البشر على أصالة الصور؟

2. المنهجية

مجموعة البيانات والمعالجة المسبقة

• مجموعة البيانات: استخدمت الدراسة AIGCIQA2023، والتي تحتوي على 2,400 صورة مولدة بالذكاء الاصطناعي تم تقييمها بشرياً من حيث الأصالة (Authenticity)، الجودة (Quality)، والمطابقة (Correspondence).
• التصفية: تم استبعاد الصور من الفئات غير الواقعية (مثل الرسوم التوضيحية والفنون) بناءً على بيانات الوصف (prompt metadata)، مما أدى إلى مجموعة نهائية مكونة من 1,367 صورة.
• الموثوقية: أظهرت التقييمات البشرية موثوقية تقسيم النصف (split-half reliability) بلغت حوالي 0.67، مما حدد "سقف الضجيج" (أقصى ارتباط ممكن) عند حوالي 0.82.

التصميم التجريبي

استخدم المؤلفون نهج التعلم بنقل التعلم (transfer-learning) باستخدام عمود فقري مدرب مسبقاً ومجمد (لتجنب الإفراط في التخصيص على مجموعة البيانات الصغيرة) مع رأس انحدار (regression head) خفيف الوزن تم تدريبه للتنبؤ بمتوسط درجات الرأي (MOS) البشري.

• البنى المعمارية المختبرة: VGG-16، VGG-19، ResNet-152، DenseNet-161، EfficientNetB3، ونموذج Barlow Twins ذاتي الإشراف.
• المتغيرات: لكل بنية معمارية، تم تدريب 10 نماذج مستقلة باستخدام بذور عشوائية (random seeds) وتقسيمات بيانات مختلفة لتقييم الاستقرار.
• التجارب:
  1. التجربة 1: تقسيم قياسي (تدريب/تحقق/اختبار) لتقييم دقة التنبؤ والعلاقة بين الأصالة والجودة.
  2. التجربة 2: تم استخدام مجموعة الاختبار كـ "مجموعة تحسين التفسير" لصقل تقليم القنوات (channel pruning) لخرائط النسب (attribution maps).
  3. التجربة 3: التعلم الجمعي (Bagging و Stacking) لتجميع التنبؤات والتفسيرات.

مقاييس التفسير والاتساق

قيمت الدراسة اتساق التفسير باستخدام ثلاث طرق:

1. Grad-CAM: التنسيب القائم على التدرج (Gradient-based attribution).
2. قناع البكسل متعدد المقاييس (MPM): الحجب القائم على الاضطراب (Perturbation-based occlusion).
3. LIME: النمذجة البديلة باستخدام تقسيم السوبر بيكسل (superpixel segmentation).

تم قياس الاتساق في بُعدين:

• داخل البنية الواحدة (Within-Architecture): ارتباط خرائط الحرارة عبر الـ 10 بذور عشوائية لنفس الصورة.
• عبر البنى المختلفة (Across-Architecture): ارتباط خرائط الحرارة "النموذجية" (المتوسطة عبر البذور) بين البنى المختلفة.

تفكيك التباين: لتحديد ما إذا كانت النماذج تتبع الأصالة أم الجودة فقط، قام المؤلفون بحساب الارتباطات الجزئية: $r(A, \hat{A} | Q)$، والذي يقيس الارتباط المتبقي بين الأصالة الحقيقية ($A$) والأصالة المتنبأ بها ($\hat{A}$) بعد إزالة المساهمة الخطية للجودة ($Q$).

3. النتائج الرئيسية

أ. الأداء التنبئي مقابل المعلومات المتتبعة

• الأداء: حققت عدة نماذج أداءً تنبؤياً قوياً، حيث وصلت إلى حوالي 80% من سقف الضجيج البشري (PLCC $\approx$ 0.62–0.63 لنموذجي Barlow Twins و DenseNet).
• وسيط الجودة: يوجد ارتباط قوي ($r=0.84$) بين التقييمات البشرية للجودة والأصالة.
• التعلم المتباين:
  • نماذج VGG: حققت درجات تنبؤ متوسطة ولكنها اعتمدت بالكامل تقريباً على إشارات جودة الصورة. عند استبعاد تباين الجودة، انخفضت قدرتها على التنبؤ بتباين الأصالة إلى ما يقرب من الصفر ($r \approx 0.01$).
  • Barbow Twins / EfficientNetB3: تتبعت بنجاح تباين الأصالة المحدد (الارتباطات الجزئية $r \approx 0.15–0.24$)، مما يشير إلى أنها تعلمت إشارات متميزة عن الجودة العامة للصورة.

ب. اتساق التفسير

• الاتساق داخل البنية الواحدة:
  • مرتفع بشكل عام لنماذج VGG و ResNet و Barlow Twins (ارتباطات على مستوى البكسل $r > 0.98$).
  • أقل لنماذج DenseNet و EfficientNet.
  • نتيجة حاسمة: كان الاتساق أعلى للصور التي صُنفت على أنها أكثر أصالة. يشير هذا إلى أن الصور الأكثر أصالة تحتوي على إشارات قوية ومتسقة يكتشفها النماذج بشكل موثوق، بينما قد تُفسر الصور ذات الأصالة المنخفضة بميزات متنوعة وغير متسقة.
• الاتساق عبر البنى المختلفة (الفشل الجوهري):
  • رغم تشابه الأداء التنبئي، كان الاتفاق بين البنى المعمارية ضعيفاً (متوسط الارتباطات غالباً $< 0.35$).
  • أنتجت نماذج VGG خرائط حرارية مختلفة بشكل منهجي عن البنى الأخرى.
  • الاستنتاج: "تأثير راشومون" حاضر بقوة؛ حيث تحل النماذج المختلفة المهمة باستخدام أدلة بصرية مختلفة، مما يجعل من المستحيل تحديد "حقيقة أرضية" واحدة للتفسير من نموذج واحد.

ج. الطرق الجمعية (Ensemble Methods)

• الأداء: تفوقت النماذج الجمعية (Bagging و Stacking) على جميع النماذج الفردية، محققة أعلى توافق مع الأحكام البشرية (PLCC $\approx$ 0.73).
• التنسيب (Attribution): سمحت النماذج الجمعية بتوليد خرائط تنسيب على مستوى الصورة (عبر MPM) قامت بفصل العناصر المرتبطة بالأصالة العالية مقابل المنخفضة مكانياً.
• القصور: لم يستطع LIME العمل بفعالية كنموذج بديل للنموذج الجمعي المعقد، وفشل في التقاط منطق التنسيب الخاص بالنموذج الجمعي.

4. المساهمات الرئيسية

1. إثبات عدم قابلية التحديد: تقدم الورقة دليلاً تجريبياً على أن النجاح في التنبؤ السلوكي في الشبكات العصبية العميقة لا يضمن تفسيراً فريداً أو قابلاً للتحديد. فالنماذج عالية الأداء يمكن أن تعتمد على إشارات بصرية مختلفة وغير متداخلة.
2. فك الارتباط بين الجودة والأصالة: تفصل الدراسة بدقة بين "الجودة" و"الأصالة" في تعلم النماذج، وتوضح أن العديد من البنى القياسية (مثل VGG) تفشل في تعلم إشارات الأصالة المحددة، وتستغل بدلاً من ذلك الارتباط مع جودة الصورة.
3. الاستقرار مقابل الصلاحية: تثبت الدراسة أن الاستقرار داخل البنية الواحدة (الاتساق عبر البذور العشوائية) هو شرط ضروري ولكنه غير كافٍ للصلاحية النفسية. يمكن للنموذج أن يكون متسقاً داخلياً ومع ذلك يكون مخطئاً تماماً بشأن الإشارات التي يستخدمها البشر (مثل تتبع VGG للجودة بدلاً من الأصالة).
4. الحل الجمعي: تقترح الدراسة أن النماذج الجمعية توفر مساراً للمضي قدماً عندما يغيب التوافق عبر البنى المعمارية، مما يحسن دقة التنبؤ ويوفر أساساً أكثر قوة للتنسيب، رغم أنها لا تحل فجوة التفسير بالكامل.

5. الأهمية والآثار المترتبة

• للعلوم المعرفية: تحذر النتائج من استخدام الشبكات العصبية العميقة كوكلاء مباشرين للآليات المعرفية البشرية. إذا كان النموذج يتنبأ بالسلوك البشري ولكنه يسلط الضوء على مناطق صور مختلفة عن النماذج الأخرى المتساوية في الأداء، فلا يمكن افتراض أن تفسيره يعكس علم النفس البشري.
• للذكاء الاصطناعي القابل للتفسير (XAI): تسلط الدراسة الضوء على قيود طرق التفسير اللاحقة الحالية (مثل Grad-CAM و LIME) في مهام الانحدار المعقدة. الدقة التنبئية العالية لا تصادق على صحة التفسير.
• لأمن الذكاء الاصطناعي/التحقيق الجنائي: في سياق اكتشاف الصور المولدة بالذكاء الاصطناعي (Deepfakes)، يعد الاعتماد على "تفسير" نموذج واحد لمعرفة سبب كون الصورة مزيفة أمراً محفوفاً بالمخاطر. تشير الدراسة إلى أن الكشف القوي يتطلب نهجاً جمعياً وفهماً نقدياً بأن النماذج قد "تغش" عبر استخدام آثار الجودة بدلاً من إشارات الأصالة الدلالية.

الاستنتاج النهائي:
يخلص المؤلفون إلى أنه بينما يمكن للشبكات العميقة التنبؤ بالسلوك البشري، فإن التفسيرات اللاحقة للنماذج الناجحة يجب أن تُعتبر حالياً أدلة ضعيفة على الآليات المعرفية. يجب أن ينتقل المجال من تحليل النموذج المنفرد نحو الأطر الجمعية والتحقق الصارم مما إذا كانت النماذج تتبع التباين المحدد للاهتمام بدلاً من الوسائط المترابطة.