🤖 machine learning

AGOP as Explanation: From Feature Learning to Per-Sample Attribution in Image Classifiers

تقدم هذه الورقة البحثية AGOP-Weighted، وهي طريقة عزو لاحقة مبتكرة تستفيد من حاصل الضرب الخارجي لمتوسط التدرج (AGOP) لتخميد ضجيج التدرج وتضخيم البكسلات ذات الأهمية المستمرة، مما يظهر أداءً فائقاً على التقنيات الحالية مثل Integrated Gradients وGradCAM في كل من الاختبارات المعيارية الاصطناعية والواقعية بتكلفة استدلال ضئيلة.

المؤلفون الأصليون: Raj Kiran Gupta Katakam

نُشر 2026-05-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Raj Kiran Gupta Katakam

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك شبكة عصبية (نوع من أنواع الذكاء الاصطناعي) تنظر إلى الصور وتخمن ماهيتها. أنت تريد أن تعرف: "ما الذي تنظر إليه الشبكة العصبية بالضبط عندما تطلق تخمينها؟"

لفترة طويلة، استخدم العلماء أدوات لتسليط الضوء على البكسلات المهمة في الصورة، مثل الخريطة الحرارية التي تُظهر أين "يركز" الذكاء الاصطناعي. لكن الورقة البحثية التي قدمتها تجادل بأن هذه الأدوات القديمة تشبه محاولة فهم شخص من خلال مراقبته لمرة واحدة فقط في لحظة محددة؛ فهي تغفل الصورة الكاملة لكيفية "تعلم" الذكاء الاصطناي للرؤية.

إليك تحليل بسيط للأفكار الجديدة في الورقة، باستخدام تشبيهات من الحياة اليومية.

1. الطريقة القديمة: نهج "اللقطة الواحدة" (Snapshot)

معظم الطرق الحالية (مثل Integrated Gradients أو GradCAM) تعمل مثل المصور الذي يلتقط لقطة واحدة لدماغ الذكاء الاصطناعي أثناء حله لمشكلة معينة.

المشكلة: إذا كان الذكاء الاصطناعي مرتبكاً أو إذا كانت الرياضيات معقدة (مثل عندما تضرب البكسلات بعضها البعض)، فإن هذه اللقطات تصبح مشوشة أو ضبابية. قد تسلط الضوء على أماكن خاطئة أو تفشل تماماً في رصد الإشارة.
التشبيه: تخيل أنك تحاول معرفة مهارة طاهٍ من خلال مراقبته وهو يقطع بصلة واحدة. قد تراه يعاني مع تلك البصلة تحديداً، لكنك ستغفل عن حقيقة أنه بارع جداً في تقطيع الجزر.

2. الفكرة الجديدة: "مذكرات التدريب" (AGOP)

قدم المؤلفون مفهوماً يسمى AGOP (متوسط حاصل الضرب الخارجي للتدرج - Average Gradient Outer Product). بدلاً من مجرد النظر إلى لقطة واحدة، هم ينظرون إلى "مذكرات تدريب" الذكاء الاصطناعي بأكملها.

ما هو؟ إنه سجل لكل مرة ارتكب فيها الذكاء الاصطناعي خطأً أو قام بتصحيح مساره أثناء التعلم. إنه يتتبع البكسلات التي اعتمد عليها الذكاء الاصطناعي باستمرار عبر آلاف الأمثلة.
التشبيه: بدلاً من مشاهدة الطاهي وهو يقطع بصلة واحدة، أنت تشاهد فيديو له وهو يقطع البصل، والجزر، والبطاطس لمدة شهر كامل. ستلاحظ نمطاً: "آه، في كل مرة يرى شكلاً مستديراً، يستخدم حركة سكين معينة". هذا النمط هو الـ AGOP.

3. الأدوات الثلاث الجديدة

تحول الورقة البحثية "مذكرات التدريب" هذه إلى ثلاث أدوات محددة لشرح الذكاء الاصطناعي:

أ. AGOP-Local (اللقطة القياسية)

هذه هي الطريقة القديمة للنظر إلى صورة واحدة، لكن المؤلفين أدركوا أنها ليست سوى جزء صغير من لغز الـ AGOP الأكبر. إنها تشبه النظر إلى إطار واحد من فيديو الطاهي. هي تعمل بشكل جيد، لكنها ليست مميزة.

ب. AGOP-Weighted (المحدد الذكي)

هذا هو الاختراع النجم للورقة البحثية. فهو يجمع بين "اللقطة" للصورة الحالية وبين "مذكرات التدريب".

كيف يعمل: ينظر إلى الصورة الحالية، لكنه يستخدم المذكرات ليقول: "مهلاً، في الماضي، تجاهل الذكاء الاصطناعي دائماً هذا البكسل المشوش، لكنه كان ينتبه دائماً لهذا البكسل الآخر". يقوم بتعزيز البكسلات المهمة وإسكات الضجيج.
التشبيه: تخيل محققاً يحل جريمة ما. الطريقة القديمة تنظر إلى حجة الغياب الحالية للمشتبه به. أما AGOP-Weighted فينظر إلى حجة الغياب ويقاطعها مع السجل الإجرامي الكامل للمشتبه به. إذا كان المشتبه به يكذب عادةً في أيام الثلاثاء، فإن المحقق سيعرف أن يكون متشككاً للغاية في حجة غياب يوم الثلاثاء.
النتيجة: في المهام البسيطة، كانت هذه الطريقة أفضل بنسبة 44% في تحديد البكسلات الصحيحة من أفضل طريقة سابقة.

ج. AGOP-Global (ورقة الغش المجانية)

هذه الأداة لا تنظر إلى الصورة المحددة على الإطلاق. هي تنظر فقط إلى "مذكرات التدريب" لإنشاء خريطة عامة لما يهتم به الذكاء الاصطناعي عادةً.

كيف تعمل: إذا كان الذكاء الاصطنا subi دائماً ينظر إلى مركز الصورة للعثور على "كتلة تيتريس"، فإن هذه الأداة ترسم تسليط ضوء دائماً على المركز.
النتيجة: لا تكلف شيئاً لاستخدامها (أنت فقط تستعرض ملفاً محفوظاً). في المهام الصعبة حيث تضرب البكسلات بعضها البعض (مما يجعل الرياضيات مشوشة جداً)، كانت هذه الأداة أفضل بـ 7 مرات من الطرق القديمة. إنها تشبه امتلاك ورقة غش تقول: "الإجابة موجودة دائماً في المنتصف"، وهذا يعمل بشكل مثالي إذا كانت اللعبة متوقعة.

4. ما اكتشفوه (العثرات)

اختبر المؤلفون هذه الأدوات على نوعين مختلفين من الألغاز:

لغز "خطي" (بسيط): الذكاء الاصطناعي يقوم فقط بجمع سطوع البكسلات.
- الفائز: AGOP-Weighted. لقد دمج الرؤية الحالية مع التاريخ بشكل مثالي.
لغز "ضربي" (مربك): يجب على الذكاء الاصطناعي ضرب قيم البكسلات. هذا يخلق الكثير من الضجيج الرياضي الذي يربك الأدوات القياسية.
- الفائز: AGOP-Global. لأن الضجيج كان عشوائياً، فإن "المتوسط" المستمد من مذكرات التدريب قام بتنعيم كل ذلك، مما كشف عن الإشارة الحقيقية.
لغز "الهدف المتحرك": الجسم يتحرك داخل الصورة.
- الفائز: Integrated Gradients (الطريقة القديمة). بما أن الجسم يتحرك، فإن الخريطة "العامة" (AGOP-Global) تفشل لأنها تحاول تسليط الضوء في كل مكان في وقت واحد. الطريقة القديمة، التي تنظر إلى الصورة المحددة، هي التي تفوز هنا.

5. تحذير بشأن "GradCAM"

وجدت الورقة أيضاً أن أداة شهيرة تسمى GradCAM تفشل تماماً في الصور الصغيرة ذات الدقة المنخفضة.

التشبيه: تخيل أنك تحاول قراءة صورة صغيرة جداً بحجم 8×8 بكسل، لكن الأداة التي تستخدمها تعمل فقط بشبكة 3×3. إنه يشبه محاولة رسم بورتريه مفصل باستخدام ثلاث ضربات فرشاة ضخمة فقط. التفاصيل تضيع، والأداة تشير إلى المكان الخطأ.

ملخص

تجادل الورقة بأنك لكي تفهم الذكاء الاصطناعي حقاً، لا ينبغي أن تنظر فقط إلى ما يفعله الآن. بل يجب أن تنظر إلى كيف تعلم.

AGOP-Weighted يشبه المساعد الذكي الذي يعرف عادات الذكاء الاصطناعي ويساعدك على تفسير أفكاره الحالية.
AGOP-Global هو ورقة غش فورية ومجانية تعمل بشكل مذهل عندما تكون مهمة الذكاء الاصطناعي ثابتة.
الخلاصة الكبرى: من خلال استخدام تاريخ تدريب الذكاء الاصطناعي نفسه (AGOP)، يمكننا شرح قراراته بدقة أكبر وبتكلفة أقل مما سبق.

ملخص تقني: AGOP كأداة تفسيرية

بيان المشكلة

يواجه مجال الذكاء الاصطناعي القابل للتفسير (XAI) تحديًا مركزيًا في تصنيف الصور: وهو شرح أي بكسلات المدخلات هي التي تدفع تنبؤ الشبكة العصبية. تعامل طرق الإسناد الحالية (مثل Integrated Gradients و GradCAM و SmoothGrad) النموذج المدرب كصندوق أسود إلى حد كبير، حيث تطبق بنى هندسية بشكل مستقل عن ديناميكيات تعلم الشبكة. علاوة على ذلك، غالبًا ما تعاني هذه الطرق مع خصائص مهام محددة، مثل التفاعلات الضربِيّة، أو قيود الدقة المكانية، أو المهام التي تتطلب استدلالًا من الدرجة الثانية. هناك نقص في المقارنة الصارمة بين المنهجيات المرجعية الراسخة والطرق القائمة على الآليات النظرية لتعلم الميزات.

المنهجية

يقدم هذا العمل AGOP-Weighted، وهو طريقة إسناد مبتكرة قائمة على فرضية الميزة العصبية (Neural Feature Ansatz - NFA). تفترض NFA أن مصفوفات غرام للأوزان (weight Gram matrices) في الشبكة العصبية تتوافق مع مصفوفات ناتج الضرب الخارجي لمتوسط التدرج (Average Gradient Outer Product - AGOP) المحسوبة عبر توزيع التدريب. يستفيد المؤلفون من هذه الرؤية النظرية لاقتراح أن قطر مصفوفة AGOP، $diag(M)$، يعمل كأولوية طبيعية (prior) لتوزيع التدريب لعملية الإسناد.

تتضمن المنهجية ثلاثة مكونات أساسية:

متغيرات AGOP:
- AGOP-Local: مكافئ لـ VanillaGrad، ويمثل التدرج لكل عينة.
- AGOP-Weighted: طريقة هجينة تضرب التدرج لكل عينة في أولوية (prior) طبيعية لتوزيع التدريب مُطبعة، $v = \sqrt{diag(M)} / \max(diag(M))$ . تعمل هذه الطريقة على كبح ضوضاء التدرج وتضخيم البكسلات المهمة باستمرار عبر مجموعة التدريب.
- AGOP-Global: يستخدم $diag(M)$ مباشرة كخريطة بروز (saliency map) صفرية التكلفة لكامل مجموعة البيانات، متجاهلاً الاختلافات لكل حالة على حدة.
AGOPTrainingHook: آلية تنفيذ تقوم بتجميع $diag(M)$ أثناء التدريب القياسي عبر تمريرة خلفية منفصلة (باستخدام autograd.grad) دون تغيير تحديثات الأوزان. يتيح ذلك الحساب الفعال للأولوية العالمية (global prior).
إطار التقييم: يجري المؤلفون مقارنة صارمة ضد Integrated Gradients (IG)، و SmoothGrad، و GradCAM، و VanillaGrad عبر معيارين يمتلكان حقيقة أرضية (ground truth) على مستوى البكسل:
- XAI-TRIS: معيار اصطناعي لصور بحجم 8×8 وأربعة سيناريوهات تصنيف (خطي، ضربي، إزاحات + دورات، XOR).
- CLEVR-XAI: معيار واقعي باستخدام ResNet-18 تم ضبطه بدقة على مشاهد ثلاثية الأبعاد.

المساهمات الرئيسية

صياغة إسناد مبتكرة: تقديم AGOP-Weighted، الذي يربط بين الإسناد لكل عينة والإسناد العالمي عبر تعديل التدرجات بأولوية توزيع التدريب.
تنفيذ فعال: تطوير AGOPTrainingHook الذي يمكّن AGOP-Global من العمل بتكلفة استدلال صفرية (بحث في القرص) و AGOP-Weighted بتكلفة تمريرة تدرج واحدة.
تقييم منهجي: أول مقارنة صارمة لطرق AGOP مقابل المعايط المرجعية عبر أنواع مهام متنوعة (خطية، ضربية، متغيرة مكانياً) ودقات مختلفة.
رؤى تجريبية:
- إثبات أن AGOP-Weighted يحقق متوسط تقاطع فوق الاتحاد (mIoU) أعلى بكثير من Integrated Gradients في المهام الخطية.
- إثبات أن AGOP-Global يتفوق بشكل جذري على Integrated Gradients في المهام الضربية (حيث يفشل IG تحت مستوى العشوائية) بتكلفة استدلال صفرية.
- تحديد فشل GradCAM في الصور ذات الدقة المنخفضة بسبب انهيار الدقة المكانية.
- ملاحظة أن جودة $diag(M)$ تتحسن بشكل رتيب طوال فترة التدريب، حتى بعد استقرار دقة التصنيف.

النتائج

تنتج التجارب ملفات أداء متميزة بناءً على خصائص المهمة:

المهام الخطية (XAI-TRIS): يحقق AGOP-Weighted زيادة بنسبة 44% في mIoU مقارنة بـ Integrated Gradients (0.314 مقابل 0.218) مع نصف تكلفة الاستدلال (1.0 مللي ثانية مقابل 2.4 مللي ثانية).
المهام الضربية (XAI-TRIS): يهيمن AGOP-Global، محققاً 7 أضعاف mIoU الخاص بـ Integrated Gradients (0.337 مقابل 0.048). في هذا السيناريو، يؤدي IG إلى ما دون خط الأساس العشوائي، بينما يعمل متوسط التدرجات المربعة في AGOP-Global على إلغاء الضوضاء لكل عينة لاستعادة الإشارة المستقرة.
المهام المتغيرة مكانياً (الإزاحات + الدورات): يتفوق Integrated Gradients على جميع الطرق (mIoU 0.540) لأنه يتتبع أشكالاً محددة لكل حالة، بينما يفشل AGOP-Global (mIoU 0.080) بسبب انتشار الإحصائيات العالمية.
CLEVR-XAI (ResNet-18): يتفوق كل من AGOP-Weighted (+18% mIoU عن IG) و AGOP-Global (+37% mIoU عن IG) على Integrated Gradients. يحقق AGOP-Global نتائج تنافسية بتكلفة استدلال أقل بمقدار 6,600 ضعف (0.02 مللي ثانية/عينة مقابل 131.98 مللي ثانية/عينة).
محدودية GradCAM: يفشل GradCAM و GradCAM++ تماماً في الصور ذات الدقة المنخفضة (مدخلات 8×8 و 64×64) بسبب انهيار خرائط الميزات المكانية (مثل خرائط 3×3 أو 2×2)، مما يؤدي إلى درجة "لعبة الإشارة" (Pointing Game) تبلغ 0.000.

الأهمية والادعاءات

يزعم البحث تأسيس AGOP ليس مجرد بناء نظري، بل كأداة إسناد عملية لما بعد الحدث (post-hoc). تكمن الأهمية في:

الربط بين النظرية والتطبيق: التحقق من صحة فرضية الميزة العصبية (NFA) من خلال إثبات أن إحصائيات التدرج المتراكمة أثناء التدريب ($diag(M)$) توفر قدرة تفسيرية متفوقة مقارنة بالطرق التي تتجاهل عملية التعلم.
التفوق المعتمد على المهمة: إظهار أنه لا توجد طريقة واحدة تهيمن على جميع السيناريوهات؛ ومع ذلك، تقدم متغيرات AGOP مزايا عالية القيمة: AGOP-Weighted للمهام الخطية و AGO-Global للمهام الضربية أو المهام ذات الإشارة المكانية الثابتة بتكلفة استدلال صفرية.
الكفاءة: توفير طريقة (AGOP-Global) لا تتطلب أي حسابات وقت الاستدلال، مما يجعلها مثالية لخطوط المعالجة بالدفعات (batch pipelines) والتشخيصات على مستوى مجموعة البيانات.
محدودية المعايير الحالية: تسليط الضوء على أن الطرق القياسية مثل GradCAM غير مناسبة جوهرياً للمدخلات منخفضة الدقة، وأن Integrated Gradients يمكن أن يفشل كارثياً في التفاعلات الضربية.

يخلص المؤلفون إلى أنه بينما تقدم متغيرات AGOP تحسينات كبيرة في سياقات محددة، فإن اختيار طريقة الإسناد يجب أن يسترشد بطبيعة المهمة (خطية مقابل ضربية، إشارة مكانية ثابتة مقابل متغيرة). ويُقترح في العمل المستقبلي توسيع هذه النتائج لتشمل شبكات أكبر واستكشاف حدود التفاعل غير القطرية.