Class Activation Map Stability as an Uncertain Guide to Denoising Gain for Frozen Pedestrian Detectors Under Gaussian Noise
تُظهر هذه الدراسة أنه بينما ترتبط درجة الحفاظ على الانتباه (APS) بمكاسب الكشف بالنسبة لكواشف مرجعية محددة، إلا أنها تفشل في أن تكون دليلاً موثوقاً وقابلاً للتعميم لاختيار طرق إزالة الضجيج عبر مختلف كواشف المشاة المجمدة تحت تأثير الضجيج الغاوسي.
في عالم الرؤية الحاسوبية، تُعلَّم الآلات كيف ترى العالم تماماً كما يفعل البشر، ولكن مع اختلاف جوهري: فهي تعتمد على الأنماط الرياضية بدلاً من الحدس. فعندما يتم تدريب حاسوب على رصد المشاة في حشد ما، فإنه يتعلم التعرف على أشكال وحواف وأنسجة محددة تشير إلى وجود شخص ما. ومع ذلك، فإن العالم الحقيقي نادراً ما يكون مثالياً؛ إذ تلتقط الكاميرات صوراً غالباً ما تكون محببة أو ضبابية أو محجوبة بالتشويش، تماماً مثل صورة ملتقطة في ضباب كثيف. ولمساعدة الحاسوب على الرؤية بشكل أفضل، يحاول المهندسون غالباً تنظيف هذه الصور المشوشة أولاً، باستخدام برمجيات لتنعيم الحبيبات وشحذ التفاصيل. والأمل يكمن في أن تؤدي الصورة الأكثر نقاءً إلى قرار أكثر ذكاءً. لكن هناك عقبة؛ فقد تبدو الصورة جميلة وواضحة للعين البشرية بينما لا تزال مربكة للحاسوب، أو على العكس، قد تحتوي صورة تبدو فوضوية على الإشارات الدقيقة التي يحتاجها الجهاز لاتخاذ قرار صحيح. والسؤال المركزي الذي يشغل الباحثين هو ما إذا كان تنظيف الصورة يساعد الحاسوب حقاً في العثين على ما يبحث عنه، أم أن عملية التنظيف قد تزيل عن غير قصد الإشارات التي يعتمد عليها الجهاز.
لقد شرع فريق من الباحثين في حل هذا اللغز عبر اختبار ما إذا كان نوع معين من التنظيف الرقمي يساعد كواشف المشاة "المجمدة" — وهي أنظمة تم تدريبها بالفعل ولا يمكن إعادة تعليمها. وقد ركزوا على طريقة تسمى "خريطة الانتباه"، وهي في الأساس خريطة حرارية يولدها الحاسوب لتوضيح أين ينظر عندما يحاول العثور على شخص ما. فإذا كان الحاسوب ينظر إلى المكان الصحيح في صورة نظيفة، ثم نظر إلى نفس المكان في صورة مشوشة تم تنظيفها، فيجب أن تبدو الخريطتان متشابهتين جداً. وقد أطلق الباحثون على هذا التشابه اسم "درجة الحفاظ على الانتباه". أرادوا معرفة ما إذا كانت الدرجة العالية في هذا الاختبار تعني أن الحاسوب سيجد المزيد من الأشخاص بالفعل. ولإيجاد الإجابة، أخذوا 160 صورة تحتوي على بشر وتماثيل (مانيكان)، وأضافوا مستويات مختلفة من الضجيج الرقمي إليها، ثم مرروها عبر ست عمليات تنظيف مختلفة. تراوحت هذه العمليات بين المرشحات الكلاسيكية القائمة على القواعد وبين الأنظمة الحديثة القائمة على التعلم والتي تم تدريبها على إزالة الضجيج. واختبروا هذه الصور المنظفة مقابل ثمانية كواشف حاسوبية مختلفة، باستخدام خمسة مستويات مختلفة من شدة الضجيج، بدءاً من غبار خفيف من التشويش وصولاً إلى عاصفة ثلجية رقمية كثيفة تعمي الأبصار.
كشفت النتائج عن علاقة معقدة بين كيفية ظهور الصورة وكيفية تفسير الآلة لها. وجد الباحثون أنه بالنسبة لكاشف قياسي محدد، بدا أن "درجة الحفاظ على الانتباه" تتبع النجاح بالفعل؛ فعندما ظل تركيز الحاسوب مستقراً بعد التنظيف، كان من المرجح أن يجد المشاة. ومع ذلك، لم تكن هذه العلاقة قاعدة عالمية؛ فعندما جمعوا النتائج من جميع الكواشف الثمانية، اختفت الصلة بين خريطة الانتباه المستقرة والنجاح في الكشف. فالدرجة التي نجحت مع آلة واحدة لم تتنبأ بالنتيجة لآلة أخرى. وهذا يشير إلى أن خريطة الانتباه هي مقياس للاستقرار خاص بكل كاشف على حدة، وليست دليلاً موثوقاً لاختيار أفضل أداة تنظيف لأي موقف. كما كشفت الدراسة عن خلل خفي في الاختبارات السابقة: حيث تركت بعض أدوات التنظيف القائمة على التعلم شرائط سوداء غير معالجة عند حواف الصور لأنها فشلت في تغطية الصورة بأكملها. وعندما أصلح الباحثون مشكلة التغطية هذه وأعادوا إجراء الاختبارات، تحسن أداء الأدوات القائمة على التعلم، ولكن المرشح الكلاسيكي القائم على القواعد المعروف باسم BM3D ظل هو الأفضل في سبعة من أصل ثمانية كواشف عند أعلى مستويات الضجيج.
ولعل النتيجة الأكثر إثارة للدهشة جاءت من اختبار مباشر لما إذا كان الحاسوب يستخدم بالفعل الأجزاء "المهمة" من الصورة. فقد أخذ الباحثون المناطق التي كان الحاسوب ينظر إليها بتركيز شديد واستبدلوا تلك البكسلات ببكسلات من نسخة أخرى من نفس الصورة. وإذا كان الحاسوب يعتمد حقاً على تلك المناطق ذات الانتباه العالي للعثور على الشخص، فإن استبدالها كان يجب أن يؤدي إلى فشل الكشف. وبدلاً من ذلك، كانت النتائج غير حاسمة؛ إذ لم يؤدِ الاستبدال إلى تغيير واضح أو قابل للقياس في الأداء يمكن عزوه فقط إلى آلية الانتباه. ويشير هذا إلى أن نجاح الحاسوب لا ينبع من ميزة هيكلية واحدة معزولة يمكن عزلها واختبارها بسهولة. وتخلص الدراسة إلى أنه بينما تعد خرائط الانتباه مفيدة لفهم سلوك آلة معينة، إلا أنه لا يمكن استخدامها كبلورة سحرية مستقلة للتنبؤ بأي طريقة تنظيف ستعمل بشكل أفضل لكاشف جديد. ويظل اختيار أداة التنظيف معتمداً بشكل كبير على الآلة المحددة التي تقوم بعملية الرؤية، والعلاقة بين الصورة النظيفة والقرار الصحيح هي علاقة أكثر هشاشة وتغيراً مما كان يُؤمل سابقاً.
ملخص تقني: استقرار خرائط تنشيط الفئة كدليل غير مؤكد لربح إزالة الضجيج للمكتشفات المجمدة للمشاة تحت ضجيج غاوسي
بيان المشكلة
تعمل خوارزميات إزالة الضجيج واكتشاف المشاة على أهداف متباينة. فبينما تعمل خوارزميات إزالة الضجيج غالبًا على تحسين مقاييس جودة الصورة مثل نسبة الإشارة إلى الضجيج الذروية (PSNR) أو التشابه الهيكلي (SSIM)، إلا أنها لا تؤدي بالضرورة إلى تحسين أداء اتخاذ القرار لمكتشف مشاة "مجمد" (مدرب مسبقًا وثابت). تدمج النهج الحالية التي تدرب مزيلات الضجيج مع مهام الكشف هذه الأهداف، لكن السيناريوهات الواقعية تتطلب غالبًا تشغيل خط معالجة إزالة ضجيج مدرب بشكل منفصل قبل المكتشف الثابت.
الفرضية المركزية التي يتم استقصاؤها هي "الحفاظ الهيكلي": وهي فكرة أن إزالة الضجيج تساعد في عملية الكشف فقط إذا حافظت على الهياكل النوعية المطلوبة من قبل النموذج اللاحق. ولاختبار ذلك، يفحص المؤلفون ما إذا كان درجة الحفاظ على الانتباه (APS) —وهي مقياس يربط بين خرائط التنشيط المكانية للصور النظيفة والمعالجة— يمكن أن يعمل كدليل موثوق لاختيار مزيلات الضجيج التي تحقق ربحًا في الكشف (مقاسًا بدرجة F1). تعالج الدراسة عدم اليقين المحيط بما إذا كانت التغيرات في خرائط تنشيط الفئة (CAMs) تعكس إزالة الضجيج أم فقدان المحتوى المفيد، وما إذا كان بإمكان APS التنبؤ بتحسينات الكشف عبر بنيات مختلفة من المكتشفات ومستويات مختلفة من الضجيج.
المنهجية
تقيم الدراسة ثمانية مكتشفات مجمدة للمشاة (خمسة متغيرات من YOLO وثلاثة متغيرات من نوع ResNet) عبر ستة مسارات معالجة (تشمل التصفية الغاوسية، والتصفية بالبحث عن الكتل والمطابقة ثلاثية الأبعاد [BM3D]، وثلاثة مزيلات ضجيج متعلمة) وخمسة مستويات من الضجيج الغاوسي المضاف (σ∈{5,10,20,30}) على 160 صورة من مجموعة بيانات الأجسام البشرية وما يشبه البشر (PnPLO).
المكونات المنهجية الرئيسية:
تعريف خريطة الانتباه: تستخدم الدراسة EigenCAM، التي تسقط التنشيطات على المكون الرئيسي لتوليد ملخص تنشيط مكاني دون الحاجة إلى هدف تنبؤ محدد. وتوجه الخرائط نحو طاقة التنشيط للتعامل مع مشكلات القطبية.
درجة الحفاظ على الانتباه (APS): تُعرف بأنها متوسط ارتباط بيرسون المكاني بين EigenCAM لصورة مرجعية نظيفة والصورة المعالجة (المزال ضجيجها). ويقيس إحصائي مرافق، APStgt، كتلة خريطة الانتباه داخل صناديق الحقيقة الأرضية (ground-truth).
ربح إزالة الضجيج (ΔF1): يُحسب كفرق في درجة F1 بين المدخلات المزالة ضجيجها والمدخلات الصاخبة الأصلية لمكتشف ثابت.
الضوابط التجريبية:
الهندسة والتغطية: حدد المؤلفون وصححوا آثار "التغطية غير الكاملة للرقع" (incomplete patch coverage) في مزيلات الضجيج المتعلمة (حيث تفتقر حواف الأشرطة إلى إعادة البناء). وقارنوا بين الصور "المؤرشفة" (المخرجات الأصلية) والصور "المُصلحة" (التي أعيد توليدها بتغطية كاملة).
توحيد البروتوكول: تم وضع "بروتوكول موحد" حيث يتم سحب خرائط الانتباه مباشرة من تمريرة الأمام (forward pass) التي تنتج صناديق الكشف، بدلاً من "البروتوكول المؤرشف" السابق الذي استخدم تمريرات منفصلة.
اختبار تبديل البكسل: تدخل استكشافي حيث تم تبديل البكسلات في مناطق الانتباه العالي في صورة مزالة الضجيج (BM3D) إلى صورة أخرى مزالة الضجيج (Autoencoder) لاختبار ما إذا كانت مناطق الانتباه العالي هي المحركات الأساسية لأرباح الكشف.
التحليل الإحصائي: استُخدمت طريقة Bootstrap غير معلمية (5,000 تكرار) لتوليد فترات الثقة 95% لقيم APS والارتباطات. كما حُسبت الارتباطات الجزئية لتقييم العلاقة بين APS و ΔF1 بعد التعديل لمستويات الضجيج ومجموعات المكتشفات.
المساهمات الرئيسية
التعريف التشغيلي لـ APS: تحدد الورقة APS كمقياس خاص بالمكتشف لاستقرار التنشيط المكاني مع اصطلاحات صريحة للعلامات والتحكم في هندسة المعالجة المسبقة، وقطبية الخريطة، وخيارات الإسناد.
بروتوكول التقييم الموحد: تقيم الدراسة ثمانية نقاط تفتيش ثابتة تحت بروتوكول موحد، مما يكشف أنه بينما تظهر APS وربح إزالة الضجيج تقديرات نقطية إيجابية ضمن مجموعات محددة من المكتشفات، فإن الارتباط المجمع عبر جميع المكتشفات يقترب من الصفر ويعتمد بشدة على بروتوكول القياس.
تصحيح آثار التغطية: أعاد المؤلفون توليد ثلاثة مسارات لإزالة الضجيج المتعلمة لإصلاح التغطية غير الكاملة للرقع. أدى هذا الإصلاح إلى زيادة APS لمزيلات الضجيج المتعلمة بنحو 0.09 ولكن لم يغير بشكل كبير أداء الكشف (F1)، مما يثبت أن عيب التغطية كان أثراً تنفيذياً وليس مشكلة هيكلية أساسية.
أداء BM3D: حافظ BM3D باستمرار على أعلى APS عند مستويات الضجيج العالية (σ=30) عبر سبعة من أصل ثمانية مكتشفات، متفوقًا على مزيلات الضجيج المتعلمة من حيث الحفاظ على التنشيط.
تبديل البكسل الاستكشافي: أجرى البحث تجربة تبديل بكسل محكومة موجهة بالانتباه. وبينما أظهر "الزرع" ذو الانتباه العالي اتجاهاً إيجابياً طفيفاً، إلا أن فترة الثقة 95% شملت الصفر، مما منع تقديم ادعاء قاطع بأن استهداف بكسلات الانتباه هو الآلية الوحيدة لتحسين أرباح الكشف.
النتائج
APS مقابل ربح الكشف: بالنسبة للمكتشف المرجعي (YOLOv9m)، ارتبطت APS وربح إزالة الضجيج إيجابياً (r≈0.50 إلى $0.61).ومعذلك،عندتجميعالبياناتعبرجميعالمكتشفاتالثمانية،انخفضالارتباطإلىمايقربمنالصفر(r = +0.02،95-0.15إلى+0.17$). وهذا يشير إلى أن APS خاص بكل مكتشف وليس متنبئاً عالمياً لربح إزالة الضجيج.
تأثير إصلاح التغطية: رفع إصلاح التغطية غير الكاملة للرقع في مزيلات الضجيج المتعلمة درجات APS الخاصة بها بشكل ملحوظ (بمقدار +0.0896) ولكنه لم يؤدِ إلى تغييرات ملموسة في درجات F1 (الفترة شملت الصفر)، مما يعني أن عيب التغطية كان أثراً تنفيذياً.
حساسية البروتوكول: أظهر "البروتوكول المؤرشف" ارتباطاً سلبياً مجمعاً بين APS والربح عند الضجيج العالي، بينما أظهر "البروتوكول الموحد" ارتباطاً يقترب من الصفر. يسلط هذا الضوء على أن اختيار بروتوكول القياس يؤثر بشكل كبير على العلاقة المرصودة.
تبديل البكسل: أسفرت تجربة تبديل البكسل الرئيسية (زرع بكسلات الانتباه العالي من BM3D في مخرجات Autoencoder) عن زيادة في micro-F1 قدرها +0.0295، لكن فترة 95% bootstrap كانت [−0.0195,+0.0824]، والتي تحتوي على الصفر. وبالتالي، لم تستطع الدراسة عزل آلية هيكلية حيث تقود البكسلات المستهدفة بالانتباه وحدها أرباح الكشف.
هيمنة BM3D: حقق BM3D باستمرار أعلى APS عند σ=30 لسبعة من أصل ثمانية نقاط تفتيش بعد إصلاح التغطية، مما يشير إلى أنه يحافظ على أنماط التنشيط للمكتشفات المجمدة بشكل أفضل من مزيلات الضجيج المتعلمة المختبرة تحت هذه الظروف المحددة.
الأهمية والادعاءات
تدعي الورقة بتواضع أن APS هو مقياس استقرار خاص بالمكتشف، وليس مُنتقياً عالمياً مُثبتاً لمزيل الضجيج.
محدودية APS: بينما ترتبط APS بربح الكشف لمكتشف معين، فإن هذه العلاقة لا تعمم عبر بنيات المكتشفات المختلفة أو بروتوكولات القياس المختلفة. الارتباط حساس للتجميع، وتعريفات الدرجات، والعمليات المسبقة.
لا توجد آلية عالمية: لا تثبت الدراسة أن الحفاظ على الهيكل عالي التردد أو خرائط انتباه محددة هو الآلية السببية لتحسين الكشف. عوامل مثل عيوب التغطية، ومرساة القطبية، واختلافات تمثيل الميزات تؤثر على الدرجات.
الآثار العملية: بالنسبة للحالة المحددة لمكتشفات المشاة المجمدة تحت ضجيج غاوسي، أظهر BM3D تفوقاً في الحفاظ على التنشيط مقارنة بمزيلات الضجيج المتعلمة المختبرة، حتى بعد تصحيح عيوب التنفيذ في الأخيرة.
المتطلبات المستقبلية: يؤكد المؤلفون أن أي ادعاءات بالمنفعة الأوسع أو الاستنتاجات الميكانيكية تتطلب بيانات مستقلة، وفحوصات الإخلاص للتنبؤات الفردية، والاختبار ضد الظروف المحجوبة. النتائج الحالية تعمل كدليل استكشافي بدلاً من كونها قاعدة نهائية لاختيار خطوط المعالجة.