Class Activation Map Stability as an Uncertain Guide to Denoising Gain for Frozen Pedestrian Detectors Under Gaussian Noise

技術要約：凍結された歩行者検出器におけるガウスノイズ下でのデノイジング・ゲインの不確実な指標としてのClass Activation Mapの安定性

問題提起

画像のデノイジング（ノイズ除去）と歩行者検出は、異なる目的を最適化する。デノイジング・アルゴリズムは、ピーク信号対雑音比（PSNR）や構造的類似性（SSIM）といった画像品質の指標を向上させることが多いが、それが必ずしも「凍結された」（事前学習済みで固定された）歩行者検出器の意思決定性能を向上させるとは限らない。既存のアプローチでは、デノイザーを検出タスクと共同で訓練してこれらの目的を結合させているが、現実世界のシナリオでは、固定された検出器の前に、別途訓練されたデノイジング・パイプラインを単独で運用する必要がある場合が多い。

本研究で調査された中心的な仮説は「構造保存（structural preservation）」である。すなわち、デノイジングが検出に寄与するのは、ダウンストリームのモデルが必要とする特定の画像構造を保持する場合のみであるという考え方である。これを検証するため、著者らは、クリーンな画像と処理済み画像の空間的活性化マップを相関させる指標である**Attention-Preservation Score (APS)**が、検出ゲイン（F1スコアで測定）を向上させるデノイザーを選択するための信頼できるガイドとして機能するかどうかを検証している。本研究は、Class Activation Map（CAM）の変化がノイズの除去を反映しているのか、それとも有用なコンテンツの喪失を反映しているのかという不確実性、およびAPSが異なる検出器アーキテクチャやノイズレベル間で検出性能の向上を予測できるかという問題に取り組んでいる。

方法論

本研究では、8つの凍結された歩行者検出器（5種類のYOLOバリアントと3種類のResNetベースのバリアント）、6つの処理パイプライン（ガウスフィルタリング、Block-Matching and 3D Filtering [BM3D」、および3種類の学習型デノイザーを含む）、および5段階の加法的ガウスノイズ（$\sigma \in \{5, 10, 20, 30\}$）について、Person and Person-Like Objects (PnもL) データセットの160枚の画像を用いて評価を行う。

主要な方法論的構成要素:

1. Attention Mapの定義: 本研究ではEigenCAMを利用する。これは、特定の予測ターゲットを必要とせずに、主成分上に活性化を投影することで空間的な活性化サマリーを生成するものである。マップは、極性の問題を扱うために活性化エネルギーに向けて方向付けられている。
2. Attention-Preservation Score (APS): クリーンな参照画像のEigenCAMと、処理済み（デノイズ）画像の間の平均的な空間ピアソン相関として定義される。補完的な統計量であるAPStgtは、グランドトゥルースのバウンディングボックス内にあるアテンションマップの質量を測定する。
3. Denoising Gain ($\Delta F1$): 固定された検出器に対する、デノイズ入力と生のノイズ入力の間のF1スコアの差として算出される。
4. 実験的コントロール:
   • 幾何学およびカバレッジ: 著者らは、学習型デノイザーにおける「不完全なパッチカバレッジ」のアーティファクト（境界部分に再構成が欠落している箇所）を特定し、修正した。これに基づき、「アーカイブされた」画像（元の出力）と「修復された」画像（完全なカバレッジで再生成されたもの）を比較した。
   • プロトコルの統一: 検出ボックスを生成するフォワードパスから直接アテンションマップをフックする「統一プロトコル」を確立し、以前の「アーカイブプロトコル」（個別のパスを使用）を置き換えた。
5. Pixel Swap Probe（ピクセル置換プローブ）: デノイズされた画像（BM3D）の高アテンション領域のピクセルを、別のデノイズ画像（Autoencoder）へと入れ替える探索的な介入を行い、高アテンション領域が検出ゲインの主要な推進力であるかどうかをテストした。
6. 統計分析: APS値の95%信頼区間および相関を生成するために、ノンパラメトリック・ブートストラップ法（5,000回の反復）を用いた。ノイズレベルおよび検出器グループを調整した後、APSと$\Delta F1$の関連性を評価するために偏相関を算出した。

主要な貢献

1. APSの操作的定義: 本論文は、明示的な符号慣例と、前処理の幾何学、マップの極性、および属性選択の制御を備えた、検出器固有の空間的活性化の安定性の尺度としてAPSを規定している。
2. 統一された評価プロトコル: 8つの固定されたチェックポイントを統一プロトコル下で評価した結果、特定の検出器グループ内ではAPSとデノイジング・ゲインが正の点推定値を示すものの、全検出器を統合した関連性はほぼゼロであり、測定プロトコルに強く依存することが明らかになった。
3. カバレッジ・アーティファクトの修正: 学習型デノイザーにおける不完全なパッチカバレッジを修正するために3つの学習型デノイジング・パイプラインを再生成した。この修復により、学習型デノイザーのAPSは約0.09上昇したが、検出性能（F1）には有意な変化をもたらさなかった。これにより、カバレッジの欠陥が根本的な構造的問題ではなく、実装上のアーティファクトであることが確立された。
4. BM3Dの性能: 統一プロトコルおよび完全なカバレッジの下では、BM3Dは高ノイズレベル（$\sigma=30$）において、8つの検出器のうち7つで最も高いAPSを維持し、活性化の保存という点で学習型デノイザーを上回った。
5. 探索的ピクセル置換: アテンションに基づいた制御されたピクセル置換実験を実施した。その結果、「高アテンション」のグラフト（移植）は小さな正の傾向を示したが、95%信頼区間はゼロを含んでおり、高アテンション領域を標的にすることが検出改善の孤立したメカニズムであるという決定的な主張を妨げた。

結果

• APS vs. 検出ゲイン: 参照検出器（YOLOv9m）については、APSとデノイジング・ゲインは正の関連を示した（$r \approx 0.50$ から $0.61$）。しかし、全8つの検出器を統合した場合、その関連性はほぼゼロとなった（$r = +0.02$, 95$-0.15$から$+0.17$）。これは、APSが検出器固有であり、普遍的な予測因子ではないことを示している。
• カバレッジ修復の影響: 学習型デノイザーにおける不完全なパッチカバレッジの修正は、APSスコアを大幅に上昇させた（+0.0896）が、F1スコアへの影響は無視できる程度であった（区間にゼロを含む）。
• プロトコルの感度: 「アーカイブプロトコル」は、高ノイズ時においてAPSとゲインの負の統合的関連を示したが、「統一プロトコル」はゼロに近い関連を示した。これは、測定プロトコルの選択が観察される関係性に大きく影響することを強調している。
• ピクセル置換: 主要なピクセル置換実験（BM3Dの高アテンション・ピクセルをAutoencoderの出力に移植すること）では、micro-F1が+0.0295増加したが、95%ブートストラップ区間は$[-0.0195, +0.0824]$であり、ゼロを含んでいた。したがって、本研究は、アテンションを標的としたピクセルのみが検出ゲインを駆動するという構造的メカニズムを孤立させることはできなかった。
• BM3Dの優位性: カバレッジ修復後のチェックポイントにおいて、BM3Dは7つの8つのチェックポイントで一貫して最高のAPSを達成しており、特定の条件下では、テストされた学習型デノイザーよりも活性化パターンをより良く保持していることが示唆された。

意義と主張

本論文は、APSは検出器固有の安定性指標であり、検証された普遍的なデノイザー選択指標ではないと控えめに主張している。

• APSの限界: APSは特定の検出器に対しては検出ゲインと相関するものの、この関係は異なる検出器アーキテクチャや測定プロトコル間では一般化されない。その関連性は、グルーピング、スコアの定義、および前処理に敏感である。
• 普遍的なメカニズムの不在: 本研究は、高周波構造や特定のアテンションマップを保持することが、検出改善の因果的メカニズムであることを確立していない。アテンションの極性アンカリング、カバレッジのアーティファクト、および特徴表現の違いがスコアに影響を与える。
• 実用的な含意: ガウスノイズ下の特定の凍結された歩行者検出器の場合、BM3Dは、学習型デノイザーと比較して優れた活性化保存を実現した（実装上のアーティファクトを修正した後でも同様である）。
• 今後の要件: 著者らは、より広範な有用性の主張やメカニズムに関する結論には、独立したデータ、個々の予測に対する忠実度のチェック、および保持された条件（held-out conditions）に対するテストが必要であると強調している。現在の結果は、決定的なルールというよりも、探索的なガイドとして機能するものである。