Image Quality Dependent Degradation for AI Systems

技術要約：AIシステムにおける画質依存型の劣化（Image Quality Dependent Degradation）

問題提起
自動運転のような安全性が極めて重要な領域におけるAI知覚システムは、入力画像の品質に強く依存しています。深層ニューラルネットワークは、学習データの分布内での補間には優れていますが、破損または劣化した入力（ノイズ、暗さ、センサーの摩耗などによるもの）に直面した際の補外（外挿）には苦慮します。重大な課題は、すべてのエラーが等しく重みを持つわけではないという点です。例えば歩行者検出において、偽陰性（歩行者を見逃すこと）は、偽陽性（存在しない歩行者を検知すること）よりもはるかに深刻です。従来のフォールトトレラント（耐故障）アプローチは、冗長なセンサー（LiDARなど）への切り替えや、システム全体のシャットダウンを行う「フェイルオペレーショナル（運用継続）」なシステムに依存することが多いですが、これらの代替策は常に利用可能、あるいは望ましいとは限りません。著者らは、「フェイルデグレード（機能縮退）」アプローチを提案しています。これは、故障時においても、単に機能を停止するのではなく、特定の機能を制限・制御しながら維持する手法であり、具体的には、画像品質が低い場合に一般的な精度よりもクリティカルなエラー（検知漏れ）の回避を優先させるものです。

手法
提案されたシステムは、リアルタイムの画像品質推定に基づいて既存の物体検出器の信頼度閾値を調整する、プラグアンドプレイ型のモジュールとして動作します。この手法は、主に3つのコンポーネたで構成されています。

1. ハンドクラフト特徴量の抽出: 深層バックボーンからのセマンティックな特徴量（これらは品質に影響を与える拡張を無視する可能性がある）に頼るのではなく、システムは非参照型画像品質評価（IQA）特性のベクトルを抽出します。これには、明るさ、彩度、コントラスト、エネルギー、オーバー/アンダー露出、彩度、鮮明度、信号対雑音比（SNR）、歪度、スペクトル中心、およびPSNRが含まれます。
2. 正規化流（Normalizing Flows: NF）による品質推定: 正規化流ネットワーク（$\eta_\theta$）は、学習データセットのハンドクラフト特徴量ベクトルを用いて訓練されます。NFは「良質な」画像品質の確率密度を学習します。推論時、入力画像の特有の対数尤度（$L(x)$）が計算されます。尤度が高い場合は、画像品質が学習分布と同様であることを示し、尤度が低い場合は、分布外（OOD）または劣化した状態であることを示唆します。
3. フェイルデグレード閾値変換: システムは、計算された対数尤度に基づいて、物体検出器の信頼度閾値（$conf(x)$）を動的に調整します。フェーズフィールド表現法を用いて、閾値は以下のように定義されます。
   $$conf(x) = \frac{1}{2} \tanh(\alpha(L(x) - \tau)) + \frac{1}{2}$$
   ここで、$\tau$ は学習データの尤度分布から導出された閾値値（中央値に設定）であり、$\alpha$ は遷移幅を制御します。
   • 高品質（高 $L(x)$）: 閾値は高く維持され、適合率（Precision）と正確な予測を優先します。
   • 低品質（低 $L(x)$）: 閾値は下げられ、クリティカルな物体（歩行者）を見逃さないよう、再現率（Recall）を優先します。

主な貢献

• フェイルデグレード・システム設計: 著者らは、知覚サブシステムが故障時にシャットダウンしたり安全状態へ移行したりするのではなく、限定的な機能（低下した信頼度閾値）で動作するための戦略を開発しました。これにより、AIコンポーネントの運用範囲を拡張します。
• 新しい品質モニタリング: ハンドクラフトされた画像統計量を用いた正規化流を利用して、画像劣化を検出する新しいモニタリングシステムを導入しました。このアプローチは、特定の物体検出器のアーキテクチャに依存せず、検出器自体の再学習も必要としません。
• 実証的検証: 本手法は、BDD100kデータセットを用い、最先端の物体検出器（YOLOv11およびDETR）に対して検証されており、様々な画像摂動に対する適応能力が示されています。

実験結果
実験は、学習およびテスト用にBDD100kデータセットを使用し、Zenseact OpenDataset (ZOD) および CARLA シミュレーションデータによる追加検証が行われました。

• OOD検出: 正規化流は、学習分布（BDD100k）と他のデータセットを正常に区別しました。シミュレーションされたCARLAデータは実世界のデータとの重なりが最小限であった一方、ZODはより広い範囲を持ちつつも、かなりの重なりを示しました。
• 拡張（Augmentation）の検出: システムは、暗さ、ノイズ、汚れ、ブラー、レンズフレア、ローリングシャッターの6種類の画像拡張に対してテストされました。NFはすべての拡張タイプを確実に検出し、拡張の強度が上がるにつれて対数尤度が減少しました。特筆すべき点として、ResNet-18バックボーンの潜在特徴量を使用した場合は、これらの拡張を信頼性高く検出できなかったことが判明しており、ハンドクラフト特徴量の選択の妥当性が証明されました。
• 検出器の性能: YOLOv11歩行者検出器に適用した場合の結果は以下の通りです：
  • 再現率（Recall）: フェイルデグレード・システムは、低品質な画像（対数尤度が低い画像）において再現率を大幅に向上させ、歩行者の見逃しを減少させました。
  • 適合率（Precision）: 予想通り、閾値を下げたことにより低品質な画像では適合率がわずかに低下し、偽陽性が増加しました。
  • 全体: システムはテストセット内の377枚の画像に対して再現率を向上させつつ、高品質な画像に対しては高い再現率を維持しました。フレームあたりの平均再現率は、固定閾値の0.428から、フェイルデグレードによる0.474へと増加し、平均適合率は0.996から0.984へとわずかに低下しました。
• リアルタイム性能: ROS 2による実装により、画像品質評価と物体検出を並列で実行できることが示され、リアルタイムアプリケーションへの適合性が確認されました。

意義と主張
本論文は、このアプローチが、完全なシステムのシャットダウンに頼ることなく、悪条件下でのクリティカルな失敗（歩行者の見逃し）を防ぐことで、自動運転におけるAIベースのシステムの信頼性を高めると主張しています。著者らはこれを、信頼性とパフォーマンスの間のトレードオフとして位置づけています。馴染みのある高品質なシナリオでは精度を最大化し、未知の低品質なシナリオでは、クリティカルな物体を確実に検知することで安全性を優先します。

著者らは、現在の手法が「グローバル」な画像品質に焦点を当てていることを控えめに述べています。歩行者検出のような特定のタスクにおいては、「ローカル」な品質（例：特定のバウンディングボックス領域の品質）の方がより重要である可能性があることを認めています。今後の課題として、このアプローチをローカルなバウンディングボックス解析に適応させることや、検出器の学習中に非対称損失関数を組み込む可能性が挙げられています。結論として、完全に破損した画像では、システムが至る所で歩行者を検知してしまい（走行不能になる）、提案手法は、必要な場合にのみデグレード（機能縮退）が発生するようにすることで、安全性と有用性のバランスを維持すると述べています。