AquaFeat+: an Underwater Vision Learning-based Enhancement Method for Object Detection, Classification, and Tracking

技術要約：水中ビジョンタスクのためのAquaFeat+

問題提起
種の識別、デブリ（堆積物）の監視、インフラ点検といった水中ロボットのアプリケーションは、コンピュータビジョンシステムに大きく依存しています。しかし、水中環境は、低照度、色の歪み、光の減衰、および散乱を含む深刻な課題を提示します。これらの要因は視覚データの品質を低下させ、コントラストや鮮明度の喪失を引き起こし、それが物体検出、分類、および追跡モデルの性能を直接的に損なわせます。

既存の強化手法は、多くの場合、以下の2つの決定的な制限に直面しています：

1. タスクの不一致： ほとんどのアプローチは、人間の知覚的品質（審美的な魅力）に対して最適化されており、自動解析に不可欠な特徴の保持や抽出には最適化されていません。視覚的に魅力的な画像であっても、重要なパターンを覆い隠してしまい、アルゴリズムの性能に悪影響を及ぼす可能性があります。
2. 計算効率： 深層学習ベースの強化モデルの多くは、高い計算需要と長い処理時間を伴い、リアルタイムのロボット運用への適用を妨げています。

手法：AquaFeat+
著者らは、人間の知覚ではなく、自動ビジョンタスクのために特徴を特化して強化するように設計された、プラグアンドプレイ型のパイプラインである**AquaFeat+**を提案しています。このアーキテクチャは、最終的なアプリケーション（検出、分類、または追跡）の損失関数によって直接導かれるようにエンドツーエンドで訓練されており、強化がダウンストリームのタスクに関連付けられることを保証しています。

本モデルは、主に3つのモジュールで構成されています：

1. カラー補正モジュール： 色彩の歪みと選択的な光の吸収を軽減する、非学習型の前処理ステップです。これは赤、緑、青の各チャンネルの平均強度を分析し、色分布を中央値のチャンネルに調整することで、後続のレイヤーに対してホワイトバランスの取れた、よりクリーンな入力を提供します。
2. 特徴強化プロセス： このコアプロセスは、以下の3つのステージを通じてダウンストリームタスクと統合されます：
   • 水中特徴強化ネットワーク (U-FEN)： 共有重みを用いて、3つの並行ストリーム（オリジナル、1/4解像度、1/8解像度）でRGBフレームを処理します。標準的な最初のレイヤーを、チャンネルごとの統計量（平均と標準偏差）に基づいてコントラストを動的に調整する、学習可能なコンテンツ適応型メカニズムであるSpecialConvレイヤーに置き換えています。このネットワークは、勾配消失を防ぐために、高密度なスキップ接続とLeakyReLU活性化関数を用いたU-Netアーキテクチャを利用しています。
   • グローバルスケール・アテンション・モジュール (GSAM)： 特徴を精緻化するために設計されたハイブリッドアーキテクチャであり、デュアルパスウェイ設計を採用しています。長距離の空間依存性をモデリングする**Global Feature-Aware (GFA)モジュールと、マルチスケール融合のためのScale-Aware Feature Aggregation (SAFA)**メカニズムを組み合わせています。出力は残差接続を介して元の入力と結合され、グローバルなコンテキストとマルチスケールの詳細の両方で表現を豊かにします。
   • 最終特徴集約： GSAMの出力はリサイズされ、最も低解像度の特徴ストリーム（1/8スケール）と結合されます。最終的な3×3畳み込みレイヤーが、これらを包括的な表現へと統合します。
3. 適応型残差出力： 最終段階では、ターミナルとなるSpecialConvレイヤーを使用して、強化残差マップを生成します。この残差は（tanhにより）正規化され、元の入力画像に加算されることで、構造的な完全性を維持しながら学習された強化を適用します。

主な貢献

• タスク指向の強化： 低照度の水中ビデオにおける階層的な特徴を強化し、物体検出、分類、および追跡の性能を最適化するために特別に設計されたモジュールであるAquaFeat+を提案しました。
• エンドツーエンドの訓練： 一般的な画像品質指標ではなく、最終タスクの損失関数によって直接導かれるように強化モジュールを訓練することの有効性を実証しました。
• データセットの適応： ロボットの知覚のための物体検出、分類、および追跡タスクを最適化することに焦点を当て、データクリーニングやクラスグルーピング戦略（不均衡に対処するため）を含む、FishTrack23データセットの適応を行いました。

実験結果
本手法は、検出/追跡にはYOLOv8m/YOLOv10sを、分類にはYOLOv11s-clsを用いて、FishTrack23データセットで評価されました。結果は、その前身（AquaFeat）、他の強化技術（FeatEnHancer）、およびベースラインモデルと比較されました。

• 物体検出： AquaFeat+ (YOLOv8m) は最高の**F1スコア (0.688)**を達成し、適合率と再現率の間の最良のバランスを示しました。絶対的なmAP0.5では最高値（0.557 vs. 0.556 for AquaFeat YOLOv10s）には及びませんでしたが、ベースラインのYOLOv8mに対して大幅に再現率を向上させつつ（0.624 vs. 0.582）、極めて競争力のある性能を維持しました。
• 分類： AquaFeat+は、適合率 (0.816)、再現率 (0.791)、およびF1スコア (0.791) において他のすべてのアプローチを上回りました。既存の手法であるFeatEnHancerやベースラインのYOLOv11s-clsを凌駕し、ポジティブな予測を特定しバランスを取る一貫した能力を示しました。
• 追跡： マルチオブジェクトトラッキングにおいて、AquaFeat+ (YOLOv10s) は最高の**HOTAスコア (55.206)とトップのAssAスコア (60.194)**を達成し、検出精度と関連精度（アソシエーション精度）の優れたバランスを示しました。また、第2位のIDF1スコア (68.094) も獲得しており、長期的なアイデンティティの一貫性を効果的に示しました。

定性的分析により、AquaFeat+は、画像の境界付近で部分的に遮蔽された物体を正しく検出したり、ベースラインモデルや他の強化技術が失敗する低視認性のシナリオで魚を識別したりできる唯一の手法であることが確認されました。

意義と主張
本論文は、AquaFeat+が複雑な水中シーンにおける知覚能力を大幅に向上させる能力を検証していると主張しています。特徴強化をビジョンタスクのパイプラインに直接統合し、視覚的な魅力ではなくダウンストリームの性能に向けて最適化することで、本手法は画像強化と自動解析の間のギャップに対処しています。結果は、AquaFeat+が多様なロボットプラットフォームにシームレスに統合でき、意思決定のためのシーン分析の信頼性を向上させる、柔軟かつ効率的なソリューションであることを示唆しています。著者らは、今後の課題として、深度推定やセマンティックセグメンテーションなどのタスクへの適用拡大、および新しい実世界のデータセットでの評価を挙げています。