技術要約: WildFin: 野生環境における魚類の行動認識のためのデータセット

問題提起

海洋生態学の分野は現在、極めて重要なボトルネックに直面している。フィールド展開型のビデオシステムがデータ収集の規模を劇的に進化させた一方で、収集される映像の量は人間の手動解析能力を遥かに超えている。既存のコンピュータビジョン・ソリューションは、このギャップを埋めることに苦慮している。なぜなら、現在のモデルの多くは制御された実験室や陸上のデータセットで学習されており、複雑な「野生（in-the-wild）」の水中環境では機能しないからである。これらの環境は、動的な照明、バックスキャッター（後方散乱）、水質の変動、深刻なマルチエージェントによる遮蔽（オクルージョン）、そして魚類における一貫した解剖学的ランドマークの欠如といった、特有の課題を提示する。さらに、動物の行動に関する既存の公開ベンチマークは乏しく、特にビデオベースの解析においては、生態学的な発見に必要とされる、専門家によって詳細にアノテーションされた行動ラベルを欠いていることが多い。

手法

これらの課題に対処するため、著者らは、コンピュータビジョンのために特別にキュレーションされたものではなく、実際の生態学的なフィールドデータから派生した新しいベンチマークであるWildFinを導入する。本データセットは、約9.2時間の高解像度（1080pおよび4K）ビデオで構成されており、23の行動クラスにわたる200万個以上のフレーム単位の専門家によるアノテーション済みラベルを含んでいる。

データセットの構成

WildFinは、標準的な生態学的プロトコルを反映した、2つの異なるデータ収集パラダイムに基づいて構成されている。

1. CoralCam (静止型): 12のサンゴ礁生息地から収集された、マルチエージェントのビデオ1.2時間。このサブセットは、固定式の三脚マウントカメラを使用して、Azurina multilineata（ブラウン・クロミス）の群れを捉えている。アノテーション・パイプラインには、物体検出（YOLOv8）、マルチオブジェクト・トラッキング（BoTSort）、および摂食（噛む/開く/閉じる）や攻撃（突進）などの行動に関する専門家による検証が含まれる。
2. FishFollow (動的型): 単独個体（ブダイやチョウチョウウオ）をハンドヘルドカメラで追跡した、フォーカル・フォロー（焦点追跡）ビデオ8時間。これはダイバーや市民科学者の映像を模しており、連続的なエゴモーション（自己運動）、急速な視点変化、および動的な背景を特徴とする。アノテーションは、社会的相互作用、単独行動、生息地との相互作用を含む20の行動をカバーしている。

ベンチマーク・プロトコル

著者らは、静的なアプローチと時空間的なアプローチの間のトレードオフを定量化するために、多様なビジョン基盤モデルとアーキテクチャを評価している。

• バックボーン: 本研究では、現代的な自己教師あり学習による基盤モデル（DINOv3, VideoMAE, V-JEPA 2）と、古典的な教師あり学習のベースライン（ResNet50）を比較する。
• アーキテクチャ: 画像ネイティブなモデルを用いた静的（フレーム単位）処理と、ビデオネイティブなモデル（16フレームのクリップ）を用いた時空間的処理を対比させる。
• 適応戦略: フリーズされたバックボーンと軽量なプーリングヘッド（平均プーリング vs クロスアテンション・プーリング）、および完全にファインチューニングされたResNet50を用いてテストを行う。
• クラス不均衡: 長尾分布を持つ生態学的行動を考慮し、一般的な行動による支配を軽減するために、バランス・サンプリングやFocal Lossといった手法をベンチマークする。
• 指標: パフォーマンスは、行動境界の曖昧さを考慮して、±7フレーム（60 FPSにおいて約±0.1秒）のテンポラル・トレランス（時間的許容誤差）を伴う、マクロ平均F1、適合率（precision）、再現率（recall）を用いて測定される。

主な結果

ベンチマークの結果は、現在のモデルの能力と、現実の水中分析の要求との間にある顕著なギャップを明らかにしている。

1. 時間的特徴 vs 静的特徴: 時空間的なダイナミクスを明示的に捉えるモデル（VideoMAE, V-JEPA 2）は、特に攻撃などの相互作用に起因する行動において、画像ベースのバックボーンよりも一般的に優れた性能を示す。例えば、画像ベースのモデルはCoralCamにおいて「攻撃（Aggression）」クラスの検出に失敗したが、ビデオモデルは実質的な性能を達成した。しかし、「噛む（Biting）」や「生息地（Habitat）」のように静的な視覚的特徴によって定義される行動については、画像ベースのモデルも競争力のある性能を維持しており、すべての行動カテゴリにおいて時間的情報が普遍的に必要というわけではないことを示唆している。
2. 基盤モデル vs ファインチューニングされたCNN: より単純な静止型のCoralCamデータセットでは、完全にファインチューニングされたResNet50が驚くほど競争力があり、凍結されたDINOv3-Lをも上回った。しかし、より複雑で動的なFishFollowデータセットにおいては、完全にファインチューニングされたResNet50は過学習の傾向が見られた一方で、堅牢で凍結されたDINOv3-Lの特徴量が優れていることが証明された。
3. クラス不均衡の緩和: Focal Lossの適用は、希少な行動の再現率を高めることで一般的に性能を向上させたが、極端に稀なクラス（例：CoralCamにおける攻撃）に対しては、時に過学習を招いた。バランス・サンプリングも重要であり、ランダム・サンプリングでは希少な行動に対してほぼゼロの性能しか得られなかった。
4. データセットの限界: 著者らは、CoralCamのパイプラインが初期の物体検出段階（AP@0.5 = 74.5）からのエラー伝播の影響を受けやすいこと、およびFishFollowのサブセットには明示的な空間ローカライゼーション（バウンディングボックス）が欠けており、モデルが遮蔽時に失敗する可能性があるカメラ中心の事前分布に依存せざるを得ないことを指摘している。

意義と主張

本論文は、WildFinを単なるデータセットとしてではなく、生態学的に現実的な条件下における時空間表現学習の厳格なテストベッドとして位置づけている。著者らは、WildFinの主要な貢献は、動的な照明、遮蔽、および多様な収集プロトコルを含む、現実世界の生態学的データの「乱雑な」性質を表現していることにあると主張している。

本研究は以下の通り論じている：

• 現在のビジョン基盤モデルは強力ではあるものの、複雑な海洋環境に展開される際には依然として大きなギャップに直面している。
• 「万能（one-size-fits-all）」なアプローチは不十分である。異なる行動カテゴリには、根本的に異なる視覚的推論戦略（静的な外観 vs 時間的ダイナミクス）が必要である。
• コンピュータビジョンの手法を真の科学的展開へと準備させるためには、コンピュータビジョンのためにキュレーションされたデータではなく、標準的な生態学的プロトコルに従って収集されたデータでベンチマークを行うことが不可欠である。
• クラス不均衡に対処し、データ効率が高く不均衡を考慮した手法を開発することは、自動化された魚類の行動理解における重要な前提条件である。

著者らは、WildFinが海洋生態学とビデオ理解の交差点における研究を促進し、制御された実験室の設定を超えて、海洋生態系のスケーラブルで自動化された分析へと移行するための必要なインフラを提供すると結論付けている。