The PanAf-SBR Dataset: Social Behaviour Recognition for Wild Great Apes

技術要約：PanAf-SBR データセット

問題提起
野生の大型類人猿の個体群は絶滅の危機に瀕しており、行動の変化、特に社会的構造の崩壊は、個体数崩壊の初期指標として機能する。飼育環境のデータセット（例：ChimpACT）や野生のカメラトラップによるデータセット（例：PanAf500）を通じて、類人猿の行動の自動認識技術は進歩しているが、決定的なギャップが残っている。飼育環境のデータセットは、詳細かつ役割分化された社会的アノテーション（アクションの提供者と受け手の区別）を提供できる一方で、生態学的な真正性に欠ける。対照的に、既存の野生データセットは、社会的アノテーションが全く欠けているか、あるいは役割の分化がないビデオレベルのラベルしか提供していない。その結果、複雑な社会的ダイナミクスをモデル化するために必要な、詳細なマルチアクターによる社会的アノテーションと、野生の映像による生態学的妥当性を組み合わせたデータセットは存在しない。

手法
これに対処するため、著者らは既存のPanAf500コレクションを拡張した新しいデータセットであるPanAf-SBRを導入する。

• データキュレーション: 本データセットは、社会的相互作用の存在を目的としてPanAf20kコーパスから特別に選定された100個の追加カメラトラップビデオ（合計600ビデオ、216,020フレーム、282,525検出対象）で構成される。
• アノテーション・プロトコル:
  • ローカライゼーション: バウンディングボックスとセグメンテーションマスクは、ファインチューニングされたSAM 3モデル（「chimpanzee」というプロンプトを使用）を用いて生成され、徹底的なレビューが行われた。ビデオ内の個体識別（ID）の追跡が行われ、欠落部分は補間または手動修正によって補完された。
  • 行動分類学: 本データセットはPanAf500の9つの移動クラスを維持しつつ、「アクションの提供者と受け手」というChimpACTの慣習に基づいた7つの新しい社会的行動クラスを導入している。これらには、*grooming（毛づくろい）、being groomed（毛づくろいを受ける）、chimp carrying（チンパンジーによる運搬）、being carried（運搬される）、touch（接触）、leading（リードする）、following（追従する）*が含まれる。アノテーションは、個体が1つの移動ラベルと、潜在的に複数の同時発生する社会的ラベルを受け取るマルチラベル形式に従う。
• モデルアーキテクチャ: 著者らは、Video Swin-Lバックボーン、時間的融合層、およびマルチラベル分類ブランチを備えたDINO検出ヘッドに基づくエンドツーエンドのフレームワークであるAlphaChimpを利用している。モデルは16クラス（9移動 + 7社会）を出力するように適応された。
• 実験設計:
  • 双方向転移学習: 飼育環境のChimpACTデータセットでの事前学習とPanAf-SBRでの学習、あるいはその逆を行い、クロスデータセットの汎用性を評価するために、相互の転移学習実験を実施した。
  • 背景コンテキスト分析: 背景コンテキストの役割を調査するため、セグメンテーションマスクを反転させて非類人猿ピクセルを抑制（背景を黒に設定）し、モデルの性能を再評価した。

主な貢献

1. PanAf-SBR データセット: 精細な、役割分化された社会的行動のアノテーションが付与された、最初の野生の大型類人猿カメラトラップデータセット。これには、ローカライゼーション、ビデオ内の個体識別、および社会的役割をカバーする81,096のアノテーションが含まれる。
2. ベンチマークの確立: AlphaChimpアーキテクチャを通じて確立された、カメラトラップ映像を用いた野生の大型類人猿における精細な社会的行動認識の最初のベンチマーク。
3. 転移学習に関する知見: 飼育環境と野生のデータセット間の双方向転移学習に関する包括的な分析を行い、事前学習の恩恵は一様ではなく、クラス選択的であることを明らかにした。
4. コンテキスト依存性の分析: 野生における大型類人猿の社会的行動認識における背景コンテキストの検討を行った最初の事例であり、背景情報がほとんどの行動において重要であるが、特定の物理的接触相互作用においては重要性が低いことを示した。

結果

• ベースライン性能: PanAf-Sbrで学習したAlphaChimpは、49.72%の平均適合率（mAP）を達成した。
• 飼育環境から野生への転移: ChimpACTでの事前学習は、わずかなmAPの向上（+0.57%）をもたらしたが、再現率（Recall）を大幅に向上させ（+19.24%）、F1スコアを押し上げた。その恩恵は非常に特異的であった：
  • 毛づくろい関連のクラス（grooming, being_groomed）は、大幅な向上（それぞれ+9.60%および+24.31%）を見せた。
  • 物体との相互作用も大幅に改善した（+9.56%）。
  • 移動クラスの結果は混在しており、*running（走行）*は向上（+9.90%）したが、*walking（歩行）*は低下（-11.79%）した。
  • 新しいクラス（leading, following）や、ChimpACTに直接の対応物がないクラスでは性能の低下が見られ、事前学習データにおける頻度が、転移において必要条件ではあるが十分条件ではないことが示唆された。
• 野生から飼育環境への転移: PanAf-SBRでの事前学習は、主に移動の向上（+8.30%）と物体相互作用の改善によって、ChimpACTのmAPを+1.92%向上させた。しかし、社会的相互作用のクラスは不均一な結果を示し、一部の接触ベースのクラス（例：being_nursed/授乳を受ける）は大幅に低下した一方で、他のクラス（例：embracing/抱擁）は向上した。
• 背景の除去: 背景コンテキストを除去すると、全体的なmAPが大幅に低下（-21.61%）し、野生における行動認識において背景の手がかりが極めて重要であることを示した。しかし、固定閾値における適合率と再現率は向上した。注目すべきは、直接的な物理的接触を伴うクラス（being_carried, touch, chimp_carrying）のみが、背景を除去した際に平均適合率（Average Precision）が向上したことであり、これらの相互作用は環境コンテキストよりも相対的な身体構成に依存していることを示唆している。

意義と主張
本論文は、PanAf-SBRが生態学的真正性と詳細な社会的アノテーションの交差点における決定的なギャップを埋め、野生の大型類人猿における精細な社会的ダイナミクスの研究を可能にすると主張している。著者らは、このデータセットが保全（社会的構造の崩壊のモニタリング）と進化人類学（人間社会性の起源の理解）の両方にとって価値のあるリソースであると考えている。

本研究は、クロスデータセットの事前学習は有益ではあるものの、普遍的な解決策ではないことを控えめに結論付けている。その有効性は、特定の行動クラスや、ソースとターゲットのエトグラム（行動型）の整合性に大きく依存する。さらに、背景除去の分析は、特定の物理的接触相互作用を除いて、野生の行動認識が環境コンテキストに強く依存していることを浮き彫りにした。著者らは、完全なスペクトラムの野生の社会的行動（例：食物の分け合いはアノテーションされていない）をカバーできていないことや、AlphaChimpの専門的な性質による代替アーキテクチャとの比較ベースラインの欠如など、限界を認めている。