When One Modality Is Not Enough: Multimodal Sex and Life-Stage Classification of Red Deer from Aerial RGB-Thermal Video

あなたは、巨大で生きているパズルの謎を解く野生動物の探偵であると想像してください。あなたの仕事は、単に森の中に何頭の動物がいるかを数えることではありません。彼らが「誰」なのかを知ることです。立派な角を持つ大きな父親なのか？ 母親なのか？ それとも、成長の早い小さな赤ちゃんなのか？ これは、群れの健康状態を維持するために、その「家系図」を理解する必要がある野生動物管理者たちの日常的な挑戦です。しかし、ここには落とし穴があります。森は一筋縄ではいきません。木々が落とす影は動物を隠し、地面は鹿の毛皮とそっくりに見えることがあります。これを解決するために、科学者たちは上空を飛行するドローンを使用します。そのドローンは、2種類の異なる「目」を搭載しています。一つは人間のように世界を色で見る目（RGB）、もう一つはナイトビジョンカメラのように熱を見る目（サーマル）です。問題は、どちらの目も単独では完璧ではないということです。色の目は影の中で混乱し、熱の目は詳細な情報を失った明るくぼやけた塊として映ってしまい、父親と母親を見分けるための細かなディテールを見失ってしまいます。この研究は、賢いトリックを探求しています。もし、二つの目のどちらかを選ばなければならないのではなく、それらを「スーパーチーム」として共に機能させることができたらどうなるでしょうか？

研究者たちは、このアイデアを、雄大な角を持つアカシカに対してテストすることにしました。彼らは、ドローンを森の上空に飛ばし、すべてのシカを特定し、その後、種、性別、年齢を自動的に判別できるコンピュータシステムを構築できるかどうかを検証したいと考えました。最大の疑問は、カラーカメラと熱カメラを組み合わせることで、季節が変わり、手がかりが変化する場合でも、単独のカメラよりも優れた「スーパービジョン」を生み出すことができるのか、ということでした。

異なる世界を見る二つの目

ドローンのカメラを、非常に異なるスキルを持つ二人の探偵だと考えてください。**カラー探偵（RGB）**は、角の形や毛の模様といった詳細を見つけるのが得意ですが、影に簡単に惑わされてしまいます。もしシカが木の下に隠れていれば、カラー探偵には暗い葉の塊しか見えません。一方、**熱探偵（サーマル）**は熱を見ます。この探偵にとって、暗闇の中にいるシカは明るく輝く星のようなものです。しかし、熱探偵は細部の扱いが少し不器用です。シカをぼんやりとした明るい塊として捉えてしまいます。そのため、その塊に角があるかどうかを容易に判断できず、時には温かい岩や地面と勘違いすることもあります。

研究者たちは、これら二人の探偵が正反対の方法で失敗することを発見しました。夏、雄シカの角が柔らかく「ベルベット」に覆われているとき、それらは温かい状態にあります。熱探偵はその輝きを見ることができますが、カラー探偵はシカが日陰にいる場合、それを見逃してしまうかもしれません。秋になると、角は硬くなり冷たくなります。今度は、熱探偵には特別なものは何も見えませんが、カラー探偵は硬く骨のある形状をはっきりと捉えることができます。もし片方の探偵しか持っていなければ、季節によって手がかりを半分見逃してしまうことになるでしょう。

チームアップ戦略

ただ一つの探偵を信頼する代わりに、チームはすべてのステップで二つのカメラが連携するパイプラインを構築しました。彼らは単に画像を混ぜ合わせたのではなく、DINOv3特徴量と呼ばれる特別な言語を使って、コンピュータに「会話」をさせました。これは、二人の探偵がそれぞれ見たことを書き留める共有ノートのようなもので、コンピュータは彼らの話が一致しているかを確認します。

システムの仕組みは以下の通りです：

1. ダブルチェック： システムは、両方のカメラがシカを捉えた場合にのみ、それを「本物の」シカとしてカウントします。もしカラーカメラが塊を見つけても、熱カメラが何も捉えていなければ、システムはそれをシカではなく、奇妙な影や岩であると判断します。これにより、偽物の動物をカウントすることを防ぎます。
2. フィルター： すべてのシカの写真は優れているわけではありません。ブレていたり、葉に覆われていたり、あるいは単に遠すぎたりすることもあります。システムは厳格な編集者のように機能し、手がかりが欠けている質の悪いフレームを排除します。これはシカそのものを捨てるのではなく、そのシカの「質の悪い写真」を捨てているのです。
3. 投票： フィルターを通過したシカに対して、システムはすべての良質な写真を確認し、投票を行います。もし雄のシカが10枚の写真に写っており、そのうち6枚に明確な角が見えれば、システムは「雄」と投票します。たとえ残りの4枚が、角が隠れていたために雌のように見えたとしても、多数決の結果が勝ちます。
4. サイズチェック： 赤鹿（幼獣）と母鹿（成獣の雌）を見分けるために、システムはシカのサイズを測定します。ドローンは一定の高度で飛行するため、赤鹿は写真の中で成獣よりもずっと小さく映ります。システムはこのサイズの差を利用して、赤ちゃんを見つけ出します。

結果：勝利するチーム

チームは、オーストリアの森で行われた4回の異なるドローン飛行を用いて、このシステムをテストしました。彼らには、地上にいる人々から提供された、どのシカがそこにいて、それが何であったかを正確に知っている「解答集」がありました。

結果は素晴らしいものでした。カラーカメラのみ、あるいは熱カメラのみを使用した場合、性別の特定は26頭中約20頭の成功率でした。しかし、二つを組み合わせたとき、彼らは26頭中25頭を正解しました。種を特定する成功率は**96.0%**に達し、二つのセンサーを融合させたことで、異なる季節における性別の識別が非常に信頼性の高いものとなりました。

システムは特に「トリッキーな」ケースの処理に優れていました。例えば、片方のカメラだけでは手がかりが隠れていたために雌だと判断してしまった3頭の雄シカがいました。しかし、システムは統合された証拠を確認することで、「待てよ、熱カメラはここに温かいスポットを検知しており、カラーカメラはここに形を捉えている」と気づき、正しく雄として識別したのです。

なぜこれが重要なのか

この論文は、カラーカメラか熱カメラかのどちらかを選ぶ必要はないということを示しています。これらを融合させることで、単なる個体数のカウントよりもはるかに賢い調査を行うことができます。単に「50頭のシカがいる」と言う代わりに、ドローンの飛行によって「50頭のシカがいる：内訳は、父親15頭、母親30頭、そして赤ちゃん5頭である」と言えるようになるのです。

これは野生動物管理者にとって大きな意味を持ちます。現在、このような詳細な情報を得るには、人間が手作業で写真を分析する必要があり、それには長い時間がかかり、すべての飛行に対して行うことは困難です。この新しい手法は、そのプロセスを自動化し、単純なカウントを詳細な報告へと変貌させます。これは、一つの見方では不十分なとき、異なる視点を組み合わせることで、動物が影に隠れていたり季節が変わったりしていても、完全な姿を明らかにできることを証明しています。システムは完璧ではなく、非常に小さなシカを扱ったり、ドローンが高すぎる高度で飛行したりすると依然として苦戦することもありますが、適切なチームワークがあれば、空から森の物語を読み解くことができるのです。