Multi-Scale ViT Inference with Habitat-Fit Priors and kNN Retrieval for Multi-Species Plant Identification

あなたは、あるミステリーを解決しようとしている探偵だと想像してください。ただし、あなたの「犯罪現場」は犯罪ではなく、小さなダイニングテーブルほどの大きさの、野生の草地が広がる正方形の区画です。あなたの任務は、そこに生えているすべての種類の植物の名前を特定することです。ここでひねりが加わります。あなたがこれまで見たことのある訓練マニュアルには、白い背景に孤立した、完璧で単一の花や葉の写真しか載っていません。あなたは、混沌とした草地の様子を学習データとして見たことがありません。これが、**多種植物識別（multi-species plant identification）**という課題です。つまり、個別の植物ばかりを勉強してきた人が、どのようにして混沌とした群衆の中から正体を見破るのか、という問題です。

この課題に取り組むために、科学者たちは**Vision Transformer (ViT)を使用します。これは、画像を小さなパズルのピースに分解して、何を見ているのかを理解する、非常に賢いデジタルな「目」のようなものです。また、彼らはk-Nearest Neighbors (kNN)**も使用します。これは「似ているもの探し」の検索エンジンのような手法です。例えば、葉の画像を見せると、データベースの中から最も似ている画像を見つけ出し、「これはこれにそっくりです！」と教えてくれます。最後に、**priors（事前知識）**を使用します。これは、サボテンは北極には育たないとか、特定のコケは高い山にしか生えないといった、世界のルールに基づいた「もっともらしい推測」のことです。この論文は、これらのツールを組み合わせて「乱れた草地」のパズルを解いたチームの物語を伝えています。混沌とした緑の塊を、正確な種のリストへと変えたのです。

探偵の道具箱：チームはいかにして「乱れた草地」を解決したか

DS@GT ARCとして知られるこのチームは、0.5メートル四方の高解像度写真に含まれる植物を特定するという、非常にレベルの高いコンテストであるPlantCLEF 2026に参加しました。これらの写真は、約3,000 x 3,000ピクセルもあり、非常に巨大であるため、標準的なコンピュータの脳に一度にすべてを読み込ませることはできません。チームの解決策は、より大きく複雑な脳を作ることではなく、手がかりをどう見るかを知っている「賢い探偵」になることでした。

戦略：ズームインとズームアウト
ヘリコプターからグループ全体を眺めて、大勢の人々を識別しようとする場面を想像してみてください。人々の波は見えますが、誰が赤い帽子を被っているのかまでは分かりません。逆にズームしすぎると、一人しか見えず、周囲の状況が見えなくなります。チームの最初のトリックは、マルチスケール・タイリング（Multi-Scale Tiling）でした。彼らは各巨大な写真を、異なるズームレベルの小さな正方形（タイル）に切り分けました。ズームアウトしたもの（3x3グリッド）もあれば、ズームインしたもの（6x6グリッド）もあります。これにより、同じ草地に対して86通りの異なる「視点」を得ることができました。彼らは、メインのAIモデルである、微調整されたDINOv2 ViT-L/14（数百万の画像で訓練された強力なデジタルな目）を、すべてのタイルに対して実行しました。そして、「マックス・プーリング（max pooling）」というルールを用いました。もし、どのタイルであっても特定の植物を高い確信度で検知した場合、その写真全体にその植物の存在を認めさせるというルールです。これにより、大きな写真の中で小さすぎて見落とされてしまうような、隠れた小さな花も見逃さないようにしました。

「似ているもの探し」の検索エンジン
AIモデルは優秀ですが、時として混乱することもあります。それを助けるために、チームはkNN検索システムを追加しました。これは、86万枚の植物写真からなる巨大な図書館のようなものです。AIがタイルを見るとき、同時に図書館へ「これは何に似ていますか？」と問いかけます。図書館は最も似ている上位20枚の画像を返します。もしAIが確信を持てなくても、図書館が「これはまさにGeum reptansに似ています」と言えば、チームはその助言を最終的な答えに融合させます。それは、何百万もの植物を見てきた熟練の植物学者からセカンドオピニオンをもらうようなものです。

「生息地の適合性」ルール：究極の現実チェック
彼らの解決策の中で最も強力だったのは、新しいアルゴリズムではなく、地理学に基づいた一連のルールでした。彼らは、ある植物が写真の中に存在する「可能性」があったとしても、それがそこに「あるべき」とは限らないということに気づきました。そこで、**Habitat-Fit Demotion（生息地適合による格下げ）**を導入しました。

• 地理： もし写真が南西ヨーロッパで撮影されたものであれば、熱帯や北極にしか生息しない植物の確率を自動的に下げました。
• 標高： もし写真が海抜ゼロメートルで撮影されたものであれば、高い山の頂上にしか生息しない植物の確率を下げました。
  これはフィルターとして機能し、AIに対して「おい、そのサボテンがここにいる可能性は低いぞ。岩を見ているのではないか？」と静かにささやく役割を果たしました。このステップだけで精度に最大の差をもたらし、自分が「どこにいるか」を知ることは、「何を見ているか」を知ることと同じくらい重要であることを証明しました。

タイムトラベラー：Temporal Fusion（時間的融合）
テスト用の写真は単発のスナップショットではありませんでした。多くの場所が、異なる時期に同じ地点で撮影されたものでした。チームはこの特性を逆手に取りました。もしある地点が春と夏に訪問され、春の写真には花が写っていたのに夏の写真では写っていなかった場合（花が枯れてしまったため）、彼らはその証拠を組み合わせました。これは、容疑者のアリバイを3つの異なる日の記録から確認して謎を解くようなものです。もし証拠が訪問の間で一貫していれば、その証拠をより信頼します。もし訪問時の様子が大きく異なる場合（青々とした夏と、がらんとした冬など）、季節の変化に騙されないよう、特別な「類似性」チェックを行います。

何がうまくいかなかったのか（そしてなぜそれが重要なのか）

チームはただ推測したわけではありません。多くの洗練されたアイデアを試し、うまくいかないものはすべて捨てました。これは成功した話と同じくらい重要なことです。

• 「合成データ」の罠： 彼らは、新しいタイプのデコーダーを教えるために、デジタルな植物のパーツ（疑似クアドラット）を組み合わせた偽の訓練データを作成しようとしました。しかし、これは完全に失敗しました。偽のデータは本物の、混沌とした草地の姿とは異なっていたため、AIを混乱させてしまったのです。
• 「クロスリージョン」のミス： 彼らは、コンテストの特定の植物とは異なる、ヨーロッパの景観の膨大なデータセット（LUCAS）を使ってAIを教えようとしました。しかし、AIは間違った教訓を学んでしまい、結果として性能が低下しました。
• 「セグメンテーション」の不具合： 背景から個々の植物を切り出すツール（SAM 3）を使用して、よりきれいな画像を得ようと試みました。しかし、これは役に立ちませんでした。なぜなら、AIはグリッド状の正方形で訓練されており、これらの奇妙な形の切り抜きには適していなかったからです。この不一致が、信号よりもノイズを多く生み出してしまいました。

最終スコア

マルチスケールでのズーム、似ているもの探し、そして厳格な生息地ルールを組み合わせたチームの最終システムは、プライベート・リーダーボードにおいてmacro-F1スコア 0.43902を達成し、コンテストで第3位に入りました。興味深いことに、彼らが選択しなかった構成の一つは、さらに高いスコア（0.45777）を記録していましたが、コンテストが終わるまでそのスコアを見ることはできませんでした。

この論文は、この特定の、混沌とした問題に対しては、必ずしもより複雑なニューラルネットワークが最善ではないことを示唆しています。勝者は、データの見方（マルチスケール）を注意深く設計し、適切な「チートコード」（地理的および標高の事前知識）を使い、そして現実世界のルールに合わない派手な新技術をいつ無視すべきかを知っていた人々でした。彼らは、時には画像そのものと同じくらい、環境の声に耳を傾けることが賢明な判断であることを証明したのです。