Million-scale multimodal pollen microscopy with expert-guided foundation models

技術要約：エキスパートによるガイダンスを受けた基盤モデルを用いた、百万規模のマルチモーダル花粉顕微鏡解析

問題提起
顕微鏡による花粉の自動同定は、エアロバイオロジー、古生態学、および生物多様性モニタリングにおける重要なボトルネックであり続けている。既存のスケーラブルなシステムは、標本の調製、スキャナーの設定、および地理的な起源の変化に対して汎用性を維持しながら、花粉学的解釈可能性を確保することに苦慮している。現在の公開リソースは、分類学的幅、サンプル数、またはイメージング様式の制限を受けることが多く、その多くは個々の粒レベルで構造化された自然言語の形態学的記録とペアになっていない。さらに、従来の教師あり検出器のトレーニングは、ラベル付けされたトレーニング・レジームと異なる分類群や条件下に展開される際、脆弱である。大規模で、取得方法の多様性に富み、かつエキスパートの知見に基づいた、個別の明視野花粉クロップと構造化された自然言語記述をペアリングしたリソースが不足している。

手法
著者らは、純粋種（pure-species）のホールスライド明視野画像から構築された、百万規模のマルチモーダル・リソースであるPollen AI Atlasを提示する。ワークフローは、全粒の注釈を必要とせずに、スライドレベルの分類学的ラベルをコンテキストとして利用する「純粋種スライド」を用いた「弱教師あり学習」に依拠している。パイプラインは以下の5つのステージで構成される：

1. ワンショット初期化（One-Shot Initialization）: 各ソーススライドに対し、手動で選択された単一の花粉粒エグゼンプラー（模範例）がプロセスを開始する。このエグゼンプラーは、画像誘導型検出を行うためにOWL-ViTと共に使用される。
2. トークンレベルのマイニング（Token-Level Mining）: タスク固有の検出器を訓練する代わりに、システムは高密度な視覚表現を直接マイニングする。手動選択されたエグゼンプラーは、ファインチューニングされたDINOv2ベースのLVD-ViT-Sバックボーンのフィーチャー空間における探索のシードとなる。システムはトークンスペース内でクエリ表現を構築し、それをホールスライドのトークンとコサイン類似度を用いて照合し、反復的に候補オブジェクトを抽出する。
3. 品質フィルタリング（Quality Filtering）: デブリ（破片）や重複を除去するために、4段階のフィルタリングパイプラインを用いる：
   • アテンションに基づく再埋め込み（Attention-based re-embedding）: 候補はクロスアテンション・プーリングを介して再埋め込みされ、均一な表現を作成する。
   • プロトタイプに基づく再ランキング（Prototype-based reranking）: 反復的なメドイド計算によりスライドレベルのプロトタイプを精緻化し、エグゼンプラー・バイアスを低減させる。
   • 非最大値抑制（Non-maximum suppression, NMS）: 低いIoU閾値（0.10）を用いて空間的な重複を除去する。
   • 分類器ゲート（Classifier gating）: ファインチューニングされたLVD-ViT-S分類器がセマンティック・ゲートとして機能し、背景や信頼度の低い検出を除去する。
4. 視覚言語キャプション生成（Vision-Language Captioning）: フィルタリングされた検出結果は、5つのオープンウェイト視覚言語モデル（Qwen2.5-VL, Qwen3-VL, Qwen3.5, Qwen3.6, および Gemma4）によって処理される。生成は、エキスパートによって検証された花粉学的アンカー（主に Beug's Leitfaden der Pollenbestimmung および PalDat に由来）によってガイドされる。プロンプトは、分類群名の漏洩（taxon-name leakage）および生の数値測定を明示的に禁止し、開口系、壁の装飾、形状、およびサイズに関する構造化された記述を強制する。
5. エキスパートによるグラウンド・トゥルース（Expert Ground Truth）: 検出精度を評価し、ダウンストリーム・タスクのベンチマークとするために、一部の領域（TS2）がエキスパートによって手動でキュレーションされた。

主な貢献

• データセットの規模と多様性: 本リソースは、4つの地理的起源（フランス、ハンガリー、地中海、スウェーデン）、4つのスキャナー設定、および31の植物科にわたる46の分類ラベルを含む、80枚のホールスライド画像から抽出された1,511,390個のフィルタリング済み花粉粒検出結果で構成される。
• マルチモーダルな整合性: 各検出は、機械生成されたエキスパート・アンカー付きの形態学的キャプションとペアになっており、世界初の百万規模の画像・キャプション・マイクロスコピー・リソースを構築している。
• 大規模な弱教師あり学習: 1枚のスライドにつき1つの手動選択されたエグゼンプラーを、高密度なフィーチャー・マイニングおよびフィルタリングリングと組み合わせることで、網羅的な手動注釈なしに高精度なコーパスが得られることを実証した。
• ベンチマーク・スイート: データ、アノテーション、キャプション、分割、コード、および重みをリリースし、花粉認識、クロスリージョン・ドメイン適応、およびドメイン固有のマルチモーダル学習のためのベンチマークを確立した。

結果

• 検出品質: パイプラインは、エキスパートがキュレーションしたテスト領域において、99.6%の適合率（4,506個の真陽性に対し20個の偽陽性）を達成し、再現率は43.6%であった。適合率はすべてのリージョン・サブセットにおいて99%を超えており、「精度優先」の動作点がリファレンス・コーパスに適していることを裏付けている。
• キャプション診断: 評価された5つのモデルの中で、Gemma4が最も制御された出力を提供し、分類群名の漏洩は0%であり、数値的なサイズの漏洩も最小限であり、最も強力なテキスト検索性能を示した。Gemma4は、60〜80語の制約を厳格に守り、平均70.6語のキャプションを生成した。
• 分類: フリーズされた視覚特徴量に対する線形プローブは、統合された起源のテストセットに対して88.16%のTop-1精度を達成した。単一起源のトレーニングでは、精度が66.16%〜74.92%へと低下し、クロスリージョンの汎用性の難しさを示した。染色正規化（Macenko）は、ハンガリーのサブセットに対して性能を向上させたが（+10.7%）、統合モデルに対しては低下させた（-21.2%）。これは、取得時のシフトが一様ではないことを示唆している。
• クロスリージョン検索: これが最も重要なマルチモーダルな知見である。「リージョン抜き（leave-origin-out）」テスト（CROSS-REG）において、画像のみによる検索性能は大幅に低下した（mAP@20が0.917から0.262へ）。対照的に、Gemma4のキャプションを用いたテキストベースの検索は堅牢であり（mAP@20 0.811）、形態に焦点を当てたテキスト埋め込みが、生の画像特徴よりもスキャナーや調製のシフトに対して不変であることを示した。

意義と主張
本論文は、Pollen AI Atlasが、任意の混合環境サンプル用の網羅的な検出器ではなく、高精度でエキスパートに導かれた純粋種のリファレンス・リソースとして機能すると主張している。著者らは、限定的なエキスパートの入力（エグゼンプラーの選択、アンカーのキュレーション、サンプリングされた検証）を、基盤モデルと組み合わせることで、スケーラブルで再利用可能なリソースを作成できることを示している。

本研究は、形態に焦点を当てたテキストは、画像類似性のみよりもドメインシフトに対して頑健であるという事実を浮き彫りにしている。これは、同定が取得固有のキューではなく形態学的特徴に依存するという、専門家による花粉学の実践を反映している。著者らは、本アトラスをゼロショットの運用的な検出のための最終的な解決策としてではなく、将来の花粉適応型視覚言語モデルおよびエキスパート主導の分析のための不可欠なインフラストラクチャとして位置づけている。本研究は、従来の検出器中心のワークフローを検索ベースのパラダイムへと拡張しており、高密度な視覚特徴とエキスパート・アンカー付きのテキスト生成を組み合わせることが、手動注釈の限界を超えてマイクロスコピーのデータセットをスケールさせるための有効な道筋であることを示唆している。