技術要約：データ不足の害虫インスタンスセグメンテーションにおけるアノテーション整合性を備えた拡散拡張

1. 問題提起

総合的病害虫管理（IPM）において、粘着トラップは昆虫個体群をモニタリングするための標準的なツールである。ディープラーニングによるこのプロセスの自動化は、画像分類からインスタンスセグメンテーションへと進展しており、これにより種組成、個体数、および形態に関するピクセルレベルの重要なデータが得られるようになった。しかし、堅牢なインスタンスセグメンテーションモデルを訓練するにあたっては、希少な害虫種に対するポリゴンアノテーション済みデータの不足が大きなボトルネックとなっている。

幾何学的変換やコピー＆ペースト手法は、ある程度のデータ拡張を提供するものの、粘着トラップの画像に特有の（乾燥による変形や姿勢の歪みなどの）真に新しい形態学的バリエーションを合成するには至っていない。さらに、GANや汎用的な拡散モデルといった既存の生成手法は、この領域における2つの特定の課題に直面している：

1. アノテーションの整合性： インスタンスセグメンテーションには、生成されたオブジェクトとそのポリゴンマスクとの間の厳密な空間的一致が必要である。境界のわずかなずれであっても既存のラベルを無効にしてしまうため、コストのかかる再ラベル付けが必要となる。
2. ドメイン適応： 汎用モデルは、ドメイン固有の微調整なしでは、粘着表面に押し付けられた昆虫のような、粘着トラップの標本として現実的な外観を生成するために必要な視覚的事前知識を欠いている。

2. 手法

著者らは、追加の手動ラベル付けを必要とせずに、アノテーション整合性のある合成訓練画像を生成するように設計された、ドメイン特化型の拡散ベースのデータ拡張フレームワークを提案している。パイプラインは、4つの統合されたコンポーネントで構成される：

2.1. ポリゴン誘導型視覚的事前知識の抽出

HEDやCannyのような一般的なエッジ検出器を使用する従来の研究とは異なり、本手法はグラウンドトゥルースのセグメンテーションポリゴンを構造的事前知識として直接利用する。

• 構築： グラウンドトゥルースのポリゴン輪郭を画像の白いアウトラインとしてレンダリングし、構造的ガイダンスとして機能させる。
• 空間的複製： 多様性を高めるため、これらのポリゴン輪郭を画像内のランダムな位置と方向で複製する。妥当性チェックにより、既存のインスタンスとの重複がないこと、および画像内に収まっていることを確認する。
• 差別化： 決定的なのは、構造的事前知識（ポリゴン）のみを複製することであり、害虫の視覚的外観はコピーしない点である。これが、従来の手法であるコピー＆ペースト拡張との違いである。

2.2. インペイント・マスク生成

元のポリゴンアノテーションと複製されたポリゴンアノテーションから、インペイント・マスクを導出する。

• マスクは、再生領域（害虫のインスタックおよびその周辺のマージン）と、保存領域（粘着トラップの背景）を定義する。
• ポリゴンマスクに対して形態学的膨張（7×7カーネル、4回の反復）を適用して保護マージンを作成し、拡散モデルが害虫とその直近のコンテキストを再生しつつ、粘着剤の背景テクスチャを保持することを確実にする。

2.3. 制御可能な拡散モデル

生成プロセスでは、ControlNet誘導型拡散モデル（Qwen-Image-2512に基づく）を使用して、新しい害虫の外観を合成する。

• 条件付け： モデルは、複製された視覚的事前知識（構造的ガイダンス）とインペイント・マスク（空間的制約）を受け取る。
• クラス特化型の適応： 汎用拡散モデルと粘着トラップ画像の間のドメインギャップを埋めるため、ターゲットとなる各害虫種に対してクラス特化型のLoRA（Low-Rank Adaptation）アダプターをファインチューニングする。これらのアダプターは、生成中にネットワークのエンコーダーおよび中間層に注入される。
• プロンプトエンジニアリング： テキストプロンプトには、種特有の形態学的記述、粘着トラップのコンテキスト（黄色の粘着表面）、および画像品質の属性を含め、非現実的な出力を抑制するためのネガティブプロンプトも併用する。

2.4. 自己情報に基づく後方フィルタリング

外部モデルを使用せずに生成サンプルの品質を確保するため、著者らは、元のデータセットで訓練されたベースラインセグメンテーションモデル（$M_{base}$）に基づく自己情報フィルタリング戦略を導入している。

• 特徴抽出： $M_{base}$ のバックボーンが、実際の害虫インスタンスから特徴ベクトルを抽出し、クラスごとの参照プロトタイプを作成する。
• コサイン類似度： 各生成インスタンスについて、特徴ベクトルを抽出し、対応する実クラスのプロトタイプとコサイン類似度を用いて比較する。
• フィルタリング論理：
  • アノテーションレベル： 類似度スコアが閾値（$\tau = 0.3$）を下回るインスタンスは破棄される。これにより、画像全体を破棄することなく、単一の画像内での生成失敗を除去できる。
  • 画像レベル： 画像は、残った有効なアノテーションの平均類似度によってランク付けされ、上位の割合（$\gamma$）が訓練用に保持される。

3. 主な貢献

本論文は、主に3つの貢献を述べている：

1. ドメイン特化型フレームワーク： ポリゴン誘導型ControlNetインペイント、空間的複製、およびクラス特化型LoRA適応を用いて、アノテーション整合性のある合成データを生成する、粘着トラップのインスタンスセグメンテーションのための統一されたパイプライン。
2. 自己情報に基づくフィルタリング： タスク訓練済みのベースラインモデルの機能空間を利用して、高品質な合成サンプルを自動的に選択する新しい後方フィルタリングメカニズム。これにより、外部のフィルタリングモデルや手動検査を排除する。
3. クロスアーキテクチャ検証： 5つの異なるセグメンテーションアーキテクチャ（YOLOv8, YOLOv11, YOLOv26, Mask R-CNN, Mask2Former）にわたる包括的な検証を行い、過小評価されている種に対して一貫した性能向上を示した。

4. 実験結果

本フレームワークは、2つの希少種（Ricania sublimata および Metcalfa pruinosa）に焦点を当てたAI Hub（韓国）のデータセットを用いて評価された。データは、未知の環境への汎化性能をテストするために、温室の場所ごとに分割された。

• アノテーションの整合性： モデルベースの評価により、再利用されたポリゴンアノテーションの**87.2%**が生成された害虫インスタンスと空間的に整合している（Mean IoU > 0.72）ことが確認され、生成されたラベルの信頼性が検証された。
• 性能向上：
  • 5つのアーキテクチャすべてにおいて、提案手法は平均mAP50を**77.1%から87.5%へ、mAP50-95を63.2%から65.5%**へと向上させた。
  • 最適な画像レベルのフィルタリング比率は $\gamma = 0.7$ であることが判明し、データの多様性と品質のバランスを実現した。
  • 本手法は、従来の拡張戦略（CutMix, MixUp, Copy-Paste）を上回った。これらは、特にデータ不足が深刻な場合、希少種に対して一貫性のない、あるいは負の効果を示した。
• アーキテクチャの感度： 改善はモデル間で一貫していたが、より表現力豊かなマスク予測モジュールを持つアーキテクチャ（例：Mask R-CNN, Mask2Former）において、厳密なローカリゼーション指標（mAP50-95）で最大の利得が見られた。

5. 意義と主張

著者らは、本研究が農業モニタリングにおける重要なパラドックスに対処していると主張している。すなわち、希少な害虫種は早期警戒において最も重要である場合が多い一方で、データの不足によりモデルの性能が最も低くなってしまうという問題である。

• アノテーションのギャップを埋める： ポリゴン誘導型の拡散拡張が、追加の手動ポリゴンアノテーションという膨大なコストをかけることなく、過小評価されている種のための訓練データセットを効果的に拡張できることを示している。
• タスクに適合した品質管理： ターゲットタスクの機能空間に基づいた「自己情報」フィルタを使用することで、本手法は、合成データが単に視覚的に妥当であるだけでなく、特定のセグメンテーションタスクにとって機能的に有用であることを保証する。
• 実用的な展開： 場所ベースの訓練・テスト分割により、環境の変化（照明、背景の汚れ）が一般的であるフィールド展開への本手法の潜在能力が検証された。

結論として、現在の検証は特定の粘着トラップのデータセットと種に限定されているものの、提案されたフレームワークは、アノテーションされたデータが本質的に不足しているドメイン特化型のセグメンテーションタスクへの幅広い適用に向けた方法論的基礎を提供するものである。