Image-Based Estimation of Blueberry Yield Incorporating External Validation and Canopy Architecture Under Field Conditions

技術要約：外部検証とキャノピー構造を取り入れた画像ベースのブルーベリー収量推定

問題提起
ブルーベリーの果実収量および成熟度の定量化は、育種試験における収量ポテンシャルの評価や生産ロジスの最適化において極めて重要である。しかし、手作業による測定は、低速、多大な労力、高コスト、そして主観性に左右されやすいという課題があり、ボトルネックとなっている。物体検出ネットワークは高スループットな解決策を提供するが、既存の研究の多くは、特にキャノピー（樹冠）による遮蔽を明示的に考慮した上で、手摘みによるグラウンドトゥルース（真値）に対する厳格な外部検証を欠いている。ハイブッシュブルーベリーは、その複雑な形態と葉による果実の大きな体積的遮蔽のため、野生種と比較して特有の課題がある。さらに、圃場条件は明るさ、撮影距離、視点の変動をもたらし、遺伝子型固有のキャノピー構造の違いが、コンピュータビジョンシステムによるベリーの可視性をさらに複雑にしている。

手法
本研究では、マルチクラスのベリー検出パイプラインを開発し、32種類の多様なサザンハイブッシュブルーベリー遺伝子型に対して、手摘みによるカウントを用いて検証を行った。

• パイプライン構成: システムは、高解像度画像を重複する640x640pxのタイルに分割するSAHI (Slicing Aided Hyper Inference) を利用し、小さなターゲットの検出を改善するために画像解像度に基づいてスライスサイズを動的に調整する。検出バックボーンには、単一クラスおよびマルチクラス（未熟および成熟）検出の両方に対して、YOLOv8（具体的にはnanoおよびextra-largeのバリアントを比較）を採用している。後処理には、誤検出を除去するための非最大値抑制（NMS）と、正方形に近いアスペクト比に基づくヒューリスティックフィルタリングが含まれる。
• データセット: 「blue-2」データセットは、2つの成熟度クラス（未熟および成熟）にわたる110,220個のベリー注釈を含む459枚の注釈付き画像で構成されている。このデータセットは、手動およびロボットプラットフォームを介して撮影された、DSLRカメラおよびモバイルデバイスからの画像を使用して構築された。
• 外部検証: グラウンドトゥルースの検証は、フロリダ州のStraughn Farmsにおける32の遺伝子型に対して行われた。画像は、ローバーに搭載されたCanon EOS Rebel T6を使用し、固定距離（約170 cm）からキャプチャされた。すべてのベリーは、その後すべて手摘みされ、カウントされた。
• キャノピー構造の統合: 遮蔽に対処するため、OpenCVベースのパイプラインを使用して、キャノピー構造指標（例：キャノピー幅、高さ、面積、ソリディティ、フラクタル次元、テクスチャの均質性、およびカラーインデックス）を抽出した。
• 予測モデリング: 画像ベースの検出、キャノピー特徴、およびグラウンドトゥルースのカウント間の関係を、重回帰分析 (LM)、部分的最小二乗回帰 (PLSR)、リッジ回帰、ランダムフォレスト、およびサポートベクターマシン (SVM) を用いてモデル化した。モデルは、100回繰り返される80:20の交差検証フレームワークによって評価された。

主な結果

• 検出性能: YOLOv8x が、mAP50で0.82、mAP50–95で0.66という最高の検出性能を達成した。マルチクラスのアプローチは、単一クラスの検出と比較して検出性能を著しく低下させることはなかった。モデルは、注釈と推論結果との間で強い相関（R² ≥ 0.98）を示した。
• 成熟度分類: モデルは未熟なベリーに対して高いF1スコア（0.91）を達成したが、成熟したベリーについては低いF1スコア（0.74）となった。これは、緑から青への移行期における色の変化や、中間的な色の誤分類に起因する。
• 過小評価と遮蔽: 画像ベースの検出は、手摘みのカウントを系統的に過小評価しており、R²値は0.40から0.61の範囲であった。手摘みのカウントは、画像ベースの予測よりも約4倍高かった。この過小評価は、キャノピーによる遮蔽に起因しており、これは遺伝子型間で広く変動した（42%から90%）。
• キャノピー構造の影響: 画像由来のキャノピー構造特徴を組み込むことで、予測精度が大幅に向上した。部分的最小二乗回帰 (PLSR) が最も優れた性能を示すモデルとなり、手摘みの果実カウントに対するR²値を、ベースラインの0.52–0.61から0.52–0.74（具体的には未熟ベリーカウントでR² = 0.743、成熟度比でR² = 0.74に到達）へと向上させた。
• 相関関係: キャノピー構造の特徴は、遮蔽率（例：ソリディティ r=0.49、輝度変動性 r=0.61）と中程度の関連を示し、構造的属性が果実の可視性の変動を説明することを裏付けた。

主な貢献

1. 検証済みパイプライン: 本研究は、複雑なフィールド環境における小さな物体の検出という課題を明示的に考慮した、厳密に検証されたハイブッシュブルーベリー用のマルチクラス検出パイプラインを提供する。
2. 遮蔽の定量化: 遺伝子型固有の遮蔽（42–90%）を定量化し、キャノピー構造が検出エラーの主要な要因であり、絶対的な収量推定には画像ベースのカウントだけでは不十分であることを示した。
3. 構造的特徴の統合: 画像由来のキャノピー構造（構造的、テクスチャ的、および色彩的特徴）を果実検出データと統合することで、収量および成熟度の推定を大幅に改善できることを実証し、隠れた果実を部分的に補完する方法を提示した。
4. 育種への示唆: 本研究は、高スループットなフェノタイピングおよびロボット収穫への適合性を向上させることを目的とした育種プログラムにおいて、果実の可視性と遮蔽の低減が潜在的な選抜対象であることを特定した。

意義と主張
著者らは、キャノピーの構造的特徴を統合することでキャノピーの遮蔽を考慮することが、画像ベースのブルーベリー収量推定の精度を向上させるという結果を示していると主張している。本研究は、コンピュータビジョンの高スループットなフェノタイピング利用を支持するものであるが、現在のモデルは葉の影響により絶対数を過小評価する傾向があることを強調している。キャノピー指標を組み込むことで、システムは生物学的に意味のある遺伝子型間の差異をより良く捉えることができる。著者らは、画像由来の表現型は相対的な差異を効果的に捉えるものの、将来の育種戦略においては、フェノタイピングとロボット収穫の両方の精度を高めるために、果実の露出度やキャノピーの開放性を考慮すべきであると結論付けている。本論文は、遮蔽の問題を完全に解決したと主張しているのではなく、収量推定におけるその影響を軽減するための方法論的枠組みを提供している。