Low-Cost Stereo Vision for Robust 3D Positioning of Thin Radiata Pine Branches in Autonomous Drone Pruning

技術的概要：低コスト立体視によるスリムなラジアタパインの枝の堅牢な 3 次元位置特定

問題提起
Pinus radiata（ラジアタパイン）の手作業による剪定は危険で労働集約的であり、自律型ソリューションへの需要を生み出している。既存の自律型剪定プラットフォームは通常、高価な LiDAR センサーに依存しており、太い枝（20–40 mm）の検出に限られ、無節で透明な木材の生産に不可欠な、細く樹冠上部の枝（10 mm 程度まで）の検出には対応できていない。主なボトルネックは切断機構ではなく、低コストハードウェアを用いてこれらの細くテクスチャの乏しい構造を正確に検出し、3 次元位置を決定する知覚パイプラインの能力である。本論文は、補助的な深度センサーなしに単一の低コストステレオカメラがこのタスクに十分な精度を提供できるかどうかを検証する。

手法
提案システムは、枝のセグメンテーションと深度推定という 2 つの並列段階から構成される統合された知覚パイプラインであり、これらは新規の三角測量アルゴリズムによって融合される。

1. 枝のセグメンテーション:
   本研究は、枝のピクセルレベルのマスクを生成するためのインスタンスセグメンテーションモデルを評価する。2 つのファミリーを比較する：

   • 2 ステージ検出器: Mask R-CNN の 7 つの変種（C4、DC5、FPN 構成を備えた ResNet-50/101 および ResNeXt-101 バックボーンを使用）。
   • 1 ステージリアルタイム検出器: YOLOv8（n, s, m, l, x）および YOLOv9（c, e）の変種。
     モデルは、ZED Mini カメラで屋内で撮影された 71 組のステレオ画像ペアからなるカスタムデータセットで訓練される。

2. 深度推定:
   パイプラインは、 disparity マップを生成するための従来の手法と深層学習ベースのステレオマッチング手法を比較する：

   • 従来のベースライン: 重み付き最小二乗法（WLS）によるポストフィルタリングを備えたセミグローバルブロックマッチング（SGBM）。
   • 深層学習: コストボリュームネットワーク（PSMNet、ACVNet、GWCNet、MobileStereoNet）、反復改善ネットワーク（RAFT-Stereo）、および NeRF 監督型深層ステレオを含む 6 つのアーキテクチャ。
   • クロスデータセット分析: 実験には、都市ベンチマークと森林シーン間のドメインギャップを定量化するために、都市走行データセット（KITTI 2012、KITTI 2015）および Scene Flow 上で PSMNet を微調整することが含まれる。単眼深度モデル（MiDaS、Depth Anything）は、メトリックスケールの曖昧さに対する健全性チェックとしてのみ評価される。

3. 融合と 3 次元位置特定（主な貢献）:
   セグメンテーションマスクとノイズの多い disparity マップを単一の堅牢な距離に変換するために、本論文はMAD（中央値絶対偏差）外れ値除去を備えた重心ベースの三角測量アルゴリズムを導入する：

   • 重心サンプリング: マスク内のすべてのピクセルを平均化する（これにはノイズの多いシルエット/背景ピクセルが含まれる）のではなく、境界点を三角形にグループ化する。これらの三角形の重心をサンプリング位置として使用し、マッチングがより信頼性の高い枝の中線に向けてサンプルを偏らせる。
   • 近傍拡張: 各重心は、分散を低減するために隣接するサンプル点によって拡張される。
   • MAD フィルタリング: 外れ値は、サンプルプール内の深度値の中央値絶対偏差に基づいて除去される。$median \pm k \cdot MAD$（ここで $k=3$）以内の値のみが保持される。
   • 最終推定: 最終的な枝からカメラまでの距離は、保持されたフィルタリング済みの深度値の平均である。

主要な結果

• セグメンテーション性能: 枝データセットにおいて、YOLOv8 および YOLOv9 の変種は、マスクの品質において Mask R-CNN を大幅に上回った。Mask R-CNN は高いバウンディングボックス精度（77–88 mAPbox）を達成したが、そのマスク精度は 12 mAPmask 未満に崩壊した。対照的に、YOLO 変種は 98.7–99.6 mAPbox および 77.1–82.0 mAPmask を達成した。著者はこれを、YOLO の高解像度プロトタイプ予測と、細い構造に苦労する Mask R-CNN の固定低解像度マスクのアップサンプリングとの対比に起因すると帰属している。
• 深度推定:
  • ドメインギャップ: 都市走行データセット（KITTI）上で PSMNet を微調整すると、細い枝における性能が低下し、顕著なドメインギャップが確認された。
  • アーキテクチャ比較: NeRF 監督型深層ステレオは、ドメイン内のグランドトゥルースを必要とせずに枝のための最もクリーンな disparity マップを生成し、枝の縁を保持する点で SGBM や他の深層ネットワークを上回った。
  • 融合の有効性: MAD フィルタリングを備えた重心ベースの三角測量は、ノイズの多い disparity マップを安定した距離推定値に変換することに成功した。定性的なヒストグラムは、SGBM と比較して NeRF-Stereo パイプラインが真の距離（1m、1.5m、2m）の周りに集中度の高い深度推定値を生成したことを示した。
  • アブレーション: MAD フィルタリングを除去するか、重心サンプリングの代わりにフルマスクサンプリングを使用すると、背景の漏れやシルエットのアーティファクトにより、距離のドリフト（数十センチメートル）が顕著に生じた。

意義と主張
本論文は、プロトタイプベースの 1 ステージセグメンターと提案された融合アルゴリズムと組み合わせられた低コストのパッシブ立体視が、細い枝（10 mm まで）の自律剪定のための実行可能な知覚フロントエンドであると主張する。

• 新規性: 主な貢献は、ステレオセグメンテーションを重心ベースの三角測量および MAD 外れ値除去と結合することであり、これは森林シーンにおける疎なテクスチャ、細い構造、およびノイズの多い disparity 値という特有の課題に対処する。
• 実現可能性: この研究は、知覚パイプラインがノイズに対して堅牢であれば、作業距離 1–2 m における枝の位置特定に補助的な深度センサー（LiDAR など）が厳密には必要ではないことを示している。
• 限界と今後の課題: 著者は控えめに、現在のデータセットは屋内条件に限定されており、風の動きや高密度の樹冠の雑乱を欠いていると指摘している。彼らは、定量的なエンドツーエンドの精度数値を提供するための LiDAR 参照データを備えた屋外フィールド収集の必要性と、リアルタイムドローン運用のためのオンボード遅延を削減するためのマルチタスクアーキテクチャの開発を特定している。