A Method for 3D Morphological Measurement and Cutting Point Localization of Green Asparagus Based on Improved YOLOv8n-seg and RGB-D Data

野菜畑の静かな列の中で、シンプルでありながら執拗な問題が、長年農家たちを悩ませてきました。それは、成長が早く、密集して育ち、そしてじっとしていない作物をどのように収穫するかという問題です。アスパラガスは、毎年春に柔らかい新芽を上げる多年生植物ですが、これらの芽は均一ではありません。それらは曲がり、ねじれ、しばしば根を土の奥深くに隠しているため、機械が正確にどこを切るべきかを知ることを困難にします。数十年にわたり、このことは収穫が完全に人間の手作業に依存することを意味してきました。これは、ますますコストがかかり、人員確保も難しくなっている労働集約的なプロセスです。これを解決するために、科学者たちはコンピュータビジョンの分野、つまりカメラを通じて機械に世界を「見」させ、理解させる技術の分野に目を向けました。目標は、アスパラガスの区画を見渡し、どの茎が食べ頃であるかを識別し、そのサイズを測定し、地面から切り離す正確な位置を特定できるロボットを構築することです。しかし、機械にこれを教えることは、単に写真を撮るのと同じくらい単純なことではありません。植物の不規則な形状や農場の複雑な照明が、標準的なソフトウェアでは解決できない視覚的なパズルを作り出すからです。

江西農業科学院と中国農業科学院の研究チームは最近、ロボットが緑のアスパラガスをはっきりと見るのを助ける新しい方法を開発しました。彼らは、写真の中の個々の植物を認識して輪郭を描くように設計された、一種の人工知能である特殊なコンピュータプログラムを作成しました。研究者たちは、画像内の物体を見つけるための既存の有名なシステムから着手しましたが、それがフィールドを移動するロボットにとっては重すぎ、遅すぎると気づきました。元のシステムは、小型でバッテリー駆動の機械には実用的ではないほど、多くの燃料を消費してしまう強力だが嵩張るエンジンのようでした。これを修正するために、チームはプログラムの核となる部分を再設計し、アスパラガスの茎の細長い特定の形状をより鋭く捉えるようにしながら、不要な重量を取り除きました。彼らは、精度を損なうことなくより速く情報を処理できる、より効率的な構造へとシステムの標準的な「脳」を置き換えました。また、コンピュータが植物の細長い性質を理解し、混乱を招く可能性のある雑草や影などのノイズを無視できるように、特別なツールも追加しました。

この再設計の結果、潜在的な収穫ロボットの「目」として機能するSES-YOLOと呼ばれる新しいモデルが誕生しました。このモデルがアスパラガス畑の画像を見ると、単に植物を見つけるだけでなく、すべての茎の周囲に精密な輪郭を描き、土や葉から分離します。これは、明確な皮や独特の形状を持つ果物とは異なり、アスパラガスがあらゆる方向に曲がりうる長く連続した茎であるため、極めて重要なステップです。研究者たちは、この新しいモデルを他のいくつかの人気のあるシステムと比較検証し、それがより速いだけでなく、より正確であることも発見しました。テストにおいて、この新しいモデルは98.6パーセントの精度でアスパラガスの茎を正しく識別し、輪郭を描きました。これは、植物を見逃したり、雑草を作物と混同したりすることがほとんどないことを意味します。また、古いバージョンよりも大幅に高速で作動し、移動するロボットについていくのに十分な速さで画像を処理できました。このスピードは極めて重要です。なぜなら、収穫ロボットは思考が遅いコンピュータを待つことはできず、列を進みながらリアルタイムで意思決定を行わなければならないからです。

コンピュータが植物の輪郭を正常に描いた後、次の課題は、それを測定し、どこで切るかを決定することです。研究者たちは、視覚的な輪郭と、画像のあらゆる部分がどれくらい離れているかを伝えることができる特殊なレンズである深度カメラからのデータを組み合わせました。この平坦な画像と距離情報を統合することで、システムは、たとえ曲がっていたとしても、アスパラガスの茎の真の長さと太さを計算することができます。彼らは、茎を小さなセグメントに分割してそれぞれを測定することで、平均誤差2パーセント未満で総長を決定できることを見出しました。このレベルの精度は、農家が収穫の準備ができているかどうかを判断するために、作物のサイズを知る必要があるため重要です。システムはまた、「切断点」、つまり食用部分が始まり、硬くて木のような根が終わる特定の場所を特定します。柔らかい緑の部分と白い地下の根との境界は、しばしば土の表面のすぐ下に隠れているため、研究者たちは茎の幾好学的な形状に基づいてこの点を推定するようにシステムをプログラムしました。フィールドテストにおいて、システムはこの切断点を平均誤差わずか0.34センチメートルで特定しました。これは、機械の腕が容易に調整できるほど小さな誤差範囲です。

このシステムが現実世界で機能することを証明するために、研究者たちは、Jetson Orin NXとして知られる、ロボット用に設計された小型でポータブルなコンピュータに新しいプログラムをインストールしました。このデバイスは複雑なソフトウェアを実行できるほど強力ですが、フィールドのロボットに運べるほど小さく効率的です。彼らがこのハードウェア上でシステムをテストした際、画像は毎秒38.69フレームの速度で処理されました。これは、ロボットが1秒間に38回以上「見て」意思決定ができることを意味し、収穫中の迅速な動きを扱うのに十分な速度です。研究者たちは、この速度が元の未修正のシステムよりも6割近く速いことに注目しました。これは、彼らの軽量設計が、速度の必要性と精度の必要性のバランスをうまく取ったことを示しています。研究は、このアプローチが自動アスパラガス収穫機を構築するための信頼できる技術的基盤を提供し、手作業による採集の過酷な労働を、人間のような精度で見て、測定し、切ることができる機械に置き換える方法を提示するものであると結論付けています。