A Method for 3D Morphological Measurement and Cutting Point Localization of Green Asparagus Based on Improved YOLOv8n-seg and RGB-D Data

In de stille rijen van een groenteveld heeft een eenvoudig maar hardnekkig probleem boeren al lang gefrustreerd: hoe oogst je een gewas dat snel groeit, in een menigte groeit en weigert stil te blijven staan? Asperges zijn een meerjarige plant die elke lente teder uitlopers omhoog stuurt, maar deze uitlopers zijn niet uniform. Ze buigen, ze draaien en ze verbergen hun wortels vaak diep in de grond, wat het voor een machine moeilijk maakt om precies te weten waar hij moet snijden. Decennialang betekende dit dat de oogst volledig afhankelijk was van menselijke handen, een arbeidsintensief proces dat steeds duurder wordt en steeds moeilijker te bemannen is. Om dit op te lossen, hebben wetenschappers zich gericht op het vakgebied van computer vision, een tak van technologie die machines leert om te "zien" en de wereld te begrijpen via camera's. Het doel is om een robot te bouwen die naar een perceel asperges kan kijken, kan identificeren welke stengels klaar zijn om te eten, hun grootte kan meten en de exacte plek kan aanwijzen om ze van de aarde te doorsnijden. Het aanleren van een machine om dit te doen is echter niet zo eenvoudig als het maken van een foto; de onregelmatige vorm van de plant en de complexe verlichting van een boerderij creëren een visuele puzzel die standaard software vaak niet kan oplossen.

Een team onderzoekers van de Jiangxi Academy of Agricultural Sciences en de Chinese Academy of Agricultural Sciences heeft onlangs een nieuwe manier ontwikkeld om een robot duidelijk groen asperge te laten zien. Ze creëerden een gespecialiseerd computerprogramma, een type kunstmatige intelligentie ontworpen om individuele planten in een foto te herkennen en te omlijnen. De onderzoekers begonnen met een bestaand, bekend systeem voor het vinden van objecten in afbeeldingen, maar realiseerden zich dat het te zwaar en te traag was voor een robot die door een veld beweegt. Het oorspronkelijke systeem was als een krachtige maar logge motor die te veel brandstof verbruikte om praktisch te zijn voor een kleine, op batterijen werkende machine. Om dit op te lossen, heeft het team de kern van het programma herontworpen, waarbij ze onnodig gewicht hebben verwijderd terwijl ze het scherper maakten in het opsporen van de specifieke, slanke vorm van een aspergestengel. Ze vervingen de standaard "hersenen" van het systeem door een efficiëntere structuur die informatie sneller kon verwerken zonder aan nauwkeurigheid in te boeten. Ze voegden ook speciale hulpmiddelen toe om de computer te helpen de lange, dunne aard van de plant te begrijpen en om de ruis van onkruid of schaduwen te negeren die de computer zouden kunnen verwarren.

Het resultaat van dit herontwerp is een nieuw model genaamd SES-YOLO, dat fungeert als de ogen voor een potentiële oogstrobot. Wanneer dit model naar een afbeelding van een aspergeveld kijkt, vindt het niet alleen de plant; het tekent een nauwkeurige omtrek rond elke afzonderlijke stengel, waardoor deze wordt gescheiden van de grond en de bladeren. Dit is een cruciale stap omdat, in tegen tegenstelling tot vruchten die een duidelijke schil of een duidelijke vorm hebben, asperges een lange, doorlopende stengel zijn die in elke richting kan buigen. De onderzoekers testten hun nieuwe model tegenover verschillende andere populaire systemen en ontdekten dat het niet alleen sneller, maar ook nauwkeuriger was. In hun tests identificeerde en omlijnde het nieuwe model de aspergestengels met een precisie van 98,6 procent, wat betekent dat het zelden een plant miste of onkruid voor een gewas aanzag. Het draaide ook aanzienlijk sneller dan de oudere versies, waardoor afbeeldingen snel genoeg werden verwerkt om een bewegende robot bij te houden. Deze snelheid is essentieel omdat een oogstrobot niet kan wachten op een trage computer die nadenkt; hij moet beslissingen nemen in realtime terwijl hij door de rij beweegt.

Zodra de computer de plant succesvol heeft omlijnd, is de volgende uitdaging om deze te meten en te beslissen waar te snijden. De onderzoekers combineerden de visuele omtrek met gegevens van een dieptecamera, een speciaal type lens dat kan aangeven hoe ver elk deel van de afbeelding verwijderd is. Door de platte afbeelding samen te voegen met deze afstandsinformatie, kan het systeem de werkelijke lengte en dikte van de aspergestengel berekenen, zelfs als deze gebogen is. Ze ontdekten dat ze door de stengel in kleine segmenten op te delen en elk segment te meten, de totale lengte konden bepalen met een gemiddelde fout van minder dan 2 procent. Dit niveau van nauwkeurigheid is belangrijk omdat boeren moeten weten wat de grootte van het gewas is om te bepalen of het klaar is voor de oogst. Het systeem lokaliseert ook het "snijpunt", de specifieke plek op de stengel waar het eetbare deel begint en het harde, houtachtige wortelgedeelte eindigt. Omdat de overgang tussen de milde groene bovenkant en de witte ondergrondse wortel vaak net onder het aardoppervlak verborgen is, programmeerden de onderzoekers het systeem om dit punt te schatten op basis van de geometrie van de stengel. In hun veldtesten lokaliseerde het systeem dit snijpunt met een gemiddelde fout van slechts 0,34 centimeter, een foutmarge die zo klein is dat een mechanische arm er gemakkelijk voor kan corrigeren.

Om te bewijzen dat dit systeem in de echte wereld zou kunnen werken, installeerden de onderzoekers hun nieuwe programma op een kleine, draagbare computer ontworpen voor robots, de Jetson Orin NX. Dit apparaat is krachtig genoeg om complexe software uit te voeren, maar klein en efficiënt genoeg om door een robot in het veld gedragen te worden. Wanneer ze het systeem op deze hardware testten, verwerkten ze afbeeldingen met een snelheid van 38,69 frames per seconde. Dit betekent dat de robot meer dan 38 keer per seconde kan "zien" en beslissingen kan nemen, een snelheid die snel genoeg is om de snelle bewegingen aan te kunnen die nodig zijn tijdens een oogst. De onderzoekers merkten op dat deze snelheid bijna 60 procent sneller was dan het originele, ongewijzigde systeem, wat aantoont dat hun lichte ontwerp succesvol een balans heeft gevonden tussen de behoefte aan snelheid en de behoefte aan nauwkeurigheid. De studie concludeert dat deze aanpak een betrouwbare technische basis biedt voor het bouwen van geautomatiseerde asperge-oogstmachines, wat een manier biedt om het zware handmatige plukwerk te vervangen door een machine die kan zien, meten en snijden met menselijke precisie.