A Lightweight Lychee Detection Network for Orchard Harvesting Robots via ODConv and Spatial Feature Restoration

In de weelderige, vochtige boomgaarden van Zuid-China hangen de lychee-vruchten in zware, geurige trossen, een kostbare oogst die al lang afhankelijk is van menselijke handen om te verzamelen. Toch, naarmate het rurale arbeidstekort toeneemt en de vraag naar efficiëntie groeit, wenden boeren zich tot robots om de oogst te doen. Om een vrucht te oogsten, moet een machine deze eerst duidelijk kunnen zien. Dit is het domein van computer vision, een veld waar camera's en software samenwerken om objecten in de wereld te identificeren. De uitdaging in een boomgaard is dat de natuur zelden meewerkend is; het licht verandert van verblindend zonlicht naar diepe schaduw, en de vrucht is vaak verborgen achter lagen bladeren en andere takken. Om te slagen, heeft een robot een "brein" nodig dat deze beelden direct kan verwerken, zelfs wanneer het zicht rommelig is of het licht slecht is, terwijl het draait op een kleine computer die aan de robot zelf is bevestigd.

Onderzoekers ontwikkelen deze visuele systemen al jaren, vaak gebruikmakend van complexe wiskundige modellen die bekend staan als deep learning-netwerken. Deze systemen leren patronen te herkennen door duizenden afbeeldingen te bestuderen, maar ze worden geconfronteerd met een lastige afweging. De meest nauwkeurige systemen zijn vaak te zwaar en traag voor een robot om te dragen, terwijl de lichte, snelle systemen vaak falen wanneer de omgeving rommelig wordt. Een team onderzoekers van het South China Business College en de Guangdong Polytechnic of Industry and Commerce heeft nu een nieuwe oplossing voorgesteld die specifiek is ontworpen voor dit probleem. Ze creëerden een gestroomlijnd visueel systeem genaamd ODAF-YOLOv11-n, dat is gebouwd om lychees te vinden in de chaotische, ongestructureerde omgeving van een echte boomgaard zonder dat daar een supercomputer voor nodig is.

De kern van hun werk pakt drie specifieke hindernissen aan die eerdere pogingen hebben gehinderd. Ten eerste is het licht in de boomgaard onvoorspelbaar. Een robot kan werken in de felle schittering van de middagzon, waarbij de vliezen van de vruchten harde highlights reflecteren, of in de schemerige, groene schaduwen van het bladerdak. Standaard computer vision-tools worstelen hier vaak mee, waarbij ze het vermogen verliezen om de vrucht van de bladeren te onderscheiden. Om dit op te lossen, hebben de onderzoekers een speciaal mechanisme in de visuele verwerking van de robot ingebed dat werkt als een dynamisch filter. In plaats van een vaste set regels te gebruiken om naar een afbeelding te kijken, past dit systeem zijn eigen gevoeligheid in realtime aan. Het kan zijn focus verschuiven om zwakke texturen in het donker te versterken of verblindende schittering in het licht te onderdrukken, zodat de robot de vrucht duidelijk ziet, ongeacht het weer.

De tweede uitdaging is fysieke obstructie. Lychees groeien in dichte trossen, vaak begraven onder bladeren of tegen andere vruchten aan gedrukt. Wanneer een vrucht slechts gedeeltelijk zichtbaar is, missen standaard systemen deze vaak volledig omdat ze de vorm van het verborgen deel niet kunnen raden. De onderzoekers pakten dit aan door een "restauratiestap" aan hun systeem toe te voegen. Stel je voor dat je naar een puzzel kijkt waarvan enkele stukjes ontbreken; een standaard systeem zou misschien opgeven, maar dit nieuwe systeem gebruikt de zichtbare randen en de omringende context om de ontbrekende delen mentaal te reconstrueren. Het analyseert de relatie tussen verschillende lagen van de afbeelding, waardoor het de gaten effectief invult om vruchten te lokaliseren die zwaar bedekt zijn door gebladerte. Dit stelt de robot in staat om een lychee te identificeren, zelfs wanneer slechts een klein deel ervan zichtbaar is.

Ten slotte moest het team ervoor zorgen dat het systeem licht genoeg was om op de onboard-computer van een robot te draaien. Eerdere systemen met een hoge nauwkeurigheid waren te lomp en vereisten enorme hoeveelheden energie en rekenkracht, wat de batterij van een robot zou leegtrekken of de bewegingen zou vertragen. De onderzoekers losten dit op door onnodige computationele ballast uit het systeem te verwijderen. Ze vervingen zware, standaard verwerkingsstappen door een veel efficiëntere methode die ruimtelijke en kanaalinformatie apart verwerkt, waardoor het aantal benodigde berekeningen drastisch werd verminderd. Hierdoor konden ze het systeem klein en snel houden, terwijl ze toch de krachtige functies behielden die nodig zijn om de moeilijke lichtomstandigheden en obstructies aan te pakken.

De resultaten van dit werk werden getest op twee grote collecties lychee-afbeeldingen, één uit een publieke dataset en een andere die specifiek in het district Conghua in Guangzhou is vastgelegd. Het nieuwe systeem bleek opmerkelijk effectief. Op de publieke dataset behaalde het een detectienauwkeurigheid van 95,53%, en op de moeilijkere, real-world dataset bereikte het 88,13%. Misschien wel het belangrijkste is dat het dit deed met slechts 2,96 miljard berekeningen per seconde en een geheugengebruik van slechts 2,94 miljoen parameters. Dit is een significante vermindering in complexiteit vergeleken met de standaardmodellen waarop het gebaseerd is, die meer dan het dubbele aan rekenkracht vereisten om een lagere nauwkeurigheid te behalen.

De ware kracht van het systeem werd duidelijk toen de onderzoekers het testten onder extreme omstandigheden. Wanneer zij een omgeving simuleerden waarin 80% van de vruchten verborgen was door bladeren, slaagde het nieuwe systeem er nog steeds in om de doelwitten te vinden met een succespercentage van 32,75%, waarmee het andere toonaangevende modellen die onder de 22% zakten, ruim versloeg. Eveneens, in tests met extreme helderheid en diepe schaduwen, behield het systeem een hoge precisie en recall, wat bewijst dat de adaptieve mechanismen naar behoren werken. De onderzoekers ontdekten dat door deze drie verbeteringen te combineren — dynamische lichtadaptatie, ruimtelijke kenmerkrestauratie en computationele efficiëntie — zij een hulpmiddel hadden gecreëerd dat de kloof overbrugt tussen complexe kunstmatige intelligentie en de praktische behoeften van veldrobotica.

Dit werk suggereert dat de toekomst van geautomatiseerde oogst niet noodzakelijkerwijs enorme, trage computers vereist, maar eerder slimme, lichtgewicht systemen die ontworpen zijn om de rommelige realiteit van de natuur te begrijpen. De onderzoekers erkennen dat hun huidige werk zich richt op tweedimensionale visie en dat toekomstige stappen zullen bestaan uit het integreren van dieptesensoren om robots te helpen de vrucht in driedimensionale ruimte te grijpen. Ze zijn ook van plan om het probleem van bewegende doelen aan te pakken, aangezien wind en robotbewegingen kunnen ervoor zorgen dat de vruchten schommelen. De huidige bevindingen demonstreren echter een belangrijke stap voorwaarts, door een betrouwbare visuele basis te bieden die robots in staat stelt om lychees efficiënt te oogsten in de ongestructureerde, uitdagende omgevingen waar ze van nature groeien.