💻 computer science

Robotic Strawberry Harvesting with Robust Vision and Deep Reinforcement Learning based Sim-to-Real Control

Dit artikel presenteert een gesloten-lus robotisch aardbeienoogstsysteem dat een robuust HRAttnEdge-YOLO26-seg visiemodel integreert met door simulatie getrainde diepe versterkende leerbesturing om hoge slagingspercentages te bereiken in complexe landbouwomgevingen, terwijl hardwareafhankelijkheid en ontwikkelingskosten worden verminderd.

Oorspronkelijke auteurs: Al Bashir, Shao-Yang Chang, Partho Ghose, Prem Raj, Chen-Kang Huang, Azlan Zahid

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Al Bashir, Shao-Yang Chang, Partho Ghose, Prem Raj, Chen-Kang Huang, Azlan Zahid

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die probeert een aardbei te plukken in een drukke tuin. De bladeren liggen overal, de bessen verstoppen zich achter stengels, en de robot moet zacht genoeg zijn om het fruit niet te verpletteren, maar sterk genoeg om het van de stengel te trekken. Dit automatisch doen is ontzettend moeilijk, omdat de robot de bes duidelijk moet "zien" en vervolgens zijn arm soepel moet "bewegen" zonder ergens tegenaan te stoten.

Dit artikel beschrijft een nieuw robotsysteem dat is ontworpen om dit probleem op te lossen met twee hoofdtrucs: een super-scherp paar "brillen" (visie) en een "spiergeheugen"-hersenen (besturing) die in een videospel werden getraind voordat ze ooit een echte robot aanraakten.

Hier is hoe het systeem werkt, opgesplitst in eenvoudige onderdelen:

1. De "Super-Brillen": Door de rommel heen kijken

Het Probleem: In een echte kas zijn aardbeien vaak verborgen achter bladeren of gegroepeerd. Standaard computervisie is als kijken naar een rommelige berg wasgoed; het ziet misschien een rode vlek, maar kan niet precies zeggen waar de bes eindigt en het blad begint. Als de robot de rand verkeerd raadt, kan hij een blad grijpen in plaats van het fruit.

De Oplossing: De onderzoekers bouwden een nieuw type camerasoftware genaamd HRAttnEdge-YOLO26-seg.

De Analogie: Denk aan standaard visiesoftware als een schilder die een dikke, stompe kwast gebruikt. Het krijgt het algemene vorm van de aardbei, maar laat vage randen achter. Deze nieuwe software is als een meesterkunstenaar die een fijnspits pen gebruikt. Het heeft drie speciale hulpmiddelen:
1. Hoge-resolutie Lens: Het houdt een "in-gezoomd" beeld van kleine details (zoals de steel en de rand van de bes) vast die andere systemen meestal weggooien.
2. Focusfilter: Het negeert achtergrondruis (bladeren en schaduwen) en richt zich alleen op de delen van de afbeelding die op fruit lijken.
3. Randdetective: Het zoekt specifiek naar de scherpe lijnen waar het fruit eindigt, zodat de robot precies weet waar hij moet grijpen.
Het Resultaat: Bij tests was dit systeem veel beter in het trekken van de perfecte omtrek rond een aardbei, zelfs wanneer deze deels verborgen was, vergeleken met oudere methoden.

2. De "Videospeltraining": Leren bewegen zonder dingen te breken

Het Probleem: Het leren van een robotarm om soepel te bewegen, vereist meestal "proberen en fouten maken". Je zegt de robot om te bewegen, hij crasht, je repareert het, je probeert het opnieuw. Dit is duur, traag en riskeert het breken van de robot of de delicate aardbeien.

De Oplossing: De onderzoekers gebruikten Deep Reinforcement Learning (DRL), specifiek een methode genaamd PPO.

De Analogie: In plaats van de robot in de echte kas te leren, zetten ze hem in een virtueel videospel (Isaac Lab). In dit spel creëerden ze duizenden nep-kassen met nep-aardbeien. De robot speelde het spel miljoenen keren, probeerde het doel te bereiken. Elke keer dat hij soepel bewoog, kreeg hij een "punt". Elke keer dat hij schokte of crashte, verloor hij punten.
De Overdracht: Zodra de robot een meester in het spel was, namen ze die "hersenen" (het beleid) en uploaden ze naar de echte robot. Omdat hij al de beste manier om te bewegen in de simulatie had geleerd, kon hij direct soepele, vloeiende bewegingen uitvoeren in de echte wereld zonder eerst ergens tegenaan te hoeven stoten.
De Vergelijking: Ze testten dit tegen een traditionele methode (Inverse Kinematics), die probeert een complexe wiskundige vergelijking in real-time op te lossen om de arm te bewegen. De traditionele methode was schokkerig en faalde vaak. De "videospel-getrainde" robot bewoog als een menselijke danser – soepel en voorspelbaar.

3. De "Assemblagelijn": Alles samenvoegen

Het team verbond deze twee delen met een standaard robottaal (ROS).

Zien: De camera ziet een aardbei en trekt een perfecte omtrek eromheen.
Berekenen: Het vindt het midden van die omtrek en bepaalt precies waar het zich in de 3D-ruimte bevindt.
Bewegen: De "videospel-getrainde" hersenen vertellen de robotarm hoe zijn gewrichten moet bewegen om die plek te bereiken.
Grijpen: Een zachte grijper (zoals een zachte hand) grijpt de bes en trekt hem van de stengel.
Herhalen: De robot laat de bes in een mand vallen en gaat naar de volgende.

De Realiteitstest

Ze brachten dit systeem naar een echte kas in Texas.

Het Scorebord: De robot bereikte succesvol de aardbeien 96,6% van de tijd. Het greep ze succesvol en trok ze 91,3% van de tijd. Overall, harvestte het succesvol 84,3% van de pogingen.
De Vergelijking: Dit was veel beter dan het gebruik van de oude "wiskundige vergelijking"-methode, die te onstabiel en onbetrouwbaar was voor de rommelige kasomgeving.

Wat Ze Niet Deden (Beperkingen)

Het artikel is zeer duidelijk over wat dit systeem nog niet doet:

Het kent de exacte hoek van de steel niet (het richt zich gewoon op het midden van het fruit).
Het verplaatst de camera niet actief om rond bladeren te kijken als een bes geblokkeerd is; het plukt gewoon de ones die het kan zien.
Het is afhankelijk van dat de robot op een specifieke manier is opgesteld; als je de robot naar een andere kas verplaatst, moet je de "kaart" tussen de camera en de arm opnieuw kalibreren.

De Conclusie

Dit artikel presenteert een robot die slimme visie gebruikt om door rommel heen helder te zien en gesimuleerde videospeltraining om soepel te bewegen. Het bewijst dat je geen echte robot hoeft te breken om hem te leren fruit te plukken; je kunt hem in een virtuele wereld leren en hem vervolgens het echte werk laten doen.

Technische Samenvatting: Robotische Aardbeienoogst met Robuuste Visie en Deep Reinforcement Learning-gebaseerde Sim-to-Real Besturing

Probleemstelling
Robotische oogst in landbouw met gecontroleerde omgevingen (CEA) staat voor aanzienlijke uitdagingen vanwege de arbeidsintensieve aard van de taak en de complexiteit van de omgeving. Specifiek vereist aardbeienoogst het selecteren van individuele vruchten, deze zorgvuldig hanteren en ze verwijderen binnen een smal rijpingsvenster. Huidige systemen worstelen met drie nauw met elkaar verbonden problemen: nauwkeurige vruchtperceptie in rommelige scènes, stabiele 3D-doelstellingsschatting voor manipulatie en efficiënte bewegingsgeneratie onder onzekerheid en binnen werkruimtebeperkingen. Traditionele benaderingen vertrouwen vaak op inverse kinematica (IK) en algemene perceptie, wat kan leiden tot instabiele trajecten, gevoeligheid voor kalibratieruis en onbetrouwbare doelstellinggeneratie in dichte, verduisterde landbouwomgevingen. Bovendien is het trainen van besturingsbeleid op fysieke robots kostbaar, traag en vatbaar voor hardware-schade.

Methodologie
De auteurs stellen een gesloten-lus robotisch oogstsysteem voor dat een robuust visiemodule, in simulatie getrainde Deep Reinforcement Learning (DRL)-besturing en ROS-gebaseerde uitvoering op een echte robot integreert.

Visiemodule (HRAttnEdge-YOLO26-seg):
Om instantiesegmentatie in rommelige kasomgevingen aan te pakken, hebben de auteurs de YOLO26-seg-architectuur gemodificeerd tot HRAttnEdge-YOLO26-seg. Belangrijke architecturale verbeteringen zijn:
- High-Resolution P2-tak: Integratie van een stride-4 feature-tak ( $P2/4$ ) om fijne ruimtelijke details (bijv. kelk en spiegelende randen) te behouden die vaak verloren gaan in features met lagere resolutie.
- Segmentatie-pad-attentie: Toepassing van Cross Stage Partial met Spatial Attention (C2PSA) specifiek op de $P2$ - en $P3$ -featurepaden om maskergrenzen te verscherpen zonder de globale netwerkcomputatie te verhogen.
- Rand-supervised prototype learning: Vervanging van de standaard prototype-tak door Proto26Edge, inclusief een hulprijke randkop en een verliesfunctie voor rand-supervisie. Dit moedigt scherpe objectgrenzen aan tijdens het trainen.
- 3D-localisatie: Het systeem schat 3D-vruchtcentra door de 2D-maskercentroïden te fuseren met uitgelijnde dieptedata van een RGB-D-camera. Een tijdelijk associatie- en gladmakingsplan wordt toegepast om doeljitter veroorzaakt door diepteruis en verduistering te verminderen.
Besturingsmodule (Sim-to-Real DRL):
In plaats van te vertrouwen op IK-gebaseerde planners, maken de auteurs gebruik van Proximal Policy Optimization (PPO) getraind in de Isaac Lab-simulatieomgeving.
- Trainingsopstelling: Het beleid wordt getraind op een UR10e-manipulator in een domein-garandomiseerde simulatie. De observatieruimte omvat relatieve gewrichtsposities/-snelheden, de bevolen end-effector-pose en de vorige actie. De actieruimte bestaat uit continue gewrichtspositiecommando's.
- Beloningsfunctie: De beloning combineert positievolgfout (Euclidische afstand en een fijnmazige exponentiële term dicht bij het doel), oriëntatiefout en straffen voor snelle actiechanges en hoge gewrichtssnelheden om soepele, stabiele beweging te garanderen.
- Implementatie: Het getrainde beleid wordt geëxporteerd als een TorchScript-model en geïntegreerd in een ROS-framework. Een commandostreaminglaag converteert beleidsoutput naar uitvoerbare gewrichtstrajecten, inclusief een stopmechanisme om stationaire oscillatie dicht bij het doel te onderdrukken.
Systeemintegratie:
De perceptie-, besturings- en taakuitvoeringslagen worden verenigd via ROS 1. Het systeem werkt sequentieel: het lokaliseren van rijpe aardbeien, het prioriteren van het dichtstbijzijnde doel, het uitvoeren van het geleerde bereikbeleid, het uitvoeren van een neerwaartse trek-gebaseerde loslating en het overbrengen van de vrucht naar een verzamelmand.

Belangrijkste Bijdragen

HRAttnEdge-YOLO26-seg: Een nieuw instantiesegmentatie-architectuur specifiek ontworpen voor kas-aardbeien scènes, die superieure grensprecisie bereikt door integratie van features met hoge resolutie en rand-supervisie.
In simulatie getrainde PPO-besturing: Ontwikkeling van een doel-geconditioneerd bereikbesturingsbeleid voor een UR10e-arm met behulp van Isaac Lab, waardoor het genereren van soepele, dynamisch stabiele bewegingen mogelijk is zonder uitgebreide fysieke trial-and-error.
Geïntegreerde gesloten-lus pijplijn: Een ROS-gebaseerd framework dat gespecialiseerde perceptie en in simulatie getrainde besturing succesvol overbrugt om autonome oogst uit te voeren op een fysiek mobiel robotplatform.

Resultaten

Visieprestaties: Op zowel zelfverzamelde als openbare datasets presteerde het voorgestelde model beter dan de baseline YOLO26-seg en andere state-of-the-art modellen (YOLOv8-seg, YOLO11-seg). Het toonde een verbetering van 10% tot 14% in segmentatieprestaties (mAP75 en mAP50:95), met name bij het hanteren van kleine, gedeeltelijk verduisterde en rommelige vruchtinstanties.
Bewegingskwaliteit: Interne vergelijkingen toonden aan dat de PPO-besturing aanzienlijk stabielere en dynamisch soepelere beweging produceerde (lagere RMS-jerk en variabiliteit) in vergelijking met een IK-gebaseerde MoveIt-baseline.
Oogstsucces: In kasproeven met 281 aardbeien verspreid over 130 proeven bereikte het systeem:
- 96,6% succespercentage voor bereiken.
- 91,3% succespercentage voor grijpen en trekken.
- 84,3% algeheel oogstsuccespercentage.
  De daling van bereiken naar definitieve oogst werd voornamelijk toegeschreven aan beperkingen in het hanteren van vruchten na contact door de zachte grijper, en niet aan falen van perceptie of bereiken.

Betekenis en Beweringen
Het artikel beweert dat dit werk een praktische en hulpbronnenefficiënt alternatief biedt voor conventionele, planner-afhankelijke bereiking in manipulatie. Door taakspecifieke perceptie te combineren met in simulatie getrainde PPO, maakt het systeem betrouwbare gesloten-lus robotische oogst mogelijk in complexe landbouwomgevingen. De auteurs benadrukken dat hun aanpak de afhankelijkheid van hardware en ontwikkelingskosten vermindert door de noodzaak van exhaustieve fysieke proeven tijdens de beleidsleerfase te elimineren. Zij positioneren dit als een schaalbaar blauwdruk voor autonome oogst die de instabiliteits- en singulariteitsproblemen aanpakt die gebruikelijk zijn in IK-gebaseerde en visueel-servoïngsystemen.

Beperkingen
De auteurs erkennen bescheiden enkele beperkingen:

De 3D-doelstellinggeneratie vertrouwt op gesegmenteerde centroïden en lokale diepte in plaats van volledige 6D-vruchtpose of pedunculus-geometrie, wat complexere loslatingstrategieën kan beperken.
Het systeem mist actieve perceptie of aanpassing van het gezichtspunt voor verduisterde doelen.
De afhankelijkheid van gekalibreerde frame-transformaties met empirische offsets kan de portabiliteit over verschillende hardwareconfiguraties of kaslay-outs beperken.
Het huidige oogstbeleid is sequentieel en reactief, zonder hogere niveau-planning voor dichte kruinen.