💻 computer science

Learning to Pick: A Visuomotor Policy for Clustered Strawberry Picking

Dit artikel introduceert een door menselijke demonstraties geleerd visomotorisch beleid voor een SCARA-robot dat, dankzij een aangepaste ACT-architectuur en teleoperatie, in staat is om met behendige manipulatie gestrande aardbeien in dichte clusters succesvol te plukken.

Oorspronkelijke auteurs: Zhenghao Fei, Wenwu Lu, Linsheng Hou, Chen Peng

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhenghao Fei, Wenwu Lu, Linsheng Hou, Chen Peng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Hoe robots leren om aardbeien te plukken zonder ze te verpletteren: Een verhaal over dertig, dansende armen en slimme ogen.

Stel je voor dat je in een tuin staat vol met aardbeien. Maar deze aardbeien zijn niet netjes in rijen geplaatst. Ze groeien in dichte bosjes, verstrikt in elkaar met bladeren, stengels en nog onrijpe vruchten. Het is alsof je probeert één specifieke rode parel te vinden in een kluwen van groen touw en andere parels.

Als je dat met je handen doet, is het makkelijk: je duwt een bladje even opzij, pakt de steel en plukt hem. Maar voor een robot is dit een nachtmerrie.

Het Probleem: De "Percept-Plan-Control" Valstrik

Traditionele robots werken volgens een strak stappenplan:

Kijken: "Waar is de aardbei?"
Plannen: "Hoe kom ik erbij zonder de rest aan te raken?"
Actie: "Beweeg de arm."

Het probleem? In een rommelig bosje van aardbeien is het bijna onmogelijk om precies te weten waar alles zit. Als de robot een bladje aanraakt dat hij niet zag, kan hij de hele bos verstoren of de aardbei kwetsen. Het is alsof je probeert een naald te vinden in een hooiberg, terwijl je blinddoek op hebt en de hooiberg beweegt.

De Oplossing: Leren zoals een kind

De onderzoekers van dit papier hebben een slimme oplossing bedacht: Imitatie Leren. In plaats van de robot te vertellen hoe hij het moet doen (wat heel moeilijk is), laten ze hem kijken hoe een mens het doet.

Het proces ziet er zo uit:

De Teleportatie: Een mens zit achter een computer met een speciale joystick (een "twee-armen interface"). Deze persoon bestuurt een robotarm op afstand alsof het zijn eigen handen zijn.
De Dans: De mens plukt de aardbeien. Hij duwt zachtjes bladeren opzij, omzeilt obstakels en pakt de steel precies op het juiste moment. De robot ziet en voelt alles wat de mens doet.
De Leerling: De robot (een slim algoritme genaamd EPACT) kijkt naar deze beelden en bewegingen en probeert te begrijpen: "Ah, als ik dit blad zie, moet ik eerst naar links gaan, niet naar rechts."

De Robot: Een Slimme SCARA-Arm

De robot die ze gebruiken is geen zware, ingewikkelde machine met zes gewrichten (zoals een menselijke arm). Het is een 4-DoF SCARA-arm.

De Analogie: Denk aan een kraanarm in een fabriek die alleen horizontaal beweegt en een beetje op en neer kan. Het is niet zo flexibel als een mens, maar het is snel, goedkoop en perfect voor aardbeien die vaak op vlakke rekken in kas worden geteeld.
Het is alsof je een dexterous danser bent die alleen op één vlak kan dansen, maar dat doet hij zo perfect dat hij toch door een rommelige menigte kan glippen.

De Slimme Truc: "Het Einddoel"

De onderzoekers ontdekten dat de standaardmethode (ACT) soms de verkeerde bewegingen maakte. De robot wist wel dat hij bij de aardbei moest zijn, maar zijn "hand" (de grijper) kwam net iets te ver of te kort.

Ze bedachten een trucje, genaamd EPACT:

De Oude Manier: De robot probeert direct te berekenen: "Beweeg mijn schouder 10 graden, mijn elleboog 5 graden..."
De Nieuwe Manier (EPACT): De robot denkt eerst: "Waar moet mijn hand zijn?" (Het einddoel). Pas daarna berekent hij: "Oké, om daar te komen, moet ik mijn schouder en elleboog zo bewegen."

De Metafoor:
Stel je voor dat je een bal in een doos moet gooien.

De oude robot probeert elke spier in zijn arm aan te sturen om de bal te gooien. Als hij een spier verkeerd gebruikt, mist hij.
De nieuwe robot kijkt eerst naar de bal en zegt: "Mijn hand moet daar zijn." Dan laat hij zijn hersens (een wiskundig systeem) uitrekenen hoe zijn armen dat moeten doen. Dit maakt het veel nauwkeuriger.

De Oogjes: Twee Kijkrichtingen

Om de rommelige bosjes aardbeien goed te zien, heeft de robot twee camera's op zijn "hand":

Een camera die naar boven kijkt.
Een camera die naar beneden kijkt.

Dit is alsof je twee ogen hebt die vanuit verschillende hoeken kijken. Door beide beelden te combineren, ziet de robot dieper in de bosjes en kan hij beter inschatten welke bladeren hij moet opzij duwen. Het is alsof je met twee camera's een 3D-film maakt van de chaos, zodat de robot de diepte echt begrijpt.

Wat is het Resultaat?

De tests waren indrukwekkend:

De oude robots (die alles zelf moesten plannen) haalden maar 35% succes. Ze bleven vaak steken of plukten de verkeerde vrucht.
De nieuwe robot (die geleerd heeft van de mens en de "einddoel-truc" gebruikt) haalde 72% succes.

De robot leerde hoe hij zachtjes moest duwen, hoe hij moest omzeilen en hoe hij de steel moest grijpen zonder de vrucht te beschadigen. Het is alsof de robot een dansje heeft geleerd om door een drukke menigte te glippen zonder iemand aan te raken.

Conclusie

Dit papier laat zien dat we robots niet hoeven te programmeren met duizenden regels over "als dit, dan dat". Als we ze gewoon laten kijken en nabootsen (imitatie), en we hen een slimme manier geven om te focussen op het einddoel, kunnen ze zelfs de moeilijkste taken in de natuur aan.

Het is een stap in de richting van robots die straks niet alleen in fabrieken werken, maar ook in de kas, waar ze met de zorg van een ervaren tuinman de aardbeien plukken, zodat wij in de supermarkt altijd verse, onbeschadigde fruit kunnen kopen.

Probleemstelling

Aardbeien groeien van nature in dichte clusters, verweven met bladeren, stengels en andere vruchten. Dit leidt vaak tot occlusie (verduistering) van het doelwit. De fragiliteit van de vrucht vereist een delicate manipulatie: de robot moet om obstakels heen bewegen of deze zachtjes wegduwen om het ideale pijkpunt (de steel net boven de kelk) te bereiken.

Traditionele robotische systemen volgen vaak een "perceptie-planning-besturing"-framework (percept-plan-control). Deze systemen worstelen met:

Complexe scene-interpretatie: Het begrijpen van ruimtelijke relaties in een rommelige omgeving.
Diepteschattingsfouten: Vooral bij verduisterde objecten.
Trajectplanning: Het genereren van precieze routes die zachte, vervormbare objecten (bladeren/stengels) niet beschadigen.

Deze methoden zijn vaak te star en kunnen niet goed omgaan met de dynamische variabiliteit van de omgeving, wat resulteert in lage succespercentages bij het plukken van verduisterde aardbeien.

Methodologie

De auteurs stellen een leer-gebaseerde aanpak voor die gebruikmaakt van imitatielearning (Learning from Demonstration) om een fijnmazig visuomotorisch plukbeleid te ontwikkelen.

1. Hardware en Dataverzameling:

Robot: Een kosteneffectieve 4-DoF SCARA-arm (Selective Compliance Articulated Robot Arm) in plaats van een complexere 6-DoF-arm. Dit is geoptimaliseerd voor verticale landbouw en tafelblad-cultivatie.
Teleoperatie: Een menselijke operator bestuurt de arm via een tweearmige interface. Dit systeem mapt de hoeken van de interface naar de SCARA-arm voor gesloten-lus besturing.
Sensoren: Twee pols-gemonteerde camera's (één boven, één onder) op de end-effector leveren multi-view visuele data.
Dataset: Er zijn 511 demonstraties verzameld in een gecontroleerde omgeving met kunstmatige aardbeien, variërend van niet-verduisterde tot sterk verduisterde clusters (5 verschillende scenario's).

2. EPACT-algoritme (End Pose Assisted Action Chunking with Transformers):
De kern van de oplossing is een verbeterde versie van het bestaande ACT (Action Chunking with Transformers) algoritme. De auteurs introduceren een nieuw verliesmechanisme en architectuur:

End Pose Loss: In plaats van alleen de joint-angles te voorspellen, voorspelt het netwerk eerst de gewenste end-effector pose (positie en oriëntatie). Deze voorspelling wordt vergeleken met de ground truth om een extra verliesfunctie ( $L_{ep}$ ) te genereren. Dit dwingt het netwerk om de nauwkeurigheid van de uiteindelijke positie te prioriteren.
Inverse Kinematics (IK) Module: De voorspelde end-pose wordt via een neurale netwerkbased IK-module omgezet in de daadwerkelijke joint-angles van de arm.
Twee Varianten:
- EPACT-L (Latent): Gebruikt een unificatie-head die de volledige actie (arm + gripper) voorspelt vanuit de end-pose, waarbij de gripper-toestand impliciet wordt afgeleid uit de verborgen staat van de transformer.
- EPACT-EE (End-Effector): Gebruikt een ontkoppelde head. De arm-kinematica wordt bepaald via de IK-module op basis van de end-pose, terwijl de gripper-actie parallel en direct wordt voorspeld vanuit de transformer. Dit wordt gezien als robuuster omdat het de ruimtelijke doelstelling scheidt van de binaire gripper-actie.

3. Training:
Het beleid wordt getraind om een reeks toekomstige acties (action chunking) te voorspellen op basis van huidige observaties (RGB-beelden + proprioceptieve data). De totale loss functie combineert actie-reconstructie, regulatie (CVAE prior) en de nieuwe end-pose reconstructie.

Belangrijkste Bijdragen

Systeemontwikkeling: Een geïntegreerd systeem met een 4-DoF SCARA-arm en een teleoperatie-interface voor efficiënte dataverzameling.
Feasibility van 4-DoF: Het aantonen dat een 4-DoF-arm, in combinatie met imitatielearning, een effectief alternatief is voor de gebruikelijke 6-DoF-armen bij aardbeienplukken.
Eerste Succesvolle Implementatie: Het is (volgens de auteurs) de eerste keer dat een dexterous visuomotorisch beleid succesvol is getraind en ingezet voor het plukken van echte, verduisterde aardbeienclusters via imitatie.
EPACT-verbetering: De introductie van de End Pose Assisted loss en de IK-module, wat leidt tot een significante verbetering in de prestaties ten opzichte van standaard ACT.
Uitgebreide Evaluatie: Een grondige studie naar de impact van verschillende occlusie-scenario's en camera-configuraties (single vs. multi-view) op de prestaties.

Resultaten

Experimenten werden uitgevoerd in zes verschillende scenario's (van niet-verduisterd tot sterk verduisterd clusters).

Succespercentages:
- De originele ACT bereikte een gemiddeld succespercentage van 35,0%.
- EPACT-L verbeterde dit naar 66,7%.
- EPACT-EE behaalde het beste resultaat met 71,7% (gemiddeld).
- Specifiek voor de verduisterde scenario's (State 1-5) verbeterden de EPACT-methoden de prestaties met respectievelijk 36,7% en 41,7% ten opzichte van de baseline.
Camera-configuratie: Het gebruik van beide camera's (boven en onder) leverde de beste resultaten op door betere 3D-geometrie en occlusie-handeling, hoewel dit de rekentijd en geheugengebruik verhoogt.
Generalisatie: Zelfs in een niet-getraind, eenvoudig scenario (State 0) bleef het succespercentage beperkt (70%), wat aangeeft dat imitatielearning nog uitdagingen kent bij generalisatie naar volledig nieuwe situaties zonder extra data.
Real-world Transfer: Er werden succesvolle proeven uitgevoerd met echte aardbeien, waarbij de robot in staat was om door stengels te navigeren en de vrucht te plukken, hoewel de succesrate in het veld nog lager is dan in de gecontroleerde omgeving.

Betekenis en Conclusie

Dit paper toont aan dat imitatielearning een veelbelovende oplossing biedt voor de complexe, delicate taken die nodig zijn bij het plukken van aardbeien in clusters, waar traditionele methoden falen. De EPACT-architectuur, met name de focus op de nauwkeurigheid van de end-effector pose, stelt de robot in staat om menselijke vaardigheden (zoals het zachtjes wegduwen van bladeren) te kopiëren.

Toekomstperspectief:
Hoewel veelbelovend, zijn er nog uitdagingen op het gebied van generalisatie naar wisselende veldomstandigheden (licht, variatie in plantvorm). De auteurs suggereren dat toekomstig werk zich moet richten op:

Het verzamelen van meer data via draagbare apparaten.
Het gebruik van gesimuleerde data voor pre-training.
Het ontwikkelen van hybride systemen die traditionele methoden gebruiken voor eenvoudige gevallen en imitatielearning voor complexe, verduisterde clusters.

De studie onderstreept dat een combinatie van kosteneffectieve hardware (4-DoF SCARA) en geavanceerde leeralgoritmen een haalbare weg is naar duurzame en geautomatiseerde aardbeienoogst.