HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild

Dit onderzoek introduceert HarvestFlex, het eerste systeem dat vision-language-action (VLA)-policies succesvol toepast voor het oogsten van aardbeien in een ongestructureerde kasomgeving met slechts vier uur tele-geopereerde demonstratiegegevens, waarbij een aangepaste pi_0.5-politiek een slagingspercentage van 74,0% bereikte.

De kern

HarvestFlex: De Slimme Aardbeienplukker die Leren via Kijken en Doen

Stel je voor dat je een robot wilt bouwen die aardbeien plukt in een kas. Dat klinkt simpel, maar in de praktijk is het een nachtmerrie voor een computer. Aardbeien zijn kwetsbaar (ze worden snel blauw), ze zitten vaak verstopt tussen bladeren, en het licht in een kas kan flitsen en spiegelen als een discotheek.

De onderzoekers van dit papier hebben een oplossing bedacht die ze HarvestFlex noemen. In plaats van de robot te programmeren met duizenden regels over "hoe je een aardbei vastpakt", hebben ze de robot laten leren door te kijken en te doen, net zoals een mens dat doet.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. De Robot als een Nieuwe Leerling

Stel je voor dat je een nieuwe stagiair hebt die nog nooit aardbeien heeft geplukt. Je kunt hem niet alleen een handleiding geven; je moet hem laten zien hoe het gaat.

• De Oefening: De onderzoekers hebben een mens in een VR-bril (virtuele realiteit) laten zitten. Deze persoon zag de kas alsof hij er zelf was en gebruikte een controller om de robotarm te besturen.
• Het Resultaat: Ze hebben zo'n 3,7 uur aan beelden en bewegingen opgenomen. De robot heeft deze "herinneringen" geleerd. Het is alsof je de robot een video hebt gegeven van iemand die perfect plukt, en de robot heeft gekeken: "Oké, zo doe ik het."

2. De Drie Ogen van de Robot

Een gewone camera is niet genoeg. Als je een aardbei vastpakt, blokkeren je eigen handen vaak het zicht. Daarom heeft HarvestFlex drie camera's:

• Twee vaste camera's: Dit zijn als de ogen van de tuinman die over het veld kijken. Ze zien waar de rijpe aardbeien zitten en waar de obstakels zijn.
• Een pols-camera: Dit is als een bril die de robot op zijn "hand" draagt. Zodra hij dichtbij komt, ziet hij precies hoe de aardbei eruitziet, zelfs als hij tussen de bladeren zit.

Belangrijk: De robot gebruikt geen ingewikkelde 3D-kaarten of dieptemetingen. Hij vertrouwt puur op de kleuren en beelden, net zoals wij dat doen.

3. De "Grote Brein" (VLA)

De robot gebruikt een heel slim systeem dat ze een VLA noemen (Vision-Language-Action).

• Stel je dit voor: Een super-intelligente assistent die niet alleen naar de foto's kijkt, maar ook begrijpt wat je zegt.
• De opdracht: De mens zegt: "Pluk alle rijpe aardbeien."
• Het denken: De robot kijkt naar de beelden, denkt na over wat "rijp" betekent, en bedenkt direct: "Oké, ik ga naar links, pak die ene vast, en leg hem in de bak." Hij hoeft niet eerst een aparte software te draaien om de aardbei te vinden en dan een andere om te bewegen. Alles gebeurt in één brein.

4. De Grote Uitdaging: De "Glijdende" Beweging

Het moeilijkste deel is het losmaken van de aardbei. Als je te hard trekt, breekt hij. Als je te zacht bent, blijft hij zitten.

• Het probleem: Als de robot te lang moet wachten om na te denken (verwerkingstijd), kan hij trillen of de aardbei missen.
• De oplossing: De onderzoekers hebben een slimme truc bedacht. Ze hebben het "denken" (de robot die naar de beelden kijkt) gescheiden van het "doen" (de robot die beweegt).
  • Vergelijk het met een orkest: De dirigent (het denken) speelt een stukje muziek vooruit, en de muzikanten (de beweging) spelen het direct af. Zo haperen ze niet als de dirigent even moet nadenken. Dit maakte de robot veel stabieler.

5. Wat was het resultaat?

Na slechts een paar uur "leren" (wat voor een mens een paar dagen zou zijn om te trainen), kon de robot:

• 74% van de aardbeien succesvol plukken en in de bak leggen.
• Slechts 4% van de aardbeien beschadigen (ze werden niet blauw).
• Het kostte ongeveer 33 seconden per aardbei.

Vergelijking:
Een traditionele robot (die met losse onderdelen werkt: eerst zoeken, dan plannen, dan bewegen) is sneller (8 seconden per aardbei), maar hij geeft vaak op als er een blad voor de aardbei zit. De nieuwe robot is trager, maar hij is slimmer: hij probeert het gewoon opnieuw als hij faalt, in plaats van te stoppen.

Conclusie: Waarom is dit cool?

Vroeger moest je een team van ingenieurs hebben om een robot te bouwen die aardbeien plukt. Je moest alles handmatig programmeren.
Met deze nieuwe methode kun je met één persoon en een paar uur aan video's een robot trainen die in de echte wereld werkt. Het is alsof je een robot niet bouwt, maar hem opvoedt door hem te laten kijken hoe het moet.

Het is nog niet perfect (soms ziet hij de aardbei niet door de bladeren), maar het is een enorme stap in de richting van robots die echt kunnen helpen in de landbouw, zonder dat we duizenden euro's hoeven uit te geven aan ingewikkelde software.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild" in het Nederlands.

Probleemstelling

Aardbeienoogst in kassen is een complexe, langdurige taak die nog steeds grotendeels afhankelijk is van handarbeid. Robotisering hiervan wordt bemoeilijkt door:

• Ongestructureerde omgeving: Zware verduistering door bladeren, variërende belichting en reflecties.
• Fragiliteit: Aardbeien zijn zeer gevoelig voor contact; fouten in de perceptie-planning-uitvoeringsketen leiden tot vruchtschade of mislukte oogst.
• Beperkingen van traditionele systemen: Bestaande modulaire systemen (perceptie + planning + controle) vereisen veel handmatige aanpassingen per kas, zijn kwetsbaar voor ontbrekende waarnemingen en missen vaak de flexibiliteit om online te reageren op dynamische veranderingen.

Het paper richt zich op de vraag of Vision-Language-Action (VLA) modellen, die visuele waarnemingen, taalcommando's en robottoestandsinformatie direct omzetten in acties, effectief kunnen worden getransfereerd naar deze real-world, contactgevoelige oogsttaak.

Methodologie

1. Het HarvestFlex Platform
De auteurs hebben een end-to-end gesloten-lus systeem gebouwd op het HarvestFlex-platform:

• Hardware: Een 6-DoF robotarm met een 2-DoF compliant end-effector (zachte zuignap aangedreven door een luchtpomp).
• Sensoren: Drie RGB-camera's (geen dieptepuntenwolken of expliciete geometrische kalibratie): twee vaste scène-camera's (links/rechts) voor globale context en één pols-camera voor lokale, hoge-resolutie waarneming tijdens contact.
• Actie-ruimte: De policy voorspelt continue arm-bewegingen (snelheidsmodus) en discrete pompcommando's (in/uit/idle).

2. Dataverzameling

• Er werden 3,71 uur aan VR-teleoperatie-demonstraties verzameld (227 episodes) met een Meta Quest 3.
• De data dekt diverse omstandigheden af: verschillende verlichting (backlight, speculaire reflecties), mate van verduistering en rijpheid.
• De dataset bevat ook "mislukte" trajecten en herstelpogingen, wat cruciaal is voor het leren van gesloten-lus gedrag.

3. Model Adaptatie en Training
Drie open-source VLA-modellen werden getest en aangepast: $\pi_0$, $\pi_{0.5}$ en WALL-OSS.

• Trainingstrategieën: Vergelijking tussen volledige fine-tuning (alle parameters) en parameter-efficiënte fine-tuning (LoRA).
• Loss-functie: Een gecombineerde loss voor continue arm-acties (MSE) en discrete pomp-acties (Cross-Entropy).

4. Implementatie en Inferentie
Twee implementatiemodi werden onderzocht:

• Synchroon: Wachten op inferentie voordat de volgende actie wordt uitgevoerd (risico op jitter en vertraging).
• Asynchroon: Een gedecoupleerde pipeline waarbij inferentie en controle in aparte threads lopen. Actie-chunks worden in een wachtrij geplaatst en bij overlap gewogen gemiddeld om soepele overgangen te garanderen.

Belangrijkste Bijdragen

1. Eerste end-to-end VLA-systeem voor aardbeienoogst: Implementatie van een gesloten-lus systeem dat direct werkt in een echte kasomgeving zonder dieptewaarneming.
2. Herproduceerbare dataverzameling: Een methode voor het verzamelen van langdurige, contactgevoelige demonstraties via VR-teleoperatie, inclusief fouten en herstelgedrag.
3. Uitgebreide evaluatieprotocol: Een gestandaardiseerde testopzet (50 trials per model) met metrics voor succes, efficiëntie en vruchtschade.
4. Systematische vergelijking: Een diepgaande analyse van verschillende VLA-modellen, fine-tuning strategieën (LoRA vs. Full) en inferentie-architecturen (synchroon vs. asynchroon) in een niet-gestructureerde landbouwomgeving.

Resultaten

De experimenten werden uitgevoerd onder een uniek protocol in een commerciële kas. De belangrijkste bevindingen zijn:

• Beste Prestaties: Het model $\pi_{0.5}$ met volledige fine-tuning presteerde het beste.
  • Succespercentage (SR): 74,0%
  • Tijd per oogst: 32,6 seconden
  • Schadepercentage (DR): 4,1%
  • Stroomscore (SS): 82,6 (op een schaal van 0-100).
• Fine-tuning Strategie: Volledige fine-tuning overtrof LoRA consistent in succespercentage en stroomscore, hoewel LoRA een goede prestatie leverde met minder rekentijd.
• Inferentie-modus: Asynchroon infereren verbeterde de prestaties aanzienlijk ten opzichte van synchroon infereren (SR steeg van 70% naar 74%, tijd daalde van 45,7s naar 32,6s). Dit komt door de vermindering van controle-jitter tijdens de kritieke fase van het losmaken van de vrucht.
• Sensoren: Het gebruik van alle drie de camera's (twee scène + pols) was cruciaal. Alleen scène-camera's leverde een succespercentage van slechts 42%, terwijl het toevoegen van de pols-camera dit naar 74% bracht. Dit benadrukt het belang van close-range waarneming voor contactgevoelige taken.
• Vergelijking met Modulaire Systemen: Traditionele modulaire systemen waren sneller (8,3s vs 32,6s) en hadden een iets hoger succespercentage (89% vs 74%), maar vereisten aanzienlijk meer engineering- en ontwikkelingsinspanning. VLA-systemen tonen echter betere robustheid tegen verduistering en reflecties in de zoekfase.

Significantie en Conclusie

Dit werk toont aan dat Vision-Language-Action modellen succesvol kunnen worden getransfereerd naar complexe, langdurige landbouwtaken met slechts minder dan 4 uur aan echte demonstratie-data.

• Snelheid van ontwikkeling: VLA-policies kunnen door één ontwikkelaar worden aangepast, terwijl modulaire systemen vaak multidisciplinaire teams en lange cycli vereisen.
• Robuustheid: VLA-systemen zijn beter in het omgaan met onzekerheid (verduistering, reflecties) tijdens de zoek- en benaderingsfase.
• Beperkingen: De huidige beperkingen liggen voornamelijk bij de observatie op korte afstand bij extreme verduistering en de mismatch in contactdynamica tijdens het losmaken van de vrucht.

De studie markeert een belangrijke stap in de automatisering van de landbouw, waarbij end-to-end learning de weg vrijmaakt voor snellere implementatie van robots in ongestructureerde omgevingen, mits er aandacht is voor asynchrone inferentie en adequate close-range sensoren.