💻 computer science

OrchardBench: A Physically-Grounded, GPU-Parallel Apple-Orchard Simulation Benchmark for Agricultural Robotics

OrchardBench is een nieuwe, fysiek gefundeerde en op de GPU parallelle simulatiebenchmark gebouwd op de Newton-engine die reproduceerbaar, hoogwaardig onderzoek in de landbouwrobotica mogelijk maakt door realistische, beschadigingsgevoelige appelbomen met stochastische groei en biomechanische eigenschappen te modelleren, waardoor de kritieke beperkingen van kosten en onherproduceerbaarheid in werkelijke veldexperimenten worden aangepakt.

Oorspronkelijke auteurs: Humphrey Munn

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Humphrey Munn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om appels te plukken. In de echte wereld is dit een nachtmerrie. Je kunt het slechts enkele weken per jaar doen, elke boom is anders, en als de robot een fout maakt, kan hij een tak afbreken of het fruit beschadigen, waardoor de oogst van volgend jaar wordt verpest. Het is duur, traag en riskant.

De auteurs van dit artikel, ORCHARDBENCH, besloten dit op te lossen door een superrealistische videogame voor robots te bouwen. Maar in plaats van alleen maar op een boom te lijken, gedragen hun bomen zich ook daadwerkelijk als bomen.

Hier is de uitsplitsing van hun creatie, met behulp van alledaagse analogieën:

1. De "Levende" Boom (Niet zomaar een standbeeld)

De meeste video game-bomen zijn als standbeelden: ze zien er gedetailleerd uit, maar als je ze duwt, buigen ze niet, en als je te hard trekt, breken ze niet.

De Innovatie: In ORCHARDBENCH is de boom een gigantische, flexibele veer.
- De Takken: Denk aan de takken als stijve houten staven die eigenlijk verbonden zijn door onzichtbare, rekbare rubberen banden. De dikke stam is stijf (zoals een zware eik), maar de kleine twijgjes zijn slap (als een natte sliert spaghetti). Dit is gebaseerd op echte natuurkundige formules.
- Het Breekpunt: Als de robot te hard trekt, verdwijnt de tak niet zomaar; hij breekt met een realistische "kraak". Het afgebroken stuk valt vervolgens naar de grond als een echt ledemaat, in plaats van dat het simpelweg in het niets verdwijnt.
- De Appels: De appels zitten niet vastgelijmd. Ze zijn aan de takken bevestigd met kleine elastische touwtjes (steeltjes). Als je voorzichtig trekt, buigt de tak. Als je met precies de juiste hoeveelheid kracht trekt (zoals een menselijke plukker), knapt de steel en valt de appel vrij naar beneden.

2. De "Oneindige Boomgaard" (De magie van parallel verwerken)

Normaal gesproken kost het een computer een tijd om één boom te simuleren. Het simuleren van een hele boomgaard zou eeuwig duren.

De Innovatie: De auteurs gebruikten een speciale "GPU-parallel" engine. Stel je een chef voor die in staat is om 100 verschillende maaltijden tegelijkertijd te koken op één enkel fornuis.
Het Resultaat: Ze kunnen honderden verschillende boomgaarden gelijktijdig draaien op een standaard laptop. Elke boomgaard is iets anders (sommige bomen zijn hoog, andere laag, sommige hebben meer appels, sommige meer bladeren). Dit stelt de robot in staat om te leren van duizenden "wat als"-scenario's in de tijd die het kost om een kopje koffie te zetten.

3. Het "Bladergordijn" (Het occlusieprobleem)

Het moeilijkste deel van het plukken van appels is dat bladeren ze verbergen.

De Innovatie: De simulatie bevat een laag bladeren die ook daadwerkelijk zwaaien en bewegen met de wind en de bewegingen van de robot.
De Analogie: Stel je voor dat je een specifieke munt probeert te vinden in een stapel bladeren die constant in de wind wappert. De simulatie laat onderzoekers testen hoe goed de "ogen" van de robot (camera's) het fruit kunnen spotten wanneer het gedeeltelijk verborgen is, zonder dat ze naar buiten hoeven te gaan en moeten wachten tot de wind gaat waaien.

4. De Robot en de "Proefrit"

Ze plaatsten een robot in deze virtuele boomgaard. Het heeft een mobiel onderstel (zoals een Roomba) met een robotarm en een dieptecamera (zoals een 3D-oog).

De Basistest: Ze lieten een "standaard" robot (geen superintelligente AI, maar gewoon een basisrobot die regels volgt) door de boomgaard lopen.
De Resultaten:
- De robot was redelijk goed in het vinden van appels (90% nauwkeurigheid).
- Maar hij was verschrikkelijk in het daadwerkelijk plukken ervan. Hij slaagde er slechts in om ongeveer 12% van de appels te oogsten die hij kon bereiken.
- Hij liet ongeveer 6 appels per boom vallen en brak een paar takken af.
- Waarom dit belangrijk is: Dit bewijst dat de benchmark moeilijk is. Als een basisrobot hier al zo slecht in faalt, is er nog volop ruimte voor slimme AI om te verbeteren.

5. Waarom dit ertoe doet (Het "Waarom de moeite?")

Het artikel stelt dat we dit hulpmiddel nodig hebben om vier redenen:

Veiligheid: Je kunt een robot een miljoen keer laten crashen in de simulator zonder een enkele echte boom te beschadigen.
Snelheid: Je kunt een robot trainen in een dag die er in een echt veld jaren over zou doen om te leren.
Controle: Je kunt de "bladendichtheid" omhoog of omlaag draaien om precies te zien hoeveel de bladeren het zicht van de robot beïnvloeden.
Eerlijkheid: Iedereen kan zijn robot testen op dezelfde 100 verschillende bomen, zodat we weten wie er werkelijk de beste is.

Samenvatting

ORCHARDBENCH is een natuurkundig accurate, razendsnelle videogame waar robots oefenen met het plukken van appels. De bomen buigen, breken en verbergen fruit net zoals echte bomen dat doen. De auteurs lieten zien dat zelfs een basisrobot worstelt met deze taak, wat bewijst dat deze nieuwe benchmark een perfecte, veilige en snelle speeltuin is voor het trainen van de volgende generatie landbouwrobots.

Technische Samenvatting: ORCHARDBENCH

Probleemstelling

De oogst van boomvruchten door robots blijft een significante flessenhals in de landbouwautomatisering vanwege de hoge kosten, de niet-reproduceerbaarheid en de fysieke risico's van veldexperimenten. Praktijktesten in de echte wereld zijn seizoensgebonden, niet herhaalbaar (omdat geen twee bomen identiek zijn) en brengen het risico op permanente beschadiging van de gewassen met zich mee door fouten in de besturing. Bestaande simulatietools slagen er niet in deze kloof effectief te overbruggen:

Procedurele plantmodellen (bijv. MAppleT): Genereren geometrisch gedetailleerde bomen met behulp van L-systemen, maar zijn fysiek inert; ze simuleren geen buiging, breuk of dynamische interactie.
Robot Learning Simulators (bijv. Isaac Gym, MuJoCo): Bieden GPU-geparalleliseerde fysica en contactdynamica, maar vullen werelden doorgaans met rigide objecten, zonder compliant (meegaand) en breekbaar vegetatie met vruchten.
Takmanipulatiesystemen (bijv. PCAP): Simuleren compliant takken, maar maken vaak gebruik van vereenvoudigde veer-abstracties, waarbij ze takbreuk, realistische vruchtloslating en autonome oogsttaken met gestandaardiseerde metrieken uitsluiten.

Deze discontinuïteit verhindert het veilige, grootschalige testen van controllers en het trainen van policies die rekening moeten houden met de complexe, compliant en breekbare aard van levende planten.

Methodologie

De auteurs presenteren ORCHARDBENCH, een fysiek gegronde, GPU-geparalleliseerde simulatie-benchmark gebouwd op de NEWTON/MuJoCo-Warp engine. Het systeem is ontworpen om honderden verschillende boomgaardomgevingen parallel te draaien op een enkele laptop-GPU.

1. Fysiek gegronde boommodellen

De kerninnovatie is een boommodel dat functioneert als een volledig gearticuleerd dynamisch systeem in plaats van een statisch mesh:

Stochastische generatie: Bomen worden gegroeid met behulp van een stochastische L-systeem grammatica (geïnspireerd door MAppleT) die botanisch plausibele architecturen produceert met variabele groeipatronen, aantal hoofdtakken en fyllotactische divergentie.
Compliante dynamica: Elke internode is een rigide link verbonden door compliantie torsieveer-dempers. De stijfheid ( $K_p$ ) wordt afgeleid van de Euler-Bernoulli balktheorie ( $K_p = EI/\ell$ ), wat ervoor zorgt dat dunne buitenste twijgen aanzienlijk complianter zijn dan de stam, wat overeenkomt met echte mechanische gradiënten zonder per tak handmatige afstemming.
Takbreuk: Takken breken wanneer het overgedragen buigend moment de breuksterkte van het hout overschrijdt. Bij breuk wordt de verbinding ter plaatse uitgeschakeld (zonder hercompilatie van het model), en valt de sub-tak als een vrije scharnier met realistische zwaartekracht- en wrijvingsdynamica.
Vruchtfysica: Appels zijn onafhankelijke rigide lichamen die hangen aan veer-demper steel-verbindingen. Loslating vindt alleen plaats wanneer een aanhoudende trekkracht (gebaseerd op literatuurwaarden van 14–23 N) een drempelwaarde overschrijdt. De vrucht belast de tak dynamisch tijdens het trekken.

2. Domeinrandomisatie en Efficiëntie

Om robuust policy-leren mogelijk te maken, maakt het systeem gebruik van per-omgeving domeinrandomisatie:

Structurele homogeniteit: Om de efficiëntie van GPU-batching te behouden, is de discrete topologie (aantal verbindingen/lichamen) vast binnen een batch. Continue parameters (houtdichtheid, Youngs-modulus, groeipatronen, fruitbelasting, kleur) worden per omgeving gerandomiseerd.
Dimensionale randomisatie: Om de gebatchende solver niet te verstoren door heterogene kinematische geometrieën, worden de afmetingen van de takken (lengte, dikte) gedeeld over een batch, maar opnieuw gesampled tussen resets. Dit staat visuele diversiteit toe terwijl de snelle "homogene" oplossnelheid behouden blijft.
Optimalisatie: Het systeem gebruikt een matrix-vrije conjugate-gradient solver, in-place rupture handling, fruitlichamen met verminderde vrijheidsgraden (DOF) en instanced foliage rendering. Deze technieken maken de simulatie van tot 5 $\times$ $10^2$ parallelle bomen mogelijk op een standaard 8 GB laptop-GPU.

3. Robotische Agent en Perceptie

Embodiment: Een Clearpath Ridgeback mobiel platform met een Franka arm (FR3) en een op de pols gemonteerde dieptecamera.
Perceptie: Er wordt een klassieke, leer-vrije geometrische vruchtdetector gebruikt. Deze projecteert dieptebeelden terug naar puntenwolken, past sferen toe op diepte-continue segmenten en gebruikt geometrische gating (radius, convexiteit, silhouet) om onderscheid te maken tussen vruchten en blad of takken. Dit garandeert dat de prestaties de scènegeometrie reflecteren in plaats van de biases van een getraind netwerk.
Autonomie: Een analytische baseline-controller voert een volledige oogstcyclus uit (verkennen, naderen, grijpen, trekken, plaatsen) met behulp van damped-least-squares inverse kinematics.

Belangrijkste Bijdragen

Fysiek gegronde Simulatie: De eerste benchmark waar de plant een compliant, breekbaar dynamisch systeem is met balk-theoretische stijfheid, breukmechanica en realistische vruchtloslating, waarbij alle parameters zijn gebaseerd op gepubliceerde literatuur.
Controleerbare Occlusie: Een bewegende, controleerbare dichtheid van bladerdek dat meebeweegt met de takken, wat een gecontroleerde variabele biedt voor het bestuderen van perceptie onder occlusie met perfecte grondwaarheid (ground truth).
Efficiënte Parallellisatie: Technieken (on-device domeinrandomisatie, matrix-vrije solvers) die het mogelijk maken om duizenden parallelle omgevingen met interactieve snelheden te draaien op consumentenhardware.
Gestandaardiseerde Benchmark Suite: Een compleet testbed met een mobiele manipulator, een perceptie-pipeline en een metriek-suite die oogstvolledigheid, doorvoersnelheid en plantbeschadiging (gebroken takken, gevallen fruit) dekt.
Baseline Resultaten: Uitgebreide evaluatie van een analytische controller over variërende bladerdekdichtheid, fruitbelasting, terrein en canopy-zones.

Experimentele Resultaten

Het artikel rapporteert baseline-resultaten met de analytische controller over 18 gerandomiseerde bomen:

Prestaties: De baseline bereikt een oogstvolledigheid van ~12% (geplukt versus bereikbare vruchten) en een doorvoersnelheid van 1,9 vrucht/minuut.
Detectie: De geometrische detector bereikt 90% precisie, maar lijdt onder valse positieven naarmate de dichtheid van het bladerdek toeneemt.
Schade: De baseline breekt ongeveer 0,2 takken per boom en laat ~6 vruchten per boom vallen, wat wijst op een aanzienlijke kloof tussen huidige analytische methoden en de veiligheidseisen voor oogst in de praktijk.
Schaalbaarheid: Het systeem schaalt naar 512 parallelle bomen (ongeveer 170.000 lichamen) op een enkele 8 GB GPU, met een snelheid van ~3.500–4.400 environment-steps/seconde. Randomisatie van de geometrie (het variëren van takafmetingen per wereld) verstoort de gebatchede solve, waardoor de doorvoer met ~15x afneemt, wat de noodzaak van de gedeelde-dimensie aanpak bevestigt.
Zone-analyse: Succespercentages variëren per canopy-zone, waarbij de middelste zone het makkelijkst is (~~55% succes) en de onderste-buitenste/bovenste zones het moeilijkst zijn (~~37–42%), wat de noodzaak voor zonespecifieke strategieën valideert.

Betekenis en Claims

De auteurs positioneren ORCHARDBENCH niet als een opgelost probleem, maar als een substraat voor toekomstig onderzoek. Het artikel stelt dat:

Veiligheid en Schaal: Het de veilige verificatie van analytische controllers en het trainen van learning-based policies op een schaal mogelijk maakt die onmogelijk is in het veld.
De Kloof Overbruggen: Het procedurele plantmodellering (geometrie) verenigt met physics-based robot learning (dynamica), waarmee een specifieke kloof wordt gedicht waar bestaande tools slechts één zijde bedienen.
Gronding in de Werkelijkheid: Door elke fysieke parameter te koppelen aan gepubliceerde bronnen en schade-metrieken als primaire doelstellingen op te nemen, biedt de benchmark een realistisch doel voor optimalisatie dat naast doorvoersnelheid ook de veiligheid van de plant prioriteert.
Bescheiden Omvang: De auteurs geven expliciet aan dat de fysica weliswaar gegrond is in de literatuur, maar nog niet gevalideerd is tegen fysieke experimenten met takbreuk op levende bomen. Sim-to-real transfer is een ontwerpdoel ondersteund door domeinrandomisatie, maar is geen bewezen resultaat in dit werk. De benchmark is bedoeld om de ontwikkeling van geleerde policies en agentic methoden te faciliteren die uiteindelijk de sim-to-real loop kunnen sluiten.