💻 computer science

Real-time windrow detection from onboard tractor sensors for automated following

Dit artikel adresseert het gebrek aan transparantie in commerciële windrow-detectiesystemen door een multi-modale dataset en een open-source, real-time ROS 2-pijplijn te presenteren die aantoont dat goedkope stereovisie effectief de prestaties van LiDAR kan evenaren voor GPS-vrij autonoom hooi- en grasoogsten.

Oorspronkelijke auteurs: Lorenz Gunreben, Nico Heider, Sebastian Zürner, Martin Schieck, Bogdan Franczyk

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lorenz Gunreben, Nico Heider, Sebastian Zürner, Martin Schieck, Bogdan Franczyk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een boer voor die een tractor bestuurt en probeert lange, nette rijen gemaaid gras (zogenaamde "windrows") op te rapen om hooibalen te maken. Het is alsof je een naald probeert te doorrijden terwijl je met hoge snelheid een vrachtwagen bestuurt. Als de tractor zelfs maar een klein beetje afwijkt, mist hij het gras of neemt hij aarde mee, wat de balen verpest. Meestal moet een mens daar zitten, geconcentreerd naar het gras staren, wat vermoeiend is en fouten veroorzaakt.

Dit artikel gaat over het leren van een tractor om deze taak zelf uit te voeren, zonder menselijke bestuurder en zonder afhankelijk te zijn van GPS-satellieten (die in velden onbetrouwbaar kunnen zijn).

Hier is een overzicht van hun werk, eenvoudig uitgelegd:

1. Het Probleem: "Black Box"-Technologie

Op dit moment hebben grote tractorbedrijven systemen die dit kunnen, maar het zijn "black boxes". Niemand weet precies hoe ze werken, en ze delen hun data of code niet. Dit maakt het moeilijk voor wetenschappers om de technologie te verbeteren of goedkopere, open versies te bouwen. De auteurs wilden die doos openbreken.

2. De Oplossing: De Tractor "Ogen" Geven

Het team bouwde een opstelling op een tractor met twee verschillende soorten "ogen" om de grasrijen te zien:

De Stereocamera (Het "Goedkope Oog"): Dit is als een paar menselijke ogen (specifiek een ZED2i-camera). Het is relatief goedkoop (ongeveer €450) en maakt een 3D-afbeelding door vanuit twee hoeken naar dingen te kijken.
De LiDAR (Het "Duurdere Oog"): Dit is een high-tech laserscanner (een Ouster OS0-128) die duizenden laserstralen per seconde afschiet om de wereld in 3D in kaart te brengen. Het is zeer nauwkeurig maar kost ongeveer €8.000.

Ze namen urenlang echte tractorritten op in een veld in Duitsland, waarbij ze vastlegden hoe deze twee "ogen" de grasrijen zien. Ze maakten deze data publiek zodat iedereen het kan gebruiken.

3. Het Brein: De "Verkeersleider"

Ze schreven een computerprogramma (met behulp van een systeem genaamd ROS2) dat fungeert als het brein van de tractor. Zijn taak is om de data van de camera's en lasers te bekijken en direct uit te rekenen: "Waar is het midden van de grasrij?"

Ze testten dit brein op een krachtige maar kleine computer (een NVIDIA Jetson AGX Orin) die direct op de tractor was gemonteerd.

Snelheid: Het werkt ongelooflijk snel – meer dan 20 keer per seconde. Dit is snel genoeg om de tractor in real-time te sturen zonder vertraging.
Nauwkeurigheid: Ze vergeleken het "Goedkope Oog" en het "Duurdere Oog". Verrassend genoeg kwamen ze 96,5% van de tijd met elkaar overeen wanneer ze de grasrijen bekeken op een afstand van 4 tot 10 meter.

4. De Grote Ontdekking: Goedkoop versus Duur

Het meest spannende deel van het artikel is de vergelijking. Normaal gesproken zou je verwachten dat de €8.000 laserscanner veel beter is dan de €450-camera. Echter, voor de specifieke taak van het volgen van een grasrij direct voor de tractor, presteerde de goedkope camera bijna even goed als de dure laser.

Stel het je zo voor: Als je probeert een gang af te lopen, heb je niet per se een high-end 3D-laserscanner nodig om de muren te zien; je ogen (stereozicht) zijn goed genoeg. Het artikel toont aan dat voor deze specifieke landbouwtak je misschien niet duizenden dollars hoeft uit te geven aan dure sensoren.

5. De Struikelblokken

Het was niet perfect. De camera-lens werd een beetje vuil en bekrast door de veldomstandigheden, wat betekende dat ze ongeveer 71% van de data van de camera moesten weggooien om het beeld op te schonen. Ook vereiste het opstellen van de sensoren zorgvuldige handmatige uitlijning, zoals het afstemmen van een radio om een duidelijk signaal te krijgen.

Samenvatting

De auteurs hebben drie hoofddingen gedaan:

De Data Gedeeld: Ze hebben een publieke dataset vrijgegeven van tractorsensoren die grasrijen zien, wat eerder niet beschikbaar was.
Bewezen dat het Werkt: Ze toonden een systeem dat grasrijen in real-time kan vinden op een kleine computer.
Geld Bespaard: Ze hebben aangetoond dat een goedkope camera voor deze specifieke taak bijna even goed werk kan doen als een dure laserscanner, waardoor autonome landbouw potentieel veel goedkoper en toegankelijker wordt.

Ze hebben nog geen volledig zelfrijdende tractor gebouwd die het hele landbouwbedrijf kan doen, maar ze hebben de essentiële "ogen" en de "brein"-logica geleverd die bewijst dat dit mogelijk is zonder dure, propriëtaire black boxes.

1. Probleemstelling

Autonome voederoogst is sterk afhankelijk van nauwkeurige windrow-detectie (het identificeren van rijen van gemaaid en gedroogd gewas) om een efficiënte opname en de vorming van hoogwaardige balen te waarborgen. Huidige uitdagingen omvatten:

Proprietaire Barrières: Commerciële windrow-begeleidingssystemen maken gebruik van gesloten bron-algoritmen en data, wat transparantie beperkt en wetenschappelijke vooruitgang belemmert.
Gebrek aan Reproduceerbaarheid: Academisch onderzoek mist vaak publiek beschikbare datasets en code, waardoor vergelijkende studies en de ontwikkeling van sensorfusie moeilijk zijn.
Vermoeidheid van de Operator: Handmatige uitlijning met windrows is repetitief en vermoeiend, wat de productiviteit tijdens lange oogstperiodes verlaagt.
Beperkingen van Sensoren: Bestaande studies vertrouwen vaak op enkele sensormodaliteiten of simulatie, en missen validatie in de echte wereld van multi-modale fusie (specifiek Stereo Vision + LiDAR) voor GPS-vrije navigatie.

2. Methodologie

A. Dataverwerving

De auteurs hebben een multi-modale dataset samengesteld die tijdens echte balenpersoperaties is verzameld op het onderzoeksfarm Oberholz van de Universiteit Leipzig.

Platform: Fendt 724 trekker uitgerust met een sensormontage.
Sensoren:
- LiDAR: Ouster OS0-128 REV7 (131k punten/frame, 18,3 Hz).
- Stereo Camera: ZED2i (~230k ruwe punten/frame, 23,5 Hz).
- Referentie: Novatel OEM7 GNSS voor traject (gebruikt voor context, niet als primaire detectiemethode).
Dat Scope: Het artikel focust op een representatieve subset van 123 seconden (35,9 GB) die een enkele windrow bestrijkt onder heldere, droge omstandigheden. De volledige dataset (29 minuten, 262,2 GB) is op verzoek beschikbaar.
Preprocessing: De ZED-puntenwolk is gefilterd om uitschieters en artefacten veroorzaakt door lensverslijting te verwijderen, waarbij gemiddeld 66k punten/frame overbleven.
Kalibratie: De extrinsieke parameters van de LiDAR zijn afgestemd op het CAD-model van de trekker; de stereocamera is geregistreerd op het LiDAR-frame met behulp van Iterative Closest Point (ICP)-uitlijning van overlappende puntenwolken.

B. Detectie-algoritme

De auteurs hebben een gewichtend centroid-gebaseerde aanpak geïmplementeerd voor het extraheren van de middenlijn, ontworpen voor real-time verwerking:

Verwerkingslogica: Het algoritme verwerkt elke longitudinale slice onafhankelijk.
Drempelwaarde: Voor elke rij op afstand $y$ worden cellen geselecteerd die een adaptieve hoogte-drempelwaarde overschrijden (standaard 50e percentiel).
Gewichting: Punten dragen bij aan de middenlijn met gewichten die evenredig zijn aan hun hoogte boven de drempelwaarde.
Voordeel: In tegenstelling tot "top-K%" selectiemethoden, weegt deze gewichtende centroid-aanpak alle bijdragen boven de drempelwaarde in balans, waardoor laterale bias door asymmetrische piekverdelingen wordt verminderd en robuustheid tegen ruis wordt behouden.
Implementatie: Het algoritme is geïmplementeerd als een open-source ROS 2 (Humble) node.

C. Hardware-implementatie

Edge Computing: Het systeem is ingezet op een NVIDIA Jetson AGX Orin.
Configuratie: Hardware-in-the-Loop (HIL)-testen met behulp van server-gestreamde rosbags naar het edge-apparaat.

3. Belangrijkste Resultaten

A. Computatietprestaties

Real-time Capaciteit: Het systeem behaalde verwerkingssnelheden van >20 Hz met gemiddelde frame-tijden onder de 50 ms.
Stabiliteit: Er werden geen frame-dropping waargenomen tijdens de 123-seconden test, wat de geschiktheid voor edge-implementatie op landbouwhardware bevestigt.

B. Inter-sensor Overeenstemming

Om de prestaties te valideren zonder ground truth, vergeleken de auteurs de laterale offset tussen de middenlijnen gegenereerd door de Stereocamera en de LiDAR.

Overeenstemmingsscore: Gedefinieerd als $Score = 1 - |\Delta x_{lateral}|$ .
Prestatie: De sensoren toonden sterke overeenstemming met een gemiddelde score van 0,965 ± 0,021 (mediaan: 0,973).
Bereik: Sterke overeenstemming werd behouden over het kritieke 4–10 m begeleidingbereik.
Uitschieters: De drie slechtste frames scoorden tussen 0,843 en 0,904, wat aangeeft dat significante laterale afwijkingen (>10 cm) zeldzaam zijn.
Bias: Beide sensoren detecteerden de windrow iets links van het midden (ZED: -4,2 cm; LiDAR: -6,3 cm), waarschijnlijk door handmatige kalibratiebias of operator-offset.

C. Kosten-Prestatie Analyse

Stereo vs. LiDAR: De goedkope ZED2i-camera (~~€450) bood detectieprestaties die vergelijkbaar waren met de hoogresolutie Ouster LiDAR (~~€8.000) binnen het nabije begeleidingbereik.
Beperkingen: De diepteonduidelijkheid van stereo neemt toe met de afstand, wat laterale afwijkingen veroorzaakt bij stationaire objecten op langere afstanden, maar dit blijft acceptabel voor typische balenperssnelheden (5–15 km/h).

4. Belangrijkste Bijdragen

Eerste Open Multi-Modale Dataset: De release van de eerste publiek beschikbare dataset die Stereo Vision en LiDAR combineert, specifiek voor windrow-detectie, inclusief ROS 2 Humble bags.
Reproduceerbare Baseline: Een open-source ROS 2-pipeline en code-repository die een benchmark vestigt voor GPS-vrije autonome navigatie in voederoogst.
Real-time Edge Validatie: Demonstratie van een robuuste, >20 Hz detectie-pipeline op embedded hardware (Jetson AGX Orin).
Bewijs van Kosteneffectiviteit: Empirisch bewijs dat goedkope stereosensoren LiDAR-prestaties kunnen benaderen voor nabije landbouwbegeleiding, wat de adoptie in prijsgevoelige markten ondersteunt.

5. Betekenis en Toekomstig Werk

Wetenschappelijke Impact: Dit werk verwijdert de "black box"-barrière van commerciële systemen, waardoor de onderzoeksgemeenschap autonome oogstalgoritmen kan valideren, uitbreiden en verbeteren.
Praktische Toepassing: De resultaten ondersteunen de haalbaarheid van het inzetten van betaalbare, multi-modale autonome systemen op trekkers zonder afhankelijkheid van dure LiDAR- of GPS-infrastructuur.
Geïdentificeerde Uitdagingen:
- Kalibratie: Huidige afhankelijkheid van handmatige kalibratie; toekomstig werk streeft naar gestructureerde extrinsieke kalibratie.
- Duurzaamheid: Lensverslijting bij camera's vereist aanzienlijke filtering (71% van de punten verwijderd), wat de behoefte aan robuustere hardware in veldomstandigheden benadrukt.
- Schaalbaarheid: Toekomstig onderzoek zal zich richten op scenario's met meerdere windrows en geautomatiseerde rijwisseling.

Conclusie: Het artikel slaagt erin de kloof tussen academisch onderzoek en praktische landbouwautomatisering te overbruggen door een transparante, reproduceerbare en kosteneffectieve oplossing voor real-time windrow-detectie te bieden.