Technische Samenvatting: Een door simulatie getrainde RL-drone voor efficiënt objectzoeken in de landbouw

Probleemstelling

Onbemande luchtvaartuigen (drones) bieden aanzienlijk potentieel voor precisielandbouw, wat taken mogelijk maakt zoals vroege ziekte detectie, lokalisatie van onkruid en bodembeoordeling. De operationele efficiëntie wordt echter ernstig beperkt door de beperkte batterijcapaciteit, wat het te bestrijken oppervlak in een enkele vlucht beperkt. Traditionele benaderingen vertrouwen op volledige dekking planners die hele velden in kaart brengen met een uniforme ruimtelijke verdeling. Dit is vaak suboptimaal voor landbouwtaken waarbij doelobjecten (bijv. specifieke onkruidsoorten of ziekteplekken) niet-uniform verdeeld zijn in ruimtelijke clusters in plaats van willekeurig verspreid. In dergelijke scenario's is uitputtende dekking niet noodzakelijk; het doel is om de meerderheid van de objecten te detecteren met een minimale vliegroute. Hoewel adaptieve padplanners bestaan, vereisen regelgebaseerde methoden vaak een expliciete herontwerp voor nieuwe omgevingen en hebben ze moeite met onzekerheid. Dit artikel behandelt de uitdaging van het ontwikkelen van een leer-gebaseerde adaptieve padplanner die efficiënt kan navigeren door niet-uniform verdeelde objecten, waarbij een balans wordt gezocht tussen detectie-recall en de lengte van het vliegpad, en die succesvol kan worden overgebracht van simulatie naar real-world deployment.

Methodologie

Reinforcement Learning Framework

De kern van de aanpak is een Deep Q-Network (DQN) agent die getraind is om langetermijnbeloningen te maximaliseren door sequentiële beslissingen te nemen in een Markov Decision Process (MDP).

• State-Space: De agent observeert een drone-gecentreerde globale kaart (lage resolutie, de hele velden dekkend) en een lokale kaart (hoge resolutie, overeenkomend met het gezichtsveld van de camera). Deze kaarten bevatten lagen voor veldgrenzen, eerder gevonden objecten, een dekkingkaart (om herbezoek te ontmoedigen) en een prior kenniskaart (afgeleid van hoogtesurveys). De staat bevat ook het huidige batterijniveau van de drone.
• Action-Space: De agent selecteert uit acht directionele acties (Noord, Zuid, Oost, West en vier diagonalen) en een "land" actie om de zoektocht te beëindigen. Elke actie verplaatst de drone een vast aantal gridcellen.
• Beloningsfunctie: De agent ontvangt positieve beloningen voor het correct detecteren van objecten en negatieve straffen voor vliegstappen, het betreden van no-fly zones, crashen (batterijuitputting) en het herbezoeken van reeds verkende gridcellen.

Simulatie en Domain Randomization

De training vindt plaats in een abstracte simulatieomgeving die is ontworpen om de sim-to-real kloof te overbruggen via domain randomization:

• Omgeving: Velden worden gegenereerd als willekeurige convexe of concave polygonen. Objectverdelingen worden gemodelleerd als clusters die multivariate Gaussische verdelingen volgen, met variërende aantallen clusters en objecten.
• Ruismodellering: De simulatie bevat realistische detectiefouten (false positives en false negatives) voor zowel de observatiekaart (gesimuleerde camera) als de prior kenniskaart.
• Training: De agent wordt getraind met experience replay en een kortingsfactor van 0,99 over $2 \times 10^7$ stappen. De netwerkarchitectuur verwerkt de globale en lokale kaarten via parallelle convolutionele lagen, concateneert deze met de batterijstatus, en geeft actiewaarden uit via fully connected lagen.

Real-World Applicatie Pipeline

Om het in simulatie getrainde beleid te implementeren:

1. Objectdetectie: Een YOLOv11-m netwerk detecteert objecten in real-time dronebeelden.
2. Coördinatenconversie: Real-world UTM-coördinaten worden getransformeerd naar het grid systeem van de simulatie, rekening houdend met veldrotatie en schaal.
3. Generatie van Prior Kennis: Een hoogtevlucht, met volledige dekking (zonder overlap), genereert een binaire prior kenniskaart. Deze kaart is opzettelijk ruizig, waarbij de nadruk ligt op recall boven precisie om te garanderen dat geen potentiële doelwitten worden gemist.
4. Executie: De acties van de RL-agent worden omgezet naar GPS-coördinaten en uitgevoerd via een aangepaste MAVLink applicatie op een DJI M350 drone.

Evaluatiestrategie: Zes Niveaus van Realisme

Het artikel introduceert een systematisch evaluatiekader met zes niveaus van realisme om de bijdrage van elk component aan de sim-to-real kloof te kwantificeren:

• Niveau 1: Pure simulatie (alle componenten gesimuleerd).
• Niveau 2: Real-world objectposities (van orthomosaics) in een gesimuleerde omgeving.
• Niveau 3: Real-world objectposities + Real-world prior kennis (gegenereerd uit orthomosaics).
• Niveau 4: Real-world objectposities + Real-world prior kennis + Real-world observaties (YOLOv11 toegepast op orthomosaic gewassen).
• Niveau 5: Real-world objectposities + Real-world prior kennis (verzameld tijdens vlucht) + Real-world observaties (van orthomosaics).
• Niveau 6: Volledige real-world deployment (live vlucht met echte controller en live camerabeeld).

Belangrijkste Bijdragen

1. Verbeterde Simulator: Uitbreiding van de oorspronkelijke simulator om grotere, willekeurig gevormde velden en een uitgebreide set diagonale vliegacties te bevatten.
2. Domain Randomization: Training op een diverse set van objectverdelingen, clusteraantallen en veldvormen om generalisatie te verbeteren.
3. Real-World Prior Kennis: Integratie van prior kennis afgeleid van real-world hoogtevluchten.
4. Systematische Kloofanalyse: Evaluatie over zes realisme-niveaus met 28 orthomosaic-gebaseerde herhalingen en twee real-world vluchttests om specifieke bronnen van prestatievermindering te isoleren.
5. Real-World Deployment: Demonstratie van de RL-agent die direct een DJI M350 drone aanstuurt voor navigatiebeslissingen.
6. Open Source: Publieke release van code, data en evaluatiepipelines.

Resultaten

Simulatie-naar-Realiteit Prestaties

• Efficiëntie vs. Recall Trade-off: In pure simulatie (Niveau 1) bereikte de RL-agent een 57% korter vliegpad vergeleken met een volledige dekking planner, met een 13% lagere recall (0,85 vs. 0,98).
• Real-World Orthomosaics (Niveau 4): Op real-world orthomosaic data bereikte de RL-agent een 38% korter vliegpad met een 21% lagere recall (0,77 vs. 0,98) vergeleken met volledige dekking.
• Generalisatie: De agent generaliseerde goed naar real-world objectverdelingen (de daling van Niveau 1 naar 2 was slechts ~2%). De overgang naar real-world detectienetwerken (Niveau 3 naar 4) veroorzaakte een recall-daling van 6%, wat aangeeft dat de simulatie van detectiefouten redelijk accuraat was.

Real-World Vluchttests

Twee real-world vluchten (Niveau 6) werden uitgevoerd:

• Test 1: De agent vond 73% van het onkruid in 91 stappen.
• Test 2: De agent vond slechts 23% van het onkruid in 93 stappen.
• Root Cause Analyse: De slechte prestaties in Test 2 (en de daling in Test 1 vergeleken met orthomosaic evaluaties) werden primair toegeschreven aan lage kwaliteit van de prior kennis. In Test 2 daalde de recall van de prior kennis naar 0%, waardoor de agent effectief geen sturing kreeg. In Test 1 was de recall van de prior kennis slechts 5%. De studie merkt op dat hoewel de prior kennis niet perfect hoeft te zijn, een recall van 0% leidt tot significante prestatievermindering.

Vliegpad Inefficiënties

De agent vertoonde loopgedrag (het herhaaldelijk heen en weer vliegen tussen twee punten) en vloog soms door nadat de meeste doelwitten waren gevonden. Dit suggereert dat de straf voor het herbezoeken van gebieden ($r_{nocov}$) onvoldoende was om dergelijk gedrag in complexe real-world scenario's volledig te ontmoedigen.

Betekenis en Claims

Het artikel claimt dat leer-gebaseerde adaptieve padplanning de efficiëntie van gegevensverzameling in precisielandbouw aanzienlijk kan verbeteren wanneer volledige dekking niet vereist is. Door een moderate reductie in recall te ruilen voor een substantiële reductie in vliegtijd (38% kortere paden), biedt de aanpak een levensvatbaar alternatief voor volledige dekking planners voor taken zoals onkruid- en ziektedetectie, waarbij doelwitten geclusterd zijn.

De auteurs benadrukken dat de sim-to-real kloof beheersbaar maar gevoelig is voor specifieke componenten:

• Objectverdeling: De agent generaliseert goed naar real-world ruimtelijke patronen.
• Detectienetwerken: Gesimuleerde fouten bereiden de agent effectief voor op real-world detectieruis.
• Prior Kennis: Dit is de meest kritieke factor. De studie benadrukt dat onnauwkeurige of ontbrekende prior kennis de dominante bron van falen is in real-world deployment, meer nog dan de kwaliteit van de flight controller of de live camerabeelden.

Het artikel concludeert dat hoewel de aanpak veelbelovend is voor praktische inzet, verdere verbeteringen in de kwaliteit van de prior kennis (bijv. het hergebruiken van data van eerdere vluchten) en de efficiëntie van het vliegpad (bijv. hybride routing of hiërarchische strategieën) noodzakelijk zijn voordat brede adoptie kan plaatsvinden. Het werk dient als een proof-of-concept dat in simulatie getrainde RL-policies kunnen worden overgedragen naar real-world drones voor adaptieve zoektaken.