Aerial Inspection Behaviors via RL-based Quadrotor Control for Under-canopy Forest Environments

Technische Samenvatting: Aëriële Inspectiegedragingen via RL-gebaseerde Quadrotorbesturing voor Onder-dakbosomgevingen

Probleemstelling
Dit artikel behandelt de uitdaging van het inzetten van autonome quadrotors voor inspectiemissies binnen bosomgevingen onder het bladerdak. Hoewel quadrotors goed geschikt zijn voor afgesloten en rommelige ruimten, vertrouwen conventionele autonomiepijplijnen doorgaans op een gestructureerde besturingsstapel (bijvoorbeeld PID of geometrische tracking) in combinatie met bewegingsplanners. De auteurs onderzoeken of een geleerde, end-to-end besturing op motorniveau kan dienen als een praktische alternatieve uitvoeringslaag binnen een door een planner geleide autonomiepijplijn. Het specifieke probleem omvat het gelijktijdig bereiken van positie- en gierreferentie-tracking (view-pose tracking) om diverse inspectiegedragingen te ondersteunen, zoals punt-tot-punt navigatie, cirkelvormige scans en helixtrajecten, terwijl er wordt gewerkt onder statemeasurementruis en externe verstoringen.

Methodologie
De voorgestelde oplossing maakt gebruik van een hiërarchische autonomiearchitectuur bestaande uit drie distincte lagen:

1. Hoge-niveau Navigatie (TSP-planner): Gegeven een bekende kaart van het bos en een reeks door de gebruiker gedefinieerde inspectiegebieden, berekent een Traveling Salesman Problem (TSP)-planner de optimale volgorde voor het bezoeken van deze doelen. De kostenfunctie is gebaseerd op de Euclidische afstand, waarbij hoogte en gier worden genegeerd voor de initiële volgordegeneratie.
2. Midden-niveau Padplanning (RRT-planner):* Een geïnformeerde 3D Rapidly-exploring Random Tree Star (RRT*)-planner genereert botsingsvrije paden tussen de sequentiële doelen die door de TSP zijn gedefinieerd. Deze planner respecteert de specifieke trackingbeperkingen en veiligheidsgrenzen van de lagergelegen besturing (bijvoorbeeld het waarborgen dat waypoints binnen een straal van 3 meter liggen om rekening te houden met trainingsbeëindigingsvoorwaarden). De output is een reeks botsingsvrije waypoints en koersprofielen.
3. Lage-niveau Uitvoering (RL-besturing): De kernbijdrage is een diepe Reinforcement Learning (RL)-policy die statewaarnemingen direct afbeeldt op toerentalcommando's (RPM) voor de motoren.
   • Formulering: Het probleem wordt gemodelleerd als een deels waarneembaar Markov-besluitproces (POMDP).
   • Waarnemingsruimte: Bevat ruizige positiefout, kwaternionfout, lineaire snelheid, hoeksnelheid en de vorige actie (om Markov-eigenschappen te behouden). Tijdens het trainen wordt Gaussische ruis ingebracht om robuustheid te vergroten.
   • Actieruimte: De policy geeft genormaliseerde motortoerentallen (RPM) uit, die in de simulatie worden omgezet naar ruwe RPM-waarden.
   • Beloningsvorming: Een meercomponentenbeloningsfunctie moedigt overleving aan (het vermijden van crashes), precieze positietracking (met behulp van dual-bandbreedte exponentiële beloningen voor horizontale en verticale fouten), snelheidsminimalisatie, nauwkeurige geodetische hoektracking (gier) en actiegladheid (het bestraffen van snelle veranderingen in motorcommando's).
   • Architectuur: De policy is een Multi-Layer Perceptron (MLP) met 17 ingangen en 4 uitgangen, getraind met de Stable-Baselines3-bibliotheek binnen een Gym-PyBullet-Drones-omgeving.

Belangrijkste Bijdragen
De auteurs presenteren drie primaire bijdragen:

1. End-to-End Besturingspolicy: Een RL-gebaseerde besturing op lager niveau die statewaarnemingen direct afbeeldt op motortoerentallen voor gelijktijdige positie- en giertracking, waardoor de noodzaak voor expliciete decompositie in een buitenste positielus en een binnenste houdingsbesturingslus wordt geëlimineerd.
2. Systeemintegratie: Een demonstratie dat deze geleerde besturing betrouwbaar kan worden ingezet als uitvoeringsmodule binnen een hoger niveau navigatiekader (TSP + RRT*) voor langetrajectmissies onder het bladerdak.
3. Validatie: Het volledige systeem is gevalideerd over vijf distincte inspectiescenario's, wat de levensvatbaarheid van de RL-besturing in complexe bosachtige omgevingen bewijst.

Resultaten en Validatie
Het systeem werd geëvalueerd in een gesimuleerde bosomgeving met 200 cilindrische boomstammen. De validatie omvatte vijf specifieke scenario's:

1. Navigatie onder het bladerdak: De quadrotor navigeerde succesvol tussen acht inspectiedoelen, waarbij de TSP de volgorde bepaalde en de RRT* het pad genereerde. De RL-besturing volgde de resulterende botsingsvrije waypoints.
2. View-Pose Tracking: De drone inspecteerde vijf bomen op variërende hoogten, waarbij een veiligheidsafstand van 1 meter werd aangehouden en de lichaamsx-as naar elke boom werd gericht.
3. Stationaire Scènescanning: De quadrotor behield een vaste positie terwijl deze 360 graden draaide om een specifiek gebied te scannen.
4. Cirkelvormige Trajecttracking: De drone volgde een cirkelvormig pad rond een boomstam op een constante hoogte en een horizontale afstand van 50 cm.
5. Helixtrajecttracking: De drone voerde een helixtraject uit rond een boom, waarbij de gier varieerde om het centrum van de stam gedurende de klim/daling in beeld te houden.

In alle scenario's vertoonde de besturing soepele en nauwkeurige beweging met kleine positie- en giertrackingfouten. De resultaten geven aan dat de RL-gebaseerde besturing effectief omgaat met de uitvoering van complexe inspectiegedragingen die door de hogere planners zijn gegenereerd.

Betekenis en Beweringen
Het artikel beweert dat een geleerde stabiliserende besturing op motorniveau, wanneer ondersteund door een navigatiegeleidingslaag, een levensvatbare en effectieve uitvoeringsmodule op lager niveau is voor bosinspectie onder het bladerdak. Het werk suggereert dat end-to-end policy's de behoefte aan handmatig ontworpen besturingsdecompositie kunnen verminderen, terwijl de veiligheidswaarborgen die door hogere planners worden geboden, behouden blijven. De auteurs blijven bescheiden wat betreft directe inzet, met de opmerking dat het huidige werk een simulatiegebaseerde validatie is. Zij stellen dat toekomstig werk zich zal richten op sim-naar-real-overdracht en validatie op echte hardware om de toepasbaarheid van de besturing te beoordelen in praktische, real-world aëriële inspectiemissies.