Real-Time Branch-to-Tool Distance Estimation for Autonomous UAV Pruning: Benchmarking Five DEFOM-Stereo Variants from Simulation to Jetson Deployment

Probleemstelling

Autonome boomverzorging met onbemande luchtvaartuigen (UAV's) is een kritieke taak waarbij veiligheid voorop staat. De kernuitdaging ligt in het real-time schatten van de metrische afstand tussen een snijgereedschap en dunne takken.

• Uitdaging: De UAV moet snel en nauwkeurig beslissen of het dichterbij mag komen, of het gereedschap veilig kan worden geactiveerd, en of het moet stoppen. Dit vereist een dicht (dense) dieptekaart die snel genoeg is voor een gesloten-lus (closed-loop) besturingssysteem.
• Beperkingen: Boomtakken zijn smal, vaak zelf-occluderend en hebben een herhalende textuur (schors), wat stereo-matching moeilijk maakt. Bovendien moeten de algoritmen draaien op ingebouwde hardware (embedded GPU) met beperkte rekenkracht en energie, specifiek een NVIDIA Jetson Orin Super.
• Data-tekort: Het verkrijgen van nauwkeurige, dichte ground-truth dieptedata voor dunne takken in de echte wereld is extreem moeilijk en duur.

Methodologie

De auteurs lossen het probleem op door een combinatie van synthetische data-generatie, model-aanpassing en hardware-deployments.

1. Synthetische Dataset (UE5):

   • Er is een specifieke dataset gebouwd in Unreal Engine 5 met een gesimuleerde ZED Mini stereo-camera.
   • Opzet: 115 geïsoleerde boominstanties, gefotografeerd vanuit drie hoeken (omhoog, omlaag, parallel) op een vaste afstand van 2 meter.
   • Data: 5.520 stereo-paren met exacte, dichte EXR dieptekaarten als ground truth. Dit omzeilt het probleem van het handmatig annoteren van dunne takken.

2. Model Benchmarking (DEFOM-Stereo Variants):
   De auteurs trainen en evalueren vijf varianten van het DEFOM-Stereo model (een foundation-model gebaseerd op DINOv2 en monocular depth priors):

   • DEFOM-Stereo ViT-S & ViT-L: De volledige modellen met respectievelijk een Small en Large Vision Transformer backbone. Deze hebben een zware decoder (~66 convolutielagen).
   • DEFOM-PrunePlus: Een gebalanceerde variant. Behoudt de volledige resolutie van DINOv2 en de GRU-architectuur, maar vervangt de zware decoder door een lichtere hiërarchische decoder (~14 lagen).
   • DEFOM-PruneStereo: Een gecomprimeerde variant met lagere resolutie input (0.75x), een lichte decoder (~6 lagen) en smaller encoders.
   • DEFOM-PruneNano: De meest agressieve real-time variant. Gebruikt 0.5x resolutie, Ghost-convoluties, gedeelde encoders en Depthwise-Separable GRU's.

3. Deploymentscenario:

   • Training vindt plaats op desktop GPU's.
   • Inference en benchmarking vinden plaats op de NVIDIA Jetson Orin Super 16 GB (geïnstalleerd op de UAV).
   • Meting van zowel nauwkeurigheid als end-to-end latentie (PyTorch FP32 vs. TensorRT FP16).
   • Validatie via Zero-Shot Transfer: Toepassing op echte foto's van boomtakken zonder extra training.

Belangrijkste Bijdragen

1. Specifieke Synthetische Dataset: Een UE5-dataset met 5.520 stereo-paren voor boomverzorging, ontworpen om de exacte geometrie van dunne takken te superviseren.
2. Uitgebreide Benchmark: Een vergelijking van vijf modelvarianten die een duidelijk "drie-traps" nauwkeurigheids-hiërarchie onthult.
3. Introductie van DEFOM-PrunePlus: Een nieuw model dat een compromis biedt tussen de zware foundation-modellen en de ultra-lichte varianten, specifiek ontworpen voor edge-deployment.
4. Hardware-in-the-Loop Analyse: Eerste metingen van stereo-depth op een Jetson Orin voor UAV-toepassingen, inclusief de analyse van de afweging tussen snelheid (FPS) en nauwkeurigheid (MAE).
5. Validatie van Sim-to-Real: Bewijs dat modellen getraind op synthetische data, zonder fine-tuning, de geometrie en diepte-volgorde van echte takken behouden.

Resultaten

Nauwkeurigheid (Synthetische Testset):

• ViT-S (Volledig): Beste nauwkeurigheid (EPE 1.74 px, Diepte MAE 23.40 cm, δ1 95.90%).
• ViT-L: Iets lagere EPE (1.63 px), maar slechtere metrische diepte-resultaten en veel trager.
• PrunePlus: Middelste tier. EPE 5.87 px, Diepte MAE 64.26 cm. Dit is een aanzienlijke daling in nauwkeurigheid ten opzichte van ViT-S, maar veel beter dan de lichtere varianten.
• PruneStereo & Nano: Laagste tier. PruneStereo heeft een MAE van 57.63 cm en PruneNano >1 meter. Hun diepteschattingen zijn onbetrouwbaar voor veilig snijden.

Snelheid en Deployability (Jetson Orin):

• ViT-S: ~2.2 FPS (450 ms/frame). Te traag voor responsieve gesloten-lus besturing tijdens de laatste aanpakfase.
• ViT-L: <1 FPS. Onbruikbaar.
• PrunePlus: ~3.3 FPS (300 ms/frame). Dit is het "sweet spot". Bij een aanpak-snelheid van 0.3 m/s betekent dit een update elke ~9 cm, wat voldoende is voor veilige aansturing.
• PruneStereo & Nano: Respectievelijk 6.9 en 8.5 FPS. Hoewel snel, is de dieptefout te groot (>50 cm) om veilig te snijden; snelle, foutieve data is gevaarlijker dan langzamere, consistentere data.

Zero-Shot Transfer:

• De modellen (vooral ViT-S en PrunePlus) behouden de continuïteit van dunne takken en de scherpe randen in echte foto's, wat aantoont dat de synthetische training effectief is.

Betekenis en Conclusie

Het paper concludeert dat er een scherpe "nauwkeurigheidsafgrond" bestaat wanneer de complexe multi-scale decoder (RefineNet) van het foundation-model wordt gecomprimeerd.

• Aanbeveling: Voor autonome UAV-bomenverzorging is DEFOM-PrunePlus de meest praktische keuze. Het biedt de beste balans tussen snelheid (3.3 FPS) en voldoende nauwkeurigheid (MAE ~64 cm) voor veilige aanpak en activering van het snijgereedschap op 2 meter afstand.
• Toekomst: De volledig nauwkeurige ViT-S-modellen blijven de "gouden standaard" voor nauwkeurigheid en kunnen in de toekomst bruikbaar worden op de UAV door hardware-versnelling (zoals INT8 kwantisatie of nieuwere Jetson-chips).
• Kerninzicht: Voor dit type taak (dunne takken) is het behoud van de multi-scale decoder-architectuur cruciaal; extreme compressie leidt tot onveilige diepteschattingen, ongeacht hoe snel het model is.