Towards Robust Deep Learning-based Rumex Obtusifolius Detection from Drone Images

1. Probleemstelling

Het artikel adresseert de uitdaging van Domain Adaptation (DA) in landbouwkundige computervisie. Specifiek richt het zich op het detecteren van Rumex obtusifolius (brede zuring), een hardnekkig onkruid in graslanden.

• De Kernkwestie: Deep learning-modellen die zijn getraind op één dataset (Bron-Domein) falen vaak bij generalisatie naar nieuwe omgevingen (Doel-Domein) vanwege covariaatverschuiving. In de landbouw ontstaat deze verschuiving door verschillen in:
  • Zichtpunt: Grondniveau (robot) versus Nadir (drone/UAV).
  • Sensoren: Verschillende camera's en resoluties.
  • Omstandigheden: Verlichting, vegetatiesamenstelling en fenologische stadia.
• Huidige Beperkingen: Bestaande modellen (bijv. YOLO-varianten) getraind op specifieke datasets (zoals RumexWeeds) falen bij generalisatie naar andere datasets, waarbij de mAP50-waarden vaak dalen tot zo laag als 30%. Standaard fine-tuning van Convolutional Neural Networks (CNN's) op brondata overbrugt de kloof naar UAV-beelden onvoldoende.

2. Methodologie

Datasets

• Bron-Domein (RumexWeeds): Een dataset van hoogresolutie afbeeldingen (1920×1200 px, ~1mm GSD) vastgelegd door een grondrobot (Clearpath Husky) met een schuine hoek van 75°. Het bevat 5 subsets van verschillende locaties/data in Denemarken.
• Doel-Domein (AGSMultiRumex): Een nieuw, publiek vrijgegeven dataset bestaande uit 15 UAV-vluchten over Zwitserse weiden.
  • Acquisitie: Zenmuse P1-camera op een DJI Matrice 300 RTK, nadir-zicht, 12m hoogte, 0,105 cm/px GSD.
  • Complexiteit: Bevat diverse vegetatie (paardenbloemen, kruiden), landschapselementen (hekken, auto's) en wisselende weersomstandigheden/verlichting.

Taakhervorming

Om gevestigde DA-technieken toe te passen, hebben de auteurs de taak voor objectdetectie hervormd tot een taak voor beeldclassificatie:

• Tiling: Originele afbeeldingen worden opgesplitst in tegels van 518×518 pixels (~0,5 m²).
• Labeling:
  • 1 (Positief): Tegelloverlapping met Rumex-bounding box > drempel ($r_{th}=0,1$).
  • 0 (Negatief): Geen overlapping.
  • 2 (Onduidelijk): Gedeeltelijke overlapping; uitgesloten van training.
• Strategie: Een schuivend venster-benadering met vier passes (hoeken) zorgt voor volledige dekking en fungeert als impliciete data-augmentatie.

Modelarchitecturen

De studie vergelijkt twee backbone-families:

1. Convolutional Neural Networks (ResNets): ResNet50, 101 en 152. Geïnitieerd met ImageNet-weights.
2. Vision Transformers (ViTs): DINOv2 en DINOv3 (Small, Base, Large schalen). Deze zijn vooraf getraind met zelftoezichthoudend leren (DINO-framework) op enorme ongelabelde datasets, zonder handmatige annotaties.

Training- en Adaptatiestrategieën

1. Vanilla Supervised Training: Standaard fine-tuning (Vriezen versus Ontvriezen van backbone-lagen).
2. Unsupervised Domain Adaptation (UDA): Toegepast op ResNets met Moment Matching (M2S2DA voor single-source, M3SDA-$\beta$ voor multi-source). Dit aligneert de eerste en tweede statistische momenten (gemiddelde en covariantie) van bron- en doel-functieverdelingen.
3. Parameter-Efficient Fine-Tuning (PEFT): Toegepast op ViTs met LoRA (Low-Rank Adaptation). Dit vriest de vooraf getrainde weights in en traint alleen low-rank decompositiematrices, wat de rekenkosten verlaagt terwijl adaptatie mogelijk blijft.

3. Belangrijkste Bijdragen

• Nieuwe Dataset: Vrijgave van AGSMultiRumex, een uitdagende UAV-gebaseerde dataset met 15 diverse vluchten, specifiek ontworpen om robuustheid en domeinverschuiving bij onkruiddetectie te testen.
• Empirische Vergelijking van Architecturen: Een systematische evaluatie die aantoont dat Vision Transformers (ViTs) vooraf getraind met zelftoezichthoudende doelen (DINOv2/v3) inherent beter omgaan met domeinverschuivingen dan CNN's (ResNets).
• Efficiëntie van LoRA: Aantonen dat parameter-efficiënte fine-tuning (LoRA) op grote ViTs state-of-the-art prestaties bereikt zonder de rekenkosten van volledige fine-tuning.
• Analyse van Falingsmodi: Gedetailleerde identificatie van specifieke uitdagingen, zoals verwarring met grote paardenbloemen en vals-positieven door niet-vegetatie objecten (bijv. auto's) als gevolg van bias in de brondataset.

4. Experimentele Resultaten

Prestatiemetingen

Prestaties worden gemeten aan de hand van de F1-score (specifiek voor de minderheidsklasse, Rumex) over alle 15 doelvluchten.

Model / Strategie	Mediaan F1 ($\tilde{F}_1$)	Observaties
ResNet (Vanilla)	~0,15 – 0,20	Slechte generalisatie; faalt zelfs met volledige fine-tuning.
ResNet + M3SDA-$\beta$	~0,45	Expliciete domeinadaptatie verbetert resultaten aanzienlijk, maar blijft gematigd.
DINOv3 (Frozen)	~0,50 – 0,60	Sterke zero-shot transfer; presteert beter dan aangepaste ResNets ondanks geen fine-tuning.
DINOv3 + LoRA	~0,81	Beste Prestatie. Hoge precisie en recall over de meeste vluchten.

Belangrijkste Bevindingen

• ViT-Overwicht: Groot-schalige zelftoezichthoudende pre-training (DINOv3) biedt rijke, algemene representaties die intrinsiek robuust zijn tegen domeinverschuivingen. Ze overtreffen zelfs ResNets die zijn getraind met complexe DA-technieken.
• LoRA-Effectiviteit: Fine-tuning van DINOv3 met LoRA (Rank 32) levert de beste resultaten op ($\tilde{F}_1 \approx 0,81$), wat bewijst dat het aanpassen van grote foundation-modellen haalbaar en zeer effectief is voor de landbouw.
• Precisie versus Recall Trade-off:
  • ResNet + DA: Hoge recall maar lage precisie (veel vals-positieven).
  • Frozen ViT: Hoge precisie maar lage recall (mist veel onkruid).
  • ViT + LoRA: Balanceert beide, met een mediaan recall en precisie >0,8.
• Aanhoudende Uitdagingen: Bepaalde vluchten (bijv. Halden ID 3, Waldegg ID 4) blijven moeilijk vanwege extreme verlichting, vroege fenologische stadia of verwarrende soorten (paardenbloemen) die niet aanwezig waren in de brondata.

5. Betekenis en Conclusie

• Paradigmaverschuiving: Het artikel suggereert dat voor landbouwkundige visietaken met significante domeinverschuivingen, het benutten van grote, zelftoezichthoudend vooraf getrainde ViTs een effectievere strategie is dan het ontwikkelen van complexe domeinadaptatietechnieken voor traditionele CNN's.
• Praktische Impact: Het demonstreert dat bestaande, publiek beschikbare datasets (zoals RumexWeeds) effectief kunnen worden hergebruikt voor nieuwe contexten (UAV's) als de juiste architectuur (ViT) en adaptatiemethode (LoRA) worden gekozen, wat de behoefte aan enorme, taakspecifieke gelabelde datasets vermindert.
• Toekomstige Richtingen: Hoewel architectuur cruciaal is, benadrukt de studie dat datasetbias (bijv. gebrek aan verwarrende soorten zoals paardenbloemen of auto's in de bron) een knelpunt blijft. Toekomstig werk moet zich richten op het cureren van meer diverse trainingsdata om edge-cases en zeldzame verstorende factoren aan te pakken.

Kortom, de auteurs slaan succesvol de brug tussen grondgebaseerde en luchtmogelijke onkruiddetectie, waarbij een robuuste F1-score van 0,81 wordt bereikt door zelftoezichthoudende Vision Transformers te combineren met parameter-efficiënte fine-tuning, terwijl tegelijkertijd een waardevolle nieuwe dataset wordt vrijgegeven voor de onderzoeksgemeenschap.