A Leaf-Level Dataset for Soybean-Cotton Detection and Segmentation

Titel: Een dataset op bladniveau voor detectie en segmentatie van soja en katoen

1. Probleemstelling

Soja (Glycine max) en katoen (Gossypium hirsutum) zijn cruciale gewassen voor de landbouw, met name in Brazilië. Een groot managementprobleem is de aanwezigheid van "vrijwillige planten" (volunteer plants) – gewassen die ontspruiten uit restzaden van voorgaande seizoenen – en onkruid. Deze concurreren om resources en fungeren als gastheer voor plagen zoals de katoenbolwants (Anthonomus grandis).

De traditionele aanpak, namelijk het massaal bespuiten met herbiciden, leidt tot resistente onkruidpopulaties, hogere kosten en milieuschade. Er is een dringende behoefte aan precisielandbouwtechnieken die vrijwillige planten en onkruid kunnen onderscheiden van de actieve gewassen. Hoewel deep learning veelbelovend is, ontbreken er tot nu toe robuuste datasets die de complexiteit van echte landbouwvelden weerspiegelen, zoals:

• Overlappende bladeren en bladerdichtheid.
• Verschillende groeistadia (van opkomst tot volle rijping).
• Variërende lichtomstandigheden en onkruiddruk.
• Gebrek aan instance-segmentatie (per blad) in plaats van alleen objectdetectie of semantische segmentatie.

2. Methodologie

Dataverzameling:

• Locatie: Een commercieel landbouwbedrijf in Jaboticabal, São Paulo, Brazilië.
• Periode: 10 weken, van 06:00 tot 18:00 uur om variatie in lichtinval te vangen.
• Apparatuur: Persoonlijke smartphones (verschillende modellen) met een resolutie van 1600 × 1200 pixels, vastgehouden op heup- tot kniehoogte.
• Dataset: Er werden 700 foto's gemaakt, waarvan 640 na kwaliteitscontrole (verwijdering van dubbele of slechte kwaliteit) in de definitieve dataset werden opgenomen.
• Omstandigheden: Geen herbiciden werden gebruikt tijdens de collectie, waardoor diverse onkruidsoorten en vrijwillige planten in de achtergrond aanwezig waren.

Annotatieproces:

• Tooling: Gebruik van CVAT (Computer Vision Annotation Tool) ondersteund door het Segment Anything Model (SAM).
• Mensen: Twee experts voor het labelen en één reviewer voor consistentie.
• Criteria: Elk zichtbaar soja- of katoenblad werd gelabeld met een bounding box en een instance-segmentatiemasker, ongeacht grootte, gezondheid of overlap. Onkruid, grond en te sterk verduisterde bladeren werden niet gelabeld.
• Datakwaliteit: Er werden 12.411 annotaties gegenereerd (7.221 soja, 5.190 katoen). Dubbele labels werden verwijderd met een IoU (Intersection over Union) drempel van 90%. "Pixel-blobs" (artefacten van SAM) werden verwijderd via connected component analysis met OpenCV.

Validatie en Modellering:

• Model: YOLO11 (medium variant) werd geselecteerd vanwege de balans tussen snelheid en nauwkeurigheid en de native ondersteuning voor zowel detectie als segmentatie.
• Optimalisatie: Hyperparameters werden geoptimaliseerd met Multiobjective Tree-structured Parzen Estimator (MOTPE) via Optuna om F1-score en mAP50-95 te maximaliseren.
• Validatiestrategie:
  • 80/10/10 splitsing (train/val/test).
  • Vijfvoudige kruisvalidatie (5-fold cross-validation).
  • Data-ablatiestudie om het effect van datasetgrootte te analyseren.
• Metingen: Precision, Recall, F1-score, mAP50 en mAP50-95.

3. Belangrijkste Bijdragen

1. Nieuwe Openbare Dataset: De eerste uitgebreide dataset specifiek voor blad-niveau detectie en instance-segmentatie van soja en katoen in realistische veldomstandigheden.
   • 640 hoogwaardige afbeeldingen.
   • 12.411 gelabelde bladeren met zowel bounding boxes als pixel-perfect masks.
   • Inclusief variatie in groeistadia, licht en onkruiddruk.
2. Robuuste Annotatie-Workflow: Een gepubliceerd proces dat experts combineert met AI-ondersteuning (SAM) en geautomatiseerde foutopsporing (IoU-filtering en blob-removal) om hoge kwaliteit te garanderen.
3. Benchmarking: Een uitgebreide vergelijking van moderne YOLO-varianten (v8, v9, v10, v11) en Transformer-modellen (RT-DETR) op deze specifieke landbouwtaak.
4. Inzicht in Prestaties: Een diepgaande analyse van hoe modelprestaties variëren per groeistadium, gewas en taak (detectie vs. segmentatie), inclusief een foutenanalyse (error analysis).

4. Resultaten

• Modelprestaties:
  • Detectie: YOLO11m behaalde de beste resultaten met een mAP50 van 0,862 en een F1-score van 0,818.
  • Segmentatie: YOLO11m-seg behaalde een F1-score van 0,853 en een mAP50 van 0,895.
  • Snelheid: YOLO11m biedt een uitstekende balans, met inferentietijden van ~6,27 ms (detectie) en ~6,10 ms (segmentatie) op een NVIDIA L40S GPU, wat sneller is dan RT-DETR en vergelijkbaar met YOLOv8.
• Hyperparameter-Optimalisatie: De geoptimaliseerde modellen presteerden 7% beter op de mAP50-95-metriek vergeleken met de standaard YOLO11-configuratie.
• Groeistadia:
  • Prestaties zijn het hoogst in vroege stadia (minder overlap).
  • In dichte kanopies (late stadia) neemt de prestatie af door occlusie (overlapping), vooral bij segmentatie.
  • Katoen presteerde over het algemeen iets beter dan soja, waarschijnlijk door minder morfologische overeenkomsten met het achtergrondonkruid.
• Ablatie-Studie (Datasetgrootte):
  • Detectie taken plateau rond de 7.000 gelabelde objecten.
  • Segmentatie taken blijven verbeteren tot ongeveer 9.000 - 11.000 objecten.
  • Grotere modellen (YOLO11-X) leverden slechts marginale winst ten opzichte van de medium variant (M) bij een aanzienlijk hogere rekenkosten, wat aangeeft dat YOLO11-M de optimale keuze is voor deze dataset.
• Foutenanalyse:
  • False Negatives (gemiste bladeren) nemen toe in dichte kanopies door occlusie.
  • False Positives (foutieve detecties) komen vaker voor bij segmentatie dan bij detectie, vooral bij soja in late stadia door morfologische gelijkenis met onkruid.
  • Misclassificatie (verkeerd gewas labelen) is verwaarloosbaar laag (<1%), wat aantoont dat het model soja en katoen goed kan onderscheiden.

5. Betekenis en Toepassing

Deze dataset en de bijbehorende resultaten vormen een fundamentele stap vooruit in precisielandbouw:

• Selectief Spuiten: Het stelt landbouwers in staat om algoritmen te trainen die specifiek vrijwillige planten en onkruid kunnen bespuiten, terwijl de gewassen worden gespaard, wat herbicidegebruik drastisch vermindert.
• Plagenbestrijding: Door vrijwillige katoenplanten nauwkeurig te detecteren, kan de levenscyclus van de katoenbolwants worden onderbroken, wat essentieel is voor de "sanitaire void" (sanitaire leegstand) beleidsmaatregelen.
• Fenotyping: De instance-segmentatie maakt het mogelijk om precieze morfologische kenmerken (bladgrootte, oppervlakte) te extraheren voor ziektebewaking en opbrengstvoorspelling.
• Open Science: De dataset is publiek beschikbaar onder een CC_BY_4.0 licentie, wat verdere onderzoek en ontwikkeling in de landbouwcomputer vision stimuleert.

Kortom, dit werk levert een cruciaal ontbrekend schakel in de data-infrastructuur voor landbouw, waarbij het de kloof overbrugt tussen theoretische deep learning-modellen en de complexe realiteit van landbouwvelden.