Vines-DB: An RGB image dataset for multi-species ornamental vine segmentation

Technische Samenvatting: Vine-DB Dataset voor Multi-Species Segmentatie van Sierrankillers

Probleemstelling
Bladerdekbedekking is een cruciale eigenschap in de horticultuur, die direct invloed heeft op irrigatiebeheer, de beoordeling van gewasgroei en de evaluatie van plantprestaties. Traditionele methoden voor het meten van bladerdekbedekking, zoals handmatig traceren of semi-geautomatiseerde drempelwaarde-instrumenten (bijv. ImageJ), zijn echter arbeidsintensief en moeilijk schaalbaar. Deze conventionele benaderingen hebben aanzienlijke problemen met structureel complexe soorten zoals sierrankillers, die een klimmende groeivorm vertonen, overlappend gebladerte en variabele bladerdekarchitecturen hebben. Er is behoefte aan geautomatiseerde, op deep learning gebaseerde oplossingen om veldfenotypering voor deze uitdagende plantstructuren te faciliteren.

Methodologie
De auteurs hebben Vine-DB ontwikkeld, een hoogwaardige RGB-afbeeldingsdataset die specifiek is ontworpen voor multi-class instance segmentatie van sierrankillers.

• Gegevensverzameling: De dataset bestaat uit 1.218 originele hoogwaardige afbeeldingen die zijn vastgelegd bij de Utah Agricultural Experiment Station in de Greenville Research Farm in Logan, Utah, tijdens de groeiseizoenen van 2023 en 2024 (juli–oktober).
• Onderwerpen: De studie richt zich op zeven soorten sierrankillers: Akebia quinata ('Shirobana'), Campsis radicans ('Monbal'), Campsis × tagliabuana ('Madame Galen'), Hydrangea anomala petiolaris, Lonicera × heckrottii ('Goldflame'), Parthenocissus quinquefolia en Wisteria floribunda ('Texas Purple'). Deze werden gekweekt op 4 ft × 8 ft trellis-constructies.
• Beeldprotocol: Afbeeldingen werden vastgelegd met een iPhone 16 Pro (48 MP) gemonteerd op een statief op een hoogte van 0,6 m en een afstand van 1 m van het bladerdek. Om consistentie te waarborgen, werden de afbeeldingen genomen tussen 10:00 AM en 12:00 PM onder natuurlijk daglicht tegen zwarte of witte Styrofoam achtergronden om achtergrondruis te minimaliseren en het contrast te verbeteren.
• Annotatie: Alle originele afbeeldingen zijn handmatig geannoteerd met het Roboflow-platform. Getrainde annotatoren creëerden polygoon-gebaseerde instance segmentatie-maskers voor acht klassen: de zeven soorten rankillers en een achtergrondklasse. De overeenstemming tussen annotatoren werd beoordeeld op een subset van 150 afbeeldingen, wat een gemiddelde Intersection over Union (IoU) opleverde van 0,89 ± 0,06.
• Preprocessing en Augmentatie: De originele afbeeldingen zijn naar 640 × 640 pixels verkleind met behulp van letterbox padding, en de pixelwaarden zijn genormaliseerd naar het bereik [0, 1]. Voor de modelontwikkeling werden technieken voor data-augmentatie (willekeurige rotatie, spiegeling, aanpassing van helderheid/contrast en cropping) toegepast, waardoor de werkende dataset werd uitgebreid naar 2.307 afbeeldingen.
• Dataset Split: De uitgebreide dataset werd via gestratificeerde steekproeftrekking verdeeld in subsets voor training (2.019 afbeeldingen), validatie (192 afbeeldingen) en test (96 afbeeldingen). Afbeeldingen van dezelfde plant werden binnen een enkele subset gehouden om datalekken (data leakage) te voorkomen.

Belangrijkste Bijdragen

1. Gespecialiseerde Dataset: Vine-DB biedt de eerste hoogwaardige, op het veld gebaseerde RGB-dataset voor zeven verschillende soorten sierrankillers, waarbij de temporele variaties in bladerdekontwikkeling over meerdere maanden worden vastgelegd.
2. Hoogwaardige Annotaties: De dataset bevat door experts geannoteerde, polygoon-gebaseerde instance segmentatie-maskers voor acht klassen, wat pixel-niveau analyse mogelijk maakt en de training van geavanceerde deep learning-modellen ondersteunt.
3. Reproduceerbaarheid en Transparantie: De repository maakt een duidelijk onderscheid tussen originele, niet-geaugmenteerde afbeeldingen en de geaugmenteerde derivaten, wat zorgt voor transparantie in de datasetcompositie. Het biedt gegevens in COCO instance segmentatieformaat en optionele YOLO-formaat labels.
4. Benchmark Nut: Door realistische veldomstandigheden vast te leggen, inclus�s natuurlijke variabiliteit in verlichting en seizoensgebonden groei, dient de dataset als een robuuste benchmark voor het evalueren van computer vision-modellen in precisielandbouw en stedelijke ecologie.

Resultaten en Gegevenskenmerken
Het artikel presenteert de datasetspecificaties in plaats van specifieke deep learning-modellen te trainen om prestatie-indicatoren te rapporteren. De kerndataset bevat 1.218 originele afbeeldingen afkomstig van 168 unieke plantexemplaren (24 planten per soort). De uiteindelijke werkende dataset voor modelontwikkeling bestaat uit 2.307 afbeeldingen. De dataset legt de morfologische diversiteit en structurele complexiteit van de doelsoorten succesvol vast, met annotaties die geverifieerd zijn voor een hoge consistentie (IoU ~0,89).

Betekenis en Claims
De auteurs positioneren Vine-DB als een fundamentele bron om de overgang van handmatige beeldanalyse naar geautomatiseerde, op deep learning gebaseerde veldfenotypering te ondersteunen. De dataset wordt beweerd waardevol te zijn voor:

• Het ontwikkelen en benchmarken van computer vision-modellen voor complexe plantarchitecturen.
• Het mogelijk maken van toepassingen zoals automatische schatting van bladerdekbedekking, soortidentificatie en schaalbare veldfenotypering.
• Het faciliteren van onderzoek naar temporele veranderingen in bladerdekontwikkeling en plantreacties onder veldomstandigheden.
• Het ondersteunen van transfer learning en model-generaliseerbaarheid wanneer geïntegreerd met andere datasets.

Het artikel hanteert een bescheiden reikwijdte door beperkingen te vermelden, zoals de enkele geografische locatie, de beperking tot het actieve groeiseizoen (exclusief rustperiode), en potentiële kleine inconsistenties in annotaties door morfologische gelijkenissen tussen soorten. De primaire bijdrage is het leveren van een gestandaardiseerde, hoogwaardige dataset om onderzoek in precisielandbouw en stedelijke ecologie te versnellen.