Space2Ground 2.0: A Multi-Source Dataset and Framework for Agricultural Monitoring through Fusion of Street-Level and Satellite Imagery

Technische Samenvatting: Space2Ground 2.0

Probleemstelling
Nauwkeurige, schaalbare monitoring van landbouwpercelen op perceelniveau ondervindt aanzienlijke beperkingen wanneer uitsluitend wordt vertrouwd op satelliet-Earth Observation (EO). Optische sensoren (bijv. Sentinel-2) worden gehinderd door bewolking en atmosferische omstandigheden, terwijl Synthetic Aperture Radar (SAR)-data (bijv. Sentinel-1), hoewel weerbestendig, complex zijn om te interpreteren en minder direct gekoppeld zijn aan specifieke kenmerken van gewassen. Bovendien is de ruimtelijke resolutie van standaard satellietystemen vaak onvoldoende voor kleine of heterogene velden. Hoewel Very High Resolution (VHR) commerciële satellieten en luchtfoto's fijnere details bieden, beperken hun hoge kosten en beperkte herbezoektijden het grootschalige operationele gebruik. Daartegenover staan traditionele in-situ veldonderzoeken, die te kostbaar en te arbeidsintensief zijn om de continue, schaalbare grondwaarheid (ground-truth) te leveren die vereist is voor modern, datagestuurd landbouwbeleid zoals het Gemeenschappelijk Landbouwbeleid (GLB). Hoewel crowdsourced straatbeeld een veelbelovend en kosteneffectief alternatief biedt, wordt de integratie ervan in operationele workflows belemmerd door heterogene acquisitiecondities, schaarse dekking, ruisachtige inhoud en het gebrek aan directe annotaties op perceelniveau.

Methodologie
Het artikel presenteert Space2Ground 2.0, een geautomatiseerd, end-to-end framework ontworpen om crowdsourced straatbeeld te transformeren naar analyse-gereed, aan percelen gekoppeld data door het te fuseren met Sentinel-1 en Sentinel-2 tijdreeksen. De methodologie werd toegepast op het groeiseizoen van 2022 in Cyprus, waarbij gebruik werd gemaakt van een referentiedataset van 325.673 landbouwpercelen uit de nationale Geospatial Aid Application (GSAA).

De verwerkingspijplijn bestaat uit vier primaire fasen:

1. Data-acquisitie en Retrieval: Het framework importeert meer dan 900.000 geo-getagde afbeeldingen verzameld via voertuiggemonteerde camera's (GoPro en smartphone) en geüpload via het Mapillary-platform. Metadata (tijdstempels, coördinaten, oriëntatie) en computer vision-producten (objectdetecties, semantische segmentatie) worden opgehaald via de Mapillary API.
2. Semantische Filtering: Om niet-agrarische inhoud (wegen, gebouwen) te verwijderen, gebruikt de pijplijn de semantische segmentatie-outputs van Mapillary. Afbeeldingen waar vegetatie en bodem minder dan 20% van de zichtbare scène beslaan, worden verwijderd, waardoor de dataset wordt teruggebracht tot ~506.000 afbeeldingen.
3. Beeldkwaliteitsbeoordeling (NR-IQA): Een no-reference beeldkwaliteitsbeoordeling maakt gebruik van vier deep learning-modellen (MANIQA, HyperIQA, CLIP-IQA, TReS). Afbeeldingen die in de laagste 5% van de kwaliteitsscores vallen volgens ten minste drie modellen, worden verwijderd, wat de collectie verder verfijnt tot ~472.000 afbeeldingen.
4. Percelassociatie en Verfijning:
   • Viewpoint Projectie: Met behulp van de cameralocatie en oriëntatie (of gereconstrueerde voertuigkoers) wordt een gezichtspunt 10 meter naar voren geprojecteerd om het geobserveerde landbouwperceel te identificeren. Dit vereenvoudigt het associatieproces vergeleken met eerdere frontale camera-benaderingen.
   • Label Toewijzing: Afbeeldingen krijgen het gewastype-label van het geïntersecteerde perceel uit de GSAA-database.
   • Clustering en Curatie: Diepe visuele kenmerken (VGG-16) worden gereduceerd via PCA en geclusterd (k-means). Clusters die gedomineerd worden door ruis of incorrecte associaties worden handmatig geïnspecteerd en verwijderd.
   • Eindoutput: De pijplijn levert een gecureerde dataset van 46.050 geannoteerde straatbeelden gekoppeld aan 8.581 landbouwpercelen over 14 gewasklassen.

Belangrijkste Bijdragen
Het artikel beschrijft drie bijdragen:

1. Geautomatiseerde Methodologie: Een schaalbare pijplijn voor het omzetten van ruwe, opportunistische crowdsourced beelden in gestructureerde, aan percelen gekoppelde datasets door middel van semantische filtering, kwaliteitscontrole en ruimtelijke associatie.
2. Multi-Source Framework: Een reproduceerbare workflow voor het integreren van satelliet EO-tijdreeksen met straatbeeld om landbouwmonitoring, visuele verificatie en geschillenbeslechting (bijv. Area Monitoring System controles) te ondersteunen.
3. Open Benchmark Dataset: De release van de Space2Ground 2.0 dataset, vergezeld van baseline machine learning/deep learning evaluaties voor multimodale gewasclassificatie, wat reproduceerbaar onderzoek faciliteert.

Experimentele Resultaten
Het nut van de dataset werd geëvalueerd via parcel-level gewasclassificatie-experimenten waarbij de benaderingen van alleen satelliet, alleen straatbeeld en multimodale fusie werden vergeleken.

• Alleen Satelliet: Sentinel-1 en Sentinel-2 tijdreeksen bleken de sterkste enkele modaliteit. Het XGBoost-model behaalde de hoogste algemene nauwkeurigheid (78,90%) en F1-score (69,09%) onder de single-modality baselines.
• Alleen Straatbeeld: De prestaties waren lager (ViT-B/16 behaalde 70,17% nauwkeurigheid), wat toe te schrijven is aan het opportunistische karakter van de data (beperkte temporele dekking per perceel) en acquisitieonzekerheden (obstructies, GPS-fouten).
• Multimodale Fusie: Het integreren van beide modaliteiten leverde significante verbeteringen op.
  • Early Fusion (Feature-level): Het concateneren van VGG-16 embeddings met satellietkenmerken verbeterde de nauwkeurigheid naar 82,65%.
  • Late Fusion (Decision-level): Het combineren van voorspellingen van een XGBoost satellietmodel en een ViT-B/16 straatbeeldmodel behaalde de beste prestaties: 84,12% algemene nauwkeurigheid en 82,78% F1-score.
  • Conclusie: De resultaten tonen aan dat straatbeeld complementaire, fijnmazige visuele informatie (gewasstructuur, bladerdak-verschijning) biedt die de classificatie verbetert wanneer het gefuseerd wordt met satelliet-tijdreeksen, wat met name de class-balanced prestatie (F1-score) ten goede komt.

Betekenis en Claims
De auteurs positioneren Space2Ground 2.0 als een praktische oplossing om de kloof te overbruggen tussen de toenemende beschikbaarheid van heterogene remote sensing data en de toepassing ervan in schaalbare landbouwmonitoring. Het framework biedt een pad naar:

• Het verbeteren van de nauwkeurigheid van parcel-level monitoring en het ondersteunen van "desk on-the-spot-checks" (OTSC) onder evoluerende GLB-regelgeving.
• Het verminderen van de afhankelijkheid van kostbare en arbeidsintensieve fysieke veldinspecties.
• Het bieden van een reproduceerbare methodologie voor het genereren van aan percelen gekoppelde datasets die naar andere regio's kunnen worden overgedragen met een vergelijkbare beschikbaarheid van data.

Het artikel erkent bescheiden beperkingen, waaronder beperkte toegankelijkheid via de weg, potentiële obstructies, GPS-onnauwkeurigheden en de inherente ruis in door boeren verklaarde referentielabels (GSAA). Het stelt echter dat de voorgestelde pijplijn, inclusief lightweight human-in-the-loop verfijning, effectief zwak gestructureerde crowdsourced data transformeert in een betrouwbare bron voor multimodale landbouw AI-toepassingen.