CAFOSat: A Strongly Annotated Dataset for Infrastructure-Aware CAFO Mapping Using High-Resolution Imagery

Technische Samenvatting: CAFOSat

Probleemstelling
Geconcentreerde veehouderijbedrijven (Concentrated Animal Feeding Operations, CAFO's) zijn cruciale knooppunten voor ziektebewaking en planning van klimaatresistentie, maar vormen tegelijkertijd aanzienlijke risico's voor het milieu en de volksgezondheid. Ondanks hun belang wordt de schaalbare mapping van CAFO's belemmerd door gefragmenteerde databronnen, ruisachtige puntlocaties (die vaak verwijzen naar het middelpunt van een perceel of toegangswegen in plaats van de voetafdruk van de faciliteit), inconsistente annotaties en systematische onderrapportage. Bestaande datasets zijn vaak geografisch beperkt, missen details op infrastructuurniveau (bijv. stallen, mestvijvers) en lijden aan een gebrekkige generalisatie door de visuele variabiliteit van CAFO's over verschillende veeartsen en regio's heen. Bovendien vormt het arbeidsintensieve karakter van het handmatig verfijnen van zwakke geolocaties om deze uit te lijnen met hoogresolutiebeelden een bottleneck voor het creëren van hoogwaardige trainingsdatasets.

Methodologie
De auteurs introduceren CAFOSat, een sterk geannoteerde, infrastructuur-bewuste dataset die 20 Amerikaanse staten beslaat. De constructie van CAFOSat volgt een vijfstappenpipeline die ontworpen is om zwakke, publiekelijk beschikbare inventarissen om te zetten in hoogwaardige trainingsdata:

1. Data Aggregatie & Standaardisatie: Het proces begint met het aggregeren van CAFO-locatie-inventarissen uit federale, staats- en academische bronnen (bijv. CAFOMaps). Initiële coördinaten worden in kaart gebracht met hoogresolutie NAIP-beelden (0,6m resolutie), waarna vaste patches van 833×833 pixels worden geëxtraheerd.
2. AI Annotator & Pre-filtering: Om de handmatige inspanning te verminderen, wordt een ResNet-gebaseerde binaire classifier getraind op een kleine set handmatig geverifieerde monsters (uit RegLab). Deze "AI annotator" filtert kandidaat-patches uit de bredere inventaris voor met een hoge betrouwbaarheid (softmax ≥ 0,8) voor menselijke beoordeling.
3. Coördinaat Verfijning (Weak-to-Strong): Een nieuw verfijningsalgoritme zet ruisachtige coördinaten om in ruimtelijk nauwkeurige puntannotaties. Dit omvat:
   • Het extraheren van vijf overlappende patches (één gecentreerd, vier diagonaal verschoven) rond de zwakke coördinaat.
   • Het toepassen van GradCAM om klasse-specifieke aandacht-heatmaps te genereren voor patches die als CAFO worden voorspeld.
   • Het drempelwaarde toepassen op heatmaps om activatieregio's te isoleren, deze om te zetten naar polygonen, en single-linkage clustering toe te passen om aaneengesloten structuren te groeperen.
   • Het berekenen van het zwaartepunt van de grootste cluster als de verfijnde coördinaat.
4. Handmatige Verificatie & Infrastructuur Annotatie: In totaal worden 4.513 monsters handmatig geverifieerd. Naast binaire classificatie voorzien annotatoren de data van infrastructuur-niveau labels, inclus�els aantallen stallen en mestvijvers, en de aanwezigheid van weidegebieden of andere structuren.
5. Gecureerde Negatieven & Synthetische Augmentatie:
   • Hard Negatives: Niet-CAFO monsters worden gegenereerd via landbedekking-gestuurde sampling (gestratificeerd over grasland, landbouwgrond, etc.) met een buffer van 1,5 km rond bekende CAFO's om te garanderen dat het echte negatieven zijn.
   • Synthetische Augmentatie: Een prompt-gestuurde pipeline gebruikt GroundingDINO voor open-vocabulary infrastructuurdetectie en Stable Diffusion voor inpainting. Dit verwijdert specifieke structuren (bijv. stallen) en vervangt deze door semantisch plausibele achtergrondinhoud (bijv. grasland), waardoor label-behoudende variaties worden gecreëerd om de trainingsdistributie te diversifiëren zonder het CAFO-type label te wijzigen.

Belangrijkste Bijdragen

• Benchmark Dataset: CAFOSat bestaat uit meer dan 45.000 beeldpatches (39.257 basis + 6.454 synthetisch) verspreid over 20 staten en vier belangrijke CAFO-typen (Varkens, Pluimvee, Zuivel, Rundvee). Het bevat unieke infrastructuur-niveau annotaties en een gecureerde set harde negatieven.
• Schaalbare Annotatie Pipeline: De auteurs stellen een human-in-the-loop framework voor dat de handmatige annotatie-inspanning aanzienlijk vermindert en tegelijkert de kwaliteit van de labels verbetert door middel van AI pre-filtering en GradCAM-gebaseerde verfijning.
• Uitgebreide Evaluatie: Het artikel biedt een rigoureuze benchmark-suite die moderne CNN's, Vision Transformers (ViT, Swin) en Vision-Language modellen (CLIP, RemoteCLIP) evalueert in zowel in-distributie als out-of-distribution (niet-geziene staten) settings.
• Reproduceerbaarheid: Alle code, dataprocessing-scripts, annotatietools en dataloaders worden publiekelijk vrijgegeven om adoptie te faciliteren.

Resultaten

• Impact van Annotatiekwaliteit: Experimenten tonen aan dat het verfijnen van zwakke coördinaten om ze uit te lijnen met de werkelijke infrastructuur de classificatieprestaties aanzienlijk verbetert. Modellen getraind op verfijnde patches presteren consistent beter dan modellen getraind op zwakke survey-coördinaten over alle architecturen heen.
• Modelprestaties: Transformer-gebaseerde modellen (bijv. Swin-B, EfficientNet) presteren over het algemeen beter dan klassieke CNN's (ResNet) wat betreft nauwkeurigheid, F1-score en mean Average Precision (mAP). Pluimvee wordt geïdentificeerd als de makkelijkste klasse om te herkennen, terwijl Zuivel de meest uitdagende is vanwege de visuele gelijkenis met rundveefaciliteiten.
• Cross-Dataset Generalisatie: Modellen getraind op CAFOSat generaliseren goed naar externe datasets (METER-ML, RegLab) en niet-geziene staten, terwijl modellen getraind op kleinere, minder diverse datasets moeite hebben bij transfer naar CAFOSat.
• Synthetische Augmentatie: Trainen op de synthetisch geaugmenteerde set levert prestaties op die vergelijkbaar zijn met trainen op handmatig geverifieerde data (een daling van slechts ~0,6% F1 en ~2,2% mAP voor Swin-B), wat suggereert dat gerichte inpainting effectief de trainingsdata kan diversifiëren en de robuustheid kan verbeteren, met name voor transformer-gebaseerde modellen.

Betekenis
Het artikel stelt dat de mismatch tussen publieke inventaris-coördinaten en de werkelijke voetafdruk van faciliteiten een primaire bottleneck is voor het in kaart brengen van CAFO's. CAFOSat pakt dit aan door aan te tonen dat het verfijnen van zwakke puntlabels een eerste-orde drijfveer van prestaties is, die vaak de impact van het veranderen van modelarchitecturen evenaart. Door een dataset te bieden met infrastructuur-niveau granulariteit en robuuste negatieve sampling, maakt CAFOSat nauwkeurigere risicobeoordeling en epidemiologische modellering mogelijk. Het werk benadrukt dat globale context en lay-out cues (goed gevangen door transformers) cruciaal zijn voor het onderscheiden van CAFO's van visueel gelijkaardige agrarische faciliteiten. Hoewel de dataset gericht is op de VS en de biases uit publieke inventarissen overneemt, legt het een fundament voor schaalbare, infrastructuur-bewuste veehouderij-mapping en toekomstig werk in detectie, segmentatie en temporele monitoring.