IJmond Industrial Smoke Segmentation Dataset

Technische Samenvatting: IJmond Industrial Smoke Segmentation Dataset

1. Het Probleem
Het rapport adresseert de uitdaging van het automatisch detecteren en segmenteren van industriële rookemissies voor luchtkwaliteitsmonitoring. Traditionele methoden voor het beoordelen van rookopaciteit (zoals visuele observatie) zijn arbeidsintensief en subjectief. Er is behoefte aan robuuste computer-vision datasets om pixel-level classificatie en polygon-based segmentatie van industriële rook te faciliteren, specifiek in de context van de IJmond-regio in Nederland. Een specifieke complexiteit is het onderscheid tussen rook met lage en hoge opaciteit, waarbij visuele waarneming sterk afhankelijk is van lichtomstandigheden (zonpositie), wat de ground-truth-labeling bemoeilijkt.

2. Methodologie

• Data Collectie: De dataset bestaat uit beelden opgehaald van drie stationaire camera's ("kooks_1", "kooks_2", en "hoogovens_6_7") die worden beheerd door de lokale organisatie FrisseWind.nu. De beelden zijn rechtstreeks van deze camera's verkregen met toestemming.
• Dataset Samenstelling:
  • Rauwe beelden: 900 beelden in totaal, met 1209 annotatie-polygons. Zeven beelden bevatten geen rook.
  • Gecropte beelden: 2074 beelden, waarvan 1109 rook bevatten en pixel-level masks hebben.
• Annotatie: De annotatie vond plaats via het Roboflow-platform. Een hybride aanpak werd gebruikt:
  1. Het Segment Anything Model (SAM) werd gebruikt met smart polygon prompts om initiële masks te genereren.
  2. Deze masks werden handmatig verfijnd door de auteurs.
  3. De eerste auteur, gespecialiseerd in rookdetectie en getraind in de EPA Method 9 (visuele opaciteit), controleerde en bewerkte alle masks om kwaliteit te garanderen.
• Labeling Systeem: Er worden twee types masks onderscheiden:
  • Hoge opaciteit: > 50% opaciteit (witte pixels, waarde 255).
  • Lage opaciteit: < 50% opaciteit (grijze pixels, waarde 155).
  • Achtergrond: Zwart (waarde 0).
  • Opmerking: De auteurs waarschuwen dat de visuele opaciteit kan variëren door lichtomstandigheden, vooral bij de grenswaarde van 50%.
• Cropping en Splitsing:
  • Beelden werden gecropt op basis van domeinkennis over waar rookemissies vaak voorkomen (gebaseerd op Project RISE).
  • Er zijn twee splitsingsstrategieën:
    1. Op tijdstempel: 70% train, 10% validatie, 20% test (chronologisch gesorteerd).
    2. Op camera: Train/validatie op "kooks_2" (80/20 split), test op "hoogovens_6_7" en "kooks_1".
  • Flexibiliteit: De dataset biedt splitsen met en zonder rook ("with mask" vs. "without mask") om modellen te trainen op zowel positieve als negatieve voorbeelden.
  • Data Augmentatie voor Training: Voor de trainingset zijn vijf versies gemaakt (100%, 80%, 60%, 40%, 20%) om verschillende hoeveelheden beschikbare trainingsdata te simuleren.

3. Belangrijkste Bijdragen

• Nieuwe Dataset: Publicatie van een specifiek dataset voor industriële rooksegmentatie in de IJmond-regio, gelicentieerd onder CC BY 4.0.
• Gelaagde Annotatie: Een uniek dataset-ontwerp dat onderscheid maakt tussen lage en hoge opaciteit rook, wat cruciaal is voor compliance met milieuregelgeving.
• Hybride Annotatie Workflow: Een bewezen methode die de kracht van foundation models (SAM) combineert met menselijke expertise (EPA Method 9 training) voor hoge kwaliteit ground truth.
• Flexibele Trainingsstructuur: De dataset biedt diverse splitsingsopties (tijd en camera) en variabele datasetgroottes, wat onderzoekers in staat stelt robuustheid en generalisatie van modellen te testen onder verschillende omstandigheden.
• Openbare Toegankelijkheid: De dataset is beschikbaar via Figshare met uitgebreide metadata (JSON) en MS COCO-formaat annotaties.

4. Resultaten
Het rapport presenteert voornamelijk de dataset en de methodologie voor het creëren ervan, in plaats van de prestaties van specifieke modellen. De "resultaten" in dit technische rapport zijn de dataset zelf:

• Een verzameling van 900 rauwe en 2074 gecropte beelden.
• Hoogwaardige, handgecontroleerde segmentatiemasks.
• Een gestructureerde bestandsindeling die direct bruikbaar is voor training van deep learning modellen (pixel-level classificatie of polygon-segmentatie).

5. Significantie
Deze dataset is van groot belang voor de volgende gebieden:

• Milieuwetenschap en Regelgeving: Het biedt een objectieve basis voor het monitoren van industriële emissies, wat essentieel is voor het handhaven van luchtkwaliteitsnormen.
• Computer Vision: Het vult een gat in de beschikbaarheid van gespecialiseerde datasets voor industriële rook, een subtiel en moeilijk te segmenteren object vanwege variaties in transparantie en achtergrond.
• Open Science: Door de dataset openbaar te maken (onder een vrije licentie) en de annotatiemethode te documenteren, wordt de basis gelegd voor verdere onderzoek en ontwikkeling van geautomatiseerde monitoringssystemen.
• Financiering en Samenwerking: Het project wordt ondersteund door de NWO (Nederlandse Organisatie voor Wetenschappelijk Onderzoek) en is een resultaat van samenwerking tussen de Universiteit van Amsterdam en lokale initiatieven (FrisseWind.nu).

Kortom, dit rapport introduceert een cruciaal hulpmiddel voor het ontwikkelen van AI-systemen die kunnen bijdragen aan schone lucht en milieueerbewaking in industriële gebieden.