Heuristic Style Transfer for Real-Time, Efficient Weather Attribute Detection

Titel: Heuristische Stijltransfer voor Real-time, Efficiënte Detectie van Weer-Attributen

1. Het Probleem

Bestaande systemen voor weerherkenning in RGB-beelden hebben vaak te kampen met twee belangrijke beperkingen:

1. Beperkte scope: Veel modellen detecteren alleen het algemene weertype (bijv. zonnig, regen, sneeuw, mist) en missen cruciale secundaire effecten zoals zichtbaarheid, grondtoestand (nat/droog/sneeuw), verlichting of aanwezigheid van spatten op de voorruit.
2. Rekenkracht: State-of-the-art modellen (zoals grote multimodale AI of diepe CNN's) zijn vaak te zwaar voor real-time uitvoering op ingebouwde systemen (embedded systems), zoals dashcams of drones, die beperkte rekenkracht en energiebudget hebben.

Het doel van dit onderzoek is het ontwikkelen van lichtgewicht, real-time modellen die niet alleen het weertype, maar ook 11 complementaire attributen (totaal 53 klassen) kunnen voorspellen, met als kernidee dat weersomstandigheden zich manifesteren als veranderingen in de visuele stijl van een beeld.

2. Methodologie

De auteurs hypotheseren dat weersomstandigheden de "stijl" van een scène veranderen (bijv. verduistering door bewolking, reflecties op nat wegdek, vervaging door mist) zonder de intrinsieke inhoud van objecten noodzakelijk te veranderen. Ze benutten technieken uit het veld van style transfer (zoals Gram-matrices en PatchGAN) binnen een multi-task leerframework.

Er worden twee families van architecturen voorgesteld:

• RTM (ResNet50-Truncated-MultiTasks):

  • Gebaseerd op een afgeknotte ResNet-50 (zonder de laatste lagen zoals avgpool en fully connected).
  • Het idee is dat lagere en tussenliggende lagen van een netwerk beter "stijl" (textuur, kleur, contrast) vastleggen dan diepere lagen die semantische objectherkenning doen.
  • Elke taak (bijv. zichtbaarheid, grondtoestand) heeft een eigen aandachtsmechanisme (attention mechanism) en een specifieke classifier.
  • RTMG is een variant die globale Gram-matrices toevoegt om globale stijlcorrelaties te vangen.

• PMG (PatchGAN-MultiTasks-Gram):

  • Gebaseerd op een PatchGAN-architectuur. In plaats van het hele beeld als één eenheid te behandelen, wordt het beeld opgedeeld in lokale patches met disjuncte receptieve velden.
  • Innovatie: De auteurs berekenen lokale Gram-matrices per patch. Dit behoudt de ruimtelijke coherentie van de stijl (bijv. een dichte mistlaag in één deel van het beeld), wat een zwak punt is van traditionele globale Gram-matrices.
  • Deze lokale "stijl-tokens" worden verwerkt via een Transformer-achtige encoder en vervolgens geaggregeerd per taak via task-conditioned pooling.
  • Dit model is extreem compact (< 5 miljoen parameters).

Dataset:
De auteurs hebben een nieuwe dataset samengesteld van 503.875 RGB-afbeeldingen (dag en nacht), afkomstig uit 227 video's. Elke afbeelding is handmatig geannoteerd door drie annotatoren op 12 weer-gerelateerde criteria (53 klassen), waaronder weertype, intensiteit, zicht, hemelconditie, grondtoestand, verlichting en aanwezigheid van water/sneeuw op de voorruit. De dataset is openbaar beschikbaar onder een CC-BY licentie.

3. Belangrijkste Bijdragen

1. Conceptuele brug tussen Stijl en Weer: Het bewijs dat visuele stijlcues (geëxtraheerd via heuristieken uit style transfer) voldoende informatief zijn om complexe weerattributen te voorspellen.
2. Nieuwe Architecturen: Introductie van RTM en PMG, waarbij voor het eerst lokale Gram-matrices worden toegepast binnen een PatchGAN-structuur voor multi-task learning.
3. Modulariteit: Een uniek framework waarbij taak-specifieke "heads" in- of uitgeschakeld kunnen worden zonder de rest van het model te beïnvloeden, wat de rekencost dynamisch aanpasbaar maakt.
4. Open Resource: Publicatie van een grote, geannoteerde dataset (500k+ afbeeldingen) en de volledige code.
5. Real-time Implementatie: Bewezen werking op een Raspberry Pi 5, wat de bruikbaarheid voor embedded systemen aantoont.

4. Resultaten

De modellen zijn getest op een interne testset en diverse externe datasets (Image2Weather, MWI, Kaggle) in een "zero-shot" setting (zonder extra training).

• Interne Prestaties: Beide modellen presteren uitzonderlijk goed op de interne testset, met F1-scores boven de 96%.
  • RTM behaalde de hoogste gemiddelde F1-score (0,9898).
  • PMG behaalde een score van 0,9845, wat zeer vergelijkbaar is, maar met veel minder parameters.
• Generalisatie (Zero-shot): Op externe datasets presteerde RTM consistent beter (F1 > 0,90 op sommige sets), wat wijst op een sterkere generalisatie door de grotere modelcapaciteit. PMG presteerde iets lager maar nog steeds robuust (F1 > 0,78).
• Efficiëntie:
  • PMG heeft minder dan 2,5 miljoen parameters.
  • Op een Raspberry Pi 5 bereikt PMG een frame rate van 25,1 fps (real-time) en PM (zonder Gram) zelfs 30,3 fps.
  • RTM (24M parameters) draait op 18,4 fps, maar kan door het uitschakelen van onnodige taak-heads worden geoptimaliseerd naar 24,7 fps.
• Analyse: Grad-CAM visualisaties tonen aan dat de modellen met aandachtsmechanismen zich correct richten op relevante gebieden (bijv. de lucht voor "Sky Condition"), terwijl t-SNE-projecties duidelijke scheidingen tussen klassen tonen.

5. Betekenis en Conclusie

Dit werk toont aan dat het benutten van visuele stijl een krachtige en efficiënte aanpak is voor weerdetectie, zonder zware objectherkenningsmodellen nodig te hebben.

• Praktische Toepassing: De PMG-architectuur biedt de beste balans tussen prestaties, rekencost en geheugenverbruik, waardoor deze ideaal is voor ingebouwde systemen in voertuigen (ADAS), drones en verkeersmanagement.
• Veiligheid: Door real-time detectie van grondtoestand, zicht en verlichting kunnen autonome voertuigen hun snelheid en waarschuwingen dynamisch aanpassen aan de werkelijke omstandigheden, wat de verkeersveiligheid verhoogt.
• Toekomst: De auteurs plannen het integreren van instrumentele data (weerstations) om de subjectiviteit van annotaties (zoals "intensiteit") te verminderen en de modellen verder te kalibreren voor operationeel gebruik.

Kortom, dit artikel levert een modulaire, schaalbare en open-source oplossing voor real-time weermonitoring die de kloof tussen theoretische stijltransfer en praktische verkeersveiligheid overbrugt.