U-Net with Hadamard Transform and DCT Latent Spaces for Next-day Wildfire Spread Prediction

1. Probleemstelling

Wildebranden vormen een van de meest verwoestende natuurrampen, met toenemende frequentie en ernst als gevolg van klimaatverandering. Traditionele methoden voor het voorspellen van de verspreiding van branden (zoals empirische modellen, deterministische simulaties en statistische regressie) hebben moeite om de complexe, niet-lineaire interacties tussen omgevingsvariabelen vast te leggen.

Hoewel diep leren (deep learning) kansen biedt voor data-gedreven benaderingen, staan bestaande modellen voor uitdagingen:

• Hoge rekenkosten: Veel state-of-the-art modellen (zoals UNet met ResNet-encoders) zijn te zwaar voor real-time toepassingen, vooral in omgevingen met beperkte middelen (edge computing).
• Data-ongelijkheid: Brandpixels zijn vaak schaars in vergelijking met niet-gebrande gebieden, wat leidt tot onbalans in de dataset en overfitting op strikt binaire maskers.
• Efficiëntie vs. Nauwkeurigheid: Er is een dringende behoefte aan modellen die zowel nauwkeurig zijn als computatie-efficiënt voor dag-tot-dag voorspellingen.

2. Methodologie: TD-FusionUNet

De auteurs stellen een lichtgewicht deep learning-model voor, genaamd Transform Domain Fusion UNet (TD-FusionUNet). Dit model combineert een UNet-architectuur met leerbare transformatiedomeinlagen.

A. Architectuur

Het model bestaat uit een encoder-decoder structuur met skip-connections, maar introduceert unieke blokken tussen de convolutielagen:

1. Transformatie-blokken: In plaats van alleen convoluties, worden orthogonale transformaties toegepast om "frequentie"-componenten in een orthogonaal latente ruimte te capturen.
   • Hadamard Transformatie (HT): Een snelle, reële transformatie die geen complexe arithmetica vereist (in tegenstelling tot Fourier).
   • Discrete Cosine Transformatie (DCT): Een andere veelgebruikte orthogonale transformatie.
2. Dual-Branch Design: Het voorgestelde TD-FusionUNet heeft twee parallelle takken:
   • Een bovenste tak die DCT gebruikt.
   • Een onderste tak die Hadamard (HT) gebruikt.
   • De uitgangen van beide takken worden gefuseerd via een volledig verbonden laag (fully connected fusion layer) tijdens het decoderen.
3. Leerbaar Schalen en Soft-Thresholding: Na de transformatie worden de features vermenigvuldigd met een leerbare schalingsmatrix ($W$) en vervolgens onderworpen aan een soft-thresholding operatie. Dit onderdrukt kleine coëfficiënten (ruis) en laat alleen sterke patronen door, wat de efficiëntie verhoogt en het model dwingt zich te focussen op essentiële kenmerken.
4. Reconstructie: De features worden teruggezet naar de ruimtelijke domein via inverse transformaties (IHT of IDCT) voordat ze worden samengevoegd.

B. Data Preprocessing

Om het probleem van schaarse data en onbalans aan te pakken, introduceren de auteurs twee aangepaste technieken:

• Random Margin Cropping: Onzekere pixels worden gemodificeerd en binaire maskers (0 en 1) worden vervangen door kleine willekeurige waarden (bijv. $U(0.01, 0.03)$ voor achtergrond en $U(0.8, 0.99)$ voor brand). Dit verrijkt de representatie en voorkomt overfitting op strikt binaire waarden.
• Gaussian Mixture Data Smoothing: Een mengsel van Gaussische vervagingen met verschillende standaardafwijkingen wordt toegepast op de input-maskers om synthetische, "zachte" samples te genereren. Dit helpt bij het aanvullen van ontbrekende of schaarse data.

3. Belangrijkste Bijdragen

• TD-FusionUNet: Een nieuw, lichtgewicht model dat orthogonale transformatiedomeinen (Hadamard en DCT) integreert in een UNet-architectuur voor effectieve feature learning.
• Efficiëntie: Het model bereikt hoge nauwkeurigheid met aanzienlijk minder parameters dan traditionele UNet-modellen (bijv. ResNet18-baselines).
• Aangepaste Preprocessing: Een robuust pre-processing pipeline die specifiek is ontworpen voor de uitdagingen van brandvoorspelling (sparsiteit en onbalans).
• Scalabiliteit: De modulaire TD-lagen kunnen eenvoudig worden geïntegreerd in andere netwerken en zijn geschikt voor implementatie op de "edge".

4. Resultaten

Het model is getest op twee datasets: de Google Next-Day Wildfire Spread dataset en de WildfireSpreadTS dataset.

• Google Dataset:
  • De TD-FusionUNet (met 93k parameters) bereikte een F1-score van 0.702.
  • Dit is een significante verbetering ten opzichte van de 2D-CNN Autoencoder baseline (F1 0.621) en de HT-UNet alleen (F1 0.665), ondanks het gebruik van aangepaste preprocessing.
• WildfireSpreadTS Dataset:
  • De TD-FusionUNet (met een basis-kanaalbreedte van 8, totaal 370k parameters) bereikte een F1-score van 0.591.
  • Vergelijking: Dit presteert beter dan de ResNet18-gebaseerde UNet baseline (F1 0.589), die 14 miljoen parameters vereist.
  • Conclusie: Het model biedt een uitstekende afweging tussen nauwkeurigheid en efficiëntie, met een reductie in parameters van meer dan 97% ten opzichte van de zware baseline.

De visuele resultaten tonen aan dat het model de ruimtelijke uitbreiding van branden nauwkeurig kan vastleggen met een beperkt aantal vals-positieven en vals-negatieven.

5. Betekenis en Conclusie

Dit paper demonstreert dat het gebruik van orthogonale transformatiedomeinen (Hadamard en DCT) binnen een UNet-architectuur een krachtige methode is voor het voorspellen van wildebranden.

• Praktische Toepasbaarheid: Door het lage aantal parameters en de computatie-efficiëntie is het model ideaal voor real-time toepassingen in omgevingen met beperkte rekenkracht (zoals satellietverwerking of edge devices).
• Wetenschappelijke Inzicht: Het bewijst dat het leren van patronen in een getransformeerd domein (in plaats van alleen in het ruimtelijke domein) superieur kan zijn voor kleine datasets en complexe, niet-lineaire fenomenen zoals brandverspreiding.
• Toekomst: De modulaire aard van de TD-lagen maakt het mogelijk om deze techniek te schalen en toe te passen op andere neurale netwerken en domeinen waar frequentie-analyse en efficiëntie cruciaal zijn.

Kortom, de TD-FusionUNet biedt een nieuwe standaard voor lichtgewicht, hoog-presterende modellen voor noodhulp en risicomanagement bij natuurrampen.