Generating Satellite Imagery Data for Wildfire Detection through Mask-Conditioned Generative AI

Probleemstelling

De ontwikkeling van diep-lerende (DL) systemen voor het monitoren van bosbranden wordt fundamenteel beperkt door het gebrek aan hoogwaardige, gelabelde satellietbeelden. Hoewel er grote hoeveelheden ongelabelde data beschikbaar zijn, is het proces om gelabelde datasets te creëren tijdrovend en complex. Het vereist het afstemmen van wolkenvrije beelden voor en na de brand, het handmatig of semi-automatisch genereren van binaire maskers (brandwonden), en het opsplitsen van grote scènes in modelgeschikte patches. Deze tekortkoming aan gelabelde data vormt een bottleneck voor het trainen van robuuste detectiemodellen.

Methodologie

Het onderzoek onderzoekt of een diffusiemodel voor Aarde-observatie, genaamd EarthSynth (gebaseerd op Stable Diffusion v1.5 met ControlNet), kan worden gebruikt om realistische post-brand satellietbeelden te synthetiseren, zonder specifiek hertraining (fine-tuning) voor de taak.

Data:

• Gebruik van het CalFireSeg-50 dataset.
• Selectie van pre-brand RGB-kaarten en bijbehorende brandmaskers.
• Filteren op brandverhouding (1% tot 95%) om lege of volledig verzadigde maskers te vermijden.
• Een gestratificeerde testset van 10 samples en een apart palet van 40 samples voor kleurstatistieken.

Experimenteel Ontwerp:
Er zijn zes gecontroleerde experimenten (E1–E6) ontworpen om drie factoren te isoleren:

1. Pijplijnarchitectuur:
   • Volledige generatie (Mask-only): Het model genereert het hele beeld vanaf nul, uitsluitend geleid door het masker en tekst.
   • Inpainting: Het model gebruikt het echte pre-brandbeeld als context en vult alleen het gemaskeerde (gebrande) gebied in.
2. Prompt-strategie:
   • Drie handgemaakte prompts (P1: minimaal, P2: gestructureerd, P3: data-contextueel met dynamische kleurbeschrijvingen).
   • Eén prompt gegenereerd door een Vision Language Model (VLM), specifiek Qwen2-VL, dat het pre-brandbeeld, het masker en het post-brandbeeld analyseert om een beschrijving te genereren.
3. Post-processing:
   • Een stap voor kleuranpassing per regio, waarbij de RGB-statistieken van de gegenereerde brandgebieden worden afgestemd op die van echte post-brandbeelden.

Evaluatiemetrics:
Om de kwaliteit te meten zonder een nieuw trainingsmodel te gebruiken, worden vier complementaire metrics gebruikt:

• Burn IoU: Meet de ruimtelijke overlap tussen het gegenereerde donkere gebied en het ground-truth masker.
• Burn-Region Colour Distance ($\Delta C_{burn}$): De Euclidische afstand tussen de gemiddelde RGB-kleuren van het gegenereerde en het echte brandgebied.
• Darkness Contrast: Meet of het brandgebied inderdaad donkerder is dan het intacte gebied (belangrijk voor visuele realisme).
• Spectral Plausibility: Meet of de gegenereerde kleuren binnen de statistische spreiding van het dataset-palet vallen.

Belangrijkste Resultaten

1. Inpainting overtreft Volledige Generatie:
   De inpainting-pijplijn (E2) presteerde consistent beter dan de volledige generatie (E1) op alle metrics.

   • Burn IoU: E2 bereikte een maximum van 0,456 (met prompt P2), terwijl E1 maximaal 0,428 haalde.
   • Darkness Contrast: E2 toonde een sterke contrastwaarde van 20,44, terwijl E1 vaak negatieve waarden had (wat betekent dat het "gebrande" gebied soms lichter was dan de omgeving, wat onrealistisch is).
   • Visueel: Inpainting behield de context van het omliggende landschap, terwijl volledige generatie vaak onrealistische landschapstexturen produceerde die niet leken op bos.

2. Effect van Prompts:

   • In de inpainting-instelling leverde de gestructureerde prompt (P2) de beste ruimtelijke uitlijning op.
   • De data-contextuele prompt (P3) leverde de beste kleurovereenkomst op binnen de inpainting-instelling.
   • VLM-gestuurde prompts (E5) waren concurrerend met handgemaakte prompts in de inpainting-instelling, maar presteerden slecht in de volledige generatie-instelling (E6), wat aangeeft dat een VLM alleen de onderbeperking van een masker-alleen generatie niet kan oplossen.

3. Trade-off bij Kleuranpassing:
   Het toepassen van kleuranpassing (E3 en E4) resulteerde in de laagste kleurafstanden ($\Delta C_{burn} \approx 63,22$), wat betekent dat de kleuren zeer dicht bij de realiteit lagen. Echter, dit ging ten koste van de Darkness Contrast (soms zelfs negatief) en de Burn IoU. Dit suggereert dat het forceren van exacte kleurstatistieken de visuele "scherpheid" en het contrast van de brandwond kan verzwakken.

4. Visuele Observaties:
   Bij hoge brandverhoudingen (bijv. >80%) hadden modellen moeite om de volledige maskeruitbreiding correct weer te geven zonder artefacten (zoals wolk-achtige structuren of onrealistische texturen). De inpainting-methoden produceerden echter de meest geloofwaardige overgangen tussen verbrand en intact gebied.

Bijdragen

• Een generatief augmentatieframework voor bosbrandsatellietbeelden dat bestaande brandmaskers gebruikt als conditionele input.
• De aanpassing van EarthSynth aan het domein van bosbranden zonder taakspecifieke hertraining, wat aantoont dat foundation modellen overdraagbaar zijn naar specifieke EO-domeinen.
• Een systematische evaluatie van zes configuraties die de effecten van pijplijnarchitectuur, prompt-engineering en post-processing isoleren.
• Het aantonen dat VLM-assisted prompting een schaalbaar alternatief is voor handmatige prompt-engineering in de inpainting-context.

Betekenis en Toekomstperspectief

De studie concludeert dat mask-geconditioneerde diffusiegeneratie potentieel heeft om de schaarste aan gelabelde data voor bosbranddetectie te verhelpen. De belangrijkste bevinding is dat het behoud van ruimtelijke context via inpainting cruciaal is voor realisme; volledige generatie vanuit alleen een masker is onvoldoende.

Hoewel de gegenereerde beelden nog niet perfect zijn (vooral bij hoge brandverhoudingen en zonder fine-tuning), bieden ze een solide basis voor data-augmentatie. De auteurs wijzen erop dat toekomstig werk zich moet richten op:

• Het evalueren van de impact op downstream-taken (daadwerkelijke verbetering van segmentatiemodellen).
• Fine-tuning van het model op specifieke branddata om de domein-kloof te overbruggen.
• Uitbreiding naar multispectrale data (NIR, SWIR) voor betere spectrale contrasten.

Kortom, deze research biedt een onderbouwd kader voor het gebruik van generatieve AI om de datasets voor kritieke milieu-monitoring te verrijken.