On-Orbit Real-Time Wildfire Detection Under On-Board Constraints

Technische Samenvatting: Realtime Waarneming van Bosbranden in de Omloopbaan Onder On-Board Beperkingen

Probleemstelling
Het artikel behandelt de kritieke uitdaging van het detecteren van bosbranden vanuit de ruimte onder extreme operationele beperkingen. Hoewel satellietgebaseerde monitoring essentieel is voor globaal brandbeheer, staan bestaande architecturen voor fundamentele afwegingen: geostationaire platforms bieden een hoge temporele revisietijd maar een grove ruimtelijke resolutie (2–3 km), waardoor kleine branden worden gemist; sensoren in een lage omloopbaan (LEO) bieden fijnere resolutie maar beperkte dagelijkse overvliegen, waardoor vaak piekmomenten van brandactiviteit worden gemist. De OTC-P1-missie van OroraTech probeert deze kloof te overbruggen met een constellatie van negen thermische infraroodsatellieten, maar legt een unieke set van gezamenlijke beperkingen op die huidige state-of-the-art-modellen niet kunnen vervullen:

1. Strikte Latentie: Een end-to-end waarschuwingspijplijn moet binnen 10 minuten werken, van satellietovervlieg tot communicatie, wat inferentie aan boord vereist in plaats van architecturen met downlink en verwerking.
2. Ressourcenbeperkingen: Inferentie moet draaien op een NVIDIA Jetson Xavier NX (10 W-modus) met een modelgrootte onder 1 MB en een inferentielatentie onder 150 ms per batch.
3. Datakarakteristieken: Het systeem werkt met niet-gekalibreerde, single-band Mid-Wave Infrared (MWIR) beelden met een grondafstappunt van 200 m. Branden verschijnen vaak als sub-pixel- of single-pixel thermische anomalieën, wat leidt tot extreme class-imbalance (brandpixels vormen ~0,018% van de geldige pixels).
4. Ruis: De pijplijn gebruikt ruwe digitale waarden (DN) zonder radiometrische kalibratie om de latentie te minimaliseren, wat de kwetsbaarheid voor sensorruis en artefacten vergroot.

Huidige operationele pijplijnen (bijv. MODIS, VIIRS) vertrouwen op heuristische, contextuele thermische-drempelmethoden die worstelen met deze specifieke beperkingen, met name het sub-pixel-karakter van vroege branden en het ontbreken van multispectrale kalibratie.

Methodologie
De auteurs stellen een implementatiegerichte deep learning-pijplijn voor die is gecentreerd rond DenseMAE (Dense Masked Autoencoder), een lichtgewicht zelftoezichthoudende leerbenadering die is op maat gemaakt voor dichte segmentatie op niet-gekalibreerde MWIR-beelden.

• Architectuur: DenseMAE is een volledig convolutionele masked autoencoder. In tegenstelling tot standaard Vision Transformers (ViT) die beelden tokeniseren, gebruikt DenseMAE een gefaseerde convolutionele encoder met één vroege downsampling-stap (naar $H/2 \times W/2$), gevolgd door convolutionele blokken met dilatie om het receptieve veld efficiënt te vergroten. Het produceert dichte per-pixel embeddings in plaats van globale beeldtokens.
• Pretraindoel: Het model wordt voorgetraind met een gemaskerde reconstructiedoelstelling. Willekeurige blokken van de invoer worden gemaskerd, en het encoder-decoder-paar leert de ontbrekende thermische patronen te reconstrueren uit de omringende context. De loss wordt alleen berekend op gemaskerde, geldige pixels, waarbij "no-data"-gebieden expliciet worden uitgesloten.
• Hybride Ablatie: De auteurs onderzochten een hybride variant die gemaskerde reconstructie combineert met een Exponential Moving Average (EMA) teacher-student consistentieloss. Empirische resultaten toonden echter aan dat dit slechts marginale en inconsistente winsten opleverde, waardoor de auteurs de voorkeur gaven aan de reconstructie-only-benadering.
• Downstream Transfer: Na pretraining wordt de decoder verworpen. De encoder wordt overgedragen naar de taak van bosbrandsegmentatie met behulp van lichtgewicht heads. Twee transferstrategieën werden geëvalueerd:
  1. Bevroren Encoder: Alleen een lichtgewicht head (lineaire probe of kleine context-head) trainen bovenop vaste embeddings.
  2. Volledige Fine-tuning: De encoder en de head gezamenlijk end-to-end optimaliseren.
• Verfijning: Om het sub-pixel-karakter van branden aan te pakken, wordt een high-resolution (HR) verfijningshead ingezet. Deze module injecteert high-resolution features van de encoder-stam opnieuw in het laatste voorspellingstadium om de lokalisatie van single-pixel anomalieën te verbeteren.
• Trainingsstrategie: Om extreme class-imbalance aan te pakken, worden trainingsbatches bevooroordeeld ten gunste van positieve patches. Het systeem gebruikt binary cross-entropy loss, de AdamW-optimizer en mixed precision.

Belangrijkste Bijdragen

1. Implementatiepijplijn: Introductie van een deep learning-pijplijn voor realtime bosbranddetectie in de omloopbaan die werkt op niet-gekalibreerde, single-band MWIR-beelden onder strikte latentie (<150 ms) en grootte (<1 MB) beperkingen.
2. DenseMAE: Voorstellen van een lichtgewicht, gefaseerde convolutionele masked autoencoder die dichte MWIR-representaties leert, waardoor implementatiemodellen onder de megabyte mogelijk zijn zonder pruning of compressie.
3. Empirische Studie: Een systematische evaluatie van zelftoezichthoudende pretraining (MAE versus hybride EMA) en transfer learning (bevroren versus volledige fine-tuning) onder extreme class-imbalance, met gebruikmaking van pixel-level Average Precision (AP) op de volledige testverdeling.
4. Pareto-grens Bereikt: Aantonen dat dichte zelftoezichthoudende representaties compacte modellen mogelijk maken die op de latentie-accuraatheid Pareto-grens liggen en supervised baselines onder vergelijkbare beperkingen overtreffen.

Resultaten
Het systeem werd geëvalueerd op een dataset van 839 geannoteerde scènes van de OTC-P1-missie van OroraTech, verdeeld in 70/15/15% train/val/test.

• Prestaties versus Baseline: De best presterende DenseMAE-configuratie (embedding-dimensie 64, volledige fine-tuning, DW-Res-head + HR-verfijning) behaalde een 0,699 Test AP en 0,744 Fire-F1. Dit overtreft de sterke supervised baseline (U-Net++ met HR-verfijning), die onder vergelijkbare beperkingen een 0,650 AP behaalde.
• Latentie en Grootte:
  • De snelste configuratie (embedding-dimensie 32, TRT-Head) behaalde 0,640 AP met een latentie van 65,34 ms (TensorRT FP16, batchgrootte 8) en een model-enginegrootte van 0,52 MB.
  • De configuratie met de beste nauwkeurigheid bleef onder 1 MB (0,91 MB) met een latentie van 141 ms.
• Ablatiebevindingen:
  • Het vergroten van de embedding-dimensie van 32 naar 64 verbeterde de AP consistent.
  • Volledige fine-tuning presteerde consistent beter dan transfer met een bevroren encoder (0,689 versus 0,612 AP voor emb64), wat aangeeft dat SSL-initialisatie het meest gunstig is wanneer het downstream-model end-to-end kan aanpassen.
  • Hybride EMA-distillatie bood geen consistente winsten over de volledige verdeling ten opzichte van pretraining met alleen reconstructie.
• Externe Validatie: Het model werd vergeleken met het VIIRS 375 m active-fire product (een standaard operationele referentie) op gelijktijdige waarnemingen. De studie vond sterke overeenstemming tussen sensoren, waarbij het model 103 gezamenlijke brandclusters detecteerde. Het model identificeerde 33 clusters die door VIIRS werden gemist (vaak zwakke thermische signalen nabij de detectiegrens) en 3 clusters die alleen door het model werden gedetecteerd, wat wijst op het vermogen om kleine of kortlevende branden onder de VIIRS-drempels te vinden.

Betekenis en Beweringen
Het artikel beweert dat lichtgewicht zelftoezichthoudende representaties nauwkeurige en efficiënte branddetectie in de omloopbaan mogelijk maken waar traditionele methoden falen vanwege hardware- en data-beperkingen. Door modelgroottes onder de megabyte en inferentielatenties onder de 100 ms op randhardware te bereiken, faciliteert het systeem een end-to-end waarschuwingspijplijn die ontstekingen binnen minuten na een satellietovervlieg kan detecteren. Dit vertegenwoordigt een belangrijke stap in het verkleinen van de kloof tussen brandontstaan en operationele respons. De auteurs merken bescheiden op dat, hoewel het systeem de robuustheid tegen veelvoorkomende sensorartefacten verbetert, verwarring met sunglint nog steeds een uitdaging blijft, en toekomstig werk mogelijk multi-kanaals invoer of op fysica gebaseerde features vereist om deze edge cases aan te pakken. De studie valideert dat dichte SSL-pretraining een levensvatbare en superieure strategie is voor extreme class-imbalance en resource-beperkte remote sensing-taken.