Fast Kernel-Space Diffusion for Remote Sensing Pansharpening

Technische Samenvatting: Snelle Diffusie in Kernelspace voor Panscherping van Remote Sensing

Probleemstelling
Panscherping heeft tot doel hoogresolutie panchromatische (PAN) afbeeldingen te fuseren met laagresolutie multispectrale (LRMS) afbeeldingen om hoogresolutie multispectrale (HRMS) afbeeldingen te genereren die zowel fijne ruimtelijke details als rijke spectrale informatie behouden. Hoewel deep learning (DL) methoden aanzienlijke vooruitgang hebben geboekt, hebben ze vaak moeite om de globale statistische priors inherent aan de verdelingen van remote sensing-data te vangen. Omgekeerd bieden diffusie-gebaseerde modellen krachtige mogelijkheden voor het mappen van verdelingen, maar lijden ze onder prohibitieve inferentielatentie vanwege hun iteratieve aard van bemonstering, vooral wanneer ze worden toegepast op hoogresolutie, multi-kanaals remote sensing-afbeeldingen. Bestaande diffusiebenaderingen reconstrueren afbeeldingen vaak vanuit pure Gaussisch ruis, een proces dat volgens de auteurs contra-intuïtief en computatief zwaar is, gezien het feit dat de meeste ruimtelijke en spectrale informatie al beschikbaar is in de invoer-PAN- en LRMS-afbeeldingen.

Methodologie: KSDiff
De auteurs stellen KSDiff voor, een nieuw kader dat de sterktes van diffusiemodellen in het modelleren van verdelingen integreert met de inferentie-efficiëntie van traditionele DL-methoden. In plaats van de definitieve afbeelding direct te genereren, gebruikt KSDiff een diffusieproces in de latent space om convolutiekernen te genereren die verrijkt zijn met globale context. Deze kernen worden vervolgens gebruikt om een standaard regressie-gebaseerd panscherpingsnetwerk te versterken.

De methodologie omvat drie hoofdbestanddelen:

1. Pyramid Latent Fusion Encoder (PLFE):
   Om compacte prior-kenmerken te extraheren, introduceren de auteurs een PLFE. In tegenstelling tot naïeve concatenatie, maakt PLFE gebruik van een multi-schaal piramide-architectuur waarbij PAN- en LRMS-kenmerken progressief worden verfijnd onder leiding van ground-truth HRMS (tijdens pre-training) of PAN/LRMS-invoer (tijdens inferentie). Het maakt gebruik van een cross-attention mechanisme met lineaire complexiteit om de computebelasting op grote afbeeldingen te verminderen en een dynamische fusiegate om oorspronkelijke takkenkenmerken adaptief in evenwicht te brengen met HRMS-geleide kenmerken, waardoor ruimtelijk-spectrale consistentie wordt gewaarborgd.

2. Kerngenerator:
   De kerninnovatie ligt in het genereren van convolutiekernen in plaats van afbeeldingspixels. De generator neemt een latent representatie en produceert een laag-rang core tensor en factor-matrices.

   • Core Tensor: gegenereerd vanuit een centroid-vector van de latent representatie via een MLP.
   • Unificatie Factor Generator: produceert factor-matrices uit invoerkenmerken met behulp van een lichtgewicht gedeelde backbone en een structuurbewust multi-head attention mechanisme.
   • Reparametrisatie: De definitieve convolutiekernel wordt geconstrueerd door een basiskernel te moduleren met deze gegenereerde factoren via tensoralgebra (mode-n producten), wat efficiënte, expressieve kernelmodulatie mogelijk maakt met controleerbare prior-invloed.

3. Tweestaps Trainingsstrategie:

   • Fase 1 (Pre-training): De PLFE en de kerngenerator worden gezamenlijk geoptimaliseerd met een panscherpingsbackbone (U-Net) om een informatieve latent prior representatie ($z_0$) te leren van ground-truth HRMS-afbeeldingen.
   • Fase 2 (Diffusietraining): Een diffusiemodel wordt getraind om de prior van de latent representatie te benaderen. Het voorwaartse proces voegt ruis toe aan $z_0$, en het omgekeerde proces voorspelt $z_0$ onder conditie van PAN- en LRMS-invoer (gecodeerd door een vereenvoudigde PLFE2). Het trainingsdoel combineert de diffusieverlies (het voorspellen van $z_0$) en een regressieverlies (het reconstrueren van de definitieve HRMS-afbeelding), wat end-to-end optimalisatie mogelijk maakt.

Inferentie
Tijdens inferentie omzeilt het systeem de zware pre-training encoder. De PLFE2 haalt een conditionele code uit PAN- en LRMS-afbeeldingen. Een omgekeerd diffusieproces (met behulp van DDIM-bemonstering) genereert de voorspelde latent representatie $\hat{z}_0$ vanuit Gaussisch ruis. Deze representatie wordt ingevoerd in de kerngenerator om dynamische kernen te produceren, die de convolutielagen van het panscherpingsnetwerk herparametriseren om de invoer te fuseren.

Belangrijkste Bijdragen

• KSDiff Kader: Een nieuwe aanpak die diffusie-gegenereerde latent representaties integreert in het ontwerp van convolutiekernen, waarbij diffusiemodellen worden ingezet voor verdelingsmodelleren terwijl de snelle inferentiesnelheid van deterministische DL-methoden behouden blijft.
• Architectuur en Training: Introductie van de Pyramid Latent Fusion Encoder (PLFE) en een tweestaps trainschema dat is toegespitst op panscherping, wat de integratie van multi-schaal ruimtelijk-spectrale informatie in bestaande regressie-gebaseerde netwerken faciliteert.
• Prestaties en Efficiëntie: De methode bereikt concurrerende kwantitatieve en visuele prestaties, terwijl het inferentiesnelheden biedt die vergelijkbaar zijn met traditionele DL-methoden en orde van grootte sneller (meer dan 500×) zijn dan recente diffusie-gebaseerde panscherpingsbaselines.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op drie benchmark datasets: WorldView-3 (WV3), GaoFen-2 (GF2) en QuickBird (QB).

• Kwantitatieve Metrieken: KSDiff presteerde beter dan state-of-the-art traditionele methoden, deep learning baselines (bijv. PanNet, DiCNN, FusionNet, LAGConv) en recente diffusie-gebaseerde methoden (bijv. PanDiff, PLRDiff) op metrieken zoals SAM, ERGAS, Q2n, SCC en HQNR.
• Inferentiesnelheid: KSDiff bereikte een inferentietijd van ongeveer 0,077 seconden op de WV3 dataset, aanzienlijk sneller dan PanDiff (261,41s) en PLRDiff (40,14s), terwijl het prestaties behield die superieur waren aan niet-diffusie DL-methoden.
• Ablatiestudies: Resultaten bevestigden de noodzaak van de latent diffusie prior, de effectiviteit van de PLFE boven eenvoudige concatenatie, en de efficiëntie van de tensor-bewuste kerngenerator in vergelijking met naïeve MLP-benaderingen.
• Generalisatie: De methode toonde sterke generalisatievermogens toen getest op de WorldView-2 dataset, ondanks dat het getraind was op WV3.

Betekenis
Het artikel stelt dat KSDiff een praktische en schaalbare oplossing biedt voor het fuseren van remote sensing-afbeeldingen. Door het diffusieproces te verschuiven van pixelruimte naar kernelruimte, lost het kader succesvol de latentieknelpunt van diffusiemodellen op zonder afbreuk te doen aan hun vermogen om complexe data-verdelingen te modelleren. Deze aanpak maakt hoogwaardige reconstructie met snelle inferentie mogelijk, waardoor het geschikt is voor toepassingen die real-time of near-real-time verwerking van remote sensing-data vereisen.