Super-résolution non supervisée d'images hyperspectrales de télédétection utilisant un entraînement entièrement synthétique

Technische Samenvatting: Ongesuperviseerde Hyperspectrale Single-Image Super-Resolutie via Volledig Synthetische Training

Probleemstelling
Hyperspectrale beelden (HSI's) bieden rijke spectrale informatie over honderden golflengten, wat ze waardevol maakt voor toepassingen zoals vegetatiebewaking, landgebruikanalyse en astrofysica. Vanwege optische beperkingen beschikken hyperspectrale sensoren echter meestal over een lagere ruimtelijke resolutie vergeleken met multispectrale tegenhangers. De taak van Hyperspectrale Single-Image Super-Resolution (SISR) is gericht op het verbeteren van de ruimtelijke resolutie met behoud van de spectrale getrouwheid.

Huidige SISR-methoden vertrouwen voornamelijk op supervised learning, wat paren van low-resolution (LR) en high-resolution (HR) grondwaarheid (ground truth) vereist. Een aanzienlijke flessenhals bestaat in dit domein: high-resolution grondwaarheid HSI's zijn in de praktijk zelden beschikbaar. Bijgevolg worden supervised benaderingen beperkt door het gebrek aan geschikte trainingsdatasets. Hoewel sommige methoden gebruikmaken van transfer learning of specifieke convolutionele architecturen (bijv. 3D-convoluties), blijven zij beperkt door de onbeschikbaarheid van echte HR-referenties.

Methodologie
De auteurs stellen een nieuwe ongesuperviseerde benadering voor die de noodzaak voor echte HR-grondwaarheid omzeilt door een neuraal netwerk volledig te trainen op synthetische data. De methode integreert hyperspectrale unmixing met een stochastisch beeldgeneratiemodel. Het proces bestaat uit drie hoofdfasen:

1. Hyperspectrale Unmixing:
   De input low-resolution HSI ($HSI_{LR}$) wordt ontbonden in twee componenten met behulp van een lineair mengmodel:

   • Endmembers ($S$): Spectrale signaturen van zuivere materialen, geëxtraheerd met het Volume Minimum algoritme.
   • Abundance Maps ($A_{LR}$): Ruimtelijke kaarten die de proportie van elk materiaal in elke pixel representeren, verkregen via least squares schatting.
     De aanname is dat $HSI_{LR} = \sum S \cdot A_{LR}$.

2. Synthetische Datageneratie (Dead Leaves Model):
   Om trainingsparen te genereren, maken de auteurs gebruik van het "Dead Leaves" model, een stochastisch proces dat oorspronkelijk door Matheron werd geïntroduceerd om poreuze media te modelleren en later werd aangepast voor natuurlijke afbeeldingen.

   • Generatieproces: Synthetische abundance maps worden gecreëerd door willekeurige rechthoekige vormen ("leaves") sequentieel te superponeren op willekeurige posities en oriëntaties. Dit proces bootst de statistische eigenschappen van natuurlijke scènes na, met name de niet-Gaussische statistiek.
   • Realismebeperkingen: Om ervoor te zorgen dat de synthetische data de specifieke scène reflecteren, wordt de ruimtelijke geometrie (vorm, positie, rotatie) van de bladeren consistent gehouden over alle materiaaldimensies ($z$). De intensiteitswaarden ($V$) voor elk blad worden willekeurig gesampled uit de werkelijke abundance maps ($A_{LR}$) van de doelscène.
   • Trainingsparen: High-resolution synthetische abundance maps ($A_{DL,HR}$) worden direct gegenereerd. Bijbehorende low-resolution kaarten ($A_{DL,LR}$) worden gecreëerd door een gesimuleerde Point Spread Function (PSF) toe te passen—specifiek een Gaussische blur gevolgd door bicubische downsampling—op de HR-kaarten.

3. Netwerk Training en Reconstructie:

   • Architectuur: De auteurs maken gebruik van MCNet (Mixed 3D/2D Convolutional Network), een state-of-the-art CNN ontworpen voor HSI super-resolutie. Het combineert 2D-convoluties voor ruimtelijke feature extractie en 3D-convoluties voor gezamenlijke ruimtelijke-spectrale verwerking. Het netwerk wordt aangepast om $N$ kanalen te accepteren, overeenkomend met het aantal unmixing-materialen.
   • Training: Het netwerk wordt op een supervised wijze getraind met behulp van de synthetische paren $(A_{DL,LR}, A_{DL,HR})$ met een $L1$-loss functie.
   • Inference: Tijdens de feitelijke super-resolutiefase wordt de echte $A_{LR}$ in het getrainde netwerk gevoerd om super-resolved abundance maps ($A_{SR}$) te voorspellen. De uiteindelijke high-resolution HSI wordt gereconstrueerd door de voorspelde abundanties te combineren met de originele endmembers: $HSI_{SR} = \sum S \cdot A_{SR}$.

Belangrijkste Bijdragen

• Ongesuperviseerd Framework: Het artikel introduceert een volledig ongesuperviseerde SISR-pipeline die de afhankelijkheid van onbeschikbare high-resolution grondwaarheid elimineert.
• Synthetische Trainingsstrategie: Het toont de effectiviteit aan van het trainen van deep learning modellen op synthetische data gegenereerd via het Dead Leaves model, dat specifiek is afgestemd op het repliceren van de statistische eigenschappen van hyperspectrale abundance maps.
• Integratie van Unmixing: In tegenstelling tot eerdere synthetische benaderingen, integreert deze methode de stap van hyperspectrale unmixing volledig in de super-resolutie workflow, waardoor de spectrale consistentie gedurende het hele proces behouden blijft.
• Verbeterde Architectuur Adaptatie: De methode past de MCNet-architectuur aan om te opereren op unmixing-componenten in plaats van ruwe spectrale cubes, waardoor het netwerk wordt geoptimaliseerd voor de specifieke taak van de verbetering van abundance maps.

Experimentele Resultaten
De methode werd geëvalueerd op de Urban dataset (vastgelegd door de HYDICE-sensor), bestaande uit 307 $\times$ 307 pixels en 162 bruikbare spectrale banden. Een super-resolutiefactor van 4 werd toegepast.

• Trainingsopzet: 5.000 synthetische abundance map paren werden gegenereerd. Het netwerk werd getraind voor 200 epochs met de Adam optimizer.
• Vergelijkingen: De voorgestelde methode (gelabeld MCNet-DL) werd vergeleken met:
  • Bicubische interpolatie.
  • State-of-the-art supervised methoden: MCNet, SSPSR, en HSISR.
  • Opmerking: Om een eerlijke vergelijking te garanderen, werden de supervised methoden getraind op 16 patches van de Urban dataset, met een leave-one-out cross-validatie strategie, wat hen optimale condities gaf die in de echte wereld vaak onpraktisch zijn.
• Prestatie-metrieken: De evaluatie gebruikte Peak Signal-to-Noise Ratio (PSNR), Spectral Angle Mapper (SAM) en Relative Global Dimensionless Synthesis Error (ERGAS).
• Kwantitatieve Bevindingen: MCNet-DL presteerde beter dan alle concurrerende methoden over alle metrieken:
  • PSNR: 26,69 dB (tegenover 25,56 dB voor MCNet).
  • SAM: 14,53° (lager is beter; tegenover 16,52° voor MCNet).
  • ERGAS: 7,60 (lager is beter; tegenover 8,72 voor MCNet).
• Kwalitatieve Bevindingen: Visuele inspectie van gereconstrueerde patches toonde aan dat de voorgestelde methode aanzienlijk meer ruimtelijke details herstelde vergeleken met bicubische interpolatie en andere SOTA-methoden, waarbij de reconstructies nauwkeuriger leken dan de standaard MCNet toegepast direct op HSI-patches.

Betekenis en Claims
Het artikel claimt dat de voorgestelde benadering effectief de kritieke beperking van dataschaarste in hyperspectrale super-resolutie aanpakt. Door gebruik te maken van het Dead Leaves model om statistisch relevante synthetische abundance maps te genereren, demonstreren de auteurs dat een netwerk dat volledig op synthetische data is getraind, supervised methoden kan overtreffen die getraind zijn op echte, zij het kunstmatig gepartitioneerde, data.

De auteurs positioneren dit werk als een evolutie van hun eerdere onderzoek [26], waarbij zij benadrukken dat de volledige integratie van hyperspectrale unmixing resulteert in een volledige, efficiënte en werkelijk ongesuperviseerde super-resolutiemethode. De resultaten suggereren dat synthetische datageneratie een levensvatbare en krachtige strategie is voor het trainen van deep learning modellen in remote sensing toepassingen waar grondwaarheid ontoegankelijk is.