HyVIC: A Metric-Driven Spatio-Spectral Hyperspectral Image Compression Architecture Based on Variational Autoencoders

Probleemstelling

De snelle groei van hyperspectrale data-archieven in de aardobservatie (Remote Sensing) vereist effectieve compressiemethoden voor opslag en transmissie. Hoewel er recent vooruitgang is geboekt met leergebaseerde compressie van hyperspectrale beelden (HSI), hebben bestaande methoden vaak tekortkomingen:

• Ze passen vaak variabele compressiemodellen voor natuurlijke beelden toe zonder rekening te houden met de unieke ruimtelijk-spectrale redundanties die inherent zijn aan HSI-data.
• Er ontbreekt een expliciete architecturale ontwerp om een evenwicht te vinden tussen het leren van ruimtelijke en spectrale kenmerken.
• Bestaande aanpassbare modellen zijn vaak gebaseerd op dimensiereductie, wat kan leiden tot redundante informatie in de latente representatie, wat de compressie-efficiëntie beperkt.

Methodologie: HyVIC

De auteurs stellen HyVIC (Spatio-Spectral Variational Hyperspectral Image Compression Architecture) voor. Dit is een nieuw, metrisch gedreven Variational Autoencoder (VAE) model dat specifiek is ontworpen voor HSI-compressie.

1. Architectuur
Het model bestaat uit vier hoofdcomponenten die zijn gebaseerd op het "mean & scale hyperprior"-kader, maar zijn uitgebreid met aanpasbare blokken:

• Aanpasbare Spatio-Spectrale Encoder: Transformeert de input HSI naar een latente representatie door zowel korte-afstands ruimtelijke als lange-afstands spectrale redundanties te benutten. Het gebruikt een combinatie van spectrale verwerking (pixel-wise convolutie) en een aanpasbaar aantal ruimtelijke stadia (2-D convoluties).
• Spatio-Spectrale Hyperencoder: Verwerkt de latente representatie om een "hyperlatent" te vormen dat de statistische verdeling van de latente data modelleert.
• Spatio-Spectrale Hyperdecoder: Schat de parameters (gemiddelde en schaal) voor de entropie-codering op basis van het hyperlatent.
• Aanpasbare Spatio-Spectrale Decoder: Reconstrueert het HSI op basis van de gekwantiseerde latente data en de geschatte parameters.

2. Metrisch Gedreven Strategie
Een kerninnovatie is de strategie om de hyperparameters (zoals het aantal ruimtelijke stadia, kernel-grootte en het aantal kanalen) systematisch te selecteren op basis van de BD-PSNR (Bjøntegaard Delta PSNR). In plaats van handmatige tuning, wordt deze metrisch gedreven aanpak gebruikt om het optimale compromis tussen ruimtelijke en spectrale feature learning te vinden voor specifieke HSI-karakteristieken.

3. Training en Verliesfunctie
Het model wordt getraind om een Rate-Distortion (RD) optimalisatieprobleem op te lossen. Het doel is het minimaliseren van de verwachte bitlengte (rate) en de verwachte vervorming (distortion, gemeten als MSE) tussen de originele en gereconstrueerde beelden.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: Introductie van HyVIC, een aanpasbaar VAE-model dat zowel ruimtelijke als spectrale redundanties expliciet modelleert via aanpasbare blokken.
2. Metrisch Gedreven Optimalisatie: Demonstratie dat de selectie van hyperparameters cruciaal is voor de prestaties. De auteurs introduceren een gestructureerde strategie om deze parameters aan te passen aan de aard van hyperspectrale data.
3. Uitgebreide Evaluatie: Omvangrijke experimenten op twee benchmark datasets (HySpecNet-11k en MLRetSet), inclusief ablatiestudies, vergelijkingen met state-of-the-art methoden en analyse van reconstructiefouten.
4. Praktische Richtlijnen: Afleiding van inzichten en richtlijnen voor toekomstig onderzoek in leergebaseerde variabele HSI-compressie.

Resultaten

De experimenten tonen aan dat HyVIC de state-of-the-art significant verbetert:

• Prestaties: HyVIC bereikt een verbetering van tot 4,66 dB in BD-PSNR ten opzichte van de vorige beste methode (HyCASS) over een breed scala aan compressieverhoudingen (CR).
• Ruimtelijke en Spectrale Kwaliteit: Het model behoudt zowel de ruimtelijke structuur als de spectrale coherentie beter dan bestaande methoden. Visuele analyses tonen minder artefacten en betere reconstructie van fijne details (zoals vegetatie en stedelijke gebieden) in vergelijking met modellen die zich alleen op spectrale of alleen op ruimtelijke compressie richten.
• Ablatiestudies:
  • Een kleine kernel-grootte ($k=3$) bleek superieur voor reconstructiekwaliteit en reduceerde de modelgrootte en rekencomplexiteit aanzienlijk.
  • Een gebalanceerd aantal ruimtelijke stadia ($S=2$) bleek optimaal; te weinig stadia leidden tot slechte prestaties bij hoge compressie, terwijl te veel stadia de spectrale informatie bij lage compressie aantastten.
• Generalisatie: Het model presteert consistent goed op twee verschillende datasets met verschillende sensorkenmerken (EnMAP en een vliegmeting), wat de generalisatiecapaciteit bevestigt.

Betekenis en Conclusie

HyVIC markeert een belangrijke stap in de evolutie van HSI-compressie door te erkennen dat modellen voor natuurlijke beelden niet direct toepasbaar zijn op hyperspectrale data. De studie benadrukt dat:

• Een evenwicht tussen ruimtelijke en spectrale feature learning essentieel is voor hoge reconstructiefideliteit.
• Variabele HSI-compressie profiteert van een verkleinde ruimtelijke receptieveld en verminderde ruimtelijke downsampling in vergelijking met natuurlijke beeldcompressie, vanwege de lagere ruimtelijke resolutie van RS-sensoren.
• Er een bias bestaat in compressie-efficiëntie: homogene scènes (zoals water) zijn veel efficiënter te comprimeren dan complexe scènes met meerdere landgebruikstypen.

De auteurs concluderen dat toekomstig werk zich moet richten op betere entropiemodellen voor de latente representaties en het ontwikkelen van interactieve frameworks (bijv. met LLM-agenten) om het compressieproces te sturen op basis van gebruikersinput en context. De code en vooringestelde gewichten zijn openbaar beschikbaar gesteld.