Voronoi-guided Bilateral 2D Gaussian Splatting for Arbitrary-Scale Hyperspectral Image Super-Resolution

Probleemstelling

Hyperspectrale beelden (HSI) bevatten rijke spectrale informatie die essentieel is voor toepassingen zoals milieu-monitoring en landschapsbegrip. Een veelvoorkomend probleem is echter dat deze beelden vaak een beperkte ruimtelijke resolutie hebben vanwege de trade-off in de beeldvorming. HSI-superresolutie (SR) probeert dit op te lossen door een hoogresolutie HSI te reconstrueren vanuit een laagresolutie waarneming.

De huidige staat van de kunst (SOTA) voor HSI-SR heeft echter twee belangrijke beperkingen:

1. Gebrek aan flexibiliteit: De meeste bestaande methoden zijn gekoppeld aan vaste schalen (bijv. alleen x2 of x4). Voor elke nieuwe schaal moet een apart model worden getraind en opgeslagen, wat de flexibiliteit en efficiëntie beperkt.
2. Beperkte ruimtelijke modellering: Bestaande methoden die gebruikmaken van continue representaties (zoals 2D Gaussian Splatting) vertrouwen vaak op rasterisatiestrategieën met vaste lokale steunpunten. Dit is niet ideaal voor HSI's, die complexe, multischaalige objecten en fijne ruimtelijke structuren bevatten. Bovendien kunnen bestaande Gaussian-methoden de spectrale nauwkeurigheid (spectrale fideliteit) niet goed behouden tijdens de reconstructie.

Methodologie: GaussianHSI

De auteurs stellen GaussianHSI voor, een raamwerk gebaseerd op 2D Gaussian Splatting dat is ontworpen voor superresolutie op willekeurige schalen. Het model bestaat uit drie hoofdblokken:

1. Encoder en Feature Splitting:

   • De laagresolutie HSI wordt eerst gecodeerd naar een latente ruimte via een encoder (bestaande uit convolutielagen en residublokken).
   • De geëncodeerde features worden gesplitst in twee takken: een ruimtelijke tak (voor structuurherstel) en een spectrale tak (voor spectrale details).

2. Voronoi-Guided Bilateral 2D Gaussian Splatting (VBGS):
   Dit is het kerncomponent voor ruimtelijke reconstructie. In plaats van alle Gaussian-functies te gebruiken of een vaste rasterisatie toe te passen, gebruikt VBGS een adaptieve strategie:

   • Initialisatie: Gaussian-functies worden geïnitieerd op pixellocaties en hun parameters (centrum, covariantie, kleur/opacity) worden voorspeld door CNN's.
   • Voronoi-Gestuurde Selectie: Voor elk doelpixel wordt de relevantie van Gaussian-functies gemeten met de Mahalanobis-afstand (in plaats van Euclidische afstand), wat rekening houdt met de schaal en oriëntatie van de Gaussian. De top-$k$ meest relevante Gaussian-functies worden geselecteerd. Dit creëert een dynamisch, anisotroop steunpunt dat beter past bij diverse ruimtelijke structuren.
   • Referentie-bewuste Bilaterale Aggregatie: De bijdrage van de geselecteerde Gaussian-functies wordt niet alleen bepaald door geometrische nabijheid, maar ook door spectrale consistentie. De laagresolutie input wordt gebruikt als referentie; de bijdrage van een Gaussian wordt gewogen op basis van de cosine-相似iteit tussen zijn features en de referentiefeatures. Dit zorgt ervoor dat de reconstructie consistent blijft met de oorspronkelijke spectrale informatie.

3. Spectral Detail Enhancement (SDE):
   Omdat Gaussian-based ruimtelijke reconstructie alleen niet voldoende is voor perfecte spectrale herstel, wordt een parallelle SDE-module ingevoerd. Deze module:

   • Neemt de spectrale features, schaalt ze op en verwerkt lokale patches.
   • Gebruik maakt van afwisselende ruimtelijke en spectrale MLP's (Multi-Layer Perceptrons) om features te mixen en te verfijnen.
   • Voegt deze verrijkte spectrale informatie toe aan het eindresultaat.

4. Decoder:
   De gefuseerde ruimtelijke en spectrale features worden door een decoder (met self-attention en volledig verbonden lagen) omgezet in het hoogresolutie HSI-beeld.

Belangrijkste Bijdragen

• Eerste toepassing van Gaussian Splatting op HSI-SR: GaussianHSI is, voor zover bekend, het eerste raamwerk dat Gaussian Splatting introduceert voor superresolutie van hyperspectrale beelden op willekeurige schalen.
• Voronoi-Gestuurde Selectie: Een nieuwe strategie die Gaussian-functies selecteert op basis van anisotrope ruimtelijke relevantie, waardoor het model adaptief is voor verschillende structuren zonder vaste rasterisatie.
• Referentie-bewuste Aggregatie: Een mechanisme dat geometrische relevantie combineert met spectrale consistentie (via laagresolutie referenties) om zowel scherpe details als spectrale nauwkeurigheid te garanderen.
• Spectrale Detail Enhancement: Een specifieke module die de spectrale herstelkwaliteit verbetert, wat vaak een zwakke plek is bij pure ruimtelijke reconstructiemethoden.

Resultaten

De auteurs hebben hun methode getest op drie standaard datasets: Houston, Pavia en Chikusei.

• Enkel-schaal Superresolutie: GaussianHSI presteerde beter dan bestaande SOTA-methoden (zoals MCNet, MSDformer, HSRMamba, SQformer) op alle schalen (x2, x4, x8). Op het Pavia-dataset bij schaal x4 verbeterde het de PSNR met 0,31 dB ten opzichte van de beste concurrent.
• Willekeurige-schaal Superresolutie: In vergelijking met SQformer (de enige andere methode voor willekeurige schalen) en andere algemene SR-methoden, behaalde GaussianHSI de beste resultaten, zowel binnen de trainingsverdeling (x2, x4) als daarbuiten (x6, x8).
• Kwaliteit: Visuele vergelijkingen tonen aan dat GaussianHSI duidelijkere structuren en fijnere details herstelt, terwijl de spectrale vervorming (gemeten met SAM - Spectral Angle Mapper) lager is dan bij concurrenten.
• Ablatiestudies: Experimenten bevestigden dat zowel de VBGS-module als de SDE-module essentieel zijn voor de prestaties. De keuze van $k=16$ (aantal geselecteerde Gaussian-functies) bleek de optimale balans tussen prestatie en efficiëntie.

Significantie

Dit paper is significant omdat het een brug slaat tussen de recente doorbraken in 3D/2D Gaussian Splatting (vaak gebruikt voor scene rendering) en hyperspectrale beeldverwerking. Het lost het probleem van stijve, schaalgebonden modellen op door een continue representatie te gebruiken die willekeurige schalen aankan. Door de unieke combinatie van Voronoi-gestuurde selectie en spectrale consistentie, biedt het een robuustere oplossing voor de complexe eisen van HSI-reconstructie, waarbij zowel ruimtelijke scherpte als spectrale integriteit behouden blijft. Dit opent nieuwe wegen voor toekomstig onderzoek in beeldherstel met continue representaties.