Technische Samenvatting: Impliciete Ruimtelijke-Frequentie Fusie van Hyperspectrale en LiDAR-data via Kolmogorov-Arnold Netwerken

Probleemstelling

De classificatie van hyperspectrale beelden (HSI) in complexe scènes staat voor aanzienlijke uitdagingen door spectrale ambiguïteit, ruimtelijke heterogeniteit en de sterke koppeling tussen materiaaleigenschappen en geometrische structuren. Hoewel Light Detection and Ranging (LiDAR)-data complementaire elevatie- en structurele informatie biedt om spectrale ambiguïteit te mitigeren, vertonen bestaande fusiemethoden beperkingen:

1. Modelleerbeperkingen: De meeste huidige benaderingen vertrouwen op Convolutional Neural Networks (CNN's) of Multi-Layer Perceptrons (MLP's) met vaste activatiefuncties en lineaire gewichten. Deze worstelen met het modelleren van structurele discontinuïteiten van LiDAR, ingewikkelde spectrale kenmerken van HSI en hun complexe niet-lineaire interacties.
2. Fusiestrategie: Bestaande methoden behandelen HSI en LiDAR doorgaans als onafhankelijke takken, zonder een mechanisme waarbij LiDAR-geometrie actief het bemonsteren en verfijnen van spectrale context leidt.
3. Domeindekking: Hoewel het fuseren van data in zowel ruimtelijke als frequentiedomeinen voorlopige waarde toont, blijft dit onderbelicht in de literatuur, met name zonder vooraf gedefinieerde heuristieken.

Methodologie: IFGNet

Om deze problemen aan te pakken, stellen de auteurs het Implicit Frequency-Geometry Fusion Network (IFGNet) voor. Dit kader maakt gebruik van Kolmogorov-Arnold Netwerken (KAN's) om impliciete aggregatie over ruimtelijke en frequentiedomeinen uit te voeren. De architectuur bestaat uit vier kerncomponenten:

1. KAN-gebaseerde Encoder

In plaats van traditionele MLP's, maakt het netwerk gebruik van KAN's als encoders voor zowel HSI- als LiDAR-data.

• Mechanisme: KAN's parametriseren niet-lineaire afbeeldingen met behulp van leerbare B-spline-functies in plaats van vaste activatiefuncties en statische gewichtsmatrices.
• Voordeel: Dit maakt een hoogwaardige niet-lineaire fitting van subtiele spectrale variaties mogelijk en verhoogt de lokale gevoeligheid voor geometrische discontinuïteiten in LiDAR-elevatie-data, waardoor een gedeelde latente ruimte voor daaropvolgende fusie wordt geboden.

2. Ruimtelijke Impliciete Aggregatie-eenheid (SIAU)

Deze module voert geometrie-bewuste aggregatie uit in de latente kenmerkruimte.

• Proces: Voor een query-ruimtelijke coördinaat $q$ identificeert de eenheid een lokaal buurgedeelte. Het voegt de hyperspectrale latente eigenschap van een buur, de LiDAR-late eigenschap op de query-positie en de relatieve coördinaatverschuiving samen.
• Aggregatie: Deze invoer wordt ingevoerd in een KAN-gebaseerde impliciete functie om kandidaat-kenmerken en aggregatiegewichten te genereren. Een softmax-normalisatie wordt toegepast op de gewichten, en een gewogen sommatie produceert de uiteindelijke ruimtelijk geleide representatie.
• Functie: Dit fungeert als een door geometrie geconditioneerde impliciete operator, waardoor het model structureel consistente gebieden kan prioriteren en scherpe elevatiegrenzen behoudt die vaak vervagen door standaard convoluties.

3. Impliciete Aggregatie in het Frequentiedomein

Omdat stedelijke scènes sterke correlaties vertonen tussen objectgeometrie en frequentiekenmerken, breidt het kader impliciete aggregatie uit naar het frequentiedomein.

• Proces: Een 2D Discrete Fourier Transform (DFT) wordt toegepast op de gecodeerde latente kenmerken om reële en imaginaire componenten te extraheren.
• Aggregatie: Dezelfde impliciete geometrische aggregatie-operator (SIA) wordt componentgewijs toegepast op de frequentiedomeinrepresentaties van zowel HSI als LiDAR.
• Reconstructie: Een Inverse Discrete Fourier Transform (IDFT) reconstrueert de frequentie-geleide representatie, waardoor globale structurele patronen en langeafstandsafhankelijkheden worden vastgelegd.

4. Definitieve Fusie en Classificatie

De ruimtelijk geleide representatie ($F_{Spa}$) en de frequentie-geleide representatie ($F_{Freq}$) worden geïntegreerd via een additieve fusiestrategie ($\hat{z} = F_{Spa} + F_{Freq}$). De geünificeerde multimodale kenmerk wordt vervolgens doorgegeven aan een lichtgewicht classificatiekop.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. KAN-gedreven Niet-lineaire Kenmerkmodellering: De auteurs zijn de eersten die KAN's toepassen voor HSI-LiDAR-fusie, waarbij starre lineaire gewichten worden vervangen door leerbare op splines gebaseerde functies. Dit maakt de parametrisatie van fusie-operatoren mogelijk die adaptief complexe, niet-lineaire cross-modale interacties vastleggen, geconditioneerd op zowel spectrale inhoud als ruimtelijke coördinaten.
2. Door LiDAR Geleide Ruimtelijke Impliciete Aggregatie: Er wordt een geleide aggregatiemechanisme geïntroduceerd dat door LiDAR afgeleide geometrische aanwijzingen gebruikt als structurele referentie. Door naburige hyperspectrale kenmerken te bemonsteren via een impliciete neurale representatie, bereikt het model gebiedsbewuste fusie die scherpe elevatiegrenzen behoudt.
3. Fusiekader voor Impliciete Dubbel-Domein: De methode modelleert zowel ruimtelijke domein-geometrische aggregatie als frequentiedomein-structurele afhankelijkheden gelijktijdig. Dit vermijdt vooraf gedefinieerde heuristieken en legt een uitgebreide representatie vast van hoogfrequente fase-informatie en globale spectrale consistentie.

Experimentele Resultaten

De voorgestelde IFGNet werd geëvalueerd op twee benchmarks: de Houston 2013 en MUUFL Gulfport datasets. Het kader werd vergeleken met state-of-the-art methoden, waaronder CALC, GLTNet, M2FNet, MS2CANet, S2ENet, MFT en ExViT.

• Prestaties: IFGNet presteerde consequent beter dan alle bestaande methoden op Overall Accuracy (OA), Average Accuracy (AA) en de Cohen's Kappa-coëfficiënt.
  • Houston 2013: Bereikte 99,37% OA, 99,50% AA en 99,32% Kappa.
  • MUUFL: Bereikte 92,67% OA, 94,47% AA en 90,45% Kappa.
• Ablatiestudies: Experimenten bevestigden dat de alleen-ruimtelijke en alleen-frequentie varianten individueel effectief zijn maar complementair. Het volledige model, dat beide integreert, leverde de beste prestaties op, wat de noodzaak van impliciete dubbel-domein fusie valideert.
• Parameteranalyse: Een patchgrootte van 5×5 werd bepaald als optimaal voor de MUUFL-dataset, waarbij voldoende ruimtelijk-spectrale context wordt gebalanceerd tegen redundante achtergrondinformatie.

Betekenis en Claims

Het artikel beweert dat IFGNet een aanzienlijke vooruitgang biedt in HSI-LiDAR-fusie door weg te bewegen van starre, lineair-gewogen architecturen naar adaptieve, op splines gebaseerde functiebenadering. Door ruimtelijk-geometrische aggregatie te ontkoppelen van frequentiedomeinmodellering en deze te verenigen onder een kader voor impliciete representatie, bereikt de methode effectieve multimodale fusie terwijl een lichtgewicht architectuur wordt behouden. De auteurs stellen dat dit ontwerp de computationele zwaarte van diepe transformer-netwerken en zware attentiemodules vermijdt, waardoor het geschikt is voor praktische remote sensing-scenario's. De consistente prestatiewinsten op twee verschillende benchmarks suggereren sterke robuustheid en generalisatievermogen voor complexe stedelijke scènes.