Technische Samenvatting: LESSViT: Robuuste Hyperspectrale Representatielerening onder Spectrale Configuratieverschuiving

1. Probleemstelling

Hyperspectrale beelden (HSI) vangen fijnkorrelige spectrale signatuur op over honderden aaneengesloten golflengtebanden, waardoor een gedetailleerde karakterisering van materialen, biofysische toestanden en omgevingsprocessen mogelijk wordt. Een fundamentele uitdaging ontstaat echter door de variabiliteit in spectrale configuraties tussen verschillende sensoren. In tegenstelling tot natuurlijke afbeeldingen met vaste RGB-kleuren, verschillen HSI-sensoren aanzienlijk in golflengtebereik, bandbemonstering en kanaaldimensie. Bijgevolg falen modellen die zijn getraind op een vaste spectrale configuratie vaak in het generaliseren naar andere sensoren, wat leidt tot een "spectrale verschuiving".

Bestaande benaderingen staan voor een afweging tussen efficiëntie en expressiviteit:

• Impliciete Modellering: Standaard Vision Transformers (ViTs) brengen de spectrale dimensie vaak samen in de kanaaldimensie of gebruiken vaste patch-embeddings. Hoewel deze methoden computationeel efficiënt zijn, gaan ze uit van een vaste kanaalstructuur en modelleren ze golflengte-afhankelijke relaties niet expliciet, wat de generalisatie over sensoren beperkt.
• Expliciete Modellering: Het behandelen van spectrale kanalen als onafhankelijke tokens en het toepassen van volledige ruimtelijk-spectrale attentie maakt expliciete modellering mogelijk, maar leidt tot een verbodene computationele complexiteit van $O(N^2C^2)$, waarbij $N$ het aantal ruimtelijke tokens is en $C$ het aantal spectrale kanalen. Dit maakt het onuitvoerbaar voor HSI-inputs met hoge dimensionaliteit.

2. Methodologie: LESSViT

De auteurs stellen LESSViT (Low-rank Efficient Spatial–Spectral ViT) voor, een sensor-flexibele architectuur die is ontworpen om cross-spectrale generalisatie te bereiken via drie kernelementen:

2.1 Kanaalagnostische Tokenisatie (Gekoppelde Patch Embedding)

Om variabele spectrale dimensionaliteiten te ondersteunen, maakt LESSViT gebruik van een gekoppelde patch embedding-laag. In plaats van verschillende gewichten te leren voor elk kanaal, gebruikt het model gedeelde projectiegewichten over alle kanalen. Gegeven een HSI-input van grootte $C \times H \times W$, wordt deze opgedeeld in patches en geprojecteerd naar tokens met behulp van een gedeelde lineaire mapping. Dit zorgt ervoor dat het model inputs met verschillende aantallen spectrale kanalen kan verwerken zonder hertraining of architecturale wijzigingen.

2.2 Low-rank Efficiënte Ruimtelijk-Spectrale Attentie (LESS Attentie)

Om de afweging tussen efficiëntie en expressiviteit op te lossen, introduceren de auteurs LESS Attentie, een gestructureerde low-rank factorisatie van ruimtelijk-spectrale attentie.

• Decompositie: De methode maakt gebruik van de structurele scheidbaarheid van hyperspectrale data en decomposeert gezamenlijke interacties in alleen ruimtelijke en alleen spectrale componenten.
• Mechanisme: Input-tokens worden opgesplitst in ruimtelijke tokens ($X_S$) en spectrale tokens ($X_C$) met behulp van een Attention Pooling Layer. Ruimtelijke en spectrale attentie ($A_S$ en $A_C$) worden onafhankelijk berekend.
• Low-Rank Benadering: De gezamenlijke ruimtelijk-spectrale attentie wordt benaderd via het Kronecker-product van deze componenten: $A = \sum_{i=1}^r A_C^i \otimes A_S^i$, waarbij $r$ de rang van de low-rank benadering is.
• Complexiteitsreductie: Deze benadering reduceert de computationele complexiteit van $O(N^2C^2D)$ naar $O(r(N^2d_1 + C^2d_2 + NCD))$, waarbij $d_1$ en $d_2$ sub-dimensies zijn. Dit maakt expliciete modellering van gezamenlijke afhankelijkheden mogelijk zonder de volledige attentiematrix over het hele ruimtelijk-spectrale rooster te berekenen.

2.3 Golflengte-bewuste Positieve Encodering (SSRoPE)

Om spectrale relaties consistent te modelleren onder variabele configuraties, introduceren de auteurs Spatial-Spectral Rotary Positional Embedding (SSRoPE).

• Ruimtelijke Dimensie: Past standaard 2D RoPE toe over ruimtelijke coördinaten $(u, v)$.
• Spectrale Dimensie: Past 1D RoPE toe over de spectrale dimensie met behulp van fysieke golflengten $\lambda$ in plaats van vaste kanaalindices.
• Voordeel: Dit ontwerp zorgt ervoor dat de positieve encodering de fysieke structuur van het spectrum weerspiegelt, waardoor het model robuust is tegen veranderingen in golflengtebereik en bandbemonstering.

2.4 Pretraining: HyperMAE

Om schaalbare pretraining mogelijk te maken, stellen de auteurs HyperMAE (Hyperspectral Masked Autoencoder) voor:

• Gekoppelde Maskering: In plaats van willekeurige maskering over afgevlakte tokens, past HyperMAE onafhankelijke maskering toe op ruimtelijke patches en spectrale kanalen (75% maskering per dimensie). Dit behoudt de scheidbare structuur die vereist is door LESS Attentie.
• Hiërarchische Kanaalsteekproefneming (HCS): Tijdens de pretraining wordt slechts een subset van kanalen willekeurig bemonsterd binnen een vooraf gedefinieerd ratio-bereik. Dit verlaagt de geheugen- en rekentkosten van de decoder voor dichte reconstructie, terwijl het toch blootstelling biedt aan diverse inputs met gedeeltelijke kanalen. Tijdens fine-tuning en inferentie wordt de decoder verwijderd, en verwerkt het model inputs met volledige kanalen op efficiënte wijze.

3. Belangrijkste Bijdragen

1. LESS Attentie: Een gestructureerde low-rank factorisatie van ruimtelijk-spectrale attentie die de complexiteit van het modelleren van gezamenlijke interacties reduceert van kwadratisch naar bijna lineair in termen van het aantal kanalen, waardoor expliciete modellering op schaal mogelijk wordt.
2. LESSViT Architectuur: Een kanaalagnostische ViT met gekoppelde patch embeddings en golflengte-bewuste positieve encodering (SSRoPE), ontworpen voor consistente en robuuste modellering onder variabele spectrale configuraties.
3. HyperMAE Pretraining: Een op maat gemaakt zelftoezichtend pretrainingkader met gekoppelde ruimtelijk-spectrale maskering en hiërarchische kanaalsteekproefneming, waardoor training voor HSI met hoge dimensionaliteit uitvoerbaar wordt.
4. Cross-Spectrale Generalisatie Benchmark: De vaststelling van een rigoureus evaluatieprotocol op de SpectralEarth-benchmark die variabiliteit tussen sensoren simuleert (spectrale verschuiving, ongezonde golflengten en kanaaluitbreiding) om generalisatie systematisch te beoordelen.

4. Experimentele Resultaten

De auteurs hebben LESSViT geëvalueerd op de SpectralEarth-benchmark, getraind op een vaste configuratie ($C_{120VNIR+}$) en getest in vier scenario's: in-distributie, spectrale verschuiving, ongezonde golflengten en kanaaluitbreiding.

• Robuustheid tegen Spectrale Verschuiving: LESSViT presteerde consistent beter dan baselines (SpectralViT, DOFA, HyperSigma) in out-of-distributie settings. Bijvoorbeeld, onder de setting "ongezonde golflengten" ($C_{82}$) vertoonde LESSViT aanzienlijk minder prestatieverlies vergeleken met SpectralViT, dat in bepaalde taken dalingen van tot wel 90% leed.
• In-Distributie Prestaties: Hoewel SpectralViT de hoogste prestaties behaalde in in-distributie settings (waarschijnlijk vanwege zijn specialisatie op vaste kanalen en kleinere patchgrootte), bleef LESSViT concurrerend en eindigde in de meeste gevallen als tweede.
• Efficiëntie en Schaalbaarheid: LESSViT vertoonde een bijna constante inferentielatentie naarmate het aantal kanalen toenam. In tegenstelling hieraan vertoonden baselines die gebruikmaken van volledige expliciete attentie (zoals ChannelViT) een snel toenemende latentie en faalden ze (Out-of-Memory) bij hoge aantallen kanalen (bijv. $C=200$).
• Ablatiestudies: Het verwijderen van SSRoPE of het gebruik van standaard SIREN-positieve encodering leidde tot een verslechtering van de prestaties, met name bij segmentatietaken, wat het belang van golflengte-bewuste encodering bevestigt. Hiërarchische kanaalsteekproefneming bleek de trainingsefficiëntie te verbeteren (17% tijdsreductie) met minimale impact op downstream-prestaties.

5. Betekenis en Claims

Het artikel stelt dat expliciete en efficiënte ruimtelijk-spectrale modellering essentieel is voor schaalbare en generaliseerbare hyperspectrale representatielerening.

• Aanpakken van de Afweging: LESSViT slaagt erin de afweging tussen efficiëntie en expressiviteit op te lossen. Het vermijdt de computationele verboden van volledige ruimtelijk-spectrale attentie, terwijl het de beperkingen van impliciete spectrale modellering in standaard ViTs overwint.
• Sensorflexibiliteit: Door de rekentkosten te ontkoppelen van de kanaaldimensie en fysieke golflengte-encodering te gebruiken, biedt LESSViT een weg voor modellen om te generaliseren over verschillende sensoren zonder hertraining op elke specifieke configuratie.
• Beperkingen: De auteurs erkennen bescheiden dat generalisatie naar volledig ongezonde of zeer schaarse spectrale configuraties nog steeds uitdagend blijft. Bovendien introduceert het verkleinen van patchgroottes om de segmentatiekwaliteit te verbeteren, hoewel LESS Attentie lineair is in complexiteit, nog steeds aanzienlijke tokenaantallen, wat zelfs met de voorgestelde methode computationeel veeleisend kan zijn.

Kortom, LESSViT biedt een schaalbare oplossing voor cross-spectrale generalisatie en toont aan dat gestructureerde low-rank factorisatie en kanaalagnostisch ontwerp cruciaal zijn voor robuuste hyperspectrale AI.