Technische Zusammenfassung: LESSViT: Robustes Lernen hyperspektraler Repräsentationen unter spektralen Konfigurationsverschiebungen

1. Problemstellung

Hyperspektralbilder (HSI) erfassen feingranulare spektrale Signaturen über hunderte benachbarter Wellenlängenbänder und ermöglichen so eine detaillierte Charakterisierung von Materialien, biophysikalischen Zuständen und Umweltprozessen. Eine fundamentale Herausforderung ergibt sich jedoch aus der Variabilität der spektralen Konfigurationen verschiedener Sensoren. Im Gegensatz zu natürlichen Bildern mit festen RGB-Kanälen unterscheiden sich HSI-Sensoren erheblich in ihrer Wellenlängenabdeckung, Bandabtastung und Kanaldimensionalität. Folglich versagen Modelle, die auf einer festen spektralen Konfiguration trainiert wurden, häufig bei der Generalisierung auf andere Sensoren und leiden unter einer „spektralen Verschiebung".

Bestehende Ansätze stehen vor einem Zielkonflikt zwischen Effizienz und Ausdruckskraft:

• Implizite Modellierung: Standard-Vision-Transformer (ViTs) fassen die spektrale Dimension oft in der Kanaldimension zusammen oder verwenden feste Patch-Einbettungen. Obwohl diese Methoden rechnerisch effizient sind, gehen sie von einer festen Kanalstruktur aus und modellieren wellenlängenabhängige Beziehungen nicht explizit, was die generalisierbarkeit über Sensoren hinweg einschränkt.
• Explizite Modellierung: Die Behandlung spektraler Kanäle als unabhängige Tokens und die Anwendung einer vollständigen räumlich-spektralen Aufmerksamkeit ermöglichen eine explizite Modellierung, verursachen jedoch eine prohibitiv hohe rechnerische Komplexität von $O(N^2C^2)$, wobei $N$ die Anzahl der räumlichen Tokens und $C$ die Anzahl der spektralen Kanäle ist. Dies macht dies für hochdimensionale HSI-Eingaben unlösbar.

2. Methodik: LESSViT

Die Autoren schlagen LESSViT (Low-rank Efficient Spatial–Spectral ViT) vor, eine sensorflexible Architektur, die durch drei Kernkomponenten eine generalisierbarkeit über das Spektrum hinweg erreicht:

2.1 Kanalagnostische Tokenisierung (Gebundene Patch-Einbettung)

Um unterschiedliche spektrale Dimensionalitäten zu unterstützen, verwendet LESSViT eine Schicht mit gebundener Patch-Einbettung. Anstatt für jeden Kanal unterschiedliche Gewichte zu lernen, verwendet das Modell geteilte Projektionsgewichte über alle Kanäle hinweg. Gegeben eine Eingabe-HSI der Größe $C \times H \times W$, wird diese in Patches partitioniert und unter Verwendung einer gemeinsamen linearen Abbildung in Tokens projiziert. Dies stellt sicher, dass das Modell Eingaben mit unterschiedlichen Anzahlen spektraler Kanäle verarbeiten kann, ohne neu trainiert werden zu müssen oder architektonische Änderungen vorzunehmen.

2.2 Effiziente räumlich-spektrale Aufmerksamkeit mit niedrigem Rang (LESS Attention)

Um den Zielkonflikt zwischen Effizienz und Ausdruckskraft zu lösen, führen die Autoren LESS Attention ein, eine strukturierte Faktorisierung mit niedrigem Rang der räumlich-spektralen Aufmerksamkeit.

• Zerlegung: Die Methode nutzt die strukturelle Trennbarkeit hyperspektraler Daten aus und zerlegt gemeinsame Interaktionen in rein räumliche und rein spektrale Komponenten.
• Mechanismus: Eingabetokens werden unter Verwendung einer Attention-Pooling-Schicht in räumliche Tokens ($X_S$) und spektrale Tokens ($X_C$) zerlegt. Räumliche und spektrale Aufmerksamkeit ($A_S$ und $A_C$) werden unabhängig voneinander berechnet.
• Approximation mit niedrigem Rang: Die gemeinsame räumlich-spektrale Aufmerksamkeit wird über das Kronecker-Produkt dieser Komponenten approximiert: $A = \sum_{i=1}^r A_C^i \otimes A_S^i$, wobei $r$ der Rang der Approximation mit niedrigem Rang ist.
• Komplexitätsreduktion: Dieser Ansatz reduziert die rechnerische Komplexität von $O(N^2C^2D)$ auf $O(r(N^2d_1 + C^2d_2 + NCD))$, wobei $d_1$ und $d_2$ Subdimensionen sind. Dies ermöglicht die explizite Modellierung gemeinsamer Abhängigkeiten, ohne die vollständige Aufmerksamkeitsmatrix über das gesamte räumlich-spektrale Gitter berechnen zu müssen.

2.3 Wellenlängenbewusste Positionscodierung (SSRoPE)

Um spektrale Beziehungen unter variierenden Konfigurationen konsistent zu modellieren, führen die Autoren Spatial-Spectral Rotary Positional Embedding (SSRoPE) ein.

• Räumliche Dimension: Wendet eine Standard-2D-RoPE über räumliche Koordinaten $(u, v)$ an.
• Spektrale Dimension: Wendet eine 1D-RoPE über die spektrale Dimension unter Verwendung physikalischer Wellenlängen $\lambda$ anstelle fester Kanalindizes an.
• Vorteil: Dieses Design stellt sicher, dass die Positionscodierung die physikalische Struktur des Spektrums widerspiegelt, was das Modell robust gegenüber Änderungen in der Wellenlängenabdeckung und Bandabtastung macht.

2.4 Vortraining: HyperMAE

Um ein skalierbares Vortraining zu ermöglichen, schlagen die Autoren HyperMAE (Hyperspectral Masked Autoencoder) vor:

• Entkoppelte Maskierung: Anstatt eine zufällige Maskierung über abgeflachte Tokens anzuwenden, wendet HyperMAE eine unabhängige Maskierung auf räumliche Patches und spektrale Kanäle an (75 % Maskierung pro Dimension). Dies bewahrt die für LESS Attention erforderliche trennbare Struktur.
• Hierarchische Kanalsampling (HCS): Während des Vortrainings wird nur eine Teilmenge der Kanäle innerhalb eines vordefinierten Verhältnissbereichs zufällig ausgewählt. Dies reduziert den Speicher- und Rechenaufwand des Decoders für eine dichte Rekonstruktion, während gleichzeitig der Kontakt mit diversen Eingaben mit partiellen Kanälen erhalten bleibt. Während des Feinabstimmens und der Inferenz wird der Decoder entfernt, und das Modell verarbeitet Eingaben mit vollen Kanälen effizient.

3. Hauptbeiträge

1. LESS Attention: Eine strukturierte Faktorisierung mit niedrigem Rang der räumlich-spektralen Aufmerksamkeit, die die Komplexität der Modellierung gemeinsamer Interaktionen in Bezug auf die Kanalanzahl von quadratisch auf nahezu linear reduziert und eine explizite Modellierung im großen Maßstab ermöglicht.
2. LESSViT-Architektur: Ein kanalagnostischer ViT mit gebundenen Patch-Einbettungen und wellenlängenbewusster Positionscodierung (SSRoPE), entwickelt für eine konsistente und robuste Modellierung unter variierenden spektralen Konfigurationen.
3. HyperMAE-Vortraining: Ein maßgeschneiderter selbstüberwachter Vortrainingsrahmen mit entkoppelter räumlich-spektraler Maskierung und hierarchischem Kanalsampling, der das Training für hochdimensionale HSI lösbar macht.
4. Benchmark für generalisierbarkeit über das Spektrum hinweg: Die Etablierung eines strengen Evaluierungsprotokolls auf dem SpectralEarth-Benchmark, der sensorübergreifende Variabilität (spektrale Verschiebung, nicht gesehene Wellenlängen und Kanalerweiterung) simuliert, um die generalisierbarkeit systematisch zu bewerten.

4. Experimentelle Ergebnisse

Die Autoren bewerteten LESSViT auf dem SpectralEarth-Benchmark, trainiert auf einer festen Konfiguration ($C_{120VNIR+}$) und getestet in vier Szenarien: in-Verteilung, spektrale Verschiebung, nicht gesehene Wellenlängen und Kanalerweiterung.

• Robustheit gegenüber spektraler Verschiebung: LESSViT übertraf Baselines (SpectralViT, DOFA, HyperSigma) in Out-of-Distribution-Szenarien konsistent. Beispielsweise zeigte LESSViT unter dem Szenario „nicht gesehene Wellenlängen" ($C_{82}$) eine signifikant geringere Leistungsverschlechterung im Vergleich zu SpectralViT, das in bestimmten Aufgaben Leistungsabfälle von bis zu 90 % erlitt.
• Leistung in der Verteilung: Während SpectralViT in In-Distribution-Szenarien die höchste Leistung erzielte (wahrscheinlich aufgrund seiner Spezialisierung auf feste Kanäle und kleinerer Patch-Größe), blieb LESSViT konkurrenzfähig und belegte in den meisten Fällen den zweiten Platz.
• Effizienz und Skalierbarkeit: LESSViT zeigte eine nahezu konstante Inferenz-Latenz, wenn die Anzahl der Kanäle zunahm. Im Gegensatz dazu zeigten Baselines, die eine vollständige explizite Aufmerksamkeit verwenden (wie ChannelViT), eine schnell ansteigende Latenz und scheiterten (Out-of-Memory) bei hohen Kanalanzahlen (z. B. $C=200$).
• Ablationsstudien: Das Entfernen von SSRoPE oder die Verwendung einer Standard-SIREN-Positionscodierung verschlechterte die Leistung, insbesondere bei Segmentierungsaufgaben, was die Bedeutung der wellenlängenbewussten Codierung bestätigt. Hierarchisches Kanalsampling verbesserte die Trainingseffizienz (17 % Zeitreduktion) mit minimalen Auswirkungen auf die nachgelagerte Leistung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass explizite und effiziente räumlich-spektrale Modellierung für ein skalierbares und generalisierbares Lernen hyperspektraler Repräsentationen unerlässlich ist.

• Adressierung des Zielkonflikts: LESSViT reconciliert erfolgreich den Zielkonflikt zwischen Effizienz und Ausdruckskraft. Es vermeidet die rechnerischen Verbote einer vollständigen räumlich-spektralen Aufmerksamkeit und überwindet gleichzeitig die Einschränkungen der impliziten spektralen Modellierung in Standard-ViTs.
• Sensorflexibilität: Durch die Entkopplung der Rechenkosten von der Kanaldimensionalität und die Verwendung einer physikalischen Wellenlängencodierung bietet LESSViT einen Weg, damit Modelle über verschiedene Sensoren hinweg generalisieren können, ohne bei jeder spezifischen Konfiguration neu trainiert werden zu müssen.
• Einschränkungen: Die Autoren geben bescheiden zu, dass die Generalisierung auf völlig nicht gesehene oder stark sparse spektrale Konfigurationen nach wie vor eine Herausforderung bleibt. Darüber hinaus führt, obwohl LESS Attention in der Komplexität linear ist, die Verringerung der Patch-Größen zur Verbesserung der Segmentierungsqualität immer noch zu einer erheblichen Anzahl von Tokens, was selbst mit der vorgeschlagenen Methode rechnerisch anspruchsvoll sein kann.

Zusammenfassend bietet LESSViT eine skalierbare Lösung für die generalisierbarkeit über das Spektrum hinweg und zeigt, dass strukturierte Faktorisierung mit niedrigem Rang und ein kanalagnostisches Design entscheidend für eine robuste hyperspektrale KI sind.