Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

Technischer Zusammenfassung: Transferlernen von RGB-Modellen auf hyperspektrale Bilder mit trainierbaren Tensorzerlegungen

Problemstellung
Die hyperspektrale Bildgebung (HSI) erfasst Daten über hunderte spektraler Wellenlängen und bietet reichhaltige Informationen für Aufgaben in der Fernerkundung, medizinischen Bildgebung und im Gartenbau. Das Training von Deep-Learning-Modellen auf HSI wird jedoch durch den Mangel an großen, vielfältigen Datensätzen im Vergleich zu RGB-Bildern behindert. Folglich ist Transferlernen von vortrainierten RGB-Backbone-Modellen (z. B. auf ImageNet trainiert) eine wünschenswerte Strategie. Dennoch besteht eine fundamentale Inkompatibilität: Standard-Backbone-Modelle erwarten 3-Kanal-RGB-Eingaben, während hyperspektrale Bilder deutlich höhere Kanaldimensionen aufweisen ($\hat{C}_{in} > 3$).

Bestehende Lösungen für diese Dimensionsdiskrepanz leiden unter erheblichen Kompromissen:

1. Anpassung auf Bildebene: Die Reduktion hyperspektraler Bilder auf 3 Kanäle mittels Dimensionsreduktion (z. B. PCA) oder Kanalauswahl bewahrt die Modellarchitektur, verwirft jedoch entscheidende spektrale Informationen.
2. Anpassung auf Modellebene: Der Ersatz der ersten Faltungsschicht durch eine mit $\hat{C}_{in}$ Eingabekanälen bewahrt die Bilddaten, erfordert jedoch das Training neuer Gewichte von Grund auf. Dies opfert die vorab gelernten räumlichen Muster der ursprünglichen Filter, erhöht die Anzahl trainierbarer Parameter und verstärkt das Risiko einer Überanpassung an kleinen HSI-Datensätzen.

Methodik
Die Autoren schlagen einen neuartigen Ansatz vor, der diese Lücke durch die Nutzung teilweise trainierbarer Tensorzerlegungen schließt. Die Kernidee besteht darin, dass Faltungsfilter in Backbone-Modellen in räumliche und spektrale Komponenten zerlegt werden können. Durch die Trennung dieser Komponenten kann die Methode die aus großen RGB-Datensätzen gelernten räumlichen Muster beibehalten und gleichzeitig die spektralen Komponenten an die spezifische hyperspektrale Domäne anpassen.

Der Prozess umfasst folgende Schritte:

1. Zerlegung: Die Gewichte der ersten Faltungsschicht ($W^1$) eines vortrainierten Backbones werden mittels CP (Canonic Polyadic) oder Tucker-Tensorzerlegung zerlegt.
   • CP-Zerlegung: Approximiert den Filter als Summe von Rang-eins-Tensoren und trennt den Filter in einen spektralen Vektor und zwei räumliche Vektoren (horizontal und vertikal).
   • Tucker-Zerlegung: Projiziert den Tensor über Matrixmultiplikationen in einen niedrigdimensionalen Kerntensor. Die Autoren wenden eine partielle Tucker-Zerlegung an, die nur die spektrale Dimension komprimiert, während die räumliche Struktur erhalten bleibt.
2. Komponentenersetzung: Die ursprünglichen 3-Kanal-spektralen Komponenten werden verworfen. Sie werden durch neue, trainierbare spektrale Komponenten der Dimension $\hat{C}_{in}$ (entsprechend dem hyperspektralen Eingang) ersetzt.
3. Einfrieren und Training: Die räumlichen Komponenten (abgeleitet von den ursprünglichen vortrainierten Filtern) werden eingefroren. Nur die neuen spektralen Komponenten und die letzte Klassifikationsschicht werden trainiert.
4. Implementierung: Die zerlegten Schichten werden mittels gruppiert trennbarer Faltungen implementiert. Für CP erfolgt dies durch eine punktweise Faltung gefolgt von zwei tiefen Faltungen; für Tucker durch eine punktweise Faltung gefolgt von einer Standard-2D-Faltung.

Hauptbeiträge

• Neuartiger Transfermechanismus: Die Arbeit stellt eine Methode vor, um 3-Kanal-RGB-Backbones an hyperspektrale Eingaben anzupassen, ohne die vortrainierten räumlichen Informationen zu opfern oder spektrale Daten zu verwerfen.
• Parametereffizienz: Durch das Einfrieren der räumlichen Komponenten reduziert die Methode die Anzahl trainierbarer Parameter drastisch im Vergleich zum Neutraining der ersten Schicht von Grund auf, wodurch das Risiko der Überanpassung in datenarmen Szenarien gemindert wird.
• Erhaltung räumlicher Priors: Der Ansatz bewahrt die für vortrainierte Backbone-Filter charakteristischen „farbigen, elliptischen Formen" und Kantenerkennungsverhalten, die für robuste Vision-Aufgaben entscheidend sind.

Experimentelle Ergebnisse
Die Autoren bewerteten ihre Methode an fünf Datensätzen: drei Fernerkundungsdatensätzen (Botswana, Indian Pines, Kennedy Space Center) und zwei Gartenbaudatensätzen (Avocado, Traubenblätter). Sie verglichen ihre CP- und Tucker-Ansätze mit zwei Baselines:

• Reduce: Dimensionsreduktion auf 3 Kanäle.
• Scratch: Ersetzen der ersten Schicht durch eine neue Schicht, die von Grund auf trainiert wird.

Ergebnisse:

• Genauigkeit: Die vorgeschlagenen CP- und Tucker-Methoden schnitten bei der „Reduce"-Baseline konsistent besser ab. Sie waren im Allgemeinen genauer als die „Scratch"-Baseline, insbesondere bei komplexen Datensätzen wie „Traubenblätter", wo „Scratch" schlecht abschnitt.
• Robustheit: In Überanpassungsexperimenten (Variation der Lernraten und Training über längere Epochen) überanpasste die „Scratch"-Methode deutlich schneller als die zerlegten Ansätze. Die zerlegten Methoden zeigten eine größere Stabilität.
• Backbone-Unabhängigkeit: Die Ergebnisse galten über verschiedene Backbone-Architekturen hinweg (AlexNet, DenseNet, ResNet18).
• Rang-Sensitivität: Während ein Zerlegungsrang von $R=2$ allgemein das beste Gleichgewicht bot, führte eine Erhöhung des Rangs auf $R=3$ nicht konsistent zu weiteren Verbesserungen, was auf die Notwendigkeit einer Hyperparameter-Optimierung hindeutet.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass dieser Ansatz die Dimensionsdiskrepanz zwischen hyperspektralen Bildern und RGB-Backbones erfolgreich auflöst, wobei sowohl die spektralen Informationen des Bildes als auch die räumlichen Priors des Modells erhalten bleiben. Die Autoren betonen, dass ihre Methode genauer und robuster gegen Überanpassung ist als bestehende Transferlernansätze für hyperspektrale Bilder, die entweder das Bild komprimieren oder das Modell von Grund auf neu trainieren.

Die Arbeit positioniert sich als Schritt hin zu universellen Backbones für die hyperspektrale Bildgebung. Die Autoren bleiben jedoch bezüglich der Einschränkungen bescheiden und weisen darauf hin, dass tensorzerlegte Schichten empfindlich gegenüber Initialisierung und Optimierungsstrategien sein können. Sie schlagen vor, dass zukünftige Arbeiten sich auf speziell für diese Schichten zugeschnittene Optimierungsstrategien konzentrieren und Methoden erforschen könnten, die schließlich Transferlernen ohne Rückpropagierung durch das gesamte Netzwerk ermöglichen.