Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

Technische Samenvatting: Transfer Learning van RGB-modellen naar Hyperspectrale Afbeeldingen met Trainbare Tensorontbindingen

Probleemstelling
Hyperspectrale beeldvorming (HSI) vangt data op over honderden spectrale golflengten, wat rijke informatie biedt voor taken in remote sensing, medische beeldvorming en tuinbouw. Het trainen van deep learning-modellen op HSI wordt echter gehinderd door het gebrek aan grote, diverse datasets in vergelijking met RGB-afbeeldingen. Bijgevolg is transfer learning vanuit vooraf getrainde RGB-backbone-modellen (bijvoorbeeld getraind op ImageNet) een wenselijke strategie. Er bestaat echter een fundamentele incompatibiliteit: standaard backbone-modellen verwachten 3-kanaals RGB-ingangen, terwijl hyperspectrale afbeeldingen aanzienlijk hogere kanaaldimensies hebben ($\hat{C}_{in} > 3$).

Bestaande oplossingen voor deze dimensie-ongelijkheid lijden onder aanzienlijke afwegingen:

1. Aanpassing aan de beeldzijde: Het reduceren van hyperspectrale afbeeldingen tot 3 kanalen via dimensiereductie (bijvoorbeeld PCA) of kanaalselectie behoudt de modelarchitectuur, maar gooit cruciale spectrale informatie weg.
2. Aanpassing aan de modelzijde: Het vervangen van de eerste convolutielaag door een laag met $\hat{C}_{in}$ ingangskanalen behoudt de beelddata, maar vereist het trainen van nieuwe gewichten vanaf nul. Dit offert de vooraf geleerde ruimtelijke patronen van de oorspronkelijke filters op, verhoogt het aantal trainbare parameters en vergroot het risico op overfitting op kleine HSI-datasets.

Methodologie
De auteurs stellen een nieuwe aanpak voor die deze kloof overbrugt door gebruik te maken van partieel trainbare tensorontbindingen. De kerninzicht is dat convolutiefilters in backbone-modellen kunnen worden ontbonden in ruimtelijke en spectrale componenten. Door deze te scheiden, kan de methode de ruimtelijke patronen behouden die zijn geleerd uit grote RGB-datasets, terwijl de spectrale componenten worden aangepast aan het specifieke hyperspectrale domein.

Het proces omvat de volgende stappen:

1. Ontbinding: De gewichten van de eerste convolutielaag ($W^1$) van een vooraf getrainde backbone worden ontbonden met behulp van CP (Canonic Polyadic) of Tucker tensorontbinding.
   • CP-ontbinding: Benadert het filter als een som van rang-een tensoren, waarbij het filter wordt gescheiden in één spectrale vector en twee ruimtelijke vectoren (horizontaal en verticaal).
   • Tucker-ontbinding: Projecteert de tensor via matrixvermenigvuldigingen naar een lagere-dimensionale kern-tensor. De auteurs passen een partieel Tucker-ontbinding toe, waarbij alleen de spectrale dimensie wordt gecomprimeerd terwijl de ruimtelijke structuur behouden blijft.
2. Componentvervanging: De oorspronkelijke 3-kanaals spectrale componenten worden verwijderd. Ze worden vervangen door nieuwe, trainbare spectrale componenten met dimensie $\hat{C}_{in}$ (die overeenkomt met de hyperspectrale ingang).
3. Invriezen en Trainen: De ruimtelijke componenten (afgeleid van de oorspronkelijke vooraf getrainde filters) worden geïmmobiliseerd. Alleen de nieuwe spectrale componenten en de laatste classificatielaag worden getraind.
4. Implementatie: De ontbonden lagen worden geïmplementeerd met behulp van gegroepeerde scheidbare convoluties. Voor CP omvat dit een puntsgewijze convolutie gevolgd door twee dieptewijze convoluties; voor Tucker een puntsgewijze convolutie gevolgd door een standaard 2D-convolutie.

Belangrijkste Bijdragen

• Nieuw Transfermechanisme: Het paper introduceert een methode om 3-kanaals RGB-backbones aan te passen aan hyperspectrale ingangen zonder de vooraf getrainde ruimtelijke informatie op te offeren of spectrale data weg te gooien.
• Parameter-efficiëntie: Door de ruimtelijke componenten te bevriezen, reduceert de methode het aantal trainbare parameters drastisch in vergelijking met het opnieuw trainen van de eerste laag vanaf nul, waardoor het risico op overfitting in datagebrekkige scenario's wordt verminderd.
• Behoud van Ruimtelijke Priors: De aanpak behoudt de "gekleurde, elliptische vormen" en randdetectie-gedragingen die kenmerkend zijn voor vooraf getrainde backbone-filters, wat cruciaal is voor robuuste visietaken.

Experimentele Resultaten
De auteurs evalueerden hun methode op vijf datasets: drie remote sensing-datasets (Botswana, Indian Pines, Kennedy Space Center) en twee tuinbouwdatasets (Avocado, Druivenbladeren). Ze vergeleken hun CP- en Tucker-aanpakken met twee baselines:

• Reduce: Dimensiereductie tot 3 kanalen.
• Scratch: Vervanging van de eerste laag door een nieuwe laag die vanaf nul wordt getraind.

Vondsten:

• Nauwkeurigheid: De voorgestelde CP- en Tucker-methoden presteerden consequent beter dan de "Reduce"-baseline. Ze waren over het algemeen nauwkeuriger dan de "Scratch"-baseline, met name op complexe datasets zoals 'Druivenbladeren', waar "Scratch" slecht presteerde.
• Robuustheid: In overfitting-experimenten (variëren van leersnelheden en trainen voor uitgebreide epoches) overfitte de "Scratch"-methode aanzienlijk sneller dan de ontbonden benaderingen. De ontbonden methoden toonden grotere stabiliteit.
• Backbone-onafhankelijkheid: De resultaten bleven gelden voor verschillende backbone-architecturen (AlexNet, DenseNet, ResNet18).
• Ranggevoeligheid: Hoewel een ontbindingsrang van $R=2$ over het algemeen de beste balans bood, leverde het verhogen van de rang naar $R=3$ niet consequent verdere verbeteringen op, wat wijst op de noodzaak van hyperparameter-tuning.

Betekenis en Claims
Het paper claimt dat deze aanpak de dimensie-ongelijkheid tussen hyperspectrale afbeeldingen en RGB-backbones succesvol oplost, terwijl zowel de spectrale informatie van de afbeelding als de ruimtelijke priors van het model worden behouden. De auteurs stellen dat hun methode nauwkeuriger en robuuster tegen overfitting is dan bestaande hyperspectrale transfer learning-aanpakken die ofwel de afbeelding comprimeren of het model vanaf nul opnieuw trainen.

Het werk positioneert zichzelf als een stap in de richting van het creëren van universele backbones voor hyperspectrale beeldvorming. De auteurs blijven echter bescheiden wat beperkingen betreft, en merken op dat tensor-ontbonden lagen gevoelig kunnen zijn voor initialisatie en optimalisatiestrategieën. Zij suggereren dat toekomstig werk zich kan richten op optimalisatiestrategieën die specifiek zijn afgestemd op deze lagen, en op het verkennen van methoden die op termijn transfer learning mogelijk maken zonder backpropagatie door het volledige netwerk.