Technische Samenvatting: Verbeteren van Hyperspectrale Beeldvoorspelling met Contrastief Leren in Scenario's met Weinig Labels

Probleemstelling

De analyse van hyperspectrale beelden (HSI) staat voor aanzienlijke uitdagingen door de schaarste aan gelabelde data, de hoge dimensionaliteit van spectrale informatie en de complexiteit van het trainen van diepe leermodellen. Traditionele supervised learning-benaderingen vereisen vaak uitgebreide, arbeidsintensieve annotatie, wat kostbaar is en foutgevoelig. Bovendien richten bestaande methoden zich voornamelijk op single-label, pixel-niveau classificatie, waarbij de contextuele invloed van naburige pixels vaak wordt genegeerd. Deze beperking is bijzonder problematisch voor gemengde spectrale signalen waarbij een enkele pixel meerdere materialen kan bevatten, of voor toepassingen zoals landbedekkingclassificatie waar het identificeren van meerdere objecten binnen een scène cruciaal is. Hoewel self-supervised learning (SSL) en contrastief leren (CL) veelbelovend zijn gebleken in computer vision, blijft hun toepassing op HSI onderbelicht, met name voor patch-niveau multi-label classificatie taken onder data-beperkte regimes.

Methodologie

Het artikel stelt een gestroomlijnd, twee-fasen classificatieframework voor dat gebruikmaakt van self-supervised contrastief leren om de prestaties in scenario's met weinig labels te verbeteren.

Fase 1: Self-Supervised Pre-training
De auteurs trainen een basis-encoder en een projectienetwerk met behulp van ongelabelde data.

• Data Augmentatie: Voor elke input-patch worden twee geaugmenteerde views (positieve paren) gegenereerd via willekeurige horizontale en verticale spiegelingen.
• Architectuur: De encoder bestaat uit volledig verbonden lagen (fully connected layers) met ReLU-activatie en dropout. Het brengt de geaugmenteerde views in kaart naar verborgen representaties ($h_1, h_2$). Een projectie-kop (twee fully connected lagen) brengt deze in kaart naar vector-embeddings ($z_1, z_2$).
• Doelstelling: Het model wordt getraind met de Normalised Temperature-scaled Cross Entropy Loss (NT-Xent). Deze verliesfunctie maximaliseert de gelijkenis tussen de embeddings van de twee geaugmenteerde views van dezelfde patch, terwijl de gelijkenis met de embeddings van andere patches (negatieve paren) binnen de batch wordt geminimaliseerd.
• Resultaat: De encoder leert invariante en onderscheidende kenmerken te extraheren uit de ongelabelde data zonder expliciete klasse-supervisie.

Fase 2: Supervised Fine-tuning
De projectie-kop wordt weggegooid en de getrainde encoder wordt geïntegreerd met een classifier.

• Trainingsstrategie: De auteurs evalueren twee scenario's:
  • CL-tune: De encoder-lagen worden ontdoord (unfrozen), waardoor de gewichten opnieuw kunnen worden getraind samen met de classifier met behulp van gelabelde data.
  • CL-freeze: De encoder-lagen worden bevroren (frozen), en alleen de classifier wordt getraind.
• Taken: Het framework wordt geëvalueerd op twee taken:
  • Multi-label Classificatie: Patches krijgen labels die de aanwezigheid van meerdere klassen aangeven (gemengde materialen).
  • Single-label Classificatie: Patches krijgen een label gebaseerd uitsluitend op de centrale pixel, volgens standaardpraktijken.
• Verliesfuncties: Binary Cross Entropy with Logits Loss wordt gebruikt voor multi-label taken, en Cross-Entropy Loss voor single-label taken.

Belangrijkste Bijdragen

1. Robuustheid bij Beperkte Data: De studie toont aan dat de contrastief leer-gebaseerde methode robuust blijft, zelfs wanneer de hoeveelheid gelabelde trainingsdata met wel 50% wordt verminderd. De methode behoudt competitieve prestaties die vergelijkbaar zijn met volledig supervised technieken getraind op volledige datasets.
2. Patch-Niveau Multi-Label Classificatie: Het werk adresseert het onderbelichte gebied van patch-niveau multi-label classificatie in HSI. Door te trainen op kleine patches die subsets van een scène bevatten, identificeert de methode meerdere materialen binnen een patch, waardoor ruimtelijke context wordt gevangen en de impact van gemengde spectrale signalen wordt verminderd.
3. Single-Label Prestaties zonder Pre-processing: De benadering bereikt superieure single-label classificatie nauwkeurigheid vergeleken met traditionele supervised methoden en andere self-supervised baselines, met name zonder complexe pre-processing technieken zoals Principal Component Analysis (PCA) of morfologische profielen te vereisen.
4. Kwalitatieve Inzichten in Representaties: Door middel van t-SNE visualisatie onthullen de auteurs dat de contrastief leer-gebaseerde encoder contextuele en transitionele kenmerken (bijv. ruimtelijke nabijheid en materiaalgelykheid) vastlegt, zelfs zonder expliciete training op dergelijke informatie. Dit suggereert dat het model impliciet de inherente ruimtelijke informatie in de data ontdekt.

Experimentele Resultaten

De methodologie werd gevalideerd op vier publieke datasets: Pavia University (PaviaU), Salinas, Houston 2013, en Houston 2018.

• Multi-Label Prestaties: De CL-tune strategie presteerde aanzienlijk beter dan de CL-freeze strategie en drie volledig supervised baselines (Iterative, Joint, en Cascade schema's). Op PaviaU en Salinas verbeterde CL-tune de nauwkeurigheid met respectievelijk 1,73%–4,37% en 1,25%–2,46% ten opzichte van de beste supervised baselines. Cruciaal is dat wanneer er getraind werd op slechts 50% van de gelabelde data, het CL-tune model een nauwkeurigheid bereikte die bijna identiek is aan volledig supervised modellen getraind op 100% van de data.
• Single-Label Prestaties: De CL-gebaseerde classifier presteerde beter dan gevestigde methoden inclusief HSI-CNN, TRI-CNN, SSCL, en 3D-CNN. Opvallend genoeg behaalde het een hogere nauwkeurigheid dan de 3D-CNN methode, terwijl het een aanzienlijk kleinere dataset gebruikte (ongeveer 9% van de totale gelabelde samples voor PaviaU) en een eenvoudigere architectuur zonder PCA.
• Impact van Datavermindering: Hoewel de prestaties natuurlijk afnamen bij minder data, vertoonden modellen met grotere verborgen representatiegroottes (64 vs. 32) een grotere veerkracht, vooral op datasets met een hoge klassendiversiteit (PaviaU, Houston 2013).
• Temperatuurparameter: Experimenten bevestigden dat een temperatuur-schaalparameter ($T$) van 0,1 de optimale nauwkeurigheid opleverde, waarbij een balans werd gevonden tussen modelvertrouwen en generalisatie.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het aantonen dat een gestroomlijnde, minimalistische architectuur, versterkt door self-supervised contrastief leren, effectief de beperkingen van de schaarste aan gelabelde data in hyperspectrale beeldvorming kan overwinnen.

De auteurs stellen dat hun methode een levensvatbaar alternatief biedt voor complexe deep learning structuren (zoals ResNet) en zware pre-processing pipelines. Door het mogelijk te maken om de encoder opnieuw te trainen naast de classifier (CL-tune), past het model zijn kenmerk-extractie vermogens aan de specifieke vereisten van de downstream taak aan, wat leidt tot verbeterde classificatieprestaties. Verder suggereert de kwalitatieve analyse dat contrastief leren inherent zorgt voor het leren van representaties die ruimtelijke en contextuele relaties coderen, wat het vermogen van het model verbetert om klassen te onderscheiden, zelfs in complexe, gemengde patch-scenario's. Deze benadering wordt gepresenteerd als een robuuste oplossing voor real-world toepassingen waar het verwerven van uitgebreide gelabelde datasets onpraktisch is.