Feature-Space Oversampling for Addressing Class Imbalance in SAR Ship Classification

Technische Samenvatting: Oversampling in de Feature-Space voor het Aanpakken van Class Imbalance bij SAR-Schipclassificatie

Probleemstelling
Schipclassificatie met Synthetic Aperture Radar (SAR) is cruciaal voor het monitoren van maritiem verkeer, maar staat voor aanzienlijke uitdagingen door schaarste aan data en ernstige class imbalance. Traditionele deep learning-benaderingen worstelen vaak met deze langstaartige datasets. Hoewel data-augmentatie in de sample-ruimte (op beeldniveau) gebruikelijk is voor optische data, faalt deze frequent bij SAR-afbeeldingen vanwege inherente ruis en lage resolutie. Bovendien lost standaard transfer learning, waarbij feature-extractors worden bevroren, de imbalance-problematiek niet inherent op. De auteurs identificeren een behoefte aan methoden die synthetische data kunnen genereren om klassen in balans te brengen zonder te vertrouwen op fragiele manipulaties op beeldniveau.

Methodologie
Het voorgestelde kader verschuift het oversampling-proces van de sample-ruimte naar de feature-ruimte. De pijplijn bestaat uit drie fasen:

1. Feature-extractie: Een voorgetraind model (VGG16, ResNet50 of ViT) met bevroren gewichten haalt features uit SAR-afbeeldingen.
2. Feature-oversampling: Twee nieuwe algoritmen, M2mf en M2mu, worden toegepast op de geëxtraheerde features om synthetische samples voor minderheidsklassen te genereren met behulp van features van meerderheidsklassen.
   • M2mf (Major-to-minor feature): Geïnspireerd door de oorspronkelijke sample-ruimte M2m-methode, berekent dit algoritme class-centroïden voor minderheidsklassen. Het genereert synthetische features door features van meerderheidsklassen te verstoren richting deze centroïden. Een synthetische feature wordt alleen behouden als deze een minimale afstand ($d_t = 0.5$) bewaart van bestaande synthetische features om uniciteit te waarborgen.
   • M2mu (Major-to-minor unique): Deze variatie behoudt een synthetische feature alleen als deze "gelijkend" is op de oorspronkelijke features van de doel-minderheidsklasse. Gelijkenis wordt gemeten met Cosine-similariteit, en een feature wordt alleen bewaard als deze een drempelwaarde overschrijdt ($sim_t = 0.8$).
3. Classificatie: De uitgebreide feature-set (origineel + synthetisch) wordt gebruikt om een classifier (een volledig verbonden blok met ReLU en dropout) te trainen, terwijl de feature-extractor bevroren blijft.

De auteurs evalueerden deze methoden op twee publieke datasets: OpenSARShip (6 klassen) en FuSARShip (9 klassen), waarbij verschillende class-configuraties (2, 4, 6 en 9 klassen) werden getest om verschillende imbalance-scenario's te simuleren.

Belangrijkste Bijdragen

• Nieuwe Algoritmen: Het artikel introduceert twee feature-space oversampling-frameworks (M2mf en M2mu), specifiek aangepast vanuit het Major-to-minor (M2m)-concept om class imbalance bij SAR-schipclassificatie aan te pakken.
• Focus op Feature-ruimte: In tegenstelling tot traditionele methoden die ruwe afbeeldingen augmenteren, maakt dit werk gebruik van de feature-ruimte om synthetische data te genereren, waardoor problemen met betrekking tot SAR-ruis en resolutie worden verlicht.
• Uitgebreide Evaluatie: De studie vergelijkt de voorgestelde methoden rigoureus met een baseline (bevroren extractor + classifier) en de oorspronkelijke sample-ruimte M2m-methode (M2morig) over meerdere state-of-the-art backbones (ViT, VGG16, ResNet50) en dataset-configuraties.

Resultaten
De experimenten toonden aan dat feature-space oversampling significant beter presteert dan zowel de baseline als de sample-ruimte M2m-methode:

• Algemene Prestaties: De voorgestelde methoden bereikten een gemiddelde toename van de F1-score van 8,82% op de FuSARShip-dataset en 4,44% op de OpenSARShip-dataset ten opzichte van de baseline.
• Methodevergelijking:
  • Op FuSARShip leverde M2mu over het algemeen de beste resultaten op, met een gemiddelde prestatieverbetering van 0,63% ten opzichte van M2mf.
  • Op OpenSARShip presteerde M2mf gemiddeld iets beter, met een prestatieverbetering van 0,98% ten opzichte van M2mu.
  • De oorspronkelijke sample-ruimte M2morig presteerde consequent minder goed, vaak met lagere scores dan de baseline, met name in datasets met vier of meer klassen.
• Modelgevoeligheid: ViT en VGG16 toonden verbeterde prestaties met oversampling. Daarentegen vertoonde ResNet50 in alle scenario's vaak tekenen van underfitting, wat suggereert dat zijn diepere architectuur minder geschikt is voor de beperkte SAR-datasets die in deze studie werden gebruikt.
• Class-configuratie: De effectiviteit van de methoden varieerde per aantal klassen. Bijvoorbeeld, M2mu excelleerde in 4- en 9-klassen FuSARShip-configuraties, terwijl M2mf superieur was in 2- en 6-klassen OpenSARShip-configuraties.

Betekenis en Claims
Het artikel claimt dat feature-space oversampling een kosteneffectieve en robuuste oplossing is voor SAR-schipclassificatie. Door te opereren in de feature-ruimte, elimineert de aanpak de noodzaak om het feature-extractieproces voor de hele architectuur opnieuw uit te voeren tijdens augmentatie; alleen de classifier vereist hertraining op de synthetische features. Dit vermindert de rekenkracht en de trainingstijd.

De auteurs benadrukken dat hun werk de beperkingen van sample-space oversampling voor SAR-data onderstreept en de effectiviteit van interventies op feature-niveau valideert. Zij concluderen dat hoewel hun methoden de prestaties op onbalans SAR-datasets significant verbeteren, toekomstig werk zich moet richten op het ontwikkelen van SAR-gewijde sample-space oversampling-technieken en verdere verfijning van feature-space methoden voor bredere toepassing.