Feature-Space Oversampling for Addressing Class Imbalance in SAR Ship Classification

Technische Zusammenfassung: Feature-Space-Oversampling zur Behandlung von Klassenungleichgewicht bei der SAR-Schiffsklassifizierung

Problemstellung
Die Klassifizierung von Schiffen mittels Synthetic Aperture Radar (SAR) ist entscheidend für die Überwachung des Schiffsverkehrs, steht jedoch aufgrund von Datenknappheit und schwerwiegendem Klassenungleichgewicht vor erheblichen Herausforderungen. Herkömmliche Deep-Learning-Ansätze haben oft Schwierigkeiten mit diesen langschwänzigen Datensätzen. Während Daten-Augmentierung im Stichprobenraum (auf Bildebene) bei optischen Daten üblich ist, versagt sie bei SAR-Bildern häufig aufgrund inhärenten Rauschens und geringer Auflösung. Darüber hinaus löst das Standard-Transfer-Learning, bei dem Merkmalsextraktoren eingefroren werden, das Ungleichgewichtsproblem nicht von selbst. Die Autoren identifizieren einen Bedarf an Methoden, die synthetische Daten zur Ausgewogenheit der Klassen generieren können, ohne sich auf fragile Manipulationen auf Bildebene zu verlassen.

Methodik
Der vorgeschlagene Rahmen verlagert den Oversampling-Prozess vom Stichprobenraum in den Feature-Raum. Die Pipeline besteht aus drei Stufen:

1. Merkmalsextraktion: Ein vortrainiertes Modell (VGG16, ResNet50 oder ViT) mit eingefrorenen Gewichten extrahiert Merkmale aus SAR-Bildern.
2. Feature-Oversampling: Zwei neuartige Algorithmen, M2mf und M2mu, werden auf die extrahierten Merkmale angewendet, um synthetische Stichproben für Minderheitsklassen unter Verwendung von Merkmalen der Mehrheitsklassen zu generieren.
   • M2mf (Major-to-minor feature): Inspiriert von der ursprünglichen M2m-Methode im Stichprobenraum berechnet dieser Algorithmus Klassenzentroide für Minderheitsklassen. Er generiert synthetische Merkmale, indem er Merkmale der Mehrheitsklassen in Richtung dieser Zentroide perturbiert. Ein synthetisches Merkmal wird nur beibehalten, wenn es einen Mindestabstand ($d_t = 0.5$) zu bestehenden synthetischen Merkmalen einhält, um Einzigartigkeit sicherzustellen.
   • M2mu (Major-to-minor unique): Diese Variante behält ein synthetisches Merkmal nur dann bei, wenn es den ursprünglichen Merkmalen der Ziel-Minderheitsklasse „ähnlich" ist. Die Ähnlichkeit wird mittels Kosinus-Ähnlichkeit gemessen, und ein Merkmal wird nur beibehalten, wenn es einen Schwellenwert überschreitet ($sim_t = 0.8$).
3. Klassifizierung: Der augmentierte Merkmalsatz (original + synthetisch) wird verwendet, um einen Klassifikator (ein vollständig verbundener Block mit ReLU und Dropout) zu trainieren, während der Merkmalsextraktor eingefroren bleibt.

Die Autoren bewerteten diese Methoden auf zwei öffentlichen Datensätzen: OpenSARShip (6 Klassen) und FuSARShip (9 Klassen), wobei verschiedene Klassenkonfigurationen (2, 4, 6 und 9 Klassen) getestet wurden, um unterschiedliche Ungleichgewichtsszenarien zu simulieren.

Hauptbeiträge

• Neuartige Algorithmen: Die Arbeit stellt zwei Feature-Raum-Oversampling-Frameworks (M2mf und M2mu) vor, die speziell vom Major-to-minor (M2m)-Konzept adaptiert wurden, um das Klassenungleichgewicht bei der SAR-Schiffsklassifizierung zu adressieren.
• Fokus auf Feature-Raum: Im Gegensatz zu traditionellen Methoden, die Rohbilder augmentieren, nutzt diese Arbeit den Feature-Raum zur Generierung synthetischer Daten, wodurch Probleme im Zusammenhang mit SAR-Rauschen und Auflösung gemildert werden.
• Umfassende Evaluation: Die Studie vergleicht die vorgeschlagenen Methoden rigoros mit einer Baseline (eingefrorener Extraktor + Klassifikator) und der ursprünglichen Sample-Space-M2m-Methode (M2morig) über mehrere State-of-the-Art-Backbones (ViT, VGG16, ResNet50) und Datensatzkonfigurationen hinweg.

Ergebnisse
Die Experimente zeigten, dass Feature-Raum-Oversampling sowohl die Baseline als auch die Sample-Space-M2m-Methode signifikant übertrifft:

• Gesamtleistung: Die vorgeschlagenen Methoden erzielten im Vergleich zur Baseline eine durchschnittliche F1-Score-Erhöhung von 8,82 % auf dem FuSARShip-Datensatz und von 4,44 % auf dem OpenSARShip-Datensatz.
• Methodenvergleich:
  • Auf FuSARShip lieferte M2mu im Allgemeinen die besten Ergebnisse und übertraf M2mf durchschnittlich um 0,63 %.
  • Auf OpenSARShip schnitt M2mf im Durchschnitt leicht besser ab und übertraf M2mu um 0,98 %.
  • Die ursprüngliche Sample-Space-Methode M2morig schnitt durchgehend schlechter ab und erzielte oft niedrigere Werte als die Baseline, insbesondere bei Datensätzen mit vier oder mehr Klassen.
• Modellsensitivität: ViT und VGG16 zeigten mit Oversampling eine verbesserte Leistung. Im Gegensatz dazu wies ResNet50 in allen Szenarien häufig Anzeichen von Underfitting auf, was darauf hindeutet, dass seine tiefere Architektur für die in dieser Studie verwendeten begrenzten SAR-Datensätze weniger geeignet sein könnte.
• Klassenkonfiguration: Die Wirksamkeit der Methoden variierte je nach Klassenanzahl. Beispielsweise excellierte M2mu in den 4- und 9-Klassen-Konfigurationen von FuSARShip, während M2mf in den 2- und 6-Klassen-Konfigurationen von OpenSARShip überlegen war.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Feature-Raum-Oversampling eine kosteneffektive und robuste Lösung für die SAR-Schiffsklassifizierung darstellt. Durch die Operation im Feature-Raum entfällt die Notwendigkeit, den Merkmalsextraktionsprozess für die gesamte Architektur während der Augmentierung erneut durchzuführen; nur der Klassifikator muss auf den synthetischen Merkmalen neu trainiert werden. Dies reduziert Rechenressourcen und Trainingszeit.

Die Autoren betonen, dass ihre Arbeit die Grenzen von Sample-Space-Oversampling für SAR-Daten aufzeigt und die Wirksamkeit von Eingriffen auf Merkmalsebene validiert. Sie schließen, dass ihre Methoden zwar die Leistung auf unausgewogenen SAR-Datensätzen signifikant verbessern, zukünftige Arbeiten jedoch darauf fokussieren sollten, SAR-spezifische Sample-Space-Oversampling-Techniken zu entwickeln und Feature-Raum-Methoden für eine breitere Anwendung weiter zu verfeinern.