Deep learning-based object detection of offshore platforms on Sentinel-1 Imagery and the impact of synthetic training data

Titel: Deep learning-gebaseerde objectdetectie van offshore-platforms op Sentinel-1-beelden en de impact van synthetische trainingsdata

1. Probleemstelling

De uitbreiding van mariene infrastructuur, zoals olie- en gasplatforms, windparken en kunstmatige eilanden, vereist effectieve monitoringssystemen. Hoewel satellietdata (zoals Sentinel-1) beschikbaar is, lopen bestaande deep learning-modellen vaak tegen beperkingen aan:

• Data-schaarste: Er is een gebrek aan gebalanceerde datasets, vooral voor ondervertegenwoordigde objectklassen (zoals complexe platformclusters) en variërende formaten/vormen.
• Geografische generalisatie: Modellen getraind op specifieke regio's presteren vaak slecht bij toepassing op onbekende gebieden.
• Classificatie-uitdagingen: Het onderscheid tussen enkelvoudige platforms, complexe clusters en andere objecten (zoals windturbines) is moeilijk door de complexe radar-terugverstrooiing (backscatter) op SAR-beelden.

2. Methodologie

De studie combineert echte en synthetische data om een robuust objectdetectiemodel te ontwikkelen.

• Data-acquisitie en Preprocessing:

  • Bron: Sentinel-1 SAR-beelden (VH-polarisatie, Interferometrische Wide Swath-modus, ~10m resolutie) van het vierde kwartaal van 2023.
  • Regio's: Zeven regio's werden gebruikt. Vier (Zuid-Chinese Zee, Kaspische Zee, Golf van Guinee, Kust van Brazilië) dienden voor training, terwijl drie (Noordzee, Golf van Mexico, Perzische Golf) werden gebruikt voor inference/testen om geografische transferabiliteit te evalueren.
  • Verwerking: Beelden werden gemiddeld tot een mediane compositie om tijdelijke objecten (zoals schepen) te verwijderen. De data werd getiled in chips van 640x640 pixels.

• Ground Truth (GT) en Classificatie:

  • Drie klassen werden gedefinieerd: Enkelvoudige platforms, Platformclusters (meerdere verbonden platforms), en Windturbines (als 'off-target' klasse).
  • Er was een sterke onbalans in de dataset: platformclusters waren sterk ondervertegenwoordigd (slechts 271 labels in de trainingsset).

• Synthetische Data Generatie (SyntEO):

  • Om de onbalans op te lossen, werd het SyntEO-framework gebruikt om realistische synthetische SAR-scènes te genereren.
  • Proces: Het systeem creëert 2D-geometrieën voor platformclusters op basis van analyse van echte radar-signalen, past willekeurige rotaties en posities toe, en simuleert radar-terugverstrooiing met 2D-kernels.
  • Doel: Het genereren van duizenden nieuwe, diverse voorbeelden van platformclusters om de trainingsdata te balanceren zonder enkel duplicatie (oversampling) toe te passen.

• Model en Training:

  • Algoritme: YOLOv10 (en varianten v11n en v10s) voor objectdetectie.
  • Trainingsstrategieën: Er werden vijf scenario's getest:
    1. Alleen echte data (basis).
    2. Gesplitste klassen (enkelvoudig vs. cluster).
    3. Cluster-verrijkt (synthetische data toegevoegd aan de ondervertegenwoordigde klasse).
    4. Volledig gebalanceerd (alle klassen aangevuld met synthetische data tot 5.000 per klasse).
    5. Alleen synthetische data.
  • Infrastructuur: Training en inferentie vonden plaats in de cloud (Google Cloud Platform / Vertex AI) met data verwerkt via Google Earth Engine (GEE).

3. Belangrijkste Resultaten

• Prestatieverbetering door synthetische data:
  • Het model getraind op alleen echte data behaalde een F1-score van 0,82.
  • Door synthetische data toe te voegen om de klassen te balanceren (volledig gebalanceerde dataset), steeg de F1-score naar 0,90.
  • Specifiek voor de zeldzame platformclusters verbeterde de precisie van 0,46 naar 0,73 en de recall van 0,49 naar 0,59, wat leidde tot een aanzienlijke stijging in de algehele detectie.
• Geografische Transferabiliteit:
  • Het model generaliseerde succesvol naar de drie onbekende testregio's (Noordzee, Golf van Mexico, Perzische Golf).
  • Totaal gedetecteerd: 3.529 offshore-platforms (411 in de Noordzee, 1.519 in de Golf van Mexico, 1.593 in de Perzische Golf).
  • De recall varieerde per regio tussen 0,83 en 0,93.
• Scheiding van klassen:
  • Windturbines werden zeer nauwkeurig gedetecteerd (F1-score 0,97) en succesvol onderscheiden van platforms en windpark-substations.
• Beperkingen:
  • Training uitsluitend op synthetische data resulteerde in een mislukking (F1-score ~0,01). Het model kon de kenmerken niet overdragen naar echte beelden, wat aangeeft dat echte data onmisbaar blijft.
  • Kleine platforms (<100 m²) en objecten met vergelijkbare radar-echo's (zoals boeien of riffen) leidden soms tot fouten.

4. Bijdragen van het Onderzoek

1. Validatie van synthetische data: Het bewijst dat synthetische data, wanneer gecombineerd met echte data, cruciaal is voor het oplossen van class-imbalance en het verbeteren van de detectie van zeldzame objecttypes (clusters).
2. Regionale Hold-out Strategie: Een evaluatieopzet die de geografische transferabiliteit van het model aantoont, bewijzend dat het werkt buiten de trainingsgebieden.
3. Volledig trainbaar framework: Introductie van een schaalbaar systeem gebaseerd op GEE en GCP voor het detecteren van mariene infrastructuur in hotspot-regio's.
4. Schaalbaarheid: Een aanpak die toepasbaar is op de volledige Sentinel-1-archief, wat wereldwijde monitoring mogelijk maakt.

5. Betekenis en Conclusie

De studie toont aan dat deep learning, ondersteund door synthetische data-generatie, een krachtige oplossing biedt voor de monitoring van mariene infrastructuur. De methologie overbrugt de kloof tussen beperkte grondtruth-data en de noodzaak voor globale, actuele datasets.

Dit onderzoek vormt een belangrijke stap naar een objectief, schaalbaar en geautomatiseerd systeem voor het monitoren van de voorraad en ontwikkeling van offshore-energie-infrastructuur. Dit is essentieel voor beleidsmakers, regelgevers en wetenschappers om mariene ruimtebeheer, milieubescherming en economische planning te ondersteunen, terwijl het ook bijdraagt aan transparantie in de wereldwijde oceanen.