A Probabilistic Framework for Improving Dense Object Detection in Underwater Image Data via Annealing-Based Data Augmentation

Probleemstelling

Objectdetectiemodellen presteren doorgaans goed in gecontroleerde omgevingen met stabiele belichting en waterkwaliteit. Echter, hun prestaties deterioreren aanzienlijk in realistische onderwateromgevingen, gekenmerkt door hoge variabiliteit, frequente occlusies en vooral dichte zwermen vissen. Bestaande modellen (vaak gebaseerd op YOLO) zijn getraind op data uit aquaria of viskwekerijen en falen in het generaliseren naar natuurlijke habitats. Een specifiek probleem is dat bestaande datasets, zoals DeepFish, te weinig beelden bevatten met dichte vispopulaties; de meeste beelden tonen slechts één of twee vissen. Dit leidt tot een gebrek aan robuustheid bij het detecteren van overvolle scholen in live-streams.

Methodologie

De auteurs stellen een nieuwe aanpak voor die bestaat uit drie hoofdfasen:

1. Dataset Voorbereiding (DeepFish):

   • De auteurs gebruiken de DeepFish-dataset, die oorspronkelijk segmentatiemaskers bevat.
   • Omdat er geen vooraf gedefinieerde bounding boxes waren voor detectietaken, genereerden ze deze automatisch uit de segmentatiemaskers met behulp van cv2's connected-components functie.
   • Deze data werd gebruikt om een aangepast detectiedataset te bouwen voor YOLOv10.

2. Pseudo-Simulated Annealing Data Augmentation (PSADA):

   • Om het gebrek aan dichte zwermen in de trainingsdata te compenseren, ontwikkelden de auteurs een nieuw augmentatie-algoritme, geïnspireerd door de "copy-paste"-strategie van Deng et al., maar aangepast met een Pseudo-Simulated Annealing-benadering.
   • Kernverschillen met bestaande methoden:
     • Groepscentra: In plaats van centra te kiezen op basis van bestaande objecten (wat niet werkt als er maar één vis is), worden groepscentra willekeurig gegenereerd binnen de afbeeldingsdimensies. Het aantal groepen wordt gemodelleerd met een Poisson-distributie ($\lambda=3$) om de probabilistische aard van viszwermen in de natuur na te bootsen.
     • Objectverdeling: Het aantal vissen per groep wordt gesampleerd uit een bereik dat evenredig is aan het totale aantal groepen, wat zorgt voor een gebalanceerde verdeling.
     • Simulated Annealing voor plaatsing: De coördinaten van de vissen rondom een groepscentrum worden niet statisch geplaatst, maar iteratief verfijnd met een simulated annealing-achtige acceptatiefunctie. De "temperatuur" ($T$) neemt geometrisch af ($T \leftarrow T \cdot 0.95$).
     • Grootteverdeling: De grootte van vissen binnen een groep volgt een Gaussische verdeling, maar met een standaardafwijking van 30 pixels (in plaats van een genormaliseerde 0.2) om realistische variatie in de onderwaterwereld te simuleren.
   • Dit proces creëert synthetische beelden met zowel geïsoleerde vissen als dichte zwermen, waardoor het model robuuster wordt.

3. Model Training:

   • Er werden twee modellen getraind: een Baseline YOLOv10 (op de originele DeepFish data) en het PSADA-model (op DeepFish data aangevuld met 500 gegenereerde augmentatiebeelden).
   • Beide modellen gebruikten een inputgrootte van 640x640.

Kernbijdragen

• Nieuwe Augmentatiestrategie: Introductie van een probabilistisch framework dat simulated annealing gebruikt om realistische, dichte viszwermen te synthetiseren, specifiek ontworpen om de beperkingen van datasets met weinig dichte beelden te overwinnen.
• Dataset Constructie: Het succesvol converteren van segmentatiemaskers naar bounding-box annotaties voor de DeepFish-dataset, waardoor deze bruikbaar wordt voor objectdetectietaken.
• Robuustheid in Dichte Scènes: Het aantonen dat het toevoegen van synthetische dichte scènes de generalisatie van het model naar complexe, onbeheerde onderwateromgevingen significant verbetert.

Resultaten

De modellen werden getest op een nieuw, handmatig geannoteerd dataset van 50 beelden afkomstig van een live-stream in de Florida Keys (een omgeving met zeer dichte vispopulaties).

• Detectieprestaties: Het PSADA-model detecteerde gemiddeld meer dan het dubbele aantal vissen vergeleken met de baseline. Waar de baseline minder dan 25% van de grondwahrheid (ground truth) detecteerde, haalde het PSADA-model bijna 50%.
• Trainingsverloop: Het PSADA-model bereikte een minimale box-loss (van ~3.0 naar ~1.5) sneller dan de baseline en vertoonde snellere stijgingen in precisie en recall. De mAP50 en mAP50-95 bereikten respectievelijk 0.8 en 0.7.
• IoU (Intersection over Union): De verdeling van de IoU-scores voor het PSADA-model was sterker naar links verschoven (hogere scores), wat aangeeft dat de voorspelde bounding boxes nauwkeuriger overeenkwamen met de werkelijke locaties van de vissen, vooral in dichte zwermen.
• Beperkingen: Hoewel een verbetering, detecteerde het model nog steeds ongeveer de helft van de vissen niet. Dit wordt toegeschreven aan het verschil in vissoorten (Australische vissen in DeepFish vs. haaien en barracuda's in Florida Keys) en de extreme dichtheid in sommige testbeelden die zelfs voor het augmentatie-algoritme te complex was.

Betekenis en Toekomstperspectief

Dit werk toont aan dat geavanceerde data-augmentatie, gebaseerd op probabilistische modellen en simulated annealing, essentieel is om objectdetectiemodellen geschikt te maken voor realistische, dichte onderwateromgevingen. De methode biedt een oplossing voor het "data-schaarste"-probleem bij dichte zwermen.

Voor toekomstig werk suggereren de auteurs:

1. Het gebruik van meer GPU-intensieve training om het PSADA-algoritme verder te optimaliseren.
2. Het toevoegen van een classificatielaag om verschillende vissoorten te onderscheiden, wat waardevol zou zijn voor ecologisch onderzoek en het monitoren van mariene gezondheid.
3. Het verfijnen van het algoritme om extreme dichtheden beter te hanteren en het trainen op datasets die beter overeenkomen met de doelomgeving (bijv. Caribische vissoorten).