A Probabilistic Framework for Improving Dense Object Detection in Underwater Image Data via Annealing-Based Data Augmentation

Titolo: Un Framework Probabilistico per Migliorare la Rilevazione di Oggetti Densi in Dati di Immagini Sottomarine tramite Augmentation dei Dati Basata su Ricottura (Annealing)

1. Il Problema

I modelli di rilevazione di oggetti (object detection) tendono a performare bene in ambienti controllati (es. acquari, allevamenti ittici) con illuminazione stabile e bassa variabilità. Tuttavia, le loro prestazioni degradano drasticamente in scenari sottomarini reali caratterizzati da:

• Alta variabilità: Condizioni di luce e chiarezza dell'acqua fluttuanti.
• Occlusioni frequenti e densità: Presenza di banchi di pesci densamente affollati.
• Carenza di dati specifici: I dataset esistenti (come DeepFish) contengono spesso immagini con pochi pesci o pesci isolati, rendendo difficile l'addestramento di modelli per scenari di "crowding" (affollamento).
• Generalizzazione: I modelli esistenti non riescono a generalizzare su specie diverse e su ambienti naturali non controllati, come quelli osservati nelle riprese dal vivo delle Florida Keys.

2. Metodologia

Gli autori propongono un approccio in due fasi per addestrare un modello YOLOv10 robusto:

A. Preparazione del Dataset (DeepFish)

• Utilizzo del dataset DeepFish (originariamente fornito con maschere di segmentazione per pesci australiani).
• Conversione delle maschere di segmentazione in bounding box (rettangoli di delimitazione) utilizzando la funzione connected-components di OpenCV (cv2), creando così un dataset di rilevazione personalizzato.
• Rilevamento di una limitazione critica: le immagini di addestramento originali contengono troppo pochi pesci per insegnare al modello a gestire scenari affollati.

B. Algoritmo di Augmentation: PSADA (Pseudo-Simulated Annealing Data Augmentation)
Per ovviare alla scarsità di dati affollati, gli autori hanno sviluppato un algoritmo di augmentation ispirato alla strategia "copy-paste" di Deng et al., ma modificato con un approccio probabilistico simile alla Ricottura Simulata (Simulated Annealing):

1. Selezione dei Centri di Gruppo: Invece di campionare da oggetti esistenti (che potrebbero non esserci), i centri dei gruppi vengono campionati casualmente dalle dimensioni dell'immagine di base. Il numero di gruppi segue una distribuzione di Poisson ($\lambda=3$) per simulare l'arrivo casuale di banchi di pesci.
2. Generazione dei Gruppi: Attorno a ogni centro, vengono generati gruppi di pesci. Il numero di oggetti per gruppo è proporzionale per garantire una distribuzione bilanciata.
3. Simulazione del Crowding Realistico:
   • Le dimensioni degli oggetti seguono una distribuzione Gaussiana.
   • Le coordinate $(x, y)$ vengono raffinate iterativamente utilizzando un approccio di ricottura simulata.
   • Viene introdotta una "temperatura" ($T$) che decade geometricamente ($T \leftarrow T \cdot \gamma$, con $\gamma=0.95$). Inizialmente, c'è un'alta probabilità di posizionare pesci lontani dal centro; man mano che la temperatura scende, la probabilità di posizionamenti lontani diminuisce, favorendo l'aggregazione densa.
   • Questo processo genera immagini di addestramento con una varietà di scenari: pesci isolati e banchi densamente affollati.

C. Addestramento e Test

• Modello Baseline: YOLOv10 addestrato sul dataset DeepFish originale (50 epoche).
• Modello PSADA: YOLOv10 addestrato con i dati augmentati (28 epoche).
• Dataset di Test: 50 immagini manualmente annotate estratte da un flusso video in diretta (live-stream) dai fondali delle Florida Keys, contenenti specie diverse (squali, barracuda) e densità elevate non presenti nel dataset di addestramento originale.

3. Contributi Chiave

• Framework di Augmentation Probabilistico: Introduzione di un algoritmo PSADA che utilizza la logica della ricottura simulata per generare scenari di affollamento realistici, superando i limiti dei dataset naturali poveri di esempi densi.
• Adattamento del Dataset DeepFish: Creazione di un pipeline efficace per convertire maschere di segmentazione in bounding box per l'addestramento di modelli di rilevazione.
• Validazione in Ambiente Reale: Dimostrazione dell'efficacia del metodo su un dataset di test "out-of-domain" (Florida Keys vs. Australia), affrontando sfide di illuminazione, specie diverse e densità estrema.

4. Risultati Sperimentali

• Metriche di Addestramento: Il modello PSADA ha raggiunto un minimo di perdita (loss) per le bounding box (da ~3.0 a ~1.5) in meno tempo rispetto al baseline, con un miglioramento più rapido di Precisione, Recall, mAP50 e mAP50-95.
• Performance sul Test Set (Florida Keys):
  • Il modello Baseline ha rilevato meno di un quarto del numero reale di pesci (ground truth).
  • Il modello PSADA ha rilevato quasi la metà del numero reale di pesci, dimostrando una capacità di rilevamento superiore di oltre il doppio rispetto al baseline.
• Analisi Qualitativa e IoU:
  • Il modello PSADA ha mostrato una distribuzione di Intersection over Union (IoU) spostata verso valori più alti, indicando una migliore sovrapposizione tra le bounding box predette e quelle reali.
  • Mentre entrambi i modelli funzionano bene con pesci isolati, il PSADA eccelle nel rilevare pesci in banchi affollati, dove il baseline fallisce quasi completamente.
• Limitazioni: Nonostante i miglioramenti, il modello PSADA ha ancora mancato circa il 50% dei pesci nel test set. Le cause includono la differenza di specie (pesci australiani vs. squali/barracuda delle Florida Keys) e la densità estrema in alcune zone che supera le capacità del modello attuale.

5. Significato e Implicazioni

Questo lavoro dimostra che l'augmentation dei dati basata su principi probabilistici (come la ricottura simulata) è fondamentale per addestrare modelli di visione artificiale in ambienti naturali complessi e non controllati.

• Impatto Ecologico: Il metodo offre strumenti promettenti per la ricerca ecologica, permettendo conteggi più accurati di popolazioni ittiche e il monitoraggio della salute dei coralli in scenari reali.
• Generalizzabilità: La metodologia proposta può essere applicata ad altri domini di rilevazione di oggetti densi in condizioni ambientali variabili.
• Direzioni Future: Gli autori suggeriscono l'uso di GPU più potenti per un addestramento più intensivo, il fine-tuning su specie specifiche e l'integrazione di un modulo di classificazione per identificare le diverse specie all'interno dei banchi affollati.