A geometric and deep learning reproducible pipeline for monitoring floating anthropogenic debris in urban rivers using in situ cameras

Sintesi Tecnica: Una Pipeline Riproducibile di Geometria e Deep Learning per il Monitoraggio di Detriti Antropogenici Galleggianti in Fiumi Urbani

Problema
La proliferazione di detriti antropogenici galleggianti nei fiumi pone significative minacce alla biodiversità, alla qualità dell'acqua e alle attività umane. Sebbene esistano metodi di monitoraggio diretto (ad esempio, tracker GPS, campionamento con reti), questi mancano della capacità di un monitoraggio continuo su scala di bacino. Recenti approcci che utilizzano il deep learning (DL) e telecamere in situ hanno mostrato potenziale, ma soffrono di tre limitazioni primarie: (1) una mancanza di indagine rigorosa sui bias dei dataset, specificamente riguardo alle immagini negative e alla fuga temporale dei dati (temporal data leakage); (2) una dipendenza da telecamere con vista verticale (ad esempio, montate su ponti) o UAV, lasciando poco esplorate le configurazioni con telecamere montate sulla sponda con vista obliqua, nonostante i loro vantaggi operativi per l'implementazione a lungo termine; e (3) una limitazione ai soli output di rilevamento senza misurazioni fisicamente interpretabili, come le dimensioni degli oggetti derivate da immagini monoculari.

Metodologia
Lo studio propone un quadro completo che integra la costruzione del dataset, il rilevamento tramite deep learning e la stima dimensionale geometrica.

• Acquisizione e Cura dei Dati:

  • Sito di Studio: Il fiume Steingiessen, un affluente dell'Ill vicino a Strasburgo, Francia.
  • Hardware: Due telecamere pan-tilt-zoom (PTZ) montate sulle rive del fiume (monte e valle).
  • Dataset: 6.013 immagini contenenti 10.873 detriti antropogenici, 754 detriti naturali e 1.010 materiali non appartenenti ai detriti (es. kayak).
  • Immagini Negative: Sono state acquisite 14.030 immagini di scene fluviali vuote sotto diverse condizioni solari (soleggiato e nuvoloso) per testare l'ipotesi che i dati di solo sfondo riducano i falsi positivi.
  • Costruzione Senza Fuga (Leak-Free): Per prevenire la fuga temporale dei dati (dove frame simili della stessa sequenza video appaiono sia nel set di addestramento che in quello di test), gli autori hanno impiegato una strategia di clustering. Le caratteristiche visive sono state estratte utilizzando un encoder pre-addestrato di YOLOv8, combinando i vettori con i metadati delle bounding box e i timestamp. Questi vettori sono stati ridotti a 2D tramite t-SNE e raggruppati tramite DBSCAN. I cluster sono stati poi suddivisi in set di addestramento, validazione e test (80/10/10), garantendo l'assenza di sovrapposizioni temporali tra i set.

• Rilevamento tramite Deep Learning:

  • Modelli: Sono state valutate sei varianti di architetture YOLO (v5, v8, v11; dimensioni nano e medium).
  • Scenari di Addestramento: I modelli sono stati addestrati su: (1) dataset suddivisi casualmente (baseline); (2) dataset leak-free; (3) dataset leak-free aumentati con proporzioni variabili (0–40%) di immagini negative; e (4) dataset con pesatura delle classi per affrontare lo sbilanciamento.
  • Iperparametri: L'addestramento ha utilizzato il transfer learning, l'augmentation dei dati (inclinazione, mosaic, color jitter), l'early stopping e la regolarizzazione L2.

• Stima Dimensionale Geometrica:

  • Pipeline: Una pipeline geometrica monoculare stima le dimensioni degli oggetti (larghezza e altezza) dalle bounding box 2D.
  • Meccanismo: Utilizzando il modello della telecamera pinhole, il sistema ricostruisce i raggi dall'centro ottico della telecamera attraverso gli angoli della bounding box. Questi raggi intersecano un piano di riferimento terrestre (assumendo una superficie dell'acqua piatta) per calcolare le dimensioni metriche.
  • Correzione: Sono state applicate due correzioni basate sulla regressione per mitigare i bias sistematici: (1) Correzione della Forma della Bounding Box (correzione delle dimensioni della box predetta dall'IA rispetto alle box annotate manualmente) e (2) Correzione delle Dimensioni Predette (correzione dell'output del modello geometrico rispetto alla verità a terra misurata manualmente). Sono state testate sia la regressione lineare che quella polinomiale.

Risultati Chiave

• Impatto della Fuga dei Dati (Data Leakage): La suddivisione casuale di dati derivati da video ha gonfiato artificialmente le metriche di performance. Utilizzando dataset leak-free, l'mAP@50 è sceso significativamente (ad esempio, da 0.939 a 0.488 per YOLOv8-n; da 0.962 a 0.536 per YOLOv11-m), rivelando che i benchmark precedenti potrebbero essere stati sovrastimati di oltre 40 punti percentuali.
• Immagini Negative: È stata identificata una proporzione ottimale del 20% di immagini negative. Questa proporzione ha massimizzato il compromesso tra recall e precision, riducendo i falsi positivi senza causare l'effetto di "diluizione" osservato a proporzioni più elevate (30–40%), che degradava la recall.
• Pesatura delle Classi: Sebbene la pesatura delle classi abbia migliorato il rilevamento dei detriti naturali sottorappresentati (aumentando i tassi di veri positivi), ha aumentato i falsi positivi e ridotto leggermente le metriche globali (mAP), indicando un compromesso tra precisione e recall piuttosto che un miglioramento universale.
• Performance del Modello: In condizioni leak-free, YOLOv11-m ha costantemente superato YOLOv8-n. La migliore configurazione (YOLOv11-m con il 20% di immagini negative) ha raggiunto un mAP@50 di 0.648 e una precisione di 0.704.
• Accuratezza della Stima Dimensionale: La pipeline geometrica, combinata con le correzioni di regressione, ha raggiunto un errore quadratico medio (RMSE) di 1,45 cm per l'altezza e 2,03 cm per la larghezza. Tali errori si avvicinano al limite teorico di risoluzione del sistema (circa 1,3 cm per pixel), suggerendo che il metodo estrae quasi tutta l'informazione spaziale disponibile.
• Trasferibilità: Un test qualitativo preliminare sul fiume Bruche (un sito diverso) ha dimostrato la capacità del modello di rilevare detriti in un nuovo ambiente, sebbene la validazione quantitativa tra diversi siti rimanga un lavoro futuro.

Significatività e Contributi
Il documento rivendica tre contributi principali:

1. Framework Riproducibile per l'Indagine sui Bias: Stabilisce una metodologia per costruire dataset leak-free da flussi video utilizzando il clustering, dimostrando che la costituzione del dataset (controllo della fuga, proporzione delle immagini negative e pesatura delle classi) ha un impatto sulla performance riportata maggiore rispetto alle differenze architettoniche tra i modelli.
2. Valutazione del Rilevamento con Vista Obliqua: Valuta il rilevamento di oggetti in condizioni di vista obliqua dalla sponda, che sono più rappresentative delle implementazioni di monitoraggio a basso costo nel mondo reale rispetto alle configurazioni verticali montate su ponti.
3. Pipeline Geometrica Interpretabile: Dimostra la fattibilità della stima delle dimensioni reali degli oggetti tramite immagini RGB monoculari utilizzando la geometria proiettiva e le correzioni di regressione, raggiungendo un'accuratezza nell'ordine dei centimetri sufficiente per la successiva stima della massa.

Gli autori concludono che questo approccio apre la strada a sistemi di monitoraggio automatizzati, robusti e a basso costo per gli ambienti acquatici urbani, a condizione che il lavoro futuro affronti la necessità di dataset diversificati (inclusi eventi di pioggia) e la validazione in più siti.