A geometric and deep learning reproducible pipeline for monitoring floating anthropogenic debris in urban rivers using in situ cameras

Technische Samenvatting: Een Geometrische en Deep Learning Reproduceerbare Pipeline voor het Monitoren van Zwevend Antropogeen Afval in Stedelijke Rivieren

Probleemstelling
De proliferatie van zwevend antropogeen afval in rivieren vormt een aanzienlijke bedreiging voor de biodiversiteit, waterkwaliteit en menselijke activiteiten. Hoewel directe monitoringsmethoden (bijv. GPS-trackers, netmonsters) bestaan, missen deze de capaciteit voor continue monitoring op de schaal van een stroomgebied. Recente benaderingen die gebruikmaken van deep learning (DL) en in-situ camera's hebben veelbelovende resultaten getoond, maar lijden aan drie primaire beperkingen: (1) een gebrek aan rigoureus onderzoek naar dataset-biases, specif으로 met betrekking tot negatieve afbeeldingen en temporele datalekken; (2) een afhankelijkheid van camera's met een verticaal gezichtspunt (bijv. gemonteerd op bruggen) of UAV's, waardoor bank-gemonteerde configuraties met een schuine kijkhoek (oblique view) onderbelicht blijven, ondanks hun operationele voordelen voor langdurige inzet; en (3) een beperking tot detectie-outputs zonder fysiek interpreteerbare metingen, zoals objectdimensies afgeleid uit monoculaire beelden.

Methodologie
De studie stelt een uitgebreid framework voor dat datasetconstructie, deep learning detectie en geometrische groottechatting integreert.

• Data-acquisitie en Curatie:

  • Studielocatie: De Steingiessen, een zijrivier van de Ill nabij Straatsburg, Frankrijk.
  • Hardware: Twee pan-tilt-zoom (PTZ) camera's gemonteerd op de oevers (stroomopwaarts en stroomafwaarts).
  • Dataset: 6.013 afbeeldingen bevattende 10.873 antropogeen afval, 754 natuurlijk afval en 1.010 niet-afval materialen (bijv. kajaks).
  • Negatieve Afbeeldingen: 14.030 afbeeldingen van lege rivierscènes werden verworven onder variërende zonnige omstandigheden (zonnig en bewolkt) om de hypothese te testen dat achtergrond-alleen data het aantal vals-positieven vermindert.
  • Lekvrije Constructie: Om temporele datalekken te voorkomen (waarbij vergelijkbare frames uit dezelfde videosequentie zowel in de trainings- als de testset verschijnen), gebruikten de auteurs een clusteringstrategie. Visuele kenmerken werden geëxtraheerd met behulp van een pre-trained YOLOv8 encoder, gecombineerd met bounding box metadata en tijdstempels. Deze vectoren werden via t-SNE gereduceerd naar 2D en geclusterd via DBSCAN. Clusters werden vervolgens gesplitst in trainings-, validatie- en testsets (80/10/10), waardoor geen enkele temporele overlap tussen de sets bestond.

• Deep Learning Detectie:

  • Modellen: Zes varianten van YOLO-architecturen (v5, v8, v11; nano en medium formaten) werden geëvalueerd.
  • Trainingsscenario's: Modellen werden getraind op: (1) willekeurig gesplitste datasets (baseline); (2) lekvrije datasets; (3) lekvrije datasets aangevuld met variërende proporties (0–40%) negatieve afbeeldingen; en (4) datasets met class weighting om onbalans aan te pakken.
  • Hyperparameters: Training maakte gebruik van transfer learning, data-augmentatie (kanteling, mosaic, color jitter), early stopping en L2-regularisatie.

• Geometrische Groottechatting:

  • Pipeline: Een monoculaire geometrische pipeline schat de objectdimensies (breedte en hoogte) in vanuit 2D bounding boxes.
  • Mechanisme: Met behulp van het pinhole camera model reconstrueert het systeem stralen vanaf het optische centrum van de camera door de hoekpunten van de bounding box. Deze stralen snijden een referentie grondvlak (uitgaande van een vlak wateroppervlak) om metrische dimensies te berekenen.
  • Correctie: Twee regressie-gebaseerde correcties werden toegepast om systematische biases te mitigeren: (1) Bounding Box Vorm Correctie (het corrigeren van de door AI voorspelde box-dimensies tegenover handmatig geannoteerde boxen) en (2) Voorspelde Dimensie Correctie (het corrigeren van de geometrische modeloutput tegenover handmatig gemeten grondwaarheid). Zowel lineaire als polynomiale regressie werden getest.

Belangrijkste Resultaten

• Impact van Data-lekken: Willekeurige splitsing van video-afgeleide data blaf de prestatie-indicatoren kunstmatig op. Bij gebruik van lekvrije datasets daalde de mAP@50 aanzienlijk (bijv. YOLOv8-n van 0,939 naar 0,488; YOLOv11-m van 0,962 naar 0,536), wat onthulde dat eerdere benchmarks mogelijk met meer dan 40 procentpunt overschat waren.
• Negatieve Afbeeldingen: Een optimale proportie van 20% negatieve afbeeldingen werd geïdentificeerd. Deze proportie maximaliseerde de trade-off tussen recall en precision, waardoor het aantal vals-positieven werd verminderd zonder het "verdunningseffect" te veroorzaken dat bij hogere proporties (30–40%) optrad en de recall verslechterde.
• Class Weighting: Hoewel class weighting de detectie van ondervertegenwoordigd natuurlijk afval verbeterde (verhoging van de true positive rates), verhoogde het ook de vals-positieven en verminderde het de globale metrieken (mAP) licht, wat duidt op een precision-recall trade-off in plaats van een universele verbetering.
• Modelprestaties: Onder lekvrije omstandigheden presteerde YOLOv11-m consistent beter dan YOLOv8-n. De best presterende configuratie (YOLOv11-m met 20% negatieve afbeeldingen) bereikte een mAP@50 van 0,648 en een precisie van 0,704.
• Nauwkeurigheid van Groottechatting: De geometrische pipeline, gecombineerd met regressie-correcties, bereikte een Root Mean Square Error (RMSE) van 1,45 cm voor de hoogte en 2,03 cm voor de breedte. Deze fouten benaderen de theoretische resolutiegrens van het systeem (ca. 1,3 cm per pixel), wat suggereert dat de methode bijna alle beschikbare ruimtelijke informatie extraheert.
• Transfereerbaarheid: Een voorlopige kwalitatieve test op de Bruche (een andere locatie) demonstreerde het vermogen van het model om afval in een nieuwe omgeving te detecteren, hoewel kwantitatieve validatie over meerdere locaties nog toekomstig werk blijft.

Betekenis en Bijdragen
Het artikel claimt drie hoofdbijdragen:

1. Reproduceerbaar Framework voor Bias-onderzoek: Het vestigt een methodologie voor het construeren van lekvrije datasets uit videostreams met behulp van clustering, en demonstreert dat de samenstelling van de dataset (controle van lekken, proportie negatieve afbeeldingen en class weighting) een grotere impact heeft op de gerapporteerde prestaties dan de architecturale verschillen tussen modellen.
2. Evaluatie van Oblique-View Detectie: Het evalueert objectdetectie onder bank-gemonteerde, schuine kijkomstandigheden, die representatiever zijn voor real-world, low-cost monitoring deployments dan verticale brug-gemonteerde opstellingen.
3. Interpreteerbare Geometrische Pipeline: Het demonstreert de haalbaarheid van het schatten van werkelijke objectdimensies vanuit monoculaire RGB-beelden met behulp van projectieve geometrie en regressie-correcties, waarbij centimeter-nauwkeurigheid wordt bereikt die voldoende is voor downstream massa-inschatting.

De auteurs concluderen dat deze aanpak de weg vrijmaakt voor robuuste, goedkope, geautomatiseerde monitoringsystemen voor stedelijke aquatische omgevingen, mits toekomstig werk aandacht besteedt aan de noodzaak van diverse datasets (inclusclusief regenval-events) en validatie over meerdere locaties.