A geometric and deep learning reproducible pipeline for monitoring floating anthropogenic debris in urban rivers using in situ cameras

Resumen Técnico: Un Pipeline Reproducible de Geometría y Aprendizaje Profundo para el Monitoreo de Escombros Antropogénicos Flotantes en Ríos Urbanos

Planteamiento del Problema
La proliferación de escombros antropogénicos flotantes en los ríos plantea amenazas significativas para la biodiversidad, la calidad del agua y las actividades humanas. Si bien existen métodos de monitoreo directo (por ejemplo, rastreadores GPS, muestreo con redes), estos carecen de la capacidad para un monitoreo continuo a escala de cuenca. Los enfoques recientes que utilizan aprendizaje profundo (DL) y cámaras in situ han mostrado resultados prometedores, pero sufren tres limitaciones principales: (1) una falta de investigación rigurosa sobre los sesgos de los conjuntos de datos, específicamente respecto a las imágenes negativas y la fuga de datos temporales; (2) una dependencia de cámaras de vista vertical (por ejemplo, montadas en puentes) o UAV, dejando poco exploradas las configuraciones de vista oblicua montadas en la orilla, a pesar de sus ventajas operativas para el despliegue a largo plazo; y (3) una limitación a las salidas de detección sin mediciones físicamente interpretables, como las dimensiones de los objetos derivadas de imágenes monoculares.

Metodología
El estudio propone un marco integral que integra la construcción de conjuntos de datos, la detección mediante aprendizaje profundo y la estimación de tamaño geométrico.

• Adquisición y Curación de Datos:

  • Sitio de Estudio: El río Steingiessen, un afluente del río Ill cerca de Estrasburgo, Francia.
  • Hardware: Dos cámaras PTZ (pan-tilt-zoom) montadas en las orillas del río (aguas arriba y aguas abajo).
  • Conjunto de Datos: 6,013 imágenes que contienen 10,873 escombros antropogénicos, 754 escombros naturales y 1,010 materiales que no son escombros (por ejemplo, kayaks).
  • Imágenes Negativas: Se adquirieron 14,030 imágenes de escenas de ríos vacíos bajo diversas condiciones solares (soleado y nublado) para probar la hipótesis de que los datos de fondo únicamente reducen los falsos positivos.
  • Construcción Libre de Fugas (Leak-Free): Para evitar la fuga de datos temporales (don donde secuencias de video similares de la misma secuencia de video aparecen tanto en el conjunto de entrenamiento como en el de prueba), los autores emplearon una estrategia de agrupamiento (clustering). Se extrajeron vectores de características visuales utilizando un codificador YOLOv8 preentrenado, combinados con metadatos de cajas delimitadoras (bounding boxes) y marcas de tiempo. Estos vectores se redujeron a 2D mediante t-SNE y se agruparon mediante DBSCAN. Los grupos se dividieron en conjuntos de entrenamiento, validación y prueba (80/10/10), asegurando que no hubiera solapamiento temporal entre los conjuntos.

• Detección mediante Aprendizaje Profundo:

  • Modelos: Se evaluaron seis variantes de arquitecturas YOLO (v5, v8, v11; tamaños nano y medium).
  • Escenarios de Entrenamiento: Los modelos fueron entrenados en: (1) divisiones aleatorias de conjuntos de datos (línea base); (2) conjuntos de datos libres de fugas; (3) conjuntos de datos libres de fugas aumentados con proporciones variables (0–40%) de imágenes negativas; y (4) conjuntos de datos con ponderación de clases para abordar el desequilibrio.
  • Hiperparámetros: El entrenamiento utilizó transferencia de aprendizaje (transfer learning), aumento de datos (inclinación, mosaico, fluctuación de color), detención temprana (early stopping) y regularización L2.

• Estimación de Tamaño Geométrico:

  • Pipeline: Un pipeline geométrico monocular estima las dimensiones de los objetos (ancho y alto) a partir de las cajas delimitadoras 2D.
  • Mecanismo: Utilizando el modelo de cámara de ojo de cerradura (pinhole camera model), el sistema reconstruye rayos desde el centro óptico de la cámara a través de las esquinas de la caja delimitadora. Estos rayos intersectan con un plano de referencia de suelo (asumiendo una superficie de agua plana) para calcular las dimensiones métricas.
  • Corrección: Se aplicaron dos correcciones basadas en regresión para mitigar los sesgos sistemáticos: (1) Corrección de la Forma de la Caja Delimitadora (corrigiendo las dimensiones de la caja predicha por la IA frente a las cajas anotadas manualmente) y (2) Corrección de Dimensiones Predichas (corrigiendo la salida del modelo geométrico frente a la verdad de terreno medida manualmente). Se probaron tanto regresiones lineales como polinómicas.

Resultados Clave

• Impacto de la Fuga de Datos: La división aleatoria de datos derivados de video infló artificialmente las métricas de rendimiento. Cuando se utilizaron conjuntos de datos libres de fugas, el mAP@50 cayó significativamente (por ejemplo, de YOLOv8-n de 0.939 a 0.488; de YOLOv11-m de 0.962 a 0.536), revelando que los benchmarks previos podrían haber sido sobreestimados por más de 40 puntos porcentuales.
• Imágenes Negativas: Se identificó una proporción óptima del 20% de imágenes negativas. Esta proporción maximizó el equilibrio entre la exhaustividad (recall) y la precisión, reduciendo los falsos positivos sin causar el "efecto de dilución" observado en proporciones más altas (30–40%), que degradó la exhaustividad.
• Ponderación de Clases: Si bien la ponderación de clases mejoró la detección de escombros naturales subrepresentados (aumentando las tasas de verdaderos positivos), aumentó los falsos positivos y redujo ligeramente las métricas globales (mAP), indicando un compromiso entre precisión y exhaustividad en lugar de una mejora universal.
• Rendimiento del Modelo: Bajo condiciones libres de fugas, YOLOv11-m superó consistentemente a YOLOv8-n. La mejor configuración (YOLOv11-m con 20% de imágenes negativas) alcanzó un mAP@50 de 0.648 y una precisión de 0.704.
• Precisión de la Estimación de Tamaño: El pipeline geométrico, combinado con las correcciones de regresión, logró un Error Cuadrático Medio (RMSE) de 1.45 cm para la altura y 2.03 cm para el ancho. Estos errores se acercan al límite de resolución teórica del sistema (aprox. 1.3 cm por píxel), lo que sugiere que el método extrae casi toda la información espacial disponible.
• Transferibilidad: Una prueba cualitativa preliminar en el río Bruche (un sitio diferente) demostró la capacidad del modelo para detectar escombros en un nuevo entorno, aunque la validación cuantitativa a través de múltiples sitios sigue siendo un trabajo futuro.

Significancia y Contribuciones
El artículo afirma tres contribuciones principales:

1. Marco Reproducible para la Investigación de Sesgos: Establece una metodología para construir conjuntos de datos libres de fugas a partir de transmisiones de video utilizando clustering, demostrando que la constitución del conjunto de datos (control de fugas, proporción de imágenes negativas y ponderación de clases) tiene un mayor impacto en el rendimiento reportado que las diferencias arquitectónicas entre los modelos.
2. Evaluación de la Detección de Vista Oblicua: Evalúa la detección de objetos bajo condiciones de vista oblicua montadas en la orilla, las cuales son más representativas de los despliegues de monitoreo de bajo costo en el mundo real que las configuraciones verticales montadas en puentes.
3. Pipeline Geométrico Interpretable: Demuestra la viabilidad de estimar las dimensiones reales de los objetos a partir de imágenes RGB monoculares utilizando geometría proyectiva y correcciones de regresión, logrando una precisión de nivel centimétrico suficiente para la estimación de masa posterior.

Los autores concluyen que este enfoque allana el camino para sistemas de monitoreo robustos y de bajo costo para entornos acuáticos urbanos, siempre que el trabajo futuro aborde la necesidad de conjuntos de datos diversos (incluyendo eventos de lluvia) y la validación en múltiples sitios.