A geometric and deep learning reproducible pipeline for monitoring floating anthropogenic debris in urban rivers using in situ cameras

Resumo Técnico: Um Pipeline Reprodutível de Geometria e Aprendizado Profundo para o Monitoramento de Detritos Antropogênicos Flutuantes em Rios Urbanos

Definição do Problema
A proliferação de detritos antropogênicos flutuantes em rios apresenta ameaças significativas à biodiversidade, à qualidade da água e às atividades humanas. Embora existam métodos de monitoramento direto (ex: rastreadores GPS, amostragem com redes), estes carecem de capacidade para um monitoramento contínuo em escala de bacia hidrográfica. Abordagens recentes utilizando aprendizado profundo (DL) e câmeras in-situ mostraram-se promissoras, mas sofrem de três limitações primárias: (1) uma falta de investigação rigorosa sobre vieses de conjuntos de dados, especificamente em relação a imagens negativas e vazamento temporal de dados; (2) uma dependência de câmeras com visão vertical (ex: montadas em pontes) ou UAVs, deixando configurações de visão oblíqua montadas em margens — apesar de suas vantagens operacionais para implantação de longo prazo — subexploradas; e (3) uma limitação a saídas de detecção sem medições fisicamente interpretáveis, como dimensões de objetos derivadas de imagens monoculares.

Metodologia
O estudo propõe um framework abrangente integrando construção de conjuntos de dados, detecção por aprendizado profundo e estimativa de tamanho geométrico.

• Aquisição e Curadoria de Dados:

  • Local de Estudo: O rio Steingiessen, um afluente do rio Ill, próximo a Estrasburgo, França.
  • Hardware: Duas câmeras PTZ (pan-tilt-zoom) montadas nas margens do rio (montante e jusante).
  • Conjunto de Dados: 6.013 imagens contendo 10.873 detritos antropogênicos, 754 detritos naturais e 1.010 materiais não relacionados a detritos (ex: caiaques).
  • Imagens Negativas: 14.030 imagens de cenas de rios vazios foram adquiridas sob diferentes condições solares (ensolarado e nublado) para testar a hipótesia de que dados apenas de fundo reduzem falsos positivos.
  • Construção Livre de Vazamento (Leak-Free): Para evitar o vazamento temporal de dados (onde quadros similares de uma mesma sequência de vídeo aparecem tanto no conjunto de treinamento quanto no de teste), os autores empregaram uma estratégia de agrupamento (clustering). Vetores de características visuais foram extraídos usando um codificador YOLOv8 pré-treinado, combinados com metadados de caixa delimitadora (bounding box) e carimbos de tempo (timestamps). Esses vetores foram reduzidos para 2D via t-SNE e agrupados através de DBSCAN. Os clusters foram então divididos em conjuntos de treinamento, validação e teste (80/10/10), garantindo que não houvesse sobreposição temporal entre os conjuntos.

• Detecção por Aprendizado Profundo:

  • Modelos: Seis variantes de arquiteturas YOLO (v5, v8, v11; tamanhos nano e medium) foram avaliadas.
  • Cenários de Treinamento: Os modelos foram treinados em: (1) divisões aleatórias de conjuntos de dados (base de referência/baseline); (2) conjuntos de dados livres de vazamento; (3) conjuntos de dados livres de vazamento aumentados com proporções variáveis (0–40%) de imagens negativas; e (4) conjuntos de dados com ponderação de classe para abordar o desequilíbrio.
  • Hiperparâmetros: O treinamento utilizou transferência de aprendizado (transfer learning), aumento de dados (inclinação, mosaico, alteração de cor/color jitter), parada precoce (early stopping) e regularização L2.

• Estimativa de Tamanho Geométrico:

  • Pipeline: Um pipeline geométrico monocular estima as dimensões do objeto (largura e altura) a partir de caixas delimitadoras 2D.
  • Mecanismo: Utilizando o modelo de câmera de estenope (pinhole camera model), o sistema reconstrói raios a partir do centro óptico da câmera através dos cantos da caixa delimitadora. Esses raios interceptam um plano de referência de solo (assumindo uma superfície de água plana) para calcular as dimensões métricas.
  • Correção: Duas correções baseadas em regressão foram aplicadas para mitigar vieses sistemáticos: (1) Correção de Forma da Caixa Delimitadora (corrigindo as dimensões da caixa prevista pela IA contra as caixas anotadas manualmente) e (2) Correção de Dimensões Previstas (corrigindo a saída do modelo geométrico contra a verdade fundamental (ground truth) medida manualmente). Regressões lineares e polinomiais foram testadas.

Principais Resultados

• Impacto do Vazamento de Dados: A divisão aleatória de dados derivados de vídeo inflou artificialmente as métricas de desempenho. Ao utilizar conjuntos de dados livres de vazamento, o mAP@50 caiu significativamente (ex: YOLOv8-n de 0,939 para 0,488; YOLOv11-m de 0,962 para 0,536), revelando que os benchmarks anteriores podem ter sido superestimados em mais de 40 pontos percentuais.
• Imagens Negativas: Foi identificada uma proporção ideal de 20% de imagens negativas. Esta proporção maximizou o equilíbrio entre revocação (recall) e precisão, reduzindo falsos positivos sem causar o "efeito de diluição" observado em proporções mais altas (30–40%), que degradou a revocação.
• Ponderação de Classe: Embora a ponderação de classe tenha melhorado a detecção de detritos naturais sub-representados (aumentando as taxas de verdadeiros positivos), ela aumentou os falsos positivos e reduziu ligeiramente as métricas globais (mAP), indicando um compromisso (trade-off) entre precisão e revocação, em vez de uma melhoria universal.
• Desempenho do Modelo: Sob condições livres de vazamento, o YOLOv11-m superou consistentemente o YOLOv8-n. A melhor configuração (YOLOv11-m com 20% de imagens negativas) alcançou um mAP@50 de 0,648 e uma precisão de 0,704.
• Precisão da Estimativa de Tamanho: O pipeline geométrico, combinado com correções de regressão, alcançou um Erro Quadrático Médio (RMSE) de 1,45 cm para altura e 2,03 cm para largura. Esses erros aproximam-se do limite de resolução teórica do sistema (aprox. 1,3 cm por pixel), sugerindo que o método extrai quase toda a informação espacial disponível.
• Transferibilidade: Um teste qualitativo preliminar no rio Bruche (um local diferente) demonstrou a capacidade do modelo de detectar detritos em um novo ambiente, embora a validação quantitativa entre diferentes locais permaneça como um trabalho futuro.

Significância e Contribuições
O artigo reivindica três contribuições principais:

1. Framework Reprodutível para Investigação de Viés: Estabelece uma metodologia para construir conjuntos de dados livres de vazamento a partir de fluxos de vídeo usando agrupamento (clustering), demonstrando que a constituição do conjunto de dados (controle de vazamento, proporção de imagens negativas e ponderação de classe) tem um impacto maior no desempenho relatado do que as diferenças arquiteturais entre os modelos.
2. Avaliação de Detecção em Visão Oblíqua: Avalia a detecção de objetos sob condições de visão oblíqua montadas em margens, que são mais representativas de implantações de monitoramento de baixo custo no mundo real do que as configurações verticais montadas em pontes.
3. Pipeline Geométrico Interpretável: Demonstra a viabilidade de estimar dimensões reais de objetos a partir de imagens RGB monoculares usando geometria projetiva e correções de regressão, alcançando precisão de nível centimétrico suficiente para estimativa de massa subsequente.

Os autores concluem que esta abordagem pavimenta o caminho para sistemas de monitoramento automatizados, robustos e de baixo custo para ambientes aquáticos urbanos, desde que trabalhos futuros abordem a necessidade de conjuntos de dados diversos (incluindo eventos de chuva) e validação em múltiplos locais.