UAV-Based Drifting Victim Detection in Flash Floods Using Region-Based Convolutional Neural Networks

Resumo Técnico: Detecção de Vítimas à Deriva Baseada em UAV em Enchentes Relâmpago Usando Redes Neurais Convolucionais Baseadas em Regiões

Declaração do Problema
As enchentes relâmpago apresentam um desafio crítico para as operações de Busca e Salvamento (SAR) devido ao seu surgimento rápido, fluxos de alta velocidade e a dificuldade que as equipes de solo enfrentam para acessar áreas afetadas, particularmente quando a infraestrutura está danificada. Levantamentos terrestres convencionais são frequentemente muito lentos ou perigosos, enquanto imagens de satélite sofrem com limitações de resolução, tempo de revisitação e cobertura de nuvens. Embora os Veículos Aéreos Não Tripulados (UAVs) ofereçam vigilância aérea de alta resolução e flexibilidade, o volume massivo de dados visuais gerados torna a inspeção manual impraticável para uma resposta de emergência rápida. Além disso, detectar vítimas à deriva em ambientes fluviais dinâmicos é complexo; os alvos são frequentemente pequenos, parcialmente obscurecidos e visualmente semelhantes a detritos flutuantes, exigindo mais do que simples caixas delimitadoras retangulares para delinear com precisão os limites espaciais e as formas.

Metodologia
O estudo propõe um sistema baseado em aprendizagem profunda utilizando dados de vídeo adquiridos por UAV para detectar e segmentar objetos à deriva (potenciais vítimas) usando o algoritmo Mask R-CNN. A metodologia segue um pipeline de quatro estáções:

1. Coleta de Dados: Um conjunto de dados customizado foi criado usando duas fontes:

   • Dados Primários: 26 arquivos de vídeo capturados via um drone DJI Mavic Air 2S na área de Turismo Marinho de Telocor (Rio Porong, Indonésia) em várias altitudes. Estes foram extraídos em 589 frames de imagem.
   • Dados Secundários: 463 imagens obtidas de redes sociais.
   • O conjunto de dados total foi dividido em conjuntos de treinamento, validação e teste. Para o conjunto de dados primário (589 imagens), 515 imagens foram usadas para treinamento, 48 para validação e 25 para teste. Para o conjunto de dados secundário (463 imagens), a divisão foi de 278 para treinamento, 93 para validação e 92 para teste. As anotações foram realizadas utilizando rótulos como "Severo", "Moderado" e "Leve" para denotar o status da enchente.

2. Processamento de Dados: As imagens brutas passaram por um rigoroso pipeline de pré-processamento incluindo:

   • Verificação de Qualidade: Remoção de imagens corrompidas, de baixa resolução, duplicadas ou irrelevantes.
   • Anotação: Rotulagem de objetos com caixas delimitadoras (bounding boxes).
   • Redimensionamento: Padronização das dimensões de entrada (ex: 224×224 ou 256×256 pixels) para a CNN.
   • Normalização: Escalonamento dos valores de pixel de 0–255 para uma faixa de 0–1 usando Normalização Min-Max.
   • Aumentação (Augmentation): Aumento do volume do conjunto de dados através de inversão horizontal, rotação, escalonamento, corte e ajustes de brilho, contraste, desfoque e ruído Gaussiano.

3. Desenvolvimento do Modelo: O núcleo do sistema é um modelo Mask R-CNN ajustado (fine-tuned). A arquitetura inclui:

   • Backbone: Uma CNN para extração de características.
   • Rede de Pirâmide de Características (FPN): Para gerar mapas de características multiescala ($P1$–$P6$) capazes de detectar objetos em várias escalas.
   • Rede de Proposta de Região (RPN): Para identificar regiões de interesse candidatas (RoI).
   • RoIAlign: Para extrair representações de características de dimensão fixa das regiões propostas.
   • Cabeça de Predição (Prediction Head): Para realizar classificação, regressão de caixa delimitadora e segmentação de instância ao nível do pixel.
     O estudo compara um Mask R-CNN padrão (treinado no conjunto de dados original) contra uma versão ajustada treinada no conjunto de dados customizado e aumentado.

4. Avaliação: O desempenho foi avaliado usando Precisão Média (AP), Revocação Média (AR), confiança de detecção e tempo de inferência. As métricas foram avaliadas tanto para detecção de caixa delimitadora quanto para segmentação de instância através de diferentes limiares de Interseção sobre União (IoU).

Principais Contribuições
O artigo delineia três contribuições primárias:

1. Conjunto de Dados Customizado: O desenvolvimento de um conjunto de dados de UAV localizado, representando condições de vítimas à deriva em ambientes fluviais afetados por enchentes, abordando a falta de dados de treinamento específicos do domínio.
2. Estrutura de Detecção Ajustada: A adaptação e o ajuste fino do modelo Mask R-CNN especificamente para imagens aéreas de enchentes. Isso aproveita a segmentação de instância para fornecer a delineação ao nível do pixel dos alvos, oferecendo informações espaciais superiores em comparação com abordagens padrão baseadas apenas em caixas delimitadoras.
3. Ferramenta de Avaliação Visual Rápida: Uma demonstração do potencial do sistema em apoiar operações de SAR ao fornecer informações espaciais oportunas sobre a localização das vítimas e direções de movimento em ambientes onde o acesso terrestre é restrito.

Resultos
Os resultados experimentais indicam que o ajuste fino do modelo Mask R-CNN no conjunto de dados customizado superou significativamente o modelo convencional:

• Confiança de Detecção: O modelo ajustado alcançou uma confiança média de detecção superior a 90%, comparado ao modelo padrão que se estabilizou em torno de 85–89%.
• Precisão Média (AP):
  • Caixa Delimitadora: O AP em IoU 0.5 aumentou de 54,6% (padrão) para 94,94% (ajustado).
  • Segmentação: O AP em IoU 0.5 aumentou de 52,8% (padrão) para 96,94% (ajustado).
• Revocação Média (AR): Melhorias significativas foram observadas na revocação, particularmente para segmentação em IoU 0.5, subindo de 52,8% para 92,9% com o modelo ajustado.
• Eficiência: O modelo ajustado reduziu o tempo médio de inferência de 0,5 segundos para 0,3 segundos por imagem.
• Métricas Gerais: O estudo reporta um aumento na precisão de detecção de 87% para 92%, um F1-score de 0,88 e uma precisão média (mAP) de 0,82.

Significância e Alegações
Os autores afirmam que a abordagem proposta fornece detecção de objetos confiável e informações espaciais para estimar trajetórias de deriva em ambientes fluviais dinâmicos. Ao utilizar a segmentação de instância, o sistema pode distinguir entre vítimas e detritos visualmente semelhantes de forma mais eficaz do que métodos que dependem apenas de caixas delimitadoras. O estudo posiciona esta tecnologia como uma ferramenta viável para reconhecimento aéreo rápido, capaz de apoiar a tomada de decisão durante respostas de emergência em condições de enchentes relâmpago caracterizadas por alta velocidade da água e terrenos complexos. Os autores mantêm um escopo modesto, observando que, embora o sistema seja eficaz, alguns erros de detecção persistem em cenas de baixa luminosidade e durante movimentos rápidos de câmera, e trabalhos futuros devem focar em validar o desempenho em diversos cenários reais de SAR.