Detection and Classification of Cetacean Echolocation Clicks using Image-based Object Detection Methods applied to Advanced Wavelet-based Transformations

Esta tese demonstra a eficácia do modelo CLICK-SPOT, que aplica redes neurais profundas a transformações baseadas em wavelets para detectar e classificar automaticamente os cliques de ecolocalização de orcas norueguesas, superando as limitações de resolução tempo-frequência dos espectrogramas tradicionais em ambientes bioacústicos complexos.

O essencial

Imagine que você está tentando ouvir uma conversa em uma festa muito barulhenta, mas em vez de pessoas, são baleias assassinas (orcas) conversando e caçando debaixo d'água. O problema é que elas não falam com palavras, elas usam "cliques" sonoros, como um sonar biológico, para se orientar e caçar.

O trabalho de mestrado de Christopher Hauer é como criar um robô detetive que consegue ouvir essas gravações, separar o que é a voz da baleia do que é apenas um eco (o som batendo no fundo do mar) e contar quantas vezes elas "falam".

Aqui está a explicação do projeto, o CLICK-SPOT, usando analogias do dia a dia:

1. O Problema: A Montanha de Áudio

Antes, os biólogos tinham que ouvir horas e horas de gravações de orcas manualmente. Era como tentar achar uma agulha em um palheiro, mas o palheiro era um oceano de ruído.

• O Desafio: As orcas emitem cliques muito rápidos (milhares por segundo). Além disso, o som bate no fundo do mar e volta como um eco. Para um ouvido humano, é quase impossível dizer onde termina o clique original e onde começa o eco, especialmente se a água estiver barulhenta.
• A Consequência: Um biólogo experiente levava cerca de 12 horas para analisar apenas 1 minuto de áudio. Isso é insustentável para estudar o comportamento delas.

2. A Solução: Transformando Som em Imagem

O cérebro humano e as redes neurais de computador são ótimos em ver padrões em imagens, mas ruins em analisar ondas sonoras brutas.

• A Analogia: Imagine que o som é uma música. O método tradicional (chamado espectrograma) é como tentar ler a partitura de uma música muito rápida, mas a partitura fica borrada se você tentar ver notas muito agudas e muito graves ao mesmo tempo.
• A Inovação: O autor usou uma técnica chamada Transformada Wavelet. Pense nisso como uma lupa mágica que muda de foco automaticamente:
  • Para sons graves, ela dá um zoom no tempo (para ver a duração).
  • Para sons agudos (os cliques rápidos), ela dá um zoom na frequência (para ver o tom).
  • Isso cria uma imagem chamada escalograma, onde os cliques das baleias parecem cones brilhantes saindo do topo da imagem, muito mais fáceis de ver do que no método tradicional.

3. O Detetive: YOLO (You Only Look Once)

O autor usou uma inteligência artificial famosa chamada YOLO, que é usada para detectar carros em vídeos de trânsito.

• Como funciona: Em vez de carros, o YOLO foi treinado para olhar para as imagens dos sons (os escalogramas) e desenhar caixas ao redor dos cliques.
• O Problema do "Sanduíche": Às vezes, o YOLO desenhava uma caixa gigante que englobava tanto o clique original quanto o eco, como se fosse um sanduíche onde você não consegue separar o pão da carne.
• O Cortador de Pão (FOD): Para resolver isso, o autor criou um passo extra chamado FOD (Detecção de Gradiente de Primeira Ordem). Imagine que você tem um bolo de chocolate e precisa cortar as fatias. O FOD é como uma faca que sente onde a textura muda (o gradiente) e corta o "sanduíche" do YOLO em pedaços individuais, separando o clique do eco com precisão.

4. O Juiz: A Floresta Aleatória (Random Forest)

Agora que temos os cliques separados, precisamos saber: "Isso é a baleia falando ou é apenas um eco?"

• O Dilema: Um clique sozinho pode parecer muito com um eco. É como tentar adivinhar se uma pessoa está dizendo "Olá" ou se é apenas um eco de alguém gritando "Olá" em um canyon.
• A Solução: O autor usou um algoritmo chamado Random Forest (Floresta Aleatória). Imagine uma sala cheia de especialistas (árvores de decisão) que olham para o contexto:
  • "Quanto tempo passou desde o último clique?"
  • "A energia do som é forte ou fraca?"
  • "O som começou com uma onda positiva ou negativa?"
  • Juntando todas essas dicas, a "Floresta" vota e decide com alta precisão se é um clique real ou um eco.

5. O Resultado: O CLICK-SPOT

O resultado final é uma ferramenta chamada CLICK-SPOT.

• Eficácia: Enquanto os métodos antigos (como o PAMGuard) acertavam apenas cerca de 40% das vezes, o CLICK-SPOT acertou mais de 82% na detecção geral e quase 96% na identificação correta dos cliques.
• Velocidade: O robô consegue analisar 1 minuto de áudio em cerca de 25 minutos de processamento. Ainda não é em tempo real (como um radar de trânsito), mas é muito mais rápido do que as 12 horas que um humano levaria.
• Futuro: O objetivo agora é tornar o robô mais rápido para que ele possa ser usado em tempo real em barcos, ajudando os biólogos a entenderem o que as orcas estão fazendo (caçando, brincando ou viajando) apenas ouvindo seus cliques.

Em resumo: O autor criou um sistema que transforma o som do oceano em imagens, usa um "olho de computador" para achar os cliques, uma "faca inteligente" para separar os ecos e um "comitê de juízes" para classificar o que é real. Tudo isso para ajudar a entender a vida secreta das orcas sem precisar passar dias ouvindo fitas.

Resumo técnico

1. Problema e Contexto

A bioacústica marinha enfrenta um desafio significativo na análise de sinais animais, especificamente na detecção e anotação de cliques de ecolocalização de orcas (Orcinus orca).

• Limitação Manual: A anotação manual de grandes volumes de dados hidrofônicos é extremamente demorada e insustentável. Um especialista pode levar cerca de uma hora para anotar apenas um segundo de áudio contendo rajadas de cliques e seus respectivos ecos.
• Complexidade do Sinal: Diferenciar cliques originais de seus ecos (reflexões) é difícil devido à semelhança nas características de frequência e energia. Além disso, o ambiente subaquático apresenta ruído, reverberação e baixas relações sinal-ruído (SNR).
• Limitações dos Métodos Atuais: Detectores baseados em limiares matemáticos (como o PAMGuard) e abordagens tradicionais de espectrograma (usando Transformada de Fourier de Tempo Curto - STFT) falham em cenários complexos. O princípio da incerteza na STFT cria um compromisso entre resolução temporal e frequencial, dificultando a localização precisa de impulsos curtos (Dirac-like) como cliques.

2. Metodologia

A tese propõe uma cadeia de ferramentas chamada CLICK-SPOT, que integra transformações de wavelet, redes neurais convolucionais (CNN) para detecção de objetos e classificadores de aprendizado de máquina para contexto.

A. Representação de Dados (Transformações Avançadas)

Para superar as limitações dos espectrogramas tradicionais, o trabalho utiliza três representações de áudio combinadas em uma única imagem RGB (960x960 pixels):

1. Forma de Onda (Waveform): Canal Vermelho.
2. Espectrograma (STFT): Canal Azul.
3. Escalograma (CWT - Transformada Contínua de Wavelet): Canal Verde.

• Por que Wavelet? A Transformada Contínua de Wavelet (usando a wavelet "Mexican Hat") oferece melhor resolução temporal para altas frequências e melhor resolução frequencial para baixas frequências, sendo ideal para visualizar impulsos de curta duração e seus ecos.

B. Arquitetura do Modelo

O processo é dividido em três etapas principais:

1. Detecção de Eventos (YOLO):

   • Utiliza-se o modelo YOLOv8 (You Only Look Once) para detecção de objetos.
   • O modelo trata a imagem de áudio (SCWTSPEC) como uma imagem visual, detectando "caixas delimitadoras" (bounding boxes) que indicam a presença de eventos (cliques ou ecos).
   • O YOLO foi escolhido por sua capacidade de detectar múltiplos objetos em uma única janela de tempo, superando as limitações de janelas fixas do modelo ANIMAL-SPOT (que agrupava múltiplos eventos em uma única classe).

2. Pós-processamento e Refinamento (FOD - First Order Detection):

   • Para resolver o problema de caixas delimitadoras sobrepostas ou fundidas (onde um clique e seu eco aparecem como um único bloco), aplica-se a Conversão de Gradiente de Primeira Ordem (FOD).
   • O FOD calcula o gradiente do sinal para identificar picos de impulso precisos dentro das caixas do YOLO.
   • Isso permite "fatiar" (splicing) as caixas fundidas, separando o clique do eco com base na posição exata dos picos de gradiente.

3. Classificação de Contexto (Random Forest):

   • O YOLO detecta eventos, mas não distingue bem entre "clique" e "eco" isoladamente devido à sua variabilidade.
   • Um classificador Random Forest é treinado para diferenciar cliques de ecos e outros ruídos.
   • Entrada do Classificador: Utiliza características contextuais, não apenas o evento isolado. As features incluem: tempo de inter-chegada entre eventos, densidade de energia, diferença de energia, fase inicial (gradiente), e o histórico de eventos vizinhos (usando janelas de eventos passados e futuros). Isso imita a intuição humana de analisar o padrão de rajadas (bursts).

3. Contribuições Principais

• Criação do CLICK-SPOT: Desenvolvimento de um pipeline automatizado completo para detecção, anotação e classificação de cliques e ecos de orcas.
• Fusão de Representações: Demonstração de que combinar forma de onda, espectrograma e escalograma (Wavelet) em canais RGB melhora significativamente a detecção de eventos de alta frequência e curta duração.
• Abordagem Híbrida: Integração bem-sucedida de detecção de objetos (YOLO) com processamento de sinal matemático (FOD) e aprendizado de máquina supervisionado (Random Forest) para resolver o problema de separação clique-eco.
• Validação em Dados Reais: Teste rigoroso com dados fornecidos por biólogos marinhos, incluindo anotações manuais de alta precisão de populações de orcas norueguesas.

4. Resultados

Os experimentos foram comparados com métodos existentes (PAMGuard, FOD isolado, ANIMAL-SPOT):

• PAMGuard: Alcançou apenas 39,7% de precisão geral, sofrendo com muitos falsos positivos e dificuldade em ambientes de baixo SNR.
• FOD Isolado: Melhorou para 53,1% de precisão, mas ainda gerava muitos erros sem contexto.
• ANIMAL-SPOT: Alcançou 63,9% de precisão, mas falhou em isolar eventos individuais devido ao tamanho das janelas de segmentação.
• CLICK-SPOT (Solução Final):
  • Precisão na Detecção de Cliques: 86,32%.
  • Precisão na Classificação (Rótulo): 95,93% (capacidade de distinguir corretamente clique vs. eco).
  • Correlação de Taxa de Cliques: 98,01% entre a taxa de cliques detectados e a taxa anotada manualmente.
  • O modelo conseguiu reduzir drasticamente os falsos positivos ao focar na precisão global em vez de apenas na taxa de recall.

5. Significado e Impacto

• Viabilidade para Análise em Larga Escala: O CLICK-SPOT torna viável a análise de grandes conjuntos de dados de bioacústica que antes eram impraticáveis devido ao tempo de anotação manual.
• Compreensão Comportamental: Ao automatizar a detecção de cliques e ecos, os pesquisadores podem correlacionar padrões de ecolocalização com comportamentos sociais (como interações, caça ou migração) sem necessidade de observação visual constante dos animais.
• Adaptabilidade: Embora desenvolvido para orcas, a metodologia é adaptável para outras espécies de cetáceos (como golfinhos e baleias-de-esperma) e até para a detecção de estruturas fonéticas em vocalizações mais complexas.
• Limitação Atual e Futuro: O tempo de processamento atual é de 25 minutos para 1 minuto de áudio (fator de tempo real 25x), o que impede o uso em tempo real no campo. O trabalho sugere otimizações futuras, como redes recorrentes (RNN) integradas ao YOLO para contexto temporal direto e redução da dimensão das imagens de entrada para acelerar a inferência.

Em resumo, a tese demonstra que a combinação de representações avançadas de áudio (Wavelet) com arquiteturas modernas de visão computacional (YOLO) e classificadores contextuais (Random Forest) supera os métodos tradicionais de bioacústica, oferecendo uma solução robusta e precisa para a detecção automática de ecolocalização em ambientes marinhos complexos.