Video-based Locomotion Analysis for Fish Health Monitoring

Este artigo apresenta um sistema baseado em rastreamento de múltiplos objetos e no detector YOLOv11 para analisar a locomoção de peixes a partir de vídeos, visando a detecção precoce de doenças e o monitoramento da saúde em aquicultura.

O essencial

Imagine que você é um veterinário, mas em vez de usar estetoscópios ou raios-X, você usa uma câmera de vídeo e um computador superinteligente para cuidar da saúde de milhares de peixes de uma vez. É exatamente isso que o artigo "Análise de Locomoção Baseada em Vídeo para Monitoramento da Saúde dos Peixes" propõe fazer.

Aqui está a explicação do que os pesquisadores fizeram, usando analogias do dia a dia:

1. O Problema: A "Festa" Subaquática

Os peixes de aquicultura (criados para consumo) muitas vezes ficam doentes. Se um peixe está estressado ou doente, ele não fica parado; ele muda a forma como nada.

• O Cenário: Imagine um aquário cheio de pequenos peixes (chamados Oryzias celebensis, ou peixe-arroz de Sulawesi). Eles são minúsculos, parecidos entre si e nadam em cardumes densos, como uma multidão em um show de rock.
• O Desafio: Para um computador, é muito difícil seguir o "João" entre tantos "Joões" iguais, especialmente quando eles se escondem uns atrás dos outros, mudam de direção rápido e se deformam enquanto nadam.
• O Sintoma: Se os peixes começam a subir e descer de forma errática (em vez de nadar de lado), isso pode ser um sinal de doença (como problemas na bexiga natatória) ou até de eletricidade vazando no tanque, o que machuca os peixes.

2. A Solução: O "Detetive" com Visão de Raio-X

Os pesquisadores criaram um sistema que usa Inteligência Artificial para assistir ao vídeo e contar a história de cada peixe.

• O Detector (YOLOv11): Pense no YOLOv11 como um "olho" muito rápido que tira fotos e diz: "Aqui tem um peixe! Ali tem outro!".
• O Segredo (Janelas de Tempo): O grande truque deste trabalho foi ensinar esse "olho" a não olhar apenas para uma foto estática, mas para um pequeno vídeo (vários quadros seguidos).
  • A Analogia: Imagine tentar identificar alguém em uma foto borrada de uma corrida. É difícil. Mas se você olhar para 3 ou 5 fotos seguidas dessa mesma pessoa, você vê o movimento e consegue identificá-la muito melhor. O sistema faz isso: ele olha para o passado e o futuro imediato do peixe para entender melhor onde ele está.

3. O "Laboratório" (O Conjunto de Dados)

Para treinar esse computador, eles precisavam de um "livro de exercícios" com as respostas certas.

• Eles gravaram vídeos de peixes em um aquário que parecia uma casa comum.
• Eles marcaram manualmente (como se estivessem pintando cada peixe) onde cada um estava em cada quadro. Isso criou um banco de dados público para que outros cientistas possam testar suas próprias ideias.

4. O Resultado: O Computador Aprendeu a "Ler" a Saúde

Eles testaram o sistema de duas formas:

1. Rastreamento: Conseguem seguir o peixe sem perdê-lo de vista?
2. Análise de Movimento: Conseguem dizer se o peixe está nadando para cima, para baixo ou para o lado?

As descobertas principais:

• Ver mais ajuda: Usar múltiplos quadros de vídeo (em vez de apenas um) ajudou o computador a detectar os peixes com mais precisão, especialmente quando eles estavam escondidos ou se movendo rápido.
• O tamanho importa (mas nem sempre): O modelo de tamanho "médio" funcionou melhor do que o "gigante" (que ficou confuso) ou o "pequeno" (que era rápido, mas menos preciso).
• O Grande Surpresa: Mesmo que o computador não fosse perfeito em seguir cada peixe individualmente (às vezes trocava um peixe pelo outro), ele foi excelente em medir o comportamento do grupo todo.
  • A Metáfora: É como tentar contar quantas pessoas estão correndo em uma multidão. Você pode confundir quem é quem, mas se você olhar para o fluxo geral, consegue dizer claramente: "Ei, essa multidão está correndo para cima e para baixo, o que é estranho!".

5. Por que isso é importante?

Hoje, os fazendeiros de peixes precisam inspecionar visualmente os tanques, o que é demorado e subjetivo.
Com esse sistema:

• Detecção Precoce: Se os peixes começarem a nadar de forma estranha (muito para cima/baixo), o sistema avisa o fazendeiro antes que a doença se espalhe.
• Bem-estar Animal: Garante que os peixes não estejam sofrendo com eletricidade ou água ruim.
• Sustentabilidade: Peixes saudáveis crescem melhor e geram menos desperdício.

Resumo Final

Os pesquisadores criaram um "olho digital" que assiste aos peixes nadar. Ao ensinar a inteligência artificial a olhar para o movimento (não apenas para a imagem parada), eles conseguiram criar um sistema que, mesmo em um mar de peixes parecidos, consegue dizer se a "festa" está saudável ou se algo está errado. É como ter um médico que vigia a dança de todos os peixes ao mesmo tempo para garantir que ninguém está doente.

Resumo técnico

Título: Análise de Locomoção Baseada em Vídeo para Monitoramento da Saúde de Peixes

1. Problema e Motivação

O monitoramento da saúde em aquicultura é crucial para a detecção precoce de doenças, o bem-estar animal e práticas sustentáveis. Condições fisiológicas e patológicas podem ser inferidas através da análise da locomoção dos peixes.

• Desafios Atuais: O rastreamento de peixes em ambientes naturais ou de aquicultura é difícil devido a oclusões frequentes, interações entre indivíduos, mudanças rápidas de direção e deformações morfológicas contínuas (corpos não rígidos). Além disso, a alta similaridade visual entre peixes dificulta a discriminação individual.
• Indicadores de Saúde: Padrões de natação anormais, como movimentos verticais erráticos (subir e descer em vez de nadar horizontalmente), podem indicar estresse, doenças da bexiga natatória ou lesões neuromusculares causadas, por exemplo, por correntes de fuga elétrica.
• Limitação de Dados: Existe uma escassez de conjuntos de dados abrangentes e padronizados para avaliação de rastreamento de peixes, com a maioria dos existentes possuindo baixa resolução ou ambientes simplificados.

2. Metodologia

O trabalho propõe um sistema baseado no paradigma Tracking-by-Detection (TbD) (Rastreamento por Detecção), utilizando o detector YOLOv11 integrado a frameworks de rastreamento como ByteTrack e BoT-SORT.

• Adaptação do Modelo (Multi-Frame):

  • A inovação central é a modificação da arquitetura YOLOv11 para aceitar entradas de múltiplos quadros (multi-frame).
  • Em vez de processar apenas o quadro atual ($I_t$), o modelo concatena $n$ quadros consecutivos ao longo do canal de cor, criando uma janela de tempo (ex: $I_{t-n+1}, ..., I_t$).
  • Isso permite que o modelo utilize informações temporais e padrões de movimento desde as primeiras camadas de extração de características, ajudando a distinguir peixes de fundo ou objetos ocluídos.
  • Foram testadas configurações de janelas temporais simétricas e assimétricas (ex: $xXx$, onde $X$ é o quadro de foco e $x$ são quadros contextuais).

• Extração de Métricas de Saúde:

  • Após o rastreamento, o sistema calcula a direção e a magnitude (velocidade) de natação.
  • As direções são normalizadas para um intervalo angular de $-90^\circ$ (para baixo) a $90^\circ$ (para cima), eliminando a direção horizontal.
  • A distribuição angular da manada é analisada: uma distribuição saudável deve ter um pico em $0^\circ$ (natação horizontal), enquanto picos nas extremidades indicam comportamento anormal vertical.

• Conjunto de Dados (Dataset):

  • Foi criado um novo conjunto de dados com vídeos de peixes-arroz de Sulawesi (Oryzias celebensis) em um ambiente de aquário doméstico.
  • O dataset inclui anotações de segmentação em nível de pixel e IDs de rastreamento, capturando oclusões, mudanças de direção e densidades variadas.
  • Total: 202 quadros anotados para avaliação e 37 para treinamento, com resoluções de 2448x2048 pixels a 30 fps.

3. Contribuições Principais

1. Dataset Curado: Disponibilização de um conjunto de dados anotado manualmente com peixes em cenários complexos (alta densidade, oclusões), servindo como benchmark para rastreamento e segmentação em ambientes aquáticos.
2. Avaliação Qualitativa de Adaptações YOLO: Investigação do impacto da incorporação de quadros contextuais em diferentes escalas do modelo YOLOv11 (nano, medium, large) para detecção de cardumes.
3. Pipeline de Saúde: Um método completo para derivar características quantitativas de locomoção (direção e velocidade) a partir de trajetórias de rastreamento como indicadores de saúde.

4. Resultados Experimentais

Os experimentos foram realizados no dataset de peixes de Sulawesi, comparando diferentes configurações de janelas temporais e tamanhos de modelos.

• Desempenho de Detecção:

  • O aumento da janela temporal geralmente melhorou a precisão. A configuração $xXx$ (quadro atual com um quadro anterior e um posterior, pulando os adjacentes imediatos) mostrou-se eficaz.
  • O modelo Medium com a configuração $xXx$ e pesos pré-treinados no dataset específico ($xXx_{pt}$) alcançou o melhor desempenho, com um mAP50-95 de 76,6% (um ganho de 13 pontos percentuais sobre a linha de base de quadro único).
  • Janelas assimétricas (apenas quadros passados) performaram pior que a linha de base.

• Desempenho de Rastreamento (ByteTrack e BoT-SORT):

  • Melhores taxas de detecção traduziram-se em rastreamento mais robusto.
  • O modelo Medium com contexto $xXx$ superou consistentemente os outros modelos no vídeo B (maior densidade).
  • No entanto, o ganho nas métricas de rastreamento (IDF1, MOTA, HOTA) foi modesto (aprox. 1 ponto percentual) em comparação com o ganho na detecção, sugerindo que o rastreamento já é limitado pela qualidade da detecção, mas não se beneficia drasticamente de pequenas melhorias adicionais em cenários muito densos.
  • O rastreamento com detecções "Ground Truth" atingiu HOTA de até 85%, indicando que há espaço para melhoria na detecção automática.

• Análise de Direção de Natação:

  • As estimativas de direção e magnitude derivadas do rastreamento foram suficientemente próximas da verdade fundamental (Ground Truth).
  • Descoberta Surpreendente: Mesmo modelos com detecção inferior (como o de quadro único) conseguiram gerar distribuições de direção globalmente corretas. Isso sugere que, para uma visão holística da saúde do cardume (ex: detectar natação vertical excessiva), o rastreamento clássico de quadro único pode ser suficiente, embora o multi-frame ofereça maior robustez individual.

5. Significado e Conclusão

O estudo demonstra que é viável inferir a atividade de locomoção de peixes em ambientes de aquário usando visão computacional moderna.

• Impacto Prático: O sistema permite monitorar a saúde dos peixes de forma não invasiva, detectando estresse ou doenças através de alterações no padrão de natação (especialmente movimentos verticais anormais).
• Viabilidade Técnica: Métodos TbD atuais, quando alimentados com detectores YOLOv11 otimizados com contexto temporal, são suficientes para derivar estimativas quantitativas confiáveis da direção do movimento do cardume.
• Futuro: Os autores planejam implantar o sistema em fazendas de peixes focadas em biodiversidade para monitoramento de longo prazo e investigar a modelagem explícita de desfoque de movimento (motion blur) para melhorar ainda mais a precisão durante a exposição da câmera.

Em resumo, o trabalho preenche uma lacuna crítica ao fornecer dados e métodos validados para transformar vídeos de aquicultura em dados acionáveis sobre o bem-estar animal.