Non-invasive Growth Monitoring of Small Freshwater Fish in Home Aquariums via Stereo Vision

Este artigo propõe um método não invasivo de visão estéreo consciente da refração, utilizando a rede YOLOv11-Pose para detectar pontos-chave anatômicos e estimar o comprimento de peixes de aquário com precisão, superando as distorções ópticas causadas pelas interfaces ar-vidro-água.

O essencial

Imagine que você tem um aquário em casa e ama seus peixes. Você quer saber se eles estão crescendo saudáveis, mas medir um peixinho que nada rápido e transparente é como tentar medir um raio de sol com uma régua de madeira: difícil, invasivo e estressante para o peixe.

Este artigo apresenta uma solução inteligente: um sistema de "olhos de câmera" que mede os peixes sem nunca tocá-los.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O Efeito "Lente Distorcida"

Quando você olha para um peixe dentro de um aquário, você vê através de três camadas: o ar, o vidro e a água. Isso cria um efeito de "lente" que distorce a imagem, fazendo com que o peixe pareça estar em um lugar diferente do que realmente está.

• A analogia: É como tentar medir um objeto dentro de um copo d'água. Se você usar as regras normais de fotografia (que funcionam no ar), a régua vai ficar torta e a medida estará errada. A maioria dos softwares de visão de computador "quebra" nessa situação.

2. A Solução: O "Duplo Olho" Inteligente

Os pesquisadores criaram um sistema que usa duas câmeras (estéreo), como nossos dois olhos, para ver o peixe em 3D. Mas, em vez de usar regras simples, eles ensinaram o computador a entender a física da luz (refração).

• A analogia: Imagine que as duas câmeras são dois detetives. Em vez de seguirem uma linha reta para encontrar o peixe, eles sabem que a luz "curva" ao passar pelo vidro e pela água. Eles traçam um "caminho curvo" (chamado de curva epipolar) para se encontrarem no ponto exato onde o peixe está.

3. O "Treinamento" do Computador (YOLO)

Para encontrar os peixes, eles usaram uma inteligência artificial chamada YOLO (que significa "Você Só Olha Uma Vez").

• O que ela faz: Ela age como um treinador de circo muito rápido. Ela olha para a foto e diz: "Ali tem um peixe! E ali tem outro!".
• O toque especial: Eles ensinaram essa IA a não apenas encontrar o peixe, mas também a avaliar a qualidade da foto.
  • Peixe Q3 (Alta Qualidade): O peixe está claro, parado e visível. "Ok, vamos medir!"
  • Peixe Q1 (Baixa Qualidade): O peixe está borrado, escondido na planta ou muito pequeno. "Não, isso é muito arriscado, vamos ignorar."
  • Por que isso importa? É melhor não medir um peixe do que medir um peixe errado e estragar a média de crescimento de todo o aquário.

4. O Processo de Medição: Um Jogo de "Encontre o Par"

O sistema funciona em etapas:

1. Detecção: As câmeras tiram fotos e a IA marca onde estão os peixes e pontos específicos neles (boca, olho, barbatanas).
2. Casamento (Stereo Matching): O sistema tenta emparelhar o "peixe da câmera esquerda" com o "peixe da câmera direita". Ele usa a lógica das curvas de refração para garantir que são o mesmo peixe.
3. Filtro de Segurança: Antes de calcular o tamanho, o sistema aplica filtros:
   • Se o peixe estiver nadando direto para a câmera (como um carro vindo em sua direção), é difícil ver o tamanho. O sistema descarta.
   • Se a imagem estiver muito ruim, o sistema descarta.
4. Cálculo 3D: Com os pares bons, o sistema calcula a distância 3D e mede o peixe da boca até a cauda.

5. O Resultado: Precisão em Casa

Eles testaram isso com uma espécie rara e pequena chamada "peixe-arroz de Sulawesi" (que cresce apenas até 8 cm).

• A descoberta: O sistema funcionou muito bem, especialmente quando o fundo do aquário era simples (como uma parede branca).
• O detalhe engraçado: Quando o fundo era cheio de plantas e decorações, o sistema às vezes se confundia (como tentar achar um amigo em uma multidão de pessoas iguais). Mas, ao filtrar as imagens ruins, a precisão voltou a ser alta.

Resumo Final

Imagine que você tem um assistente pessoal no seu aquário que:

1. Sabe que a água distorce a visão.
2. Tem "olhos de águia" para achar os peixes.
3. É muito exigente: se o peixe estiver escondido ou a foto estiver ruim, ele diz "não conta".
4. Usa duas câmeras para medir o peixe com precisão milimétrica, sem precisar tirá-lo da água.

Isso permite que donos de aquários e cientistas monitorem a saúde dos peixes diariamente, sem estresse para os animais e sem trabalho manual chato. É tecnologia de ponta trazida para a sua sala de estar!

Resumo técnico

1. Problema e Contexto

O monitoramento do crescimento e da saúde de peixes é crucial tanto na aquicultura quanto em aquários domésticos e para a preservação da biodiversidade. No entanto, medições manuais são invasivas, estressantes para os animais e consomem muito tempo.

As abordagens baseadas em visão computacional enfrentam desafios únicos em ambientes de aquário:

• Refração: A interface ar-vidro-água distorce as imagens, violando os pressupostos do modelo de câmera pinhole e tornando as linhas epipolares tradicionais (usadas em estereoscopia padrão) ineficazes.
• Características dos Peixes: Espécies de água doce pequenas (como o Sulawesi ricefish, que cresce até ~80 mm), frequentemente transparentes, de movimento rápido e que se escondem entre plantas ou decorações.
• Qualidade da Imagem: Iluminação variável, desfoque de movimento e oclusão dificultam a detecção precisa de pontos-chave anatômicos.

2. Metodologia

O sistema proposto é um pipeline de visão estéreo não invasivo e consciente da refração, composto pelas seguintes etapas:

A. Detecção e Predição de Pontos-Chave (YOLOv11-Pose)

• Utiliza uma rede YOLOv11-Pose modificada para detectar peixes e prever cinco pontos-chave anatômicos: boca, olho, nadadeira dorsal, nadadeira ventral e nadadeira caudal.
• Novo Cabeçote de Qualidade: Uma camada adicional na rede prevê a qualidade da visibilidade de cada detecção (Alta, Média, Baixa). Isso é treinado em duas etapas: primeiro a rede de localização é treinada, depois o cabeçote de qualidade é otimizado com os pesos da localização congelados para evitar overfitting.

B. Correspondência Estéreo (Stereo Matching)

• Para superar a refração, o sistema utiliza curvas epipolares (em vez de linhas retas) pré-calculadas com base no modelo de câmera axial, considerando os índices de refração do ar (1.0), vidro (1.5) e água (1.33).
• Uma função de custo combina três termos para associar peixes entre as duas imagens:
  1. Distância à curva epipolar.
  2. Diferença no tamanho das caixas delimitadoras.
  3. Diferença no padrão dos pontos-chave.
• Uma estratégia de atribuição gulosa determina os pares ótimos.

C. Refinamento e Filtragem

• Refinamento por Template Matching: Após o pareamento, os pontos-chave são refinados usando correspondência de templates (21x21 pixels) restrita à área ao redor da curva epipolar.
• Filtros de Qualidade e Orientação:
  • Descarta detecções com qualidade "Baixa" ou "Média".
  • Descarta peixes com proporção de caixa delimitadora < 1.5 (indicando que estão virados de frente ou de costas para a câmera).
  • Descarta peixes nadando diretamente em direção ou afastando-se da câmera (ângulo < 45°), pois a localização de pontos-chave torna-se ambígua.

D. Triangulação 3D

• Os pontos-chave correspondentes e filtrados são triangulados usando um modelo de reconstrução 3D consciente da refração para calcular a distância real (comprimento) da boca até a nadadeira caudal.

3. Contribuições Principais

1. Sistema Não Invasivo: Proposta de um sistema de câmera estéreo que estima o tamanho de peixes em aquários sem perturbar os animais.
2. Novo Dataset: Criação e disponibilização de um conjunto de dados estéreo anotado com 104 imagens e 4.331 instâncias de peixes Sulawesi ricefish (espécie ameaçada), incluindo caixas delimitadoras, 5 pontos-chave e rótulos de qualidade de visibilidade.
3. Abordagem Robusta à Refração: Integração de curvas epipolares e um modelo de câmera axial para lidar com as distorções da interface ar-vidro-água.
4. Mecanismo de Filtragem Aprendido: Uso de um cabeçote de qualidade neural combinado com filtros geométricos para eliminar amostras estéreo imprecisas, demonstrando ser essencial para a precisão final.

4. Resultados

O sistema foi avaliado no novo dataset, comparando diferentes escalas de backbone do YOLO (nano a extra-large) e a presença de componentes de filtragem.

• Precisão da Predição de Qualidade: O modelo consegue identificar com alta precisão as amostras de "Alta Qualidade" (poucos falsos negativos). A taxa de falsos positivos (prever alta qualidade quando é média/baixa) é baixa (~15%), o que é aceitável para evitar a rejeição de dados úteis.
• Correspondência Estéreo: A aplicação dos filtros de qualidade (Qu) e direção (Di) reduziu drasticamente a porcentagem de correspondências erradas (Bad Matches), chegando a menos de 2% em algumas configurações.
• Precisão de Medição (RMSE):
  • O filtro de qualidade reduziu o Erro Quadrático Médio (RMSE) em quase todos os casos, com reduções de até 50% em cenários complexos.
  • O Refinamento por Template Matching (Te) teve comportamento dependente do cenário: melhorou significativamente a precisão em cenários com fundo branco (simulando aquários domésticos contra uma parede), mas piorou a precisão em cenários com plantas e fundos complexos, onde o template se alinha erroneamente com elementos do fundo.
  • A melhor configuração geral utilizou o backbone m-scale (medium) com os filtros de qualidade e direção ativos.
  • O RMSE final alcançado foi de aproximadamente 7.25 mm a 9.51 mm (dependendo do cenário e configuração), o que é considerado preciso para peixes de até 80 mm em condições desafiadoras.
• Desempenho: O sistema processa cerca de 5 pares de quadros por segundo em hardware de ponta (RTX 6000), sendo o refinamento por template matching o gargalo computacional (75% do tempo).

5. Significado e Conclusão

O trabalho demonstra que é possível realizar monitoramento de crescimento não invasivo e preciso em aquários domésticos, superando os desafios da refração e da complexidade visual.

• Impacto Prático: Oferece uma solução acessível para criadores de peixes e aquaristas monitorarem a saúde e o bem-estar dos animais sem estresse físico.
• Inovação Técnica: A combinação de redes neurais modernas (YOLOv11) com modelos físicos de refração e filtros de qualidade aprendidos estabelece um novo padrão para medição de objetos pequenos em ambientes aquáticos.
• Futuro: Os autores planejam integrar abordagens de deblurring (remoção de desfoque) baseadas em modelos para lidar com o desfoque de movimento e otimizar o tempo de execução do refinamento de pontos-chave.

Em resumo, o sistema prova que a filtragem inteligente de dados (descartar medições ruins) é tão importante quanto a precisão do algoritmo de triangulação para obter resultados confiáveis em ambientes não controlados como aquários.