An interpretable framework using foundation models for fish sex identification

O artigo apresenta o FishProtoNet, um framework não invasivo e interpretável baseado em modelos de fundação e redes de protótipos para a identificação do sexo do peixe delta smelt em risco de extinção, demonstrando alta precisão nas fases de desova e pós-desova, embora ainda enfrente desafios na fase subadulta devido às menores diferenças morfológicas.

O essencial

Imagine que você é um biólogo tentando cuidar de uma espécie de peixe muito especial e em perigo de extinção, chamada Delta Smelt. O problema é que, para criar mais peixes e salvar a espécie, você precisa saber exatamente quais são machos e quais são fêmeas.

No passado, para descobrir o sexo, os cientistas precisavam fazer coisas invasivas, como abrir o peixe ou usar endoscópios (uma espécie de "tubo com câmera" que entra no corpo do animal). Isso estressa o peixe e pode até matá-lo. É como tentar descobrir se uma pessoa é atleta de elite apenas fazendo uma cirurgia para olhar os músculos internos: funciona, mas é cruel e perigoso.

Os autores deste artigo criaram uma solução inteligente e não invasiva chamada FishProtoNet. Vamos explicar como funciona usando analogias do dia a dia:

1. O "Detetive de Fundo" (Removendo o Ruído)

A primeira dificuldade é que as fotos dos peixes são tiradas em tanques. Às vezes, a câmera foca no fundo do tanque ou em uma etiqueta no peixe, e não no peixe em si. Um computador "burro" poderia aprender a dizer "peixe macho" apenas porque o fundo da foto é azul, em vez de olhar para o peixe.

Para resolver isso, o FishProtoNet usa dois "super-heróis" da tecnologia moderna (chamados Modelos de Fundação):

• Grounding DINO: Imagine um detetive que você aponta e diz: "Ache o peixe!". Ele não precisa ter visto esse peixe antes; ele entende o conceito de "peixe" e desenha uma caixa ao redor dele.
• SAM2 (Segment Anything Model): Assim que a caixa é desenhada, o SAM2 age como um "recortador de papel" mágico. Ele corta exatamente a forma do peixe, jogando fora o fundo do tanque, a água e qualquer coisa que não seja o peixe.

Resultado: O computador agora só olha para o peixe, limpo, sem distrações.

2. O "Treinamento com Espelhos" (Aprendizado por Protótipos)

Aqui está a parte mais brilhante e diferente. A maioria das inteligências artificiais modernas é uma "caixa preta": você dá uma foto, ela diz "macho", mas não explica por quê. Isso assusta os biólogos, que precisam confiar na ciência.

O FishProtoNet usa uma técnica chamada Aprendizado por Protótipos. Imagine que você está ensinando uma criança a diferenciar maçãs de peras.

• Em vez de apenas mostrar mil fotos e esperar a criança adivinhar, você mostra uma maçã perfeita e diz: "Isso é uma maçã". Depois mostra uma pera perfeita e diz: "Isso é uma pera".
• Quando chega uma fruta nova, a criança compara: "Essa fruta se parece mais com a maçã que eu vi ou com a pera?".

O FishProtoNet faz exatamente isso. Ele aprende "exemplares perfeitos" (protótipos) de peixes machos e fêmeas. Quando vê um novo peixe, ele compara: "Este peixe se parece mais com o meu protótipo de macho ou com o de fêmea?".

• A vantagem: O sistema pode mostrar ao biólogo: "Eu disse que é macho porque a cauda deste peixe se parece muito com a cauda do meu protótipo de macho". É transparente e confiável.

3. O "Treinamento com Óculos Escuros" (Aumento de Dados)

Como há poucos peixes para treinar a máquina, eles usaram truques para "multiplicar" as fotos. Eles pegaram as fotos dos peixes e:

• Giram levemente (como se o peixe estivesse nadando em outra direção).
• Espelham a imagem (como se fosse um reflexo no espelho).
• Apagam pequenas partes da imagem aleatoriamente (como se o peixe estivesse escondido atrás de uma planta).

Isso força o computador a aprender a verdadeira forma do peixe, e não apenas a decorar a foto. É como treinar um atleta em diferentes condições de tempo para que ele não desanime se chover.

O Que Eles Descobriram?

O sistema funcionou muito bem, mas com um detalhe importante:

• Peixes Adultos (Prontos para reprodução): O sistema acertou com muita precisão (cerca de 81%). Quando os peixes estão maduros, as diferenças entre macho e fêmea são visíveis, mesmo que sutis para o olho humano.
• Peixes Jovens (Subadultos): O sistema teve mais dificuldade (cerca de 54%). É como tentar adivinhar o sexo de um bebê humano apenas olhando para o rosto; eles ainda não desenvolveram as características físicas que os diferenciam.

Resumo Final

Os pesquisadores criaram um "olho digital" que:

1. Corta o peixe da foto para não se confundir com o fundo.
2. Compara o peixe com "modelos ideais" de machos e fêmeas que ele aprendeu.
3. Explica por que tomou a decisão, mostrando exatamente qual parte do peixe foi usada para a conclusão.

Isso permite que os cientistas salvem o Delta Smelt sem precisar tocar ou estressar os peixes, garantindo que a espécie tenha mais chances de sobreviver. É uma vitória da tecnologia a favor da natureza!

Resumo técnico

1. Problema e Contexto

A identificação precisa do sexo em peixes é crucial para a otimização de estratégias de reprodução e gestão na aquicultura, especialmente para espécies ameaçadas de extinção como o Delta Smelt (Hypomesus transpacificus), nativo da Califórnia.

• Limitações dos Métodos Atuais: As técnicas tradicionais (biópsia, dissecção, endoscopia ou ultrassonografia) são invasivas, causam estresse físico e podem levar à mortalidade adicional, o que é inaceitável para populações já ameaçadas.
• Desafios da Visão Computacional: Métodos baseados em aprendizado de máquina existentes frequentemente falham em identificar o sexo quando as diferenças morfológicas são sutis (como em peixes subadultos). Além disso, esses modelos tendem a aprender viés de fundo (ex: cor do tanque) em vez de características intrínsecas do peixe e carecem de interpretabilidade, tornando difícil para biólogos validarem as decisões do modelo ("caixa preta").

2. Metodologia: FishProtoNet

O estudo propõe o FishProtoNet, um framework robusto e não invasivo que integra modelos de fundação (foundation models) com aprendizado baseado em protótipos. A arquitetura é composta por três módulos principais:

A. Extração de Regiões de Interesse (ROIs) via Modelos de Fundação

Para mitigar o ruído de fundo e evitar o viés de classificação baseado no ambiente:

• Grounding DINO: Utilizado em modo zero-shot (sem treinamento prévio para a espécie específica) com o prompt de texto "fish" para gerar caixas delimitadoras (bounding boxes) ao redor dos peixes.
• Segment Anything Model 2 (SAM2): Utiliza as caixas delimitadoras do Grounding DINO como prompts visuais para gerar máscaras de segmentação precisas, isolando o peixe do fundo.
• Vantagem: Elimina a necessidade de anotação massiva de dados para detecção de objetos e foca apenas nas características morfológicas do peixe.

B. Aumento de Dados (Data Augmentation)

Após a extração das ROIs, aplicam-se técnicas de aumento de dados para melhorar a robustez e generalização do modelo, especialmente considerando a pequena quantidade de dados disponíveis:

• Rotação aleatória, espelhamento horizontal, jitter de cor (brilho, contraste, saturação), recorte aleatório e apagamento aleatório (random erasing).
• O random erasing é particularmente importante para simular oclusões ou remover viés de marcadores de identidade (VIA tags) presentes nas imagens.

C. Extração de Características e Predição Interpretável

• Extração de Características: Um backbone ResNet-50 (pré-treinado no ImageNet) é utilizado para extrair características semânticas de alto nível das máscaras dos peixes.
• Classificador Interpretável (ProtoTree): Em vez de uma camada totalmente conectada padrão, o modelo utiliza uma Árvore de Decisão Neural Baseada em Protótipos.
  • O modelo aprende "protótipos" (representações visuais típicas) para cada sexo.
  • A decisão é tomada comparando as características da imagem de teste com esses protótipos no espaço métrico.
  • Isso permite visualizar por que o modelo tomou uma decisão, mostrando quais partes da imagem e quais protótipos foram ativados, oferecendo transparência total para especialistas.

3. Contribuições Principais

1. Abordagem Zero-Shot para ROIs: Uso combinado de Grounding DINO e SAM2 para extrair regiões de interesse de peixes sem necessidade de treinamento específico de detecção, reduzindo custos de anotação e viés de fundo.
2. Interpretabilidade via Aprendizado de Protótipos: Desenvolvimento de um modelo de IA explicável (XAI) que não apenas classifica, mas demonstra as características morfológicas usadas para distinguir machos de fêmeas, facilitando a validação biológica.
3. Estratégia de Aumento de Dados Sistemática: Seleção e validação de técnicas de aumento de dados que melhoram a robustez do modelo frente a variações de iluminação, orientação e oclusão.

4. Resultados Experimentais

O modelo foi testado em três estágios do ciclo de vida do Delta Smelt:

• Subadulto (Pré-época de desova): Desempenho moderado (Acurácia: 54,76%, F1: 54,62%). As diferenças morfológicas nesta fase são muito sutis para serem detectadas apenas visualmente.
• Início da Época de Desova: Desempenho significativo (Acurácia: 74,40%, F1: 74,27%).
• Pós-desova: Melhor desempenho (Acurácia: 81,16%, F1: 79,43%).
• Comparação: O FishProtoNet superou o ResNet-50 padrão em todos os estágios. Embora tenha ficado ligeiramente abaixo do Vision Transformer (ViT) em termos de pura acurácia nos estágios maduros, o FishProtoNet ofereceu uma transparência superior na tomada de decisão, um fator crítico para aplicações científicas.

5. Significado e Conclusão

O FishProtoNet representa um avanço significativo na aquicultura sustentável e na conservação de espécies ameaçadas.

• Não Invasivo: Permite a identificação do sexo sem capturar, manipular ou ferir os peixes, preservando a integridade das populações ameaçadas.
• Confiança Científica: Ao fornecer explicações visuais baseadas em protótipos, o modelo permite que biólogos validem se o algoritmo está realmente observando características biológicas relevantes (como desenvolvimento gonadal) e não ruídos de fundo.
• Limitações e Futuro: O desempenho reduzido em peixes subadultos indica que as diferenças morfológicas visíveis ainda são insuficientes para essa fase. Trabalhos futuros sugerem a integração de dados multimodais (como infravermelho ou ultrassom) para melhorar a identificação em estágios iniciais de desenvolvimento.

Em suma, o estudo demonstra que a combinação de modelos de fundação modernos com técnicas de IA interpretável pode resolver problemas complexos de conservação onde métodos tradicionais falham ou são prejudiciais.