Progressive Multimodal Interaction Network for Reliable Quantification of Fish Feeding Intensity in Aquaculture

1. Problema e Contexto

A aquicultura enfrenta desafios significativos relacionados ao desperdício de ração, custos operacionais elevados e surtos de doenças devido à gestão ineficiente da alimentação. A quantificação precisa da intensidade de alimentação dos peixes é crucial para a alimentação de precisão, pois permite ajustar a oferta de ração em tempo real, evitando subalimentação ou excesso.

Atualmente, a avaliação depende de observação manual (subjetiva e trabalhosa) ou de máquinas automáticas com cronogramas fixos (que não respondem à demanda real). Embora métodos baseados em uma única modalidade (visão computacional, acústica ou sensores) tenham sido explorados, eles apresentam limitações:

• Visão: Sensível a turbidez da água, reflexos e oclusão.
• Acústica: Suscetível a ruídos ambientais e interferências não relacionadas à alimentação.
• Sensores: Muitas vezes invasivos ou incapazes de representar o comportamento do grupo.
• Fusão Multimodal Existente: Métodos atuais frequentemente ignoram inconsistências nas respostas entre modalidades e conflitos de decisão, utilizando estratégias de fusão simples (como concatenação ou ponderação estática) que não capturam adequadamente as relações complexas e complementares entre os dados.

2. Metodologia Proposta: PMIN

O artigo propõe a Rede de Interação Multimodal Progressiva (PMIN - Progressive Multimodal Interaction Network), uma arquitetura inovadora projetada para integrar dados de imagem, áudio e ondas de água. A metodologia divide-se em três estágios principais:

A. Extração Unificada de Características

Para reduzir discrepâncias representacionais entre modalidades, o modelo utiliza uma estrutura unificada baseada no UniRepLKNet (Universal Perception Large-Kernel ConvNet).

• Em vez de usar codificadores heterogêneos para cada modalidade, o UniRepLKNet mapeia imagens, espectrogramas de áudio (Mel) e dados de ondas de água (acelerômetro) para um espaço de características estruturalmente consistente.
• Isso facilita a interação cruzada posterior, garantindo que as características tenham distribuições estatísticas e escalas compatíveis.

B. Mecanismo de Reforço da Modalidade Primária por Modalidade Auxiliar (ARPM)

Reconhecendo que diferentes modalidades têm forças e focos discriminativos distintos sob o mesmo estado de alimentação, o ARPM introduz uma interação progressiva em duas etapas:

1. Recalibração Consciente de Canal (CARM): Ajusta adaptativamente os pesos dos canais para mitigar diferenças inter-modais.
2. Interação por Atenção Dupla (DAIM):
   • Estágio Superficial: Utiliza Atenção Múltipla de Cabeças (MHSA) e Atenção Cruzada (MHCA) para fundir características auxiliares na modalidade primária, preservando informações relevantes e suprimindo redundâncias.
   • Estágio Profundo: Realiza uma interação paralela bidirecional para capturar semânticas complementares profundas, seguida de uma fusão residual com a característica original da modalidade primária.

• O mecanismo permite que a modalidade mais forte (ex: imagem) guie o processo, enquanto as auxiliares (áudio, ondas) fornecem reforço contextual.

C. Fusão de Decisão Baseada em Raciocínio Evidencial Adaptativo (AER)

Para resolver conflitos de decisão e inconsistências de confiança entre as modalidades, o modelo não utiliza apenas uma camada final simples.

• As saídas de cada ramo são transformadas em atribuições de probabilidade básica.
• O AER modela conjuntamente a confiança, a confiabilidade da fonte e os potenciais conflitos entre as evidências.
• Parâmetros de peso e confiabilidade são aprendidos adaptativamente durante o treinamento, permitindo que o sistema suprima evidências conflitantes e priorize as mais confiáveis, resultando em uma decisão global mais robusta.

3. Contribuições Principais

1. Construção de um Novo Dataset: Criação de um conjunto de dados multimodal de 7.089 amostras sincronizadas (imagem, áudio e ondas de água) de trutas arco-íris, cobrindo três níveis de intensidade de alimentação (Forte, Fraca, Nenhuma).
2. Framework Unificado: Proposta de um esquema de extração de características unificado (UniRepLKNet) que elimina a necessidade de mapeamentos complexos entre espaços de características heterogêneos.
3. Mecanismo ARPM: Desenvolvimento de um mecanismo de interação progressiva que melhora a representação da modalidade primária através de recalibração e atenção em duas etapas, modelando melhor as respostas diferenciadas das modalidades.
4. Estratégia AER: Introdução de uma fusão de decisão baseada em raciocínio evidencial para lidar explicitamente com incertezas e conflitos, superando métodos de fusão tardia tradicionais.
5. Validação Exaustiva: Demonstração experimental de superioridade sobre modelos homogêneos, heterogêneos e outras estratégias de fusão, com baixo custo computacional.

4. Resultados Experimentais

Os experimentos foram realizados em um workstation com GPU NVIDIA RTX 4090. O modelo foi testado em um conjunto de dados dividido em 80% treino, 10% validação e 10% teste.

• Desempenho Geral: O PMIN alcançou uma acurácia de 96,76%, com precisão de 96,80%, recall de 96,78% e F1-Score de 96,79%.
• Comparação com Unimodal e Bimodal:
  • Unimodal: Imagem (82,39%), Áudio (59,86%), Ondas (66,34%).
  • Bimodal: Imagem + Áudio (91,13%), Imagem + Ondas (92,39%).
  • O modelo trimodal (PMIN) superou significativamente todas as combinações parciais, confirmando a necessidade de fusão completa.
• Estudos de Ablação:
  • A introdução do ARPM aumentou a acurácia em até 7% em comparação com a fusão por concatenação simples.
  • A adição do AER melhorou a robustez da decisão, especialmente em casos de conflito entre modalidades.
• Eficiência: O modelo possui apenas 14,39 milhões de parâmetros e 1,88 GFLOPs, sendo mais eficiente em termos computacionais do que muitos modelos comparáveis de alta performance (como OverLoCK-XT, que tem 50M de parâmetros).
• Aplicação Real: Em testes com dados não vistos em um ambiente de aquicultura real (240 segundos de vídeo contínuo), o modelo atingiu 95,82% de acurácia, demonstrando alta consistência temporal e estabilidade na transição entre estados de alimentação.

5. Significado e Impacto

Este trabalho oferece um avanço significativo para a aquicultura inteligente:

• Precisão e Confiabilidade: Resolve o problema de inconsistência entre sensores, fornecendo uma quantificação de alimentação mais confiável do que métodos unimodais ou fusões simples.
• Eficiência Operacional: Permite sistemas de alimentação automatizados que respondem dinamicamente ao apetite real do cardume, reduzindo o desperdício de ração e melhorando a qualidade da água.
• Viabilidade de Implantação: O baixo custo computacional e a alta precisão tornam o PMIN viável para implantação em dispositivos de borda (edge devices) em fazendas de peixes reais.
• Avanço Científico: Estabelece um novo paradigma para a fusão multimodal em cenários complexos, demonstrando que a modelagem explícita de conflitos e a interação progressiva são superiores às abordagens de "caixa preta" tradicionais.

Em resumo, a PMIN representa uma solução robusta e eficiente para a monitorização automatizada de peixes, com potencial direto para aumentar a sustentabilidade e a lucratividade da indústria aquícola.