Resumo Técnico: Um Módulo de Associação Guiado por Aparência Leve para Rastreamento de Múltiplos Peixes Subaquáticos

Declaração do Problema

O artigo aborda o desafio do rastreamento de múltiplos objetos (MOT) para peixes densamente estocados em ambientes de aquicultura de câmera fixa. Embora dados de trajetória contínuos sejam essenciais para estimativa populacional e análise de comportamento, o rastreamento de peixes individuais é dificultado por:

• Similaridade Visual: Indivíduos da mesma espécie frequentemente compartilham aparências quase idênticas.
• Dinâmicas Complexas: Mudanças frequentes de direção, cruzamentos, oclusões mútuas e sobreposições espaciais substanciais ocorrem com frequência.
• Degradação Ambiental: Condições subaquáticas introduzem variações de iluminação, turbidez e redução de contraste, o que degrada a qualidade da imagem.

Limitações dos Métodos Existentes:

• Rastreadores baseados em Movimento/IoU (ex: SORT): Dependem de pistas espaço-temporais (predição de Kalman e Interseção sobre União). Quando os peixes se sobrepõem ou se cruzam, seus estados espaciais e de movimento tornam-se indistinguíveis, levando a altas taxas de trocas de identidade (IDSW) e fragmentação de trajetória.
• Rastreadores baseados em Aparência Profunda (ex: DeepSORT): Embora utilizem aprendizado profundo para reidentificação, incorrem em um overhead computacional significativo. Além disso, características profundas treinadas em conjuntos de dados de pedestres costem falhar ao generalizar para cenas subaquáticas com baixo contraste e oclusões parciais, e têm dificuldade quando as regiões de detecção estão contaminadas por peixes adjacentes.

O problema central é a necessidade de um método de associação em tempo real e leve que possa explorar diferenças sutis de aparência para complementar as pistas espaço-temporais sem o alto custo computacional de redes neurais profundas.

Metodologia

Os autores propõem um Módulo de Associação Guiado por Aparência Leve integrado ao framework Simple Online and Realtime Tracking (SORT). O método opera em um paradigma de "rastreamento por detecção" sem modificar o detector de objetos subjacente.

1. Extração de Características de Aparência Artesanais

Em vez de usar aprendizado profundo, o módulo extrai três tipos de características de baixo custo e artesanais de cada região detectada do peixe:

• Histograma de Cores HSV: A região é convertida de BGR para HSV. Os canais H, S e V são quantizados em 16, 8 e 8 bins respectivamente, resultando em um vetor de 1024 dimensões.
• Histograma de Orientação de Gradiente: Baseado no princípio do Histograma de Gradientes Orientados (HOG), a região em tons de cinza é dividida em uma grade de 2×2. Orientações de gradiente não assinadas em [0°, 180°) são quantizadas em 9 bins por sub-região, criando um vetor de 36 dimensões.
• Descritor Morfológico: Um vetor de 3 dimensões que captura a razão de aspecto ($w/h$), o logaritmo da área ($\log(w \times h)$) e o comprimento da diagonal normalizado.

Estes são concatenados em um vetor de aparência unificado de 1063 dimensões ($f_i$).

2. Modelo de Correspondência de Identidade Baseado em XGBoost

A associação entre uma trajetória existente e uma detecção atual é formulada como um problema de classificação binária (mesmo peixe vs. peixe diferente).

• Entrada: Um vetor de características de 2128 dimensões ($x_{ij}$) construído pela concatenação de:
  • A característica de aparência de referência da trajetória existente.
  • A característica de aparência da detecção atual.
  • O IoU entre as caixas delimitadoras preditas e detectadas.
  • A distância central normalizada entre elas.
• Modelo: Um classificador XGBoost (50 árvores, profundidade máxima 3) estima a probabilidade ($p_{ij}$) de que o par corresponda ao mesmo peixe.
• Estratégia de Treinamento: Amostras positivas são pares do mesmo peixe em quadros adjacentes (filtrados para excluir oclusões de alta sobreposição). Amostras negativas são pares de identidades diferentes no mesmo quadro.

3. Associação de Dados Adaptativa

A inovação central reside em como a probabilidade de aparência é fundida com a matriz de custo padrão do SORT:

• Ponderação Adaptativa: O custo de associação ($C_{ij}$) é uma soma ponderada do custo de IoU e do custo de aparência.
  • $w_{IoU} = \max(0, 1 - \alpha \cdot IoU)$
  • $w_{XGB} = 1 - w_{IoU}$
  • $C_{ij} = w_{IoU}(1 - IoU) + w_{XGB}(1 - p_{ij})$
• Lógica: Quando o IoU é baixo (sobreposição espacial é pequena), o sistema depende primariamente de pistas de movimento/espaciais. À medida que o IoU aumenta (indicando potencial sobreposição ou ambiguidade), o peso desloca-se para a probabilidade de aparência do XGBoost para resolver conflitos de identidade.
• Eficiência: Pares com IoU < 0,1 são descartados imediatamente sem inferência do XGBoost para economizar computação.

Principais Contribuições

1. Módulo Leve: Propõe um módulo que combina características de cor, gradiente e morfológicas com XGBoost, evitando o custo computacional e os problemas de lacuna de domínio de redes de reidentificação profundas.
2. Estratégia de Fusão Adaptativa: Introduz um mecanismo para incorporar adaptativamente as probabilidades de aparência na matriz de custo do SORT com base na sobreposição espacial, permitindo que as pistas de aparência suplementem as informações espaço-temporais especificamente quando a ambiguidade é alta.
3. Validação de Desempenho: Demonstra melhorias significativas na preservação de identidade no conjunto de dados Multiple Fish Tracking 2025 (MFT25), mantendo velocidades de processamento em tempo real.

Resultados Experimentais

Os experimentos foram conduzidos em sete sequências do conjunto de dados MFT25 usando uma estratégia de validação cruzada Leave-One-Video-Out (LOVO).

• Trocas de Identidade (IDSW): O método proposto reduziu o total de IDSW de 1.513 (SORT) para 833, uma redução de 44,94%.
• Pontuação F1 de Identidade (IDF1): Melhorou de 53,75% (SORT) para 65,49%.
• MOTA: Aumentou de 98,52% para 98,82%.
• Velocidade: Excluindo a detecção de objetos, a velocidade de rastreamento excedeu 700 FPS (comparado a 714 FPS para o SORT), demonstrando que o processamento de aparência adicionado acarreta um overhead negligenciável.
• Estudos de Ablação:
  • Usar apenas o XGBoost como uma correção de pós-processamento (V1) reduziu o IDSW em apenas 5,49%.
  • Integrar as probabilidades na matriz de custo antes da atribuição de Hungarian (V2) foi crucial, alcançando a redução total de 44,94%.
  • O método mostrou transferibilidade quando aplicado ao framework ByteTrack, reduzindo o IDSW em 42,64% em relação ao baseline ByteTrack.
• Análise Visual: Resultados qualitativos mostraram que, enquanto o SORT frequentemente trocava identidades após sobreposições severas, o método proposto manteve identidades consistentes, reduzindo o número de identidades preditas atribuídas a um único peixe de referência (ex: de 14 para 1 na sequência BT-001).

Significância e Alegações

O artigo afirma que o módulo proposto aborda com sucesso o equilíbrio entre consistência de identidade e eficiência computacional no rastreamento de peixes subaquáticos. Ao aproveitar características de aparência artesanais e sutis com um classificador de boosting de gradiente eficiente, o método melhora significamente a preservação de identidade durante cruzamentos e oclusões frequentes sem exigir infraestrutura de aprendizado profundo.

Os autores afirmam que estes resultados indicam o potencial do módulo para o monitoramento de peixes em tempo real na aquicultura inteligente, fornecendo dados de trajetória confiáveis para tarefas downstream, como estimativa populacional e reconhecimento de comportamento anormal. O trabalho é apresentado como uma solução prática para cenários onde modelos de aparência profundos são caros demais ou pouco confiáveis devido às condições de imagem subaquática.