Automated Segmentation and Tracking of Group Housed Pigs Using Foundation Models

Título: Segmentação Automática e Rastreamento de Suínos em Grupo Usando Modelos de Fundação

1. Problema e Motivação

A produção de suínos em escala industrial enfrenta desafios significativos na monitorização contínua da saúde e bem-estar individual dos animais, especialmente em sistemas de alojamento em grupo. As abordagens convencionais de vigilância baseadas em observação humana são intensivas em mão de obra e frequentemente falham na deteção precoce de sinais subtis de doenças.
Atualmente, as soluções de visão computacional na pecuária de precisão dependem predominantemente de aprendizado supervisionado (SLM). Estes modelos exigem:

• Grandes conjuntos de dados rotulados manualmente (custosos e demorados).
• Retreinamento frequente e ajuste específico para cada nova exploração agrícola ou condição ambiental.
• Dificuldade de generalização para ambientes não vistos.

O objetivo deste estudo é superar essas limitações utilizando Modelos de Fundação (Foundation Models - FM), especificamente modelos de visão-linguagem pré-treinados, para criar um fluxo de trabalho automatizado, escalável e eficiente em termos de rotulagem para o monitoramento de longo prazo de suínos.

2. Metodologia

Os autores propõem um pipeline baseado inteiramente em Modelos de Fundação, utilizando o Grounded-SAM2 (uma combinação de Grounding-DINO e Segment Anything Model 2) como coluna vertebral. O sistema opera sem necessidade de fine-tuning supervisionado (zero-shot), dependendo apenas de prompts de texto e lógica pós-processamento modular.

O fluxo de trabalho é dividido em três níveis de complexidade temporal:

• A. Detecção (Imagens Estáticas):

  • Utilização do Grounding-DINO com o prompt de texto "pig" (porco).
  • Avaliação de hiperparâmetros (thresholds de caixa e texto) para otimizar a precisão e o recall.
  • Foco na distinção entre porcos dentro e fora do cercado e sob condições de luz diurna vs. noturna (infravermelho).

• B. Segmentação de Vídeo de Curto Prazo (1 minuto):

  • As caixas de delimitação do Grounding-DINO são usadas como prompts para o SAM2, gerando máscaras de segmentação pixel a pixel.
  • Implementação de um mecanismo de rastreamento temporal do SAM2 para propagar as máscaras entre os frames.
  • Pós-processamento Modular: Para corrigir erros comuns (como duplicação de rótulos, máscaras incorretas e perda de rasto), foram aplicadas estratégias como:
    • Filtragem espacial (manter apenas deteções dentro dos limites do cercado).
    • Supressão de não-máximo (NMS) a nível de máscara para remover sobreposições duplicadas.
    • Substituição do modelo SAM2-Tiny pelo SAM2-Large para maior capacidade de representação em cenas complexas.
    • Re-inicialização bidirecional a partir de um "frame âncora" válido quando ocorrem trocas de identidade (ID switches).

• C. Rastreamento de Longo Prazo (Vários minutos/horas):

  • Desenvolvimento de um pipeline zero-shot para manter a identidade consistente através de múltiplos clipes de vídeo.
  • Módulos Principais:
    1. Inicializador: Seleciona um frame de referência limpo para estabelecer identidades iniciais.
    2. Rastreador: Propaga máscaras dentro de clipes de 1 minuto.
    3. Correlacionador (Matcher): Liga as identidades entre clipes consecutivos, transferindo máscaras do final de um clipe para o início do próximo.
    4. Refinamento de Máscara: Aplica restrições geométricas e de continuidade temporal para corrigir máscaras erróneas.
    5. Re-identificação (ReID): Utiliza embeddings de características visuais e proximidade espacial para alinhar identidades perdidas ou ocultas.
    6. Controle de Qualidade Pós-processamento (Post-QC): Identifica e corrige automaticamente frames com erros (ex: máscaras sobrepostas, área zero).

3. Contribuições Chave

• Primeiro Pipeline Zero-Shot para Suínos: Demonstra a viabilidade de um sistema de monitoramento de longo prazo para suínos em grupo utilizando apenas modelos de fundação, sem componentes supervisionados treinados especificamente para a tarefa.
• Arquitetura Modular Adaptativa: A introdução de módulos de pós-processamento (Matcher, Refinamento, ReID) que resolvem os desafios específicos da pecuária (oclusão, empilhamento de animais, mudanças de iluminação) sem necessidade de re-treinamento do modelo base.
• Redução drástica de Rotulagem: O sistema requer apenas anotações manuais para avaliação a posteriori (ex: 1 frame por minuto), eliminando a necessidade de grandes conjuntos de dados de treinamento rotulados.
• Dados Abertos: Disponibilização de um conjunto de dados anotado e vídeos de teste para a comunidade científica.

4. Resultados

O sistema foi avaliado em dados coletados de suínos de berçário (18 dias de idade) em um ambiente real.

• Detecção: O Grounding-DINO alcançou alto desempenho em condições diurnas (85,2% de taxa de verdadeiros positivos), mas o desempenho diminuiu à noite (57,5%) devido à falta de textura nas imagens infravermelhas.
• Segmentação de Curto Prazo: Após correções pós-processamento, mais de 80% dos 4.927 rastros ativos foram totalmente corretos. Os erros restantes foram principalmente máscaras incorretas ou rótulos duplicados, que foram mitigados pelo uso do modelo Large e lógica de supressão.
• Rastreamento de Longo Prazo (2 horas contínuas):
  • Semelhança de Região (J): 0,83
  • Precisão de Contorno (F): 0,92
  • Média J&F: 0,87
  • MOTA (Precisão de Rastreamento Multi-Objeto): 0,99
  • MOTP (Precisão de Localização): 90,7%
  • Trocas de Identidade (ID Switches): 0 (nenhuma troca de identidade observada).
  • O sistema manteve identidades estáveis mesmo durante períodos de baixa atividade e oclusão moderada.

5. Significado e Conclusão

Este trabalho representa uma mudança de paradigma na pecuária de precisão, movendo-se de modelos supervisionados dependentes de dados para fluxos de trabalho baseados em Modelos de Fundação.

• Escalabilidade: A abordagem permite a implantação rápida em diferentes fazendas sem a necessidade de recolha massiva de dados e re-treinamento.
• Robustez: A combinação de conhecimento prévio dos FMs com lógica de pós-processamento específica para a tarefa supera as limitações de modelos tradicionais em cenários complexos de oclusão e aglomeração.
• Limitações e Futuro: O estudo reconhece que a oclusão total (porcos completamente cobertos) e a baixa iluminação noturna ainda são desafios. O futuro do trabalho aponta para a otimização de modelos leves (para dispositivos de borda), o uso de ReID mais avançado e a integração de arquiteturas multimodais mais recentes (como SAM3 ou Sa2VA) para melhor compreensão semântica.

Em suma, o estudo prova que é possível alcançar monitoramento automatizado, de longo prazo e sem rótulos de suínos em grupo, abrindo caminho para sistemas de pecuária autônomos mais eficientes e escaláveis.