Resumo Técnico: PlayClass – Classificação Automatizada de Comportamento de Brincadeira em Aves de Capoeira

Declaração do Problema

O monitoramento automatizado do bem-estar animal historicamente focou em indicadores negativos (por exemplo, doença, dor), deixando comportamentos de bem-estar positivos, como brincadeira, significativamente pouco explorados. Embora a visão computacional tenha avançado na estimativa de pose e rastreamento animal, aplicar essas técnicas a aves de capoeira apresenta desafios únicos: grupos densos de indivíduos visualmente semelhantes levam a oclusões frequentes e confusão de identidade. Além disso, o comportamento de brincadeira é inerentemente difícil de classificar automaticamente devido à escassez de dados, ambiguidade definicional (a brincadeira frequentemente compartilha padrões motores com comportamentos não relacionados a brincadeiras) e transições rápidas de estado. Trabalhos existentes não abordaram a classificação automatizada de comportamento de brincadeira em aves de capoeira no nível individual.

Metodologia

Os autores apresentam o PlayClass, um pipeline projetado para classificar comportamentos de brincadeira no nível individual a partir de vídeos de galinheiros vistos de cima. O sistema integra três componentes principais:

1. Estratégia de Rastreamento (SAM 3 com Fragmentação Adaptativa)

Para lidar com gravações de 15 minutos onde o rastreamento ponta a ponta é limitado pela memória da GPU e pelo acúmulo de erros:

• Fragmentação: Os vídeos são processados em fragmentos de 60 segundos.
• Inicialização: O rastreamento é inicializado com um prompt de texto ("ave") ou uma estratégia de ancoragem adaptativa (executando o SAM 3 sobre os primeiros 5 segundos para encontrar um quadro de alta confiança e bem separado).
• Manutenção da Identidade: Para minimizar trocas de identidade entre fragmentos, o sistema utiliza uma seleção de limites de fragmento guiada por YOLO. Um detector YOLO e um rastreador BoT-SORT identificam quadros com a máxima separação entre aves para servir como limites de fragmento, facilitando a transferência robusta de identidade.
• Saída: O pipeline gera mais de 1,8 milhão de máscaras rastreadas com caixas delimitadoras em 30 vídeos (45 indivíduos).

2. Extração de Características

O sistema extrai dois fluxos de características complementares por janela de observação:

• Características de Movimento Artesanais: 19 características por quadro derivadas de máscaras rastreadas, capturando forma espacial (área, solidez), dinâmicas temporais (velocidade, aceleração) e contexto social (distâncias para outros). Estas são resumidas em um vetor de 171 dimensões usando momentos estatísticos e percentis.
• Embebedamentos de Modelos Fundamentais: O pipeline avalia embebedamentos congelados de modelos fundamentais de imagem e vídeo:
  • Modelos de Imagem: DINOv3 (extraindo embebedamentos de tokens CLS de recortes de caixas delimitadoras).
  • Modelos de Vídeo: V-JEPA 2, V-JEPA 2.1 e VideoPrism (processando clipes não sobrepostos e aplicando média espacial).

3. Arquitetura de Classificação

A tarefa é um problema de classificação de 3 classes: Brincadeira Locomotora, Brincadeira com Objetos e Outro (não brincadeira).

• Desequilíbrio de Classes: O conjunto de dados é severamente desequilibrado (86,7% Outro, 9,3% Objetos, 4,0% Locomotora).
• Modelos: Duas arquiteturas foram testadas: um Perceptron de Múltiplas Camadas (MLP) em características com média e uma CNN 1D para preservar sinais temporais.
• Validação: Uma estratégia de validação cruzada Leave-One-Cage-Out (LOCO) foi empregada para evitar vazamento ambiental, garantindo que o modelo generalize entre diferentes galinheiros físicos.

Principais Resultados

O estudo foi avaliado em um conjunto de dados de 30 gravações cobrindo 45 pintos da cruzamento entre Galo-selvagem-vermelho × Leghorn-branco, anotados em 14.515 janelas.

• Desempenho de Linha de Base: Características de movimento artesanais sozinhas, processadas via um MLP simples, alcançaram um escore F1 macro-médio de 73,4, estabelecendo uma linha de base forte sem representações visuais aprendidas.
• Desempenho de Modelos Fundamentais: Entre os backbones congelados, o V-JEPA 2.1 superou consistentemente todos os outros modelos (DINOv3, VideoPrism, V-JEPA 2) em ambas as escalas ViT-B e ViT-L.
• Melhor Desempenho: A abordagem híbrida combinando características artesanais com embebedamentos do V-JEPA 2.1 (ViT-L) produziu o desempenho mais alto: 77,0 de escore F1 macro-médio.
• Escalonamento: Aumentar o tamanho do modelo (por exemplo, de DINOv3 para ViT-H) produziu ganhos mínimos, sugerindo que as representações saturam cedo para este domínio específico.
• Análise de Erros:
  • O modelo teve mais dificuldade com Brincadeira com Objetos (66,1% de recall), frequentemente classificando-a erroneamente como "Outro".
  • Os erros foram impulsionados por ambiguidade cinemática (por exemplo, "picar como verme" compartilha perfis de movimento com não-brincadeiras) e oclução.
  • Divertimento (um subtipo locomotor) formou um cluster distinto com alto recall (88%), provavelmente devido à sua assinatura única de movimento multidirecional.
  • Agrupamento impactou significativamente a precisão da brincadeira com objetos ($\rho$ de Spearman = 0,17).

Significado e Alegações

O artigo alega fornecer o primeiro framework automatizado para classificação de comportamento de brincadeira no nível individual em aves de capoeira. Suas contribuições primárias são:

1. Um Pipeline de Rastreamento Robusto: Estendendo o SAM 3 para gravações de longa duração via fragmentação guiada por YOLO e ancoragem adaptativa, mantendo a identidade através de oclusões frequentes.
2. Benchmarking de Modelos Fundamentais: Estabelecer o V-JEPA 2.1 como o backbone superior para classificação de comportamento animal, superando modelos baseados em imagem e outros modelos de vídeo.
3. Insight sobre Reconhecimento de Brincadeira: Demonstrar que, embora representações de vídeo congeladas forneçam sinal complementar, características cinemáticas e de forma artesanais sozinhas constituem uma linha de base forte e interpretável (73,4 F1). Isso sugere que grande parte do sinal relevante para a tarefa na brincadeira de aves de capoeira é capturado por estatísticas de movimento e proximidade.

Os autores concluem que, embora o pipeline mostre evidências encorajadoras para detecção automatizada de brincadeiras, desafios permanecem quanto à oclusão e à ambiguidade definicional de subtipos de brincadeira. Eles observam que a dependência atual de pós-processamento manual para correção de identidade limita a implantação totalmente autônoma, sugerindo que trabalhos futuros devem focar em pré-treinamento adaptativo ao domínio e melhoria do emparelhamento de identidade entre fragmentos.