FERAL: A Supervised Video-Understanding System for Direct Video-to-Behavior Mapping

Resumo Técnico: FERAL

Declaração do Problema
O estudo quantitativo do comportamento animal tradicionalmente dependeu da anotação manual ou de pipelines automatizados que primeiro extraem pontos-chave (estimativa de pose) antes de classificar ações. Embora as ferramentas baseadas em pose (ex: DeepLabCut, SLEAP) tenham revolucionado a análise cinemática, elas enfrentam limitações significativas: exigem condições de imagem rigidamente controladas, lutam contra oclusões e interações sociais complexas, e descartam informações visuais contextuais essenciais para interpretar comportamentos específicos. Além disso, as abordagens existentes baseadas em vídeo que mapeiam pixels brutos diretamente para o comportamento (ex: DeepEthogram) ou modelos de fundação de vídeo (ex: DAP, ChimpVLM) foram limitadas a conjuntos de dados específicos, carecem de generalização entre espécies ou permanecem como benchmarks em vez de ferramentas implantáveis e agnósticas à espécie. Há uma necessidade crítica de um sistema que possa mapear vídeos brutos diretamente para rótulos comportamentais por quadro, sem depender da extração de pose intermediária, capaz de se generalizar através de diversas espécies, modalidades de gravação (laboratório, campo, aérea) e níveis de organização (animal individual ao comportamento coletivo).

Metodologia
FERAL (Extração de Características para Reconhecimento de Locomoção Animal) é um toolkit de compreensão de vídeo supervisionado projetado para contornar totalmente a estimação de pose. Ele mapeia quadros de vídeo brutos diretamente para rótulos comportamentais definidos pelo usuário (etogramas).

• Arquitetura: O FERAL utiliza um modelo de fundação de vídeo pré-treinado, especificamente o V-JEPA 2 (um modelo ViT-L/16 pré-treinado em mais de um milhão de horas de vídeo da internet e ajustado no Diving48), como seu backbone. Em vez de treinar do zero, o FERAL realiza o ajuste fino (fine-tuning) dos doze últimos de vinte e quatro camadas do transformer.
• Pipeline de Processamento:
  1. Pré-processamento: Os vídeos brutos são redimensionados (padrão 256×256) e recodificados em formatos navegáveis (seekable). As anotações do usuário de várias ferramentas (ex: BORIS, EthoVision) são convertidas em um esquema JSON padronizado e alinhado aos quadros.
  2. Fragmentação (Chunking): Para lidar com limites computacionais, os vídeos são divididos em fragmentos temporais sobrepostos (64 quadros com 50% de sobreposição).
  3. Extração de Características e Classificação: O backbone gera embeddings espaço-temporais para cada fragmento. Estes são processados por um módulo de agrupamento baseado em atenção para agregar características em embeddings temporalmente alinhados, que são então projetados por uma cabeça de classificação leve em logits de classe por quadro.
  4. Ensemble: As previsões de fragmentos sobrepostos são calculadas pela média para produzir probabilidades estáveis por quadro.
• Estratégia de Treinamento: O sistema emprega perda de entropia cruzada ponderada por classe (usando a raiz quadrada do inverso da frequência) para lidar com o desequilíbrio de classes. Utiliza aumentos de dados (TrivialAugment e MixUp) e suporta gradient checkpointing para reduzir os requisitos de VRAM.
• Configurações: Três presets são fornecidos para equilibrar velocidade e precisão: Lite (mais rápido, backbone menor), Default (desempenho padrão) e Max (maior sobreposição e suavização para pico de precisão).

Principais Contribuições

1. Mapeamento Direto de Vídeo-para-Comportamento: O FERAL elimina a etapa intermediária de extração de pose, permitindo a segmentação comportamental diretamente dos pixels brutos, preservando o contexto visual e temporal completo.
2. Agnosticismo de Espécie e Modalidade: O toolkit foi projetado para se generalizar através de uma ampla gama de espécies (de nematoides e moscas a camundongos, formigas, zebras e primatas) e ambientes de gravação (laboratórios controlados, filmagens de drones em campo e armadilhas fotográficas).
3. Escalabilidade e Acessibilidade: Lançado como um pacote de código aberto, o FERAL integra-se com pipelines existentes e pode ser executado em GPUs de consumo ou plataformas de nuvem (ex: Google Colab, RunPod), tornando a quantificação comportamental de alto desempenho acessível a pesquisadores com recursos computacionais limitados.
4. Lidando com Comportamento Coletivo: Ao contrário dos sistemas baseados em pose que têm dificuldade com grupos densos, o FERAL identifica com sucesso estados coletivos emergentes (ex: ataques de formigas) diretamente da aparência da cena, sem exigir rastreamento individual.

Resultados
O FERAL foi testado contra métodos de ponta baseados em pose e vídeo em múltiplos conjuntos de dados:

• CalMS21 (Interações Sociais de Camundongos): O FERAL alcançou 94,2% de mAP, superando a entrada Top-1 da competição, o VideoPrism do Google, e baselines de pré-treinamento de pose autossupervisionado. Notavelmente, alcançou 92,1% de mAP usando apenas 25% dos dados de treinamento, superando modelos treinados com o conjunto de dados completo.
• MABe22 (Interações de Besouro-Rove e Formiga): No subconjunto besouro-formiga, o FERAL alcançou um F1 macro de 0,92, excedendo significativamente a melhor submissão da competição (0,758), que utilizou um protocolo de treinamento diferente.
• Datasets DeepEthogram: O FERAL igualou ou superou os escores F1 por quadro do DeepEthogram em cinco de seis datasets, incluindo Mouse-Social, Mouse-Homecage e Fly.
• Gravações de Campo:
  • Vigilância de Zebra: Em filmagens aéreas de drones de zebras de Grévy, o FERAL alcançou um F1 macro de 0,785, enquanto classificadores baseados em pose treinados nos mesmos dados colapsaram para um desempenho próximo ao acaso (~0,55) devido à dificuldade de detectar a postura vertical da cabeça a partir de vistas aéreas.
  • PanAf500 (Primatas Selvagens): O FERAL alcançou 90,8% de precisão Top-1 e 81,0% de recall médio por classe no comportamento de chimpanzés e gorilas selvagens, superando X3D, I3D, 3D ResNet-50 e modelos de fundação específicos para primatas (ChimpVLM, DAP, PriVi).
• Dinâmicas Coletivas: O FERAL detectou com sucesso eventos binários de ataque em colônias de formigas com 97,8% de mAP e resolveu subestruturas de ataque mais finas (busca, recrutamento, resposta) com 70,0% de mAP.

Significância e Alegações
O artigo afirma que o FERAL estabelece uma base robusta para segmentação comportamental que é escalável, agnóstica à espécie e capaz de operar em ambientes naturais complexos onde pipelines tradicionais baseados em pose falham. Ao mudar o paradigma de "onde o animal está" (pose) para "o que o animal está fazendo" (comportamento) diretamente do vídeo, o FERAL amplia os paradigmas experimentais disponíveis para o estudo do comportamento animal.

Os autores enfatizam que o FERAL é uma ferramenta supervisionada; ele não descobre autonomamente novos comportamentos, mas se destaca em reconhecer categorias predefinidas com alta precisão. É apresentado como complementar às ferramentas de descoberta não supervisionada (como MoSeq ou B-SOiD) e sistemas de rastreamento de pose (como DeepLabCut), oferecendo uma solução unificada para a quantificação comportamental. A capacidade do sistema de se generalizar de configurações laboratoriais para gravações de campo com esforço mínimo de anotação (demonstrada pelo alto desempenho com apenas 1-5% dos dados de treinamento) posiciona-o como uma ferramenta transformadora para a etologia, neurociência e ecologia.