MSGL-Transformer: A Multi-Scale Global-Local Transformer for Rodent Social Behavior Recognition

1. O Problema

O reconhecimento de comportamentos sociais em roedores (ratos e camundongos) é fundamental para a neurociência e a pesquisa farmacológica, permitindo entender mecanismos neurais, interações sociais e respostas a intervenções. No entanto, a análise tradicional depende de pontuação manual, que é demorada, propensa a erros humanos e inconsistente, especialmente em interações rápidas ou com movimentos sobrepostos.

As abordagens automatizadas baseadas em aprendizado profundo enfrentam desafios específicos:

• Escalas Temporais Múltiplas: Os comportamentos ocorrem em durações variadas. Alguns são sutis e de curta duração (ex: contato nasal social), enquanto outros são contínuos e de longa duração (ex: seguir ou isolamento). Modelos que focam apenas em contexto global podem perder movimentos curtos, enquanto modelos focados apenas no local podem falhar em capturar dependências de longo prazo.
• Desequilíbrio de Classes: Os conjuntos de dados são dominados por comportamentos de longa duração (ex: "Solitário" ou "Outro"), tornando a detecção de comportamentos raros, mas críticos (ex: "Ataque" ou "Fugir"), extremamente difícil.
• Limitações de Arquiteturas Existentes: Muitos modelos baseados em transformers ou grafos dependem de grafos espaciais pré-definidos ou janelas temporais fixas, o que pode não capturar adequadamente a dinâmica complexa e não estruturada dos movimentos corporais.

2. Metodologia: MSGL-Transformer

Os autores propõem o MSGL-Transformer, uma arquitetura baseada em Transformers projetada para sequências temporais de pose (coordenadas de pontos-chave do corpo). O modelo não utiliza imagens brutas, mas sim coordenadas 2D extraídas de esqueletos.

A arquitetura é composta por cinco componentes principais:

1. Embedding de Entrada e Token Global:

   • As sequências de coordenadas de pose são projetadas em um espaço de dimensão oculta.
   • Um token global aprendível é adicionado ao início da sequência (semelhante ao token [CLS] do ViT) para atuar como uma representação resumida de todo o contexto temporal.

2. Bloco de Modulação Consciente do Comportamento (BAM):

   • Inspirado no mecanismo de reponderação de canais das redes Squeeze-and-Excitation (SE), mas aplicado ao domínio temporal.
   • O bloco analisa a sequência inteira e gera um vetor de modulação que repondera dinamicamente os embeddings temporais.
   • Objetivo: Destacar padrões de movimento informativos para o comportamento e suprimir ruídos antes da operação de atenção.

3. Módulo de Atenção Multi-Escala (MSA):

   • Este é o núcleo da proposta, projetado para capturar dependências em diferentes escalas de tempo simultaneamente através de três ramos paralelos:
     • Atenção de Curto Alcance: Processa a primeira metade da janela temporal com máscara causal (apenas frames passados), focando em movimentos rápidos e sutis.
     • Atenção de Médio Alcance: Processa toda a janela temporal com máscara causal.
     • Atenção Global: Processa todos os tokens (incluindo o token global) com atenção bidirecional completa, capturando dependências de longo prazo.
   • As saídas dos ramos de curto e médio alcance são médias nas posições sobrepostas para formar a representação local ($A_{local}$), que é então combinada com a representação global ($A_{global}$) via adição residual e normalização de camada.

4. Encoder Transformer Leve:

   • Uma camada de encoder Transformer padrão (com 2 camadas) processa a representação combinada.

5. Cabeça de Classificação:

   • O token global final é extraído e passado por uma camada linear para prever a classe do comportamento da última frame da janela.

Configuração de Dados:

• O modelo usa janelas temporais sobrepostas de $T=35$ frames.
• É aplicado a dois conjuntos de dados distintos sem alterações na arquitetura: RatSI (ratos, 12 dimensões de entrada, 5 classes) e CalMS21 (camundongos, 28 dimensões de entrada, 4 classes).

3. Principais Contribuições

• Arquitetura Multi-Escala Global-Local: Uma nova abordagem que integra explicitamente atenção de curto, médio e longo alcance para lidar com a variabilidade temporal dos comportamentos de roedores.
• Bloco BAM: Introdução de um mecanismo de modulação temporal específico para comportamento, inspirado em SE-Net, mas adaptado para embeddings temporais em vez de canais espaciais.
• Generalização Robusta: Demonstração de que a mesma arquitetura pode ser aplicada a diferentes espécies, configurações de pose (número de pontos-chave) e vocabulários de comportamento apenas ajustando as dimensões de entrada e saída, sem redesenho estrutural.
• Desempenho Superior: Superação de modelos de base (baselines) sequenciais (TCN, LSTM, Bi-LSTM) e métodos baseados em grafos (ST-GCN, MS-G3D, HSTWFormer).

4. Resultados Experimentais

O modelo foi avaliado em dois conjuntos de dados públicos:

A. Conjunto de Dados RatSI (Ratos):

• Configuração: Validação cruzada "leave-one-video-out" (9 divisões).
• Desempenho: Alcançou uma acurácia média de 75,4% e F1-score de 0,745.
• Comparação: Superou significativamente TCN, LSTM e Bi-LSTM.
• Análise: O modelo performou bem na classe dominante ("Solitário"), mas enfrentou dificuldades com classes raras e ambíguas como "Moving Away" (Fugir), devido ao desequilíbrio de classes e sobreposição de padrões de movimento.

B. Conjunto de Dados CalMS21 (Camundongos):

• Configuração: Teste no conjunto oficial de Task 1 (89 vídeos).
• Desempenho: Alcançou 87,1% de acurácia e F1-score de 0,8745.
• Comparação:
  • Superou o HSTWFormer (o estado da arte anterior) em +10,7% na acurácia média por classe.
  • Superou métodos baseados em grafos como ST-GCN, MS-G3D, CTR-GCN e STGAT.
• Generalização: O modelo manteve o desempenho superior sem alterar a arquitetura, apenas adaptando a dimensão de entrada (de 12 para 28) e o número de classes (de 5 para 4).

Análise de Erros:

• A maior taxa de erro ocorre nas fronteiras de transição entre comportamentos (cerca de 50% de precisão exatamente na transição), indicando que a ambiguidade temporal nas bordas é um desafio persistente.
• Classes minoritárias (como "Ataque" no CalMS21) continuam sendo o principal gargalo, embora o modelo ainda obtenha o melhor F1-score entre os comparados para essas classes.

5. Significado e Conclusão

O MSGL-Transformer representa um avanço significativo na análise automatizada de comportamento animal. Ao demonstrar que uma arquitetura baseada em atenção multi-escala pode capturar tanto micro-movimentos sutis quanto interações de longo prazo, o trabalho resolve uma lacuna crítica nos modelos anteriores.

A capacidade do modelo de generalizar entre espécies diferentes (ratos e camundongos) e configurações de pose distintas sem reengenharia sugere que a abordagem é robusta e escalável. Isso facilita a aplicação em diversos contextos de pesquisa neurocientífica, reduzindo a dependência de anotação manual e permitindo a análise de grandes volumes de dados comportamentais com maior precisão e reprodutibilidade. O trabalho também destaca que, embora a arquitetura seja eficaz, o desequilíbrio de classes permanece um desafio central que requer futuras investigações em funções de perda específicas e aumento de dados.