Adoption of MMPose, a general purpose pose estimation library, for animal tracking

Este trabalho demonstra a adoção da biblioteca de visão computacional de propósito geral MMPose para criar um fluxo de trabalho flexível de rastreamento de pose em animais, revelando um compromisso entre precisão e velocidade ao comparar modelos e destacando a necessidade de seleção específica ao contexto e de dados de treinamento mais diversificados para superar as limitações de generalização de modelos fundacionais.

O essencial

Imagine que você é um cientista tentando entender como os ratos se comportam em um labirinto. Antigamente, você teria que ficar horas na frente de uma tela, marcando manualmente onde o nariz e a cauda do rato estavam a cada segundo. Isso é cansativo, demorado e, muitas vezes, subjetivo (você pode ver algo diferente do seu colega).

Hoje, usamos "olhos de computador" (inteligência artificial) para fazer esse trabalho. Mas aqui está o problema: a maioria dos laboratórios de biologia usa ferramentas prontas, como o DeepLabCut ou o SLEAP. Elas são ótimas, fáceis de usar e vêm com um "manual de instruções" pronto. O problema é que elas são como carros automáticos de uma única marcha: você só pode dirigir para frente, na velocidade que o carro permite, e não pode trocar o motor se precisar de mais potência ou mais economia.

Este artigo é sobre como os pesquisadores decidiram trocar esse carro automático por um kit de peças de montar (como LEGO) chamado MMPose.

O que eles fizeram?

Em vez de usar apenas uma ferramenta pronta, eles pegaram o MMPose, que é uma biblioteca de código aberto (como uma caixa de ferramentas gigante) usada originalmente para rastrear a postura de humanos. Eles adaptaram essa caixa de ferramentas para rastrear ratos.

A ideia foi: "Vamos testar vários tipos de 'motores' (modelos de IA) diferentes dentro dessa mesma caixa de ferramentas para ver qual funciona melhor em qual situação."

Os Dois Cenários de Teste

Eles colocaram os ratos em duas situações diferentes, como se fossem dois tipos de pista de corrida:

1. A Pista Caótica (O Labirinto): Um labirinto complexo, com muitas sombras, obstáculos e onde o rato pode ficar escondido atrás de grades. É como tentar seguir um jogador de futebol em uma tempestade de confete.
2. A Pista Limpa (O Campo Aberto): Um espaço branco, simples, sem nada para esconder o rato. É como seguir um jogador em um dia de sol, em um campo vazio.

O Que Eles Descobriram? (As Analogias)

Ao testar vários modelos de IA, eles descobriram algumas coisas muito interessantes:

• O "Tanque de Guerra" vs. O "Fórmula 1":

  • No labirinto difícil, o modelo chamado DEKR (que é do tipo "bottom-up", ou seja, ele olha para tudo de uma vez e depois monta o rato) foi o campeão. Ele é como um tanque de guerra: lento, mas muito robusto. Ele não se confunde com as grades ou sombras e consegue ver o rato mesmo quando ele está meio escondido.
  • Por outro lado, ferramentas populares como o SLEAP foram as mais rápidas. Elas são como carros Fórmula 1: voam, processam muitas imagens por segundo, mas em pistas muito difíceis (com muitos obstáculos), elas podem tropeçar e perder a precisão.
  • A Lição: Se você precisa de velocidade (milhares de vídeos), use o "Fórmula 1". Se precisa de precisão extrema em um ambiente bagunçado, use o "Tanque".

• O "Gênio que não conhece o mundo":

  • Eles testaram um modelo "fundamental" (TopViewMouse-5K), que foi treinado em um banco de dados gigante com milhares de fotos de ratos de vários lugares. A ideia era que esse modelo fosse um "gênio" que soubesse tudo sobre ratos e funcionasse em qualquer lugar sem precisar de treino extra (zero-shot).
  • O Resultado: Foi um desastre no labirinto. O "gênio" ficou perdido. Ele nunca tinha visto aquele tipo de labirinto específico.
  • A Metáfora: É como treinar um piloto de corrida apenas em pistas de corrida de Fórmula 1 e, de repente, mandar ele dirigir em um terreno de lama na Amazônia. Ele sabe dirigir, mas não sabe lidar com a lama.
  • Mesmo quando eles misturaram as fotos do "gênio" com as fotos do labirinto, não houve muita melhoria. Isso mostra que não existe um modelo mágico universal. Você precisa de dados específicos para o seu problema.

Por que isso é importante para a ciência?

1. Flexibilidade: Usar o MMPose permite que os cientistas escolham o "motor" certo para o "carro" deles. Se o experimento é simples, usam um modelo leve. Se é complexo, usam um modelo robusto.
2. Padronização: O MMPose usa um formato de dados padrão (como o MS COCO). Isso é como fazer com que todos os laboratórios usem o mesmo tipo de tomada elétrica. Antes, cada ferramenta tinha sua própria "tomada" e você não podia conectar os dados de um no outro. Agora, os dados podem ser compartilhados e comparados facilmente.
3. Fim dos "Gatilhos" (Bias): Se todo mundo usa a mesma ferramenta padrão, todos cometem os mesmos erros. Ao ter várias opções, a comunidade pode descobrir qual modelo funciona melhor para cada tipo de comportamento animal.

Conclusão Simples

Este artigo diz: "Pare de usar apenas a ferramenta pronta que vem na caixa. A tecnologia de visão computacional evoluiu muito. Use ferramentas flexíveis (como o MMPose) para escolher o melhor modelo para o seu experimento específico."

É como dizer para um cozinheiro: "Não use apenas o liquidificador que veio com a sua cozinha. Se você quer bater claras em neve, use o batedor. Se quer fazer um molho, use o processador. Escolha a ferramenta certa para a receita, e o resultado será muito melhor."

Isso acelera a descoberta de novos tratamentos para doenças, pois permite analisar o comportamento dos animais de forma mais rápida, precisa e justa.

Resumo técnico

Título: Adoção da MMPose, uma biblioteca de estimativa de pose de propósito geral, para rastreamento animal

1. Problema e Motivação

A estimativa de pose sem marcadores tornou-se uma técnica fundamental para a quantificação de comportamentos animais em neurociência e genética. No entanto, a maioria dos laboratórios de biologia depende de ferramentas específicas como DeepLabCut (DLC) e SLEAP. Embora essas ferramentas ofereçam interfaces acessíveis e fluxos de trabalho simplificados, elas apresentam limitações críticas:

• Rigidez Arquitetural: Elas restringem os usuários a um conjunto limitado de modelos e configurações, abstraindo a personalização necessária para adaptar os modelos a condições experimentais específicas (ex.: oclusões complexas, diferentes ângulos de câmera).
• Falta de Padronização: Cada ferramenta utiliza formatos de dados proprietários, dificultando o compartilhamento de dados, a comparação justa entre modelos e a adoção de avanços do campo mais amplo da visão computacional.
• Viés de Modelo Único: A maioria dos estudos de rastreamento animal utiliza um único modelo sem comparação sistemática, o que pode introduzir vieses ocultos e limitar a interpretação biológica.

O objetivo deste trabalho é superar essas barreiras adotando a MMPose, uma biblioteca de código aberto e de propósito geral (desenvolvida pelo projeto OpenMMLab), para criar um fluxo de trabalho flexível para treinar e avaliar múltiplos modelos de última geração em conjuntos de dados de vídeo animal.

2. Metodologia

Os autores implementaram um pipeline baseado na MMPose para avaliar a estimativa de pose em roedores, focando em dois cenários experimentais distintos:

1. Labirinto Complexo (Maze): Um ambiente com alto nível de oclusão, fundo visualmente complexo e variações de iluminação, adaptado do laboratório Meister para medir estratégias de navegação.
2. Arena de Campo Aberto (Open Field Arena - OFA): Um ambiente mais simples com fundo de alto contraste e pouca desordem visual.

Configuração Experimental:

• Modelos Benchmark: Nove modelos foram comparados, incluindo abordagens top-down (Detecção de Objetos + Cabeça de Pose) e bottom-up:
  • Top-down: Deformable DETR, RetinaNet e YOLOv3 acoplados a cabeças HRNet e DeepPose.
  • Bottom-up: DEKR.
  • Ferramentas Padrão: DeepLabCut (DLC) e SLEAP.
• Dados de Treinamento: Foram utilizados três conjuntos de dados:
  • Maze (Kumar Lab): 3.759 frames anotados (nariz e base da cauda).
  • OFA (Kumar Lab): 9.910 frames anotados (12 pontos-chave).
  • TopViewMouse-5K: Um conjunto de dados de fundação (foundation model) público com ~5.000 frames de múltiplos laboratórios, usado para testar a generalização "zero-shot" e o treinamento combinado.
• Padronização: Todas as anotações foram convertidas para o formato MS COCO para garantir interoperabilidade.
• Métricas de Avaliação:
  • Precisão: Proporção de Pontos-Chave Corretos (PCK) em vários limiares de comprimento corporal (foco em 0.5).
  • Desempenho: Quadros por segundo (FPS) para inferência.
  • Generalização: Teste de modelos treinados apenas no TopViewMouse-5K nos dados de Maze e OFA, e modelos treinados em combinações de datasets.

3. Resultados Principais

A. Compromisso entre Precisão e Velocidade (Trade-off)

• Precisão em Ambientes Complexos: O modelo bottom-up DEKR alcançou a maior precisão no labirinto complexo (PCK > 90% em 0.5 do comprimento corporal), superando significativamente os modelos top-down e as ferramentas padrão (DLC/SLEAP) em cenários de oclusão.
• Velocidade de Inferência: O SLEAP foi o mais rápido (52,8 FPS), seguido pelo DLC (42,2 FPS). O DEKR, embora preciso, foi mais lento (11,7 FPS).
• Estabilidade: O modelo YOLO HRNet demonstrou ser o mais estável entre os ambientes interno/externo do labirinto, com a menor queda de desempenho (6,6%) devido à oclusão.
• Conclusão: Não existe um modelo "melhor" universal; a escolha depende se a prioridade é a precisão (ex.: assays sensíveis) ou o throughput (ex.: triagem de alto rendimento).

B. Limitações dos Modelos de Fundação (Foundation Models)

• Falha na Generalização Zero-Shot: O modelo TopViewMouse-5K, treinado exclusivamente em seu próprio dataset, performou muito mal (PCK entre 0,03 e 0,34) ao ser aplicado diretamente no labirinto complexo, indicando que a diferença visual e ambiental é grande demais para generalização sem adaptação.
• Treinamento Combinado: A adição dos dados do TopViewMouse-5K aos datasets locais (Maze ou OFA) não melhorou consistentemente o desempenho. Em alguns casos (especialmente modelos baseados em Transformers como Def-DETR), a performance caiu drasticamente, sugerindo que os dados de fundação atuais carecem da diversidade necessária para cobrir cenários complexos e podem introduzir ruído se não forem balanceados corretamente.

C. Impacto da Complexidade Ambiental

• A precisão dos modelos varia drasticamente dependendo da complexidade do ambiente. Modelos que funcionam bem em campo aberto (OFA) podem falhar em labirintos com oclusão, e a queda de desempenho é específica da arquitetura do modelo.

4. Contribuições Chave

1. Adoção da MMPose para Neurociência: Demonstra a viabilidade e os benefícios de usar uma biblioteca de visão computacional de propósito geral (MMPose) em vez de ferramentas fechadas, permitindo flexibilidade na escolha de arquiteturas e configurações.
2. Benchmarking Abrangente: Fornece uma comparação sistemática de múltiplos estados da arte (SOTA) em cenários reais de neurociência, revelando que modelos bottom-up (como DEKR) podem ser superiores em ambientes complexos.
3. Análise de Generalização: Evidencia que os atuais modelos de fundação para roedores (TopViewMouse-5K) ainda não são suficientes para generalizar em ambientes complexos sem treinamento específico, destacando a necessidade de datasets mais diversos e compartilhados.
4. Padronização de Dados: Promove o uso do formato MS COCO para anotações de pose animal, facilitando o compartilhamento de dados entre laboratórios e a reprodutibilidade.

5. Significado e Impacto

Este trabalho é significativo para a comunidade de neurociência comportamental e genética por:

• Acelerar a Pesquisa: Ao permitir que pesquisadores selecionem o modelo ideal para suas necessidades específicas (equilibrando velocidade e precisão), a análise de comportamento animal torna-se mais escalável e sensível.
• Reduzir Vieses: A flexibilidade para testar diferentes arquiteturas evita a dependência de um único modelo, reduzindo vieses metodológicos na interpretação de fenótipos comportamentais.
• Fomentar Colaboração: A padronização de formatos e a abertura de códigos e dados (disponibilizados no GitHub e Zenodo) criam as bases para o desenvolvimento futuro de modelos de fundação verdadeiramente robustos e generalizáveis.
• Mudança de Paradigma: Sugere uma transição de ferramentas "caixa-preta" para fluxos de trabalho modulares e configuráveis, alinhando a neurociência com os avanços rápidos da visão computacional.

Em suma, o estudo defende que a adoção de frameworks avançados de visão computacional, combinada com a criação de datasets diversos e padronizados, é essencial para a próxima geração de estudos de comportamento animal reprodutíveis e de alto rendimento.