SqueakPose Studio: An end-to-end platform for pose estimation and real-time edge-AI deployment

Resumo Técnico: SqueakPose Studio

Problema
A estimativa de pose precisa é fundamental para a análise quantitativa do comportamento animal. No entanto, as atuais ferramentas de rastreamento baseadas em aprendizado profundo frequentemente sofrem com fragmentação, dependendo de pipelines de software desarticulados que separam a criação de conjuntos de dados, o treinamento de modelos e a implantação. Além disso, essas ferramentas são frequentemente otimizadas para fluxos de trabalho offline que exigem GPUs de nível de estação de trabalho ou middleware externo para alcançar desempenho em tempo real. Isso cria uma barreira para pesquisadores que buscam realizar aquisição de dados contínua e experimentos de malha fechada (closed-loop) em tempo real em dispositivos de computação de borda (edge computing) embarcados sem acesso a infraestruturas de hardware de alto desempenho.

Metodologia
Os autores apresentam o SqueakPose Studio, um ecossistema integrado de software e hardware projetado para unificar todo o fluxo de trabalho de estimativa de pose, desde a geração de dados até a implantação em tempo real na borda. O sistema é composto por três componentes primários:

1. SqueakPose Studio (Suíte de Software): Este componente gerencia o ciclo de vida completo do desenvolvimento de modelos. Ele suporta a estimativa de pose baseada em aprendizado profundo de quadro inteiro (whole-frame), eliminando a necessidade de amostragem baseada em patches ou pós-processamento complexo de múltiplos estágios. A suíte integra ferramentas para criação de conjuntos de dados, rotulagem manual e assistida por modelo, treinamento de modelos, validação e inferência offline em larga escala. Ela utiliza arquiteturas modernas de detecção de objetos para garantir treinamento e inferência eficientes em diversos hardwares, incluindo CPUs, GPUs e Apple Silicon.
2. SqueakView (Implantação em Tempo Real): Projetado para configurações experimentais que exigem gravação contínua, o SqueakView permite a implantação de modelos treinados em hardware de computação de borda embarcado. Ele facilita a captura de vídeo em tempo real, inferência de modelo e registro sincronizado de sensores, preenchendo a lacuna entre a análise offline e a experimentação ao vivo.
3. MouseHouse (Invólucro de Hardware): Este é um invólucro compacto e modular projetado especificamente para experimentos baseados em gaiolas domésticas (home cage). Ele integra computação de GPU embarcada, temporização baseada em microcontrolador e E/S de periféricos para suportar os requisitos físicos do rastreamento comportamental em tempo real.

Uma característica metodológica crítica do ecossistema é o uso de um formato de dados compartilhado e uma arquitetura de temporização determinística. Isso garante consistência e sincronização entre a análise offline e a implantação em tempo real, permitindo que os dados coletados em campo sejam analisados perfeitamente utilizando as mesmas ferramentas usadas para o treinamento.

Principais Contribuições
O artigo introduz uma plataforma unificada que remove a dependência de pipelines fragmentados e estações de trabalho de alto desempenho para a estimativa de pose em tempo real. As principais contribuições incluem:

• Integração de Ponta a Ponta: Um ecossistema único abrangendo criação de conjuntos de dados, rotulagem, treinamento, validação e inferência.
• Agnosticismo de Hardware: Suporte para execução em CPUs padrão, GPUs e Apple Silicon, tornando o sistema acessível sem a necessidade de hardware especializado de estação de trabalho.
• Capacidade de Borda em Tempo Real: A capacidade de implantar modelos em dispositivos embarcados para aquisição de dados contínua e sincronizada via SqueakView e MouseHouse.
• Eficiência Arquitetônica: O uso de arquiteturas modernas de detecção de objetos para processamento de quadro inteiro, evitando o overhead computacional da amostragem baseada em patches.

Resultos e Alegações
O artigo demonstra que o ecossistema SqueakPose Studio unifica com sucesso a análise offline e a experimentação em tempo real. Ao utilizar um formato de dados compartilhado e temporização determinística, o sistema garante que modelos treinados offline possam ser implantados diretamente em dispositivos de borda para monitoramento comportamental em tempo real. Os autores afirmam que esta abordagem permite uma estimativa de pose precisa e análise comportamental quantitativa sem a necessidade de middleware externo ou GPUs de nível de estação de trabalho.

Significância
A significância deste trabalho reside em sua capacidade de democratizar a estimação de pose em tempo real. Ao fornecer uma plataforma coesa que abrange desde a criação de conjuntos de dados até a implantação embarcada, o SqueakPose Studio aborda a fragmentação e as barreiras de hardware que atualmente limitam a adoção do rastreamento comportamental em tempo real. Ele oferece uma solução prática para pesquisadores que precisam realizar experimentos baseados em gaiolas domésticas com aquisição de dados de alta fidelidade e sincronizada, mantendo ao mesmo tempo a flexibilidade para realizar a análise offline convencional.