SqueakPose Studio: An end-to-end platform for pose estimation and real-time edge-AI deployment

SqueakPose Studio es un ecosistema integrado de software y hardware que unifica la creación de conjuntos de datos, el entrenamiento de modelos y el despliegue de IA en el borde en tiempo real para una estimación de pose de fotograma completo precisa, eliminando la necesidad de procesos fragmentados o hardware de nivel de estación de trabajo.

Lo esencial

Imagina intentar estudiar cómo se mueve un ratón en su hogar. Normalmente, los científicos tienen que usar una configuración complicada y costosa: graban horas de video, lo llevan a una computadora potente (como una estación de trabajo superrápida) y usan un montón de programas diferentes para determinar dónde están las patas y la cola del ratón. Es como intentar hornear un pastel pero teniendo que comprar la harina, los huevos y el horno en tres tiendas diferentes, y luego conducir hasta una cocina profesional solo para mezclar los ingredientes.

SqueakPose Studio es como una cocina "todo en uno" que hace todo por ti, justo donde estás. Así es como funciona, dividido en partes simples:

1. El taller todo en uno (SqueakPose Studio)

Piensa en esto como la herramienta de software principal. En lugar de hacer malabares con diferentes programas, este maneja todo el proceso de principio a fin:

• Crear la receta: Puedes crear tu propio conjunto de datos (una biblioteca de ejemplos) directamente dentro de la herramienta.
• Enseñar al sistema: Te ayuda a etiquetar las partes del cuerpo del ratón. Puedes hacerlo manualmente, o la computadora puede ayudarte a adivinar, haciendo que el proceso de enseñanza sea mucho más rápido.
• La cocción: Entrena al "cerebro" (el modelo de IA) para reconocer posturas.
• La prueba del sabor: Verifica si el cerebro es lo suficientemente inteligente y luego analiza grandes cantidades de video fuera de línea (offline).

El truco de magia: La mayoría de los sistemas tienen que trocear el video en cuadraditos diminutos (parches) para entender el movimiento, lo cual es lento y desordenado. Este sistema mira la imagen completa a la vez, como ver una pizza entera en lugar de solo una rebanada, lo que lo hace mucho más rápido y fluido. Funciona en computadoras normales, tarjetas gráficas potentes e incluso en Apple Macs.

2. El transmisor en vivo (SqueakView)

A veces, no quieres esperar hasta el final del día para ver qué está haciendo el ratón; quieres saberlo ahora mismo.

• SqueakView es la herramienta que toma el "cerebro" entrenado y lo coloca directamente en una computadora pequeña y portátil (un dispositivo "edge") que se sitúa justo al lado de la jaula del ratón.
• Graba video y registra datos de sensores en tiempo real. Es como tener una cámara de seguridad que no solo graba, sino que entiende instantáneamente lo que está viendo y te informa de inmediato si el ratón está corriendo, durmiendo o comiendo.

3. El hogar inteligente (MouseHouse)

Para asegurar que el sistema en vivo funcione perfectamente, construyeron una caja especial y compacta llamada MouseHouse.

• Piensa en esto como un corralito para ratones personalizado y de alta tecnología.
• Está diseñado para contener la pequeña computadora, las cámaras y los sensores, todo en un paquete ordenado. Es modular, lo que significa que puedes intercambiar piezas fácilmente, y está construido específicamente para observar ratones en sus propias jaulas sin necesidad de una configuración de laboratorio gigante.

Por qué esto es importante

Lo mejor de todo este sistema es que utiliza el mismo lenguaje (formato de datos) y el mismo reloj (sincronización) tanto para la versión "en vivo" como para la versión "fuera de línea".

• No más traducciones: Normalmente, los datos de una cámara en vivo y los datos de una computadora de laboratorio hablan idiomas diferentes. Aquí, hablan el mismo, por lo que los resultados son perfectamente consistentes.
• Sin trabajos pesados: No necesitas una supercomputadora masiva y costosa o un equipo de ingenieros de software para conectar diferentes herramientas. Puedes realizar ciencia de alta calidad y en tiempo real en un dispositivo pequeño y portátil.

En resumen, SqueakPose Studio convierte un proceso científico complejo y de múltiples pasos en una experiencia única y fluida, permitiendo a los investigadores estudiar el comportamiento animal en tiempo real sin necesidad de un presupuesto masivo o una sala llena de servidores.

Resumen técnico

Resumen Técnico: SqueakPose Studio

Planteamiento del Problema
La estimación precisa de la postura es fundamental para el análisis cuantitativo del comportamiento animal. Sin embargo, las herramientas actuales de seguimiento basadas en aprendizaje profundo suelen sufrir de fragmentación, al depender de procesos de software inconexos que separan la creación de conjuntos de datos, el entrenamiento de modelos y el despliegue. Además, estas herramientas están optimizadas frecuentemente para flujos de trabajo fuera de línea (offline) que requieren GPUs de grado de estación de trabajo o middleware externo para lograr un rendimiento en tiempo real. Esto crea una barrera para los investigadores que buscan realizar la adquisición de datos continua y experimentos de bucle cerrado en tiempo real en dispositivos de computación perimetal (edge computing) integrados sin acceso a infraestructura de hardware de alto nivel.

Metodología
Los autores presentan SqueakPose Studio, un ecosistema integrado de software y hardware diseñado para unificar todo el flujo de trabajo de la estimación de la postura, desde la generación de datos hasta el despliegue perimetal en tiempo real. El sistema se compone de tres componentes primarios:

1. SqueakPose Studio (Suite de Software): Este componente gestiona el ciclo de vida completo del desarrollo de modelos. Soporta la estimación de la postura basada en aprendizaje profundo de cuadro completo, eliminando la necesidad de muestreo basado en parches o postprocesamiento complejo de múltiples etapas. La suite integra herramientas para la creación de conjuntos de datos, etiquetado manual y asistido por modelos, entrenamiento, validación e inferencia fuera de línea a gran escala. Aprovecha arquitecturas modernas de detección de objetos para asegurar un entrenamiento e inferencia eficientes a través de diversos hardware, incluyendo CPUs, GPUs y Apple Silicon.
2. SqueakView (Despliegue en Tiempo Real): Diseñado para entornos experimentales que requieren grabación continua, SqueakView permite el despliegue de modelos entrenados en hardware de computación perimetal integrado. Facilita la captura de video en tiempo real, la inferencia de modelos y el registro sincronizado de sensores, cerrando la brecha entre el análisis fuera de línea y la experimentación en vivo.
3. MouseHouse (Encapsulado de Hardware): Se trata de un encapsulado compacto y modular diseñado específicamente para experimentos basados en jaulas domésticas. Integra computación GPU integrada, temporización basada en microcontroladores y E/S de periféricos para soportar los requisitos físicos del seguimiento conductual en tiempo real.

Una característica metodológica crítica del ecosistema es el uso de un formato de datos compartido y una arquitectura de temporización determinista. Esto asegura la consistencia y sincronización entre el análisis fuera de línea y el despliegue en tiempo real, permitiendo que los datos recolectados en el campo sean analizados sin problemas utilizando las mismas herramientas usadas para el entrenamiento.

Contribuciones Clave
El artículo introduce una plataforma unificada que elimina la dependencia de procesos fragmentados y estaciones de trabajo de alto nivel para la estimación de la postura en tiempo real. Las contribuciones principales incluyen:

• Integración de Extremo a Extremo: Un único ecosistema que cubre la creación de conjuntos de datos, etiquetado, entrenamiento, validación e inferencia.
• Agnosticismo de Hardware: Soporte para la ejecución en CPUs, GPUs estándar y Apple Silicon, haciendo que el sistema sea accesible sin necesidad de hardware especializado de estación de trabajo.
• Capacidad Perimetal en Tiempo Real: La capacidad de desplegar modelos en dispositivos integrados para la adquisición de datos continua y sincronizada a través de SqueakView y MouseHouse.
• Eficiencia Arquitectónica: El uso de arquitecturas modernas de detección de objetos para el procesamiento de cuadro completo, evitando la sobrecarga computacional del muestreo basado en parches.

Resultados y Reivindicaciones
El artículo demuestra que el ecosistema SqueakPose Studio unifica con éxito el análisis fuera de línea y la experimentación en tiempo real. Al utilizar un formato de datos compartido y una temporización determinista, el sistema asegura que los modelos entrenados fuera de línea puedan desplegarse directamente en dispositivos perimetales para el monitoreo conductual en tiempo real. Los autores afirman que este enfoque permite una estimación de la postura precisa y un análisis conductual cuantitativo sin la necesidad de middleware externo o GPUs de grado de estación de trabajo.

Significancia
La significancia de este trabajo radica en su capacidad para democratizar la estimación de la postura en tiempo real. Al proporcionar una plataforma cohesiva que abarca desde la creación de conjuntos de datos hasta el despliegue integrado, SqueakPose Studio aborda la fragmentación y las barreras de hardware que actualmente limitan la adopción del seguimiento conductual en tiempo real. Ofrece una solución práctica para los investigadores que necesitan realizar experimentos basados en jaulas domésticas con adquisición de datos de alta fidelidad y sincronizada, manteniendo al mismo tiempo la flexibilidad para realizar el análisis convencional fuera de línea.