SqueakPose Studio: An end-to-end platform for pose estimation and real-time edge-AI deployment

SqueakPose Studio est un écosystème intégré de matériel et de logiciels qui unifie la création de jeux de données, l'entraînement de modèles et le déploiement de l'IA en périphérie en temps réel pour une estimation de la pose de l'ensemble du corps précise, éliminant ainsi le besoin de pipelines fragmentés ou de matériel de classe station de travail.

L'essentiel

Imaginez que vous essayiez d'étudier comment une souris se déplace dans son habitat. Habituellement, les scientifiques doivent utiliser une installation compliquée et coûteuse : ils enregistrent des heures de vidéo, l'apportent sur un ordinateur puissant (comme une station de travail ultra-rapide) et utilisent une multitude de programmes différents pour déterminer où se trouvent les pattes et la queue de la souris. C'est comme essayer de faire un gâteau mais devoir acheter la farine, les œufs et le four dans trois magasins différents, puis conduire jusqu'à une cuisine professionnelle juste pour mélanger le tout.

SqueakPose Studio est comme une cuisine « tout-en-un » qui fait tout pour vous, directement là où vous êtes. Voici comment cela fonctionne, décomposé en parties simples :

1. L'atelier tout-en-un (SqueakPose Studio)

Considérez cela comme l'outil logiciel principal. Au lieu de jongler avec différents programmes, il gère l'ensemble du processus, du début à la fin :

• Créer la recette : Vous pouvez créer votre propre jeu de données (une bibliothèque d'exemples) directement à l'intérieur de l'outil.
• Enseigner au système : Il vous aide à étiqueter les parties du corps de la souris. Vous pouvez le faire manuellement, ou l'ordinateur peut vous aider à deviner, rendant le processus d'apprentissage beaucoup plus rapide.
• La cuisson : Il entraîne le « cerveau » (le modèle d'IA) pour reconnaître les postures.
• Le test de dégustation : Il vérifie si le cerveau est assez intelligent et analyse ensuite de grandes quantités de vidéos hors ligne.

Le tour de magie : La plupart des systèmes doivent découper la vidéo en petits carrés (patches) pour comprendre le mouvement, ce qui est lent et désordonné. Ce système regarde l'image entière d'un coup, comme si l'on voyait une pizza entière plutôt qu'une seule part, ce qui le rend beaucoup plus rapide et fluide. Il fonctionne sur des ordinateurs ordinaires, des cartes graphiques puissantes et même sur des Mac d'Apple.

2. Le diffuseur en direct (SqueakView)

Parfois, vous ne voulez pas attendre la fin de la journée pour voir ce que fait la souris ; vous voulez le savoir tout de suite.

• SqueakView est l'outil qui prend le « cerveau » entraîné et l'installe directement sur un petit ordinateur portable (un appareil « edge ») qui se trouve juste à côté de la cage de la souris.
• Il enregistre la vidéo et consigne les données des capteurs en temps réel. C'est comme avoir une caméra de surveillance qui ne se contente pas d'enregistrer ; elle comprend instantanément ce qu'elle voit et vous informe immédiatement si la souris court, dort ou mange.

3. La maison intelligente (MouseHouse)

Pour s'assurer que le système en direct fonctionne parfaitement, ils ont construit une boîte spéciale et compacte appelée MouseHouse.

• Considérez cela comme un enclos pour souris sur mesure, haut de la technologie.
• Il est conçu pour contenir l'ordinateur miniature, les caméras et les capteurs, le tout dans un paquet propre et ordonné. Il est modulaire, ce qui signifie que vous pouvez changer les pièces facilement, et il est construit spécifiquement pour observer les souris dans leurs propres cages sans avoir besoin d'une installation géante de laboratoire.

Pourquoi c'est important

Le meilleur aspect de tout ce système est qu'il utilise le même langage (format de données) et la même horloge (synchronisation temporelle) pour la version « en direct » et la version « hors ligne ».

• Plus de traduction : Habituellement, les données d'une caméra en direct et les données d'un ordinateur de laboratoire parlent des langues différentes. Ici, elles parlent la même langue, de sorte que les résultats sont parfaitement cohérents.
• Pas de travail de force : Vous n'avez pas besoin d'un énorme et coûteux supercalculateur ou d'une équipe d'ingénieurs logiciels pour connecter différents outils. Vous pouvez réaliser une science de haute qualité, en temps réel, sur un petit appareil portable.

En résumé, SqueakPose Studio transforme un processus scientifique complexe et multi-étapes en une expérience unique et fluide, permettant aux chercheurs d'étudier le comportement animal en temps réel sans avoir besoin d'un budget massif ou d'une salle remplie de serveurs.

Résumé technique

Résumé Technique : SqueakPose Studio

Problématique
L'estimation précise de la pose est fondamentale pour l'analyse quantitative du comportement animal. Cependant, les outils actuels de suivi basés sur l'apprentissage profond souffrent souvent de fragmentation, s'appuyant sur des pipelines logiciels disjoints qui séparent la création de jeux de données, l'entraînement de modèles et le déploiement. De plus, ces outils sont fréquemment optimisés pour des flux de travail hors ligne nécessitant des GPU de classe station de travail ou des middlewares externes pour atteindre des performances en temps réel. Cela crée une barrière pour les chercheurs cherchant à mener des acquisitions de données continues et synchronisées, ainsi que des expériences en boucle fermée en temps réel sur des dispositifs de calcul en périphique (edge computing) embarqués sans accès à une infrastructure matérielle haut de gamme.

Méthodologie
Les auteurs présentent SqueakPose Studio, un écosystème logiciel-matériel intégré conçu pour unifier l'ensemble du flux de travail de l'estimation de la pose, de la génération de données au déploiment en temps réel sur périphérie. Le système se compose de trois composants primaires :

1. SqueakPose Studio (Suite logicielle) : Ce composant gère l'intégralité du cycle de vie du développement de modèles. Il prend en charge l'estimation de la pose par apprentissage profond sur l'image entière, éliminant ainsi le besoin d'échantillonnage par patch ou de post-traitement complexe à plusieurs étapes. La suite intègre des outils pour la création de jeux de données, l'étiquetage manuel et assisté par modèle, l'entraînement, la validation et l'inférence hors ligne à grande échelle. Elle exploite des architectures modernes de détection d'objets pour assurer une efficacité d'entraînement et d'inférence sur divers matériels, incluant les CPU, les GPU et l'architecture Apple Silicon.
2. SqueakView (Déploiement en temps réel) : Conçu pour les contextes expérimentaux nécessitant un enregistrement continu, SqueakView permet le déploiement de modèles entraînés sur du matériel de calcul embarqué en périphérie. Il facilite la capture vidéo en temps réel, l'inférence de modèles et l'enregistrement synchronisé de capteurs, comblant ainsi le fossé entre l'analyse hors ligne et l'expérimentation en direct.
3. MouseHouse (Boîtier matériel) : Il s'agit d'un boîtier modulaire compact spécifiquement conçu pour les expériences en cage domestique. Il intègre un calcul GPU embarqué, un cadencement basé sur microcontrôleur et des entrées/sorties périphériques pour répondre aux exigences physiques du suivi comportemental en temps réel.

Une caractéristique méthodologique critique de l'écosystème est l'utilisation d'un format de données partagé et d'une architecture de cadencement déterministe. Cela garantit la cohérence et la synchronisation entre l'analyse hors ligne et le déploiement en temps réel, permettant aux données collectées sur le terrain d'être analysées de manière transparente avec les mêmes outils utilisés pour l'entraînement.

Contributions Clés
L'article introduit une plateforme unifiée qui supprime la dépendance aux pipelines fragmentés et aux stations de travail haut de gamme pour l'estimation de la pose en temps réel. Les principales contributions incluent :

• Intégration de bout en bout : Un écosystème unique couvrant la création de jeux de données, l'étiquetage, l'entraînement, la validation et l'inférence.
• Indépendance matérielle : Prise en charge de l'exécution sur des CPU, GPU et Apple Silicon standards, rendant le système accessible sans matériel de station de travail spécialisé.
• Capacité de périphérie en temps réel : La capacité de déployer des modèles sur des dispositifs embarqués pour une acquisition de données continue et synchronisée via SqueakView et MouseHouse.
• Efficacité architecturale : L'utilisation d'architectures de détection d'objets modernes pour le traitement de l'image entière, évitant la surcharge de calcul liée à l'échantillonnage par patch.

Résultats et Revendications
L'article démontre que l'écosystème SqueakPose Studio parvient à unifier l'analyse hors ligne et l'expérimentation en temps réel. En utilisant un format de données partagé et un cadencement déterministe, le système garantit que les modèles entraînés hors ligne peuvent être déployés directement sur des dispositifs de périphérie pour une surveillance comportementale en temps réel. Les auteurs affirment que cette approche permet une estimation de la pose précise et une analyse comportementale quantitative sans avoir recours à des middlewares externes ou à des GPU de classe station de travail.

Signification
La portée de ce travail réside dans sa capacité à démocratiser l'estimation de la pose en temps réel. En fournissant une plateforme cohérente allant de la création de jeux de données au déploiement embarqué, SqueakPose Studio répond à la fragmentation et aux barrières matérielles qui limitent actuellement l'adoption du suivi comportemental en temps réel. Il offre une solution pratique pour les chercheurs devant mener des expériences en cage domestique avec une acquisition de données haute fidélité et synchronisée, tout en conservant la flexibilité nécessaire pour effectuer l'analyse hors ligne conventionnelle.