B-REAL: A keypoint-less behavior platform for offline classification and real-time detection

Pour comprendre comment le cerveau fonctionne, les scientifiques doivent d'abord comprendre ce que l'animal qu'il contrôle fait réellement. Pendant des décennies, la référence pour mesurer le comportement animal était un observateur humain regardant des enregistrements vidéo, mettant sur pause et revenant en arrière pour noter chaque mouvement, de la souris reniflant un coin à la mouche frappant une autre. Cette méthode est flexible et interprétable, mais elle est incroyablement lente et sujette à l'erreur humaine. Ces dernières années, les ordinateurs ont commencé à prendre le relais de cette tâche, mais ils se sont principalement appuyés sur un processus en deux étapes qui crée ses propres goulots d'étranglement. Premièrement, un programme informatique doit être entraîné pour trouver des points spécifiques sur le corps d'un animal, comme le bout d'un nez ou une articulation d'une patte, un processus qui nécessite des milliers d'heures de marquage humain. Deuxièmement, l'ordinateur utilise ces points pour deviner quel comportement est en train de se produire. Cette approche est lente à mettre en place, échoue souvent lorsque les animaux se bloquent mutuellement la vue, et est généralement trop lente pour réagir sur le moment. Si un chercheur veut donner une récompense à une souris dès qu'elle se toilette, ou arrêter une expérience au moment où un mouvement spécifique se produit, l'ordinateur doit être assez rapide pour voir l'action et décider quoi faire avant même que la vidéo ne finisse de s'enregistrer.

Une équipe de chercheurs de l'Université Carnegie Mellon a développé un nouveau système appelé B-REAL qui élimine entièrement l'intermédiaire. Au lieu d'essayer de cartographier le squelette d'un animal, ce système regarde directement les pixels bruts de la vidéo et apprend à reconnaître le comportement instantanément. Le résultat est un outil capable de classifier ce que fait un animal plus rapidement que la caméra ne peut prendre l'image suivante, même sur du matériel informatique standard. Cette vitesse permet un nouveau type d'expérience où le comportement de l'animal peut déclencher des changements immédiats dans son environnement, comme la distribution d'une goutte d'eau ou d'un éclat de lumière, pendant que le comportement est encore en cours. Les chercheurs ont montré que cette méthode fonctionne avec beaucoup moins de données d'entraînement que les systèmes précédents, peut repérer des mouvements fugaces qui ne durent qu'une fraction de seconde, et peut être utilisée pour façonner les actions naturelles de l'animal en temps réel.

Le cœur de cette nouvelle approche est un changement dans la manière dont l'ordinateur traite la vidéo. Les méthodes traditionnelles traitent une vidéo comme une série d'images fixes, trouvant d'abord les parties du corps puis calculant comment ces parties se déplacent. B-REAL saute l'étape de recherche des parties du corps. Il prend une courte séquence d'images vidéo et les injecte directement dans un réseau neuronal, un type de programme informatique conçu pour reconnaître des motifs. Pour comprendre le mouvement sans suivre de points spécifiques, le système utilise une technique qui échange de petits morceaux d'informations entre les images voisines. Imaginez une pile de photos où quelques pixels de la photo du dessus sont échangés avec la photo du dessous ; cela permet à l'ordinateur de voir comment les choses changent au fil du temps sans avoir besoin de savoir exactement où se trouve une patte ou une aile. Comme cette méthode ne nécessite pas que l'ordinateur apprenne une carte complexe du corps de l'animal, elle évite les échecs courants des anciens systèmes, tels que la perte de suivi d'un animal lorsqu'il est partiellement caché ou lorsque l'éclairage change.

Les chercheurs ont testé ce système sur deux défis très différents : des interactions sociales complexes entre des souris et des attaques extrêmement rapides et rares entre des mouches du fruit. Dans les expériences sur les souris, le système a appris à distinguer l'attaque, l'investigation et le montage avec une grande précision après n'avoir vu qu'une minute de vidéo étiquetée. C'est une amélioration significative par rapport aux outils existants, qui nécessitent souvent des heures de données étiquetées pour atteindre des performances similaires. Lorsque l'équipe a testé le système sur des mouches du fruit, le défi était encore plus grand. Certains comportements agressifs, comme une mouche chargeant une autre, ne durent qu'une seule image de vidéo, soit environ 33 millisecondes. La plupart des systèmes informatiques les manquent complètement car ils moyennent le mouvement sur des périodes plus longues. B-REAL, cependant, a détecté ces charges de l'ordre de la fraction de seconde avec une grande précision, surpassant les autres méthodes même avec très peu de données d'entraînement. Le système a pu identifier ces événements rares car il a appris directement des motifs visuels de la vidéo plutôt que de s'appuyer sur un ensemble prédéfini de points de repère corporels qui pourraient ne pas capturer des changements aussi rapides et subtils.

L'une des démonstrations les plus convaincantes de la puissance du système fut une expérience en boucle fermée où l'ordinateur agissait comme un enseignant. Les chercheurs ont mis en place une situation où les souris recevaient une récompense d'eau sucrée uniquement lorsque l'ordinateur détectait qu'elles se lavaient la tête. Le système devait identifier le comportement de toilettage et déclencher le distributeur d'eau en une fraction de seconde. Parce que la détection était si rapide et précise, les souris ont rapidement appris la connexion. Au cours de l'expérience, le taux de toilettage des souris a augmenté de 129 pour cent. Les animaux ne se sont pas contentés de se toiletter plus souvent ; ils ont également ajusté la durée de leur toilettage pour correspondre aux exigences de l'ordinateur, s'orientant vers des séquences légèrement plus longues pour garantir le déclenchement de la récompense. Cela prouve que le système n'est pas seulement un observateur passif mais un partenaire capable de façonner le comportement naturel en temps réel, capable de renforcer des actions spécifiques au moment où elles se produisent.

Pour rendre le système encore plus efficace, les chercheurs ont exploré un moyen de donner un coup de pouce à l'ordinateur sans nécessiter plus de données étiquetées. Ils ont utilisé un large modèle vidéo pré-entraîné qui avait appris des concepts généraux de mouvement à partir de milliers d'heures de vidéos non étiquetées. Ils ont transféré ce que ce grand modèle savait vers le système plus petit et plus rapide. Ce processus, connu sous le nom de distillation, a permis au système d'apprendre en seulement 30 secondes de vidéo étiquetée ce qui nécessiterait normalement cinq à dix minutes d'apprentissage à partir de zéro. Remarquablement, ce pré-entraînement a amélioré la capacité du système à reconnaître les comportements sous de nouveaux angles de caméra, tels qu'une vue par en dessous de l'animal, même si les données de pré-entraînement ne comprenaient que des vues de dessus ou de côté. Cela suggère que le système a acquis une compréhension profonde de la façon dont les animaux se déplacent, applicable à différents contextes, ce qui le rend hautement adaptable pour de futures expériences.

Les implications de ce travail s'étendent au-delà de la simple vitesse et de la précision. En supprimant la nécessité de suivre les parties du corps, le système peut observer des comportements difficiles à définir par la seule posture, comme un animal interagissant avec un objet spécifique ou naviguant dans un environnement complexe. Cela ouvre la porte à des expériences où l'ordinateur peut répondre à l'état de l'animal en temps réel, créant une boucle dynamique entre le sujet et son environnement. Bien que l'étude actuelle se soit concentrée sur les souris et les mouches, les principes s'appliquent largement à toute situation où la compréhension du comportement en temps réel est cruciale. Le système fonctionne sur du matériel standard, ce qui signifie qu'il ne nécessite pas de supercalculateurs coûteux pour fonctionner, rendant l'analyse comportementale avancée accessible à un plus large éventail de laboratoires. En fin de compte, B-REAL transforme le comportement d'un enregistrement statique du passé en un signal vivant qui peut être utilisé pour guider et comprendre le cerveau sur le moment.