Animal behavioral analysis and neural encoding with transformer-based self-supervised pretraining

Ce papier présente BEAST, un cadre novateur basé sur l'apprentissage auto-supervisé de transformers qui permet d'analyser le comportement animal et son encodage neuronal à partir de vidéos non étiquetées, surpassant les méthodes existantes pour l'extraction de caractéristiques, l'estimation de pose et la segmentation d'actions chez diverses espèces.

L'essentiel

🦁 BEAST : Le Super-Héros de l'Analyse du Comportement Animal

Imaginez que vous êtes un chercheur en neurosciences. Votre mission est de comprendre comment le cerveau d'un animal (comme une souris) fonctionne. Pour cela, vous devez observer ce que l'animal fait : comment il bouge, comment il se gratte, comment il interagit avec ses amis.

Le problème ?
Les caméras enregistrent des heures et des heures de vidéo. Mais pour apprendre à un ordinateur à comprendre ces vidéos, il faut normalement lui montrer des milliers d'exemples étiquetés à la main (par exemple : "ici, la souris se gratte", "ici, elle marche"). C'est comme essayer d'apprendre à un enfant à lire en lui montrant un livre entier, page par page, en lui disant à chaque fois quel mot est quel. C'est long, fastidieux et épuisant pour les humains.

La solution : BEAST
Les auteurs de cet article ont créé un outil appelé BEAST (une sorte de "Transformateur" intelligent). Voici comment ça marche, avec une analogie simple :

1. L'élève qui apprend tout seul (L'Apprentissage Non Supervisé)

Au lieu de demander aux humains de tout étiqueter, BEAST regarde des heures de vidéos brutes, sans aucune étiquette.

• L'analogie : Imaginez un enfant qui regarde des heures de dessins animés sans qu'on lui explique l'histoire. Au début, il ne comprend rien. Mais en regardant, il commence à remarquer des patterns : "Quand le personnage saute, il atterrit toujours après", ou "Quand il pleut, les personnages mettent un parapluie".
• La technique : BEAST utilise deux astuces magiques :
  • Le jeu du "Trou noir" (Auto-encodage masqué) : L'ordinateur cache une partie de l'image (comme un puzzle avec des pièces manquantes) et doit deviner ce qu'il y a derrière. Cela l'oblige à comprendre les détails fins (la fourrure, les yeux).
  • Le jeu du "Qui est qui ?" (Contraste temporel) : L'ordinateur regarde une image, puis l'image d'une seconde plus tard. Il doit comprendre que c'est le même animal qui bouge. S'il regarde une image d'une souris et une image d'un poisson, il doit comprendre qu'ils sont très différents.

2. Le Cerveau qui s'adapte (Le Pré-entraînement)

Une fois que BEAST a "regardé" assez de vidéos pour comprendre la logique du mouvement animal, il devient un expert. C'est comme un étudiant qui a lu tous les livres de la bibliothèque avant même d'entrer en classe.

Ensuite, les chercheurs peuvent lui demander de faire des tâches spécifiques, et il apprend très vite, avec très peu d'aide humaine :

• Tâche A : Prédire l'activité du cerveau (Encodage Neural)

  • Le défi : Deviner ce qui se passe dans le cerveau de la souris juste en regardant sa vidéo.
  • Le résultat de BEAST : Il est si bon qu'il trouve des liens entre les mouvements et le cerveau que les méthodes précédentes rataient. C'est comme si BEAST pouvait lire dans les pensées de la souris en observant juste son expression faciale.

• Tâche B : Suivre les mouvements (Estimation de la posture)

  • Le défi : Repérer exactement où sont les pattes, le nez et la queue de la souris, même si elle bouge vite.
  • Le résultat de BEAST : Il fait cela avec une précision incroyable, même avec très peu d'exemples étiquetés. Avant, il fallait étiqueter des milliers de frames. Avec BEAST, il suffit de quelques centaines. C'est comme passer d'un dessin au trait fait à la main à une photo haute définition instantanée.

• Tâche C : Comprendre les actions (Segmentation d'action)

  • Le défi : Dire exactement à chaque seconde ce que fait l'animal : "Il se lave", "Il attaque", "Il renifle".
  • Le résultat de BEAST : Il classe les actions mieux que les meilleurs systèmes existants, et surtout, il n'a pas besoin de passer par l'étape fastidieuse de "suivre les points du corps" avant de comprendre l'action. Il comprend l'action directement !

Pourquoi c'est une révolution ? 🌟

Avant BEAST, les laboratoires devaient passer des mois à étiqueter des vidéos pour entraîner leurs modèles. C'était comme construire une maison brique par brique, à la main.

Avec BEAST, c'est comme avoir une imprimante 3D de la compréhension.

1. Vous lui donnez des vidéos brutes (les matériaux).
2. Il s'entraîne tout seul (l'impression).
3. Vous lui demandez de faire une tâche spécifique (le bâtiment fini), et il le fait presque instantanément avec une qualité supérieure.

En résumé :
BEAST est un outil qui permet aux scientifiques de comprendre le cerveau en regardant simplement les animaux bouger, sans avoir à passer des années à étiqueter manuellement chaque mouvement. Il rend la recherche plus rapide, moins chère et plus précise, ouvrant la porte à de nouvelles découvertes sur comment notre propre cerveau fonctionne, car nous sommes tous des animaux qui bougent !

Résumé technique

1. Problématique et Contexte

La compréhension du lien entre le cerveau et le comportement est un défi fondamental en neurosciences. Bien que les caméras soient omniprésentes pour capturer le comportement animal, l'analyse de ces vidéos repose traditionnellement sur des modèles spécialisés nécessitant d'énormes quantités de données étiquetées (annotations manuelles de points clés ou d'actions).

• Limites actuelles : Les approches existantes (comme DeepLabCut ou SimBA) sont souvent spécifiques à une tâche, coûteuses en temps d'annotation et peinent à exploiter la vaste quantité de données vidéo non étiquetées générées par les expériences de laboratoire.
• Objectif : Développer un cadre d'apprentissage auto-supervisé (Self-Supervised Learning - SSL) capable de pré-entraîner des modèles de vision sur des vidéos brutes non étiquetées, spécifiques à un protocole expérimental, pour servir de colonne vertébrale (backbone) polyvalente à plusieurs tâches neuro-comportementales.

2. Méthodologie : Le Framework BEAST

Les auteurs proposent BEAST (BEhavioral Analysis via Self-supervised pretraining of Transformers), un framework basé sur des Transformers (ViT) qui combine deux objectifs d'apprentissage pour tirer parti des spécificités des vidéos de comportement animal (arrière-plans statiques, mouvements répétitifs).

Architecture et Entraînement

• Modèle de base : Un Vision Transformer (ViT-B/16) standard.
• Double objectif de perte (Loss) :
  1. Auto-encodage Masqué (MAE) : Inspiré de MAE (He et al., 2022), il masque aléatoirement 75 % des patches d'une image et force le modèle à reconstruire les pixels manquants. Cela capture les détails d'apparence au niveau du cadre (frame-level).
  2. Apprentissage Contrastif Temporel : Inspiré de la méthode contrastive, il apprend la dynamique comportementale.
     • Stratégie d'échantillonnage innovante : Contrairement aux méthodes précédentes (comme VIC-MAE) qui considèrent n'importe quelle paire de frames d'une même vidéo comme positive, BEAST définit une fenêtre temporelle étroite (±1 frame) pour les paires positives autour d'une frame ancre. Les frames distantes (même vidéo) ou les frames d'autres vidéos servent de négatifs. Cette stratégie est cruciale pour éviter d'apprendre des similarités triviales dans des vidéos longues et répétitives.
     • Perte InfoNCE : Calculée sur les tokens CLS (représentation globale de la frame) projetés dans un espace non linéaire.
• Pré-entraînement spécifique au domaine : Le modèle est initialisé avec des poids ImageNet (MAE), puis pré-entraîné sur les vidéos non étiquetées du laboratoire spécifique avant d'être affiné (fine-tuning) pour les tâches en aval.

3. Contributions Clés

1. Framework Unifié : BEAST est le premier modèle fondamental capable de traiter simultanément trois tâches neuro-comportementales distinctes : l'encodage neural, l'estimation de pose et la segmentation d'actions.
2. Efficacité des Données : La méthode permet d'obtenir des performances de pointe avec très peu de données étiquetées (parfois seulement 100 frames pour l'estimation de pose), en exploitant massivement les données non étiquetées.
3. Suppression du prétraitement par pose : Pour la segmentation d'actions, BEAST élimine le besoin d'une étape préalable d'estimation de pose (souvent longue et sujette à erreurs), utilisant directement les embeddings de la vidéo.
4. Adaptabilité : Le modèle est conçu pour être pré-entraîné par chaque laboratoire sur ses propres données expérimentales, créant ainsi des modèles "sur mesure" plus performants que les modèles génériques (comme DINOv2).

4. Résultats Expérimentaux

Les auteurs ont évalué BEAST sur plusieurs jeux de données (souris, poissons, interactions sociales) et trois tâches principales :

A. Encodage Neural (Prédiction de l'activité cérébrale)

• Tâche : Prédire l'activité neuronale à partir de la vidéo comportementale.
• Résultats : BEAST surpasse systématiquement les méthodes de référence (Keypoints, PCA, CEBRA, DINOv2, VideoMAE) tant avec des encodeurs linéaires que non linéaires (TCN).
• Performance : Sur les jeux de données IBL et Facemap, BEAST atteint un meilleur taux de bits par pic (BPS) et une variance expliquée supérieure, prouvant qu'il capture des informations comportementales plus riches que les points clés traditionnels.

B. Estimation de Pose (Keypoint Localization)

• Tâche : Suivre des points anatomiques spécifiques (pattes, museau, etc.).
• Résultats : Avec seulement 100 frames d'entraînement étiquetées, BEAST (pré-entraîné sur des données spécifiques) bat les modèles basés sur ResNet-50 (AP-10K) et même DINOv2 sur la plupart des jeux de données.
• Avantage : La combinaison MAE + Contrastif est supérieure à l'utilisation exclusive de l'un ou l'autre. Le pré-entraînement spécifique au domaine est essentiel pour les tâches de précision pixel.

C. Segmentation d'Actions

• Tâche : Classifier les comportements (ex: toilettage, attaque, investigation) frame par frame.
• Résultats : BEAST atteint des scores F1 compétitifs ou supérieurs aux méthodes basées sur la pose (comme SimBA et TREBA), notamment sur le jeu de données CalMS21 (interactions sociales de souris).
• Impact : BEAST atteint un score F1 de 0,84 (moyenne), se classant dans le top 15 du défi "Multi-Agent Behavior Challenge", sans jamais avoir utilisé d'étiquettes de pose pour l'entraînement.

5. Signification et Impact

• Démocratisation de l'analyse : BEAST réduit considérablement la barrière à l'entrée pour les laboratoires de neurosciences en éliminant le besoin d'annotations massives et de pipelines complexes de pose estimation.
• Nouveau Standard : Il établit que les modèles fondés sur des Transformers pré-entraînés de manière auto-supervisée sur des données spécifiques au domaine surpassent les modèles génériques (fondés sur Internet) et les approches traditionnelles basées sur la pose.
• Efficacité Computationnelle : Bien que l'entraînement demande des ressources, BEAST est plus efficace que les modèles vidéo natifs (comme VideoMAE) car il traite les images frame par frame plutôt que des séquences temporelles longues, tout en offrant de meilleures performances.
• Futur : Ce travail ouvre la voie à des modèles fondationnels plus larges pour le comportement animal et suggère que l'apprentissage auto-supervisé est la clé pour exploiter le potentiel des données vidéo massives en neurosciences.

En résumé, BEAST représente une avancée majeure en fournissant un outil robuste, flexible et efficace pour transformer des vidéos brutes en représentations comportementales riches, accélérant ainsi la recherche sur le lien cerveau-comportement.