TRACE: End-to-end temporal inference and annotation of animal behaviors from video

TRACE est une méthode d'apprentissage profond de bout en bout, dotée d'une interface graphique, qui permet d'analyser et d'annoter de manière automatisée, reproductible et généralisable les comportements animaux directement à partir de vidéos brutes en exploitant des encodeurs vidéo transformateurs préentraînés et une modélisation temporelle multi-échelle.

L'essentiel

🎬 TRACE : Le "Super-Regard" qui comprend le langage des animaux

Imaginez que vous avez des heures et des heures de vidéos d'animaux (des souris qui courent, des singes qui mangent, des mouches qui s'aiment). Pour un humain, regarder tout ça et noter précisément quand commence et quand finit chaque action (comme "se laver", "attaquer" ou "manger") est une tâche épuisante, fastidieuse et souvent subjective. C'est comme essayer de compter les grains de sable sur une plage à la main.

C'est là qu'intervient TRACE (Temporal Recognition of Animal Behaviors Captured from Video).

1. Le problème : Les anciennes méthodes étaient comme des "traducteurs intermédiaires"

Avant TRACE, les ordinateurs essayaient d'analyser les vidéos en deux étapes compliquées :

1. Étape 1 : Ils dessinaient des points sur les articulations de l'animal (comme un mannequin articulé) pour voir où étaient ses pattes et sa tête.
2. Étape 2 : Ils regardaient ces points pour deviner ce que l'animal faisait.

L'analogie : C'est comme essayer de comprendre une conversation en français en regardant uniquement le mouvement des lèvres d'une personne, sans entendre sa voix ni voir son expression faciale. On perd beaucoup d'informations ! De plus, si l'animal bouge vite ou si la lumière change, ces "points" se perdent.

2. La solution TRACE : Regarder la vidéo comme un humain

TRACE, c'est différent. C'est un système direct (end-to-end). Il ne passe pas par l'étape des "points articulés".

• L'analogie du "Cinéma en continu" : Imaginez que TRACE ne regarde pas l'image fixe d'une souris, mais qu'il regarde le film entier. Il comprend que le mouvement, l'ambiance de la pièce et l'histoire qui se déroule sont importants.
• La technologie : Il utilise une intelligence artificielle très puissante (un "Transformeur") qui a déjà vu des millions d'heures de vidéos humaines. C'est comme un étudiant qui a lu tous les livres de la bibliothèque avant de commencer son examen. Il sait déjà ce qu'est un mouvement, un contexte et une séquence d'actions.

3. Comment ça marche ? (La métaphore du détective)

TRACE fonctionne comme un détective très rapide qui regarde une vidéo et pose deux questions en même temps pour chaque instant :

1. Qu'est-ce qui se passe ? (Est-ce que c'est un "grattage" ? Un "manger" ?)
2. Quand ça commence et quand ça finit ? (Il marque le début et la fin de l'action avec une précision de l'ordre de la milliseconde).

Il est capable de voir des actions très courtes (comme un battement d'aile rapide) et des actions très longues (comme une sieste), un peu comme un chef d'orchestre qui suit à la fois les notes rapides et les longues mélodies.

4. Les résultats : Un super-héros polyvalent

Les chercheurs ont testé TRACE sur des animaux très différents, et ça a marché partout :

• 🐭 Les souris : Il a distingué quand elles se nettoyaient, se dressaient ou mangeaient, même dans des conditions difficiles.
• 🐀 Les interactions sociales : Dans le célèbre test "CalMS21", il a mieux repéré les attaques et les montages entre souris que les meilleurs experts humains ou les autres logiciels existants.
• 🪰 Les mouches : Il a vu des comportements de séduction complexes chez les mouches.
• 🦍 Les chimpanzés sauvages : Même avec des caméras de surveillance dans la jungle (où il y a de la pluie, des ombres et des mouvements rapides), TRACE a réussi à identifier quand un singe marchait, s'asseyait ou se balançait.

5. Pourquoi c'est révolutionnaire ?

• Vitesse : TRACE peut analyser des vidéos des milliers de fois plus vite qu'un humain. Il peut traiter une heure de vidéo en quelques secondes.
• Objectivité : Il ne se fatigue pas, il ne s'ennuie pas et il ne se trompe pas de jugement.
• Contexte : Contrairement aux anciennes méthodes qui ne regardent que les "os" de l'animal, TRACE regarde l'animal dans son environnement. Il comprend que le contexte aide à définir l'action.

En résumé

TRACE, c'est comme donner à un ordinateur des lunettes de super-vision et un cerveau capable de comprendre l'histoire d'une vidéo d'animaux en un coup d'œil. Au lieu de compter des points sur un dessin, il "regarde" la vidéo comme nous le ferions, mais avec une vitesse et une précision inhumaines. Cela ouvre la porte à une nouvelle ère où nous pouvons comprendre le comportement animal à grande échelle, sans avoir besoin de passer des années à annoter manuellement chaque seconde de vidéo.

Résumé technique

Titre de l'article

TRACE : Inférence temporelle et annotation de bout en bout des comportements animaux à partir de vidéos.

1. Problématique

L'analyse quantitative du comportement animal est fondamentale pour les neurosciences et l'éthologie, mais elle reste entravée par plusieurs limitations des méthodes actuelles :

• Annotation manuelle : Elle est lente, subjective, peu reproductible et difficilement évolutrice face aux grandes quantités de données vidéo.
• Limites des approches automatisées existantes : La plupart des méthodes actuelles reposent sur des représentations intermédiaires prédéfinies, telles que les trajectoires de poses (obtenues via des outils comme DeepLabCut ou SLEAP). Ces approches nécessitent des choix de conception spécifiques à la tâche et, plus important encore, elles omettent souvent les informations contextuelles visuelles (apparence dépendante de la posture, indices environnementaux) qui sont cruciales pour l'interprétation comportementale.
• Complexité temporelle : Les comportements animaux se déroulent sur des échelles de temps très variables et les enregistrements sont souvent continus, ce qui rend difficile l'application de pipelines multi-étapes efficaces.

2. Méthodologie : TRACE

Les auteurs proposent TRACE (Temporal Recognition of Animal Behaviors Captured from Video), une méthode de bout en bout capable d'inférer directement les comportements à partir de vidéos brutes, sans étape intermédiaire de reconstruction de la pose.

Architecture technique :

• Encodeur Vidéo (Backbone) : TRACE utilise un encodeur vidéo basé sur des Transformers (Vision Transformer - ViT), préentraîné via un apprentissage auto-supervisé (modèle VideoMAE sur Kinetics-400). Cela permet d'extraire des caractéristiques hiérarchiques spatio-temporelles directement depuis les pixels bruts, intégrant le mouvement, l'apparence et le contexte.
• Modélisation Multi-échelle Temporelle : Pour capturer des comportements de durées variées (de quelques secondes à plusieurs minutes), les caractéristiques de chaque image sont projetées dans une pyramide de caractéristiques temporelles multi-échelles. Cela permet la détection simultanée de comportements courts et longs.
• Tête de Détection (TriDetHead) : Une tête de détection "trident" (inspirée de TriDet) opère sur la pyramide de caractéristiques. Pour chaque instance comportementale candidate, le modèle prédit conjointement :
  1. L'identité comportementale (classification).
  2. La position temporelle centrale.
  3. Les limites temporelles (début et fin) avec une précision sous-image.
• Entraînement : Le modèle est optimisé de manière conjointe pour la classification et la régression temporelle. Il utilise une combinaison de fonctions de perte :
  • Focal Loss pour la classification (gère le déséquilibre entre les périodes de comportement actif et les périodes de fond).
  • Distance-IoU (DIOU) Loss et Generalized IoU (GIOU) Loss pour la régression précise des limites temporelles.
• Interface : Le système est livré avec une interface graphique utilisateur (GUI) pour l'annotation et l'analyse.

3. Contributions Clés

• Inférence de bout en bout : Élimination de la dépendance aux représentations de pose intermédiaires, permettant une analyse directe des vidéos brutes.
• Préservation du contexte : Intégration de l'information visuelle contextuelle (apparence, environnement) souvent perdue dans les approches basées sur les points clés.
• Généralisation inter-espèces : La méthode fonctionne sans adaptation spécifique à l'espèce, validée sur des souris, des mouches (Drosophila) et des chimpanzés sauvages.
• Efficacité et Rapidité : Capacité d'inférence à haut débit (plus de 12 500 images par seconde selon le lot), permettant le traitement de grands ensembles de données.
• Outil accessible : Mise à disposition du code source, des poids préentraînés et d'une interface GUI sur GitHub.

4. Résultats

Les auteurs ont évalué TRACE sur plusieurs jeux de données couvrant différentes espèces et contextes expérimentaux :

• Comportements spontanés chez la souris (Mouse Dataset) :
  • Détection de quatre comportements : toilettage, redressement (rearing), boisson et alimentation.
  • Performance élevée avec une précision et un rappel élevés, même avec peu de données d'entraînement (jusqu'à 4% des données suffisent pour une performance acceptable).
  • Application réussie à un modèle de maladie d'Alzheimer (5×FAD), révélant des différences significatives dans les profils comportementaux (augmentation du redressement, diminution du toilettage) par rapport aux contrôles sauvages.
• Benchmark CalMS21 (Interactions sociales chez la souris) :
  • Sur le jeu de données CalMS21 (attaques, investigations, monte), TRACE a atteint un mAP (Mean Average Precision) de 94,5 %.
  • Ce résultat surpasse les méthodes de référence précédentes (88,9 %), le modèle gagnant du concours (91,4 %) et le modèle VideoPrism de Google (91,5 %).
• Détection inter-espèces :
  • Drosophile : Détection précise des comportements de parade nuptiale (vol, circling, copulation) avec un mAP de 86,3 %.
  • Chimpanzés sauvages (PanAf500) : Détection réussie de comportements locomoteurs et posturaux (marche, assis, debout) dans des conditions naturelles et hétérogènes, démontrant la robustesse du modèle sans adaptation spécifique à l'espèce.

5. Signification et Impact

TRACE représente une avancée majeure dans l'analyse comportementale animale en passant d'une approche basée sur la géométrie (pose) à une approche basée sur la représentation visuelle spatio-temporelle complète.

• Scalabilité : La méthode permet une analyse automatisée, objective et reproductible de longues vidéos, essentielle pour les études à grande échelle.
• Complémentarité : Bien que TRACE ne fournisse pas de mesures cinématiques fines (comme le font les outils de pose), elle peut être intégrée avec eux. Elle est particulièrement utile lorsque le contexte visuel est déterminant pour l'identité du comportement.
• Accessibilité : En fournissant un outil "prêt à l'emploi" avec une interface graphique, TRACE démocratise l'analyse comportementale avancée pour les laboratoires de neurosciences et d'éthologie.

En conclusion, TRACE démontre que l'apprentissage profond de bout en bout, combiné à des modèles de transformers préentraînés, peut surpasser les pipelines traditionnels multi-étapes pour la détection et l'annotation temporelle des comportements animaux.