Human Fall Detection Using Deep Learning Methods: A Multimodal Audio-Video Approach

Les chutes sont une menace silencieuse, particulièrement pour les personnes âgées, où un seul faux pas peut entraîner des blessures, une perte d'indépendance ou pire encore. Pendant des décennies, la solution a souvent consisté à demander aux gens de porter un dispositif, comme un pendentif ou un bracelet, capable de détecter une chute soudaine. Mais ces dispositifs ont un défaut : ils dépendent du fait que la personne se souvienne de les porter, et ils peuvent être inconfortables ou stigmatisants. Cela a conduit les chercheurs à chercher un moyen de surveiller et d'écouter sans contact, en utilisant des caméras et des microphones pour repérer une chute au moment même où elle se produit. Le défi est qu'une chute ressemble et sonne beaucoup comme d'autres actions quotidiennes, comme s'asseoir rapidement, se pencher pour lacer une chaussure ou même simplement s'allonger pour se reposer. Pour résoudre ce problème, les scientifiques se sont tournés vers l'apprentissage profond (deep learning), un type d'intelligence informatique qui apprend des modèles en étudiant des milliers d'exemples, tout comme un enfant apprend à reconnaître un chien en voyant de nombreux chiens différents. En apprenant à ces systèmes à comprendre à la fois le mouvement visuel d'un corps et les sons qu'il produit, les chercheurs espèrent créer un filet de sécurité qui surveille toujours, écoute toujours et est toujours prêt à déclencher une alarme.

Une équipe de chercheurs issus d'universités du Pakistan et d'Italie s'est donné pour mission de construire précisément ce type de système, mais avec une nuance particulière : ils voulaient voir si la combinaison de la vue et de l'ouïe permettait de faire mieux que l'un ou l'autre des sens pris isolément. Ils ont commencé par une collection d'enregistrements vidéo montrant des personnes simulant des chutes ainsi que réalisant des activités normales comme marcher ou s'asseoir. Les chercheurs ont traité la vidéo et l'audio comme deux flux d'informations distincts. D'abord, ils ont isolé le son de chaque clip vidéo. Ils ont converti l'audio en un canal unique, puis l'ont décomposé en une carte détaillée de ses fréquences au fil du temps, cherchant les pics d'énergie brusques et soudains qui se produisent lorsqu'un corps frappe le sol. Ils ont utilisé une méthode mathématique pour compresser ces données sonores sous une forme gérable, puis ont appliqué un processus de recherche informatisé pour sélectionner uniquement les caractéristiques sonores les plus utiles, en écartant le bruit. Ces caractéristiques sélectionnées ont été injectées dans un type de cerveau artificiel conçu pour mémoriser des séquences, permettant ainsi de comprendre qu'une chute est un motif sonore spécifique qui se déroule sur quelques secondes, et non un simple bruit isolé.

Simultanément, les chercheurs ont examiné les images vidéo. Ils n'ont pas tenté de reconnaître le visage ou les vêtements de la personne ; ils se sont concentrés entièrement sur la façon dont le corps se déplaçait. Ils ont créé un résumé visuel spécial montrant où le mouvement s'était produit au cours des dernières secondes, mettant en évidence le chemin du mouvement tout en atténuant les parties statiques et plus anciennes de la scène. À partir de cette image en mouvement, ils ont tracé le contour de la personne pour obtenir une forme claire de son mouvement. Tout comme pour le son, ils ont injecté ces motifs visuels dans un modèle informatique d'apprentissage de séquences capable de suivre l'évolution de la forme du mouvement d'un instant à l'autre. Le résultat fut deux experts distincts : l'un capable de bien écouter une chute, et l'autre capable de bien la voir. Le système basé sur le son a correctement identifié les chutes environ 81 % du temps, tandis que le système basé sur la vidéo était encore plus précis, réussissant l'identification dans 92 % des cas.

Le véritable test, cependant, ne résidait pas dans la performance de chaque système pris isolément, mais dans la manière dont ils fonctionnaient ensemble. Les chercheurs ont testé six façons différentes de combiner les décisions des systèmes audio et vidéo. Certaines méthodes étaient simples, comme faire la moyenne des deux scores ou laisser la majorité décider du résultat. Ces approches simples ont donné de faibles résultats, certaines combinaisons faisant chuter la précision jusqu'à 36 %. Cela a montré que le simple mélange des deux signaux ne suffisait pas ; le système avait besoin d'une manière plus intelligente de peser les preuves. Les chercheurs ont ensuite essayé une méthode où un troisième modèle informatique, plus avancé, apprenait à combiner les résultats des experts audio et vidéo. Ce système final, qui agissait comme un superviseur examinant le travail de deux spécialistes, a atteint une précision remarquable de 98 %. Il était capable de repérer la chute même lorsque l'un des sens était incertain, utilisant efficacement la force de la vidéo pour appuyer l'audio, ou la clarté du son pour confirmer le visuel.

L'étude suggère que si les caméras sont puissantes, l'ajout du son crée un filet de sécurité plus fiable. Les chercheurs ont constaté que les chutes produisent des signatures acoustiques distinctes qui sont souvent manquées par les systèmes basés uniquement sur la vision, en particulier si la personne est partiellement cachée ou si l'éclairage est faible. Inversement, le son peut être confondu par le bruit de fond, rendant la confirmation visuelle essentielle. En utilisant une méthode sophistiquée pour fusionner ces deux flux d'informations, l'équipe a démontré qu'une approche multimodale est bien supérieure au recours à un seul sens. Ils ont toutefois noté que leurs résultats provenaient d'un ensemble relativement restreint de chutes simulées dans un environnement contrôlé, et que les conditions réelles avec plusieurs personnes, des niveaux de bruit variables et différents angles de caméra présenteraient de nouveaux défis. Le travail ne prétend pas avoir résolu entièrement le problème de la détection des chutes, mais il constitue une base solide pour de futurs systèmes capables de surveiller les foyers et les établissements de soins avec une plus grande confiance, garantissant que lorsqu'une chute survient, l'aide puisse être appelée immédiatement.