Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

Dans le bourdonnement discret d'un réseau de surveillance urbaine, les caméras surveillent constamment, capturant le flux de personnes jour et nuit. Pendant des décennies, les systèmes de sécurité se sont appuyés sur des caméras à lumière visible, le même type qui capture des photographies en couleur, pour identifier les individus par leurs vêtements et leurs traits. Mais quand le soleil se couche et que la lumière faiblit, ces caméras peinent ; les couleurs s'estompent, et les textures se fondent dans des ombres indistinctes. Pour résoudre cela, les équipes de sécurité associent de plus en plus les caméras visibles à des capteurs infrarouges, qui voient la chaleur émanant du corps d'une personne plutôt que la lumière réfléchie par ses vêtements. Cela crée un nouveau défi : comment un ordinateur peut-il reconnaître qu'une personne vue dans une vidéo infrarouge granuleuse, basée sur la chaleur, est la même personne vue dans une vidéo couleur claire provenant d'une caméra différente ? Cette tâche, connue sous le nom de ré-identification de personnes visible-infrarouge, exige qu'un système parvienne à ignorer les différences massives dans la manière dont les deux caméras perçoivent le monde pour se concentrer plutôt sur l'identité unique de la personne traversant le cadre.

La difficulté s'accentue lorsque le sujet est en mouvement. Une personne est rarement une image statique ; elle est une séquence de mouvements, une démarche qui change à chaque pas. Les systèmes informatiques existants tentent souvent de résoudre ce problème en observant la personne dans sa globalité ou en découpant l'image en bandes rigides et fixes, comme si l'on tranchait un pain de mie. Cependant, les gens ne marchent pas en ligne droite ; ils se tordent, tournent et se penchent. Une tranche rigide pourrait capturer la tête d'une personne dans une image et son épaule dans la suivante, brisant la continuité de l'identité. De plus, la façon dont une personne apparaît dans l'obscurité est fondamentalement différente de la façon dont elle apparaît à la lumière, ce qui rend difficile pour un ordinateur d'associer la même partie du corps à travers ces deux vues différentes. Des chercheurs de l'Université de Changzhou ont proposé une nouvelle approche à ce problème, une approche qui abandonne le découpage rigide au profit d'une méthode plus fluide et adaptative qui apprend à suivre des régions corporelles spécifiques à mesure qu'elles bougent et changent.

Les chercheurs ont développé un système qu'ils appellent VM-SPMamba, qui fonctionne en comprenant d'abord l'ensemble de la scène, puis en se concentrant sur des parties spécifiques et flexibles de la personne. Au lieu de forcer l'ordinateur à regarder des bandes horizontales fixes de l'image, le système apprend à identifier des « parties souples ». Imaginez un ordinateur capable de décider, de lui-même, où se situent la tête, le torse et les jambes d'une personne dans chaque image, même si la personne est penchée ou si l'angle de la caméra change. Le système y parvient en utilisant une vue globale de la personne pour guider son attention, lui permettant de regrouper les pixels en régions significatives qui s'adaptent à la posture de la personne. Cela signifie que si une personne lève le bras, le système ajuste les limites de la région du « bras » pour suivre le mouvement, plutôt que de rester fixé sur une boîte préétablie qui pourrait couper le bras en deux.

Une fois ces régions flexibles identifiées, le système traite chacune d'entre elles comme une histoire indépendante. Il suit la région de la « tête » à travers tous les cadres de la vidéo, puis il suit la région du « torse » à travers les mêmes cadres, et ainsi de suite. En séparant la vidéo en ces flux de mouvement distincts, le système peut apprendre comment chaque partie spécifique du corps évolue au fil du temps. Ceci est crucial car la façon dont une tête bouge est différente de la façon dont une jambe bouge, et ces différences sont essentielles pour identifier une personne. Les chercheurs ont découvert qu'en modélisant ces parties séparément et en combinant ensuite leurs histoires, le système devient bien meilleur pour ignorer les différences déroutantes entre les caméras infrarouges et visibles. Il apprend qu'un motif de mouvement spécifique dans la vue infrarouge correspond au même motif dans la vue visible, même si les couleurs et les textures sont totalement différentes.

Pour enseigner cette compétence au système, les chercheurs ont utilisé une méthode d'entraînement puissante qui implique une composante de « langage ». Ils n'ont pas seulement nourri le système d'images, mais aussi de descriptions textuelles d'identités, permettant à l'ordinateur de lier les motifs visuels du mouvement d'une personne à un concept sémantique de qui est cette personne. Cela agit comme un pont, aidant le système à comprendre que la signature thermique d'une personne qui marche est la même identité que son image en couleur, même si elles ne se ressemblent pas du tout. Le système a été testé sur deux grands ensembles de données contenant des centaines de milliers d'images issues de scénarios de surveillance réels. Dans le test infrarouge-vers-visible, où le système tente de trouver une personne dans une vidéo en couleur après l'avoir vue dans une vidéo thermique, la nouvelle méthode a atteint un taux de réussite de 72,3 pour cent. Dans la direction inverse, elle a atteint 72,4 pour cent. Ces chiffres représentent un bond en avant significatif, dépassant les meilleurs résultats précédents de plus de dix points de pourcentage sur certaines mesures.

Les chercheurs ont également testé leur système sur un ensemble de données beaucoup plus vaste et complexe comprenant plus de trois mille personnes différentes et des séquences vidéo plus longues. Bien que le système n'ait pas obtenu le score absolu le plus élevé sur chaque mesure individuelle dans ce test plus difficile, il est resté très compétitif, identifiant correctement la bonne personne comme la correspondance principale dans près de 70 pour cent des cas infrarouge-vers-visible et 70 pour cent des cas visible-vers-infrarouge. Cela suggère que la méthode est suffisamment robuste pour gérer la nature désordonnée et imprévisible de la surveillance réelle, où les gens marchent dans des foules, changent de direction et apparaissent dans des conditions d'éclairage variables. L'étude a explicitement montré que les anciennes méthodes, qui reposent sur des tranches d'image fixes et immuables, performent moins bien lorsque les gens bougent ou que les angles de caméra changent. En prouvant que les parties flexibles et adaptatives sont supérieures aux parties rigides, cette recherche offre une voie plus claire pour construire des systèmes de surveillance capables de fonctionner de manière fiable, de jour comme de nuit.

Le succès de cette approche réside dans sa capacité à imiter la façon dont les humains pourraient intuitivement suivre une personne : en se concentrant sur le flux de ses parties corporelles plutôt que sur un instantané statique. Le système n'a pas besoin qu'on lui dise où se trouvent la tête ou les jambes ; il apprend à les trouver en observant comment les pixels se déplacent ensemble. Cette adaptabilité lui permet de gérer les distorsions causées par la marche, les rotations et les différentes manières dont les caméras capturent le monde. Bien que le système actuel repose encore sur des données étiquetées pour apprendre ces modèles et utilise un nombre fixe de parties du corps, les résultats démontrent que s'éloigner des structures rigides pour aller vers des représentations fluides et conscientes du contenu est une stratégie puissante. Alors que les réseaux de surveillance continuent de s'étendre et de compter de plus en plus sur la technologie infrarouge pour la sécurité nocturne, des méthodes comme celle-ci fournissent les outils nécessaires pour garantir que la bonne personne soit identifiée, quel que soit le moment de la journée ou la caméra qui capture la scène.