💻 computer science

Learning Language-Driven Sequence-Level Modal-Invariant Representations for Video-Based Visible-Infrared Person Re-Identification

Cet article propose la méthode d'apprentissage de représentations invariantes aux modalités au niveau des séquences guidée par le langage (LSMRL), qui intègre des modules d'apprentissage de caractéristiques spatio-temporelles, de diffusion sémantique et d'interaction cross-modale guidés par des invites linguistiques afin de remédier efficacement aux limitations des approches actuelles de ré-identification de personnes basées sur la vidéo en visible-infrarouge et d'atteindre des performances de pointe.

Auteurs originaux : Xiaomei Yang, Antai Liu, Xizhan Gao, Fa Zhu, Sijie Niu, Giancarlo Fortino

Publié 2026-06-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaomei Yang, Antai Liu, Xizhan Gao, Fa Zhu, Sijie Niu, Giancarlo Fortino

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un agent de sécurité essayant de retrouver une personne spécifique dans une foule immense. Vous disposez de deux ensembles de caméras de surveillance : un ensemble voit le monde en couleurs (comme vos yeux le font pendant la journée), et l'autre voit le monde en signatures thermiques (comme une caméra de vision nocturne qui détecte la chaleur corporelle).

Le défi ? La personne semble complètement différente sur les deux écrans. Sur la caméra couleur, vous voyez une veste bleue et des chaussures rouges. Sur la caméra thermique, vous ne voyez qu'une tache de chaleur incandescente. Votre cerveau a du mal à faire le lien entre « le gars à la veste bleue » et « la tache incandescente ».

Ce document présente un nouveau système d'IA appelé LSMRL conçu pour résoudre exactement ce problème. C'est comme donner à votre agent de sécurité un super-pouvoir : un traducteur universel qui l'aide à comprendre que « l'homme à la veste bleue » et « la tache incandescente » sont en fait la même personne, même lorsque la luminosité change du jour à la nuit.

Voici comment fonctionne le système, décomposé en trois étapes simples utilisant des analogies de la vie quotidienne :

1. La « Montre Intelligente » (Apprentissage de caractéristiques spatio-temporelles)

Le Problème : Les anciens systèmes d'IA étaient comme des photographes prenant un cliché unique. Ils manquaient le mouvement. Si une personne marche, tourne ou fait un signe de la main, une seule photo pourrait manquer l'indice. De plus, tenter d'analyser une vidéo entière nécessite généralement un super-ordinateur, ce qui est lent et coûteux.

La Solution : Les auteurs ont construit un module « Montre Intelligente ». Au lieu de simplement regarder une seule image, il regarde la vidéo comme un film.

Comment ça marche : Il utilise une IA pré-entraînée (appelée CLIP) qui sait déjà reconnaître les gens à partir de millions de photos. Au lieu de reconstruire tout le cerveau, ils ont simplement ajusté les dernières couches.
L'astuce : Ils ont divisé l'attention de l'IA en deux groupes. Un groupe se concentre sur où se trouvent les choses (spatial), et l'autre sur quand elles bougent (temporel).
L'analogie : Imaginez que vous regardez une danse. Une partie de votre cerveau observe la pose du danseur (spatial), tandis que l'autre observe le rythme de ses pas (temporel). Ce module fait les deux simultanément sans nécessiter un ordinateur massif, ce qui le rend rapide et efficace.

2. Le « Traducteur Universel » (Diffusion Sémantique)

Le Problème : Même si l'IA voit le mouvement, le « Type en Couleur » et le « Type en Chaleur » parlent toujours des langues différentes. L'IA ne sait pas naturellement qu'une « personne qui marche » dans une image en couleur est le même concept qu'une « personne qui marche » dans une image thermique.

La Solution : Ils ont introduit un Traducteur de Texte.

Comment ça marche : Le système utilise une consigne textuelle (prompt), comme une phrase qui dit : « Une personne observée dans des conditions de jour et de nuit. »
L'astuce : Cette phrase sert de pont. L'IA injecte le sens de cette phrase dans la vidéo couleur et dans la vidéo thermique.
L'analogie : Imaginez deux personnes parlant des langues différentes (Couleur et Chaleur) essayant de se mettre d'accord sur un plan. Vous faites appel à un traducteur qui parle une « Langue Universelle » (le texte). Le traducteur murmure les mêmes instructions aux deux, les forçant à aligner leur compréhension. Désormais, la caméra couleur et la caméra thermique pensent toutes deux au même concept de « personne ».

3. Le « Rassemblement d'Équipe » (Interaction Cross-Modale)

Le Problème : Même après la traduction, il peut encore y avoir de petits malentendus. La caméra couleur peut se concentrer sur un chapeau, tandis que la caméra thermique se concentre sur le corps. Elles doivent vérifier l'une auprès de l'autre.

La Solution : Ils ont créé un module de « Rassemblement d'Équipe » où les deux caméras communiquent directement entre elles.

Comment ça marche : Le système permet aux caractéristiques de couleur et aux caractéristiques thermiques de s'observer et d'échanger des informations.
L'analogie : Imaginez que la Caméra Couleur et la Caméra Thermique sont deux détectives. Le Détective A (Couleur) dit : « Je vois un chapeau bleu ! ». Le Détective B (Chaleur) dit : « Je vois une tête chaude ! ». Ils comparent leurs notes. Le Détective B réalise : « Ah, cette tête chaude correspond au chapeau bleu ! ». Ils combinent leurs indices pour créer une description unique et parfaite du suspect. Cette étape élimine la confusion et crée une représentation « invariante au mode » — une description de la personne qui fonctionne pour les deux caméras.

Le « Carnet de Notes » (Fonctions de Perte)

Pour s'assurer que l'IA apprend correctement, les chercheurs lui ont donné un système de notation strict (Fonctions de Perte).

Perte d'Identité : « Assurez-vous de savoir qu'il s'agit de la Personne A, et non de la Personne B. »
Perte de Modalité : « Assurez-vous que votre description de la Personne A ressemble à la même chose, que vous utilisiez la caméra couleur ou la caméra thermique. »
Le Résultat : L'IA est punie si elle se trompe de personne ou si elle décrit la même personne différemment sur les deux caméras.

Les Résultats

Les chercheurs ont testé ce système sur de vastes ensembles de données de séquences vidéo contenant des milliers de personnes.

Le Résultat : Leur nouveau système (LSMRL) a battu toutes les méthodes précédentes les plus performantes.
Les Chiffres : Sur un test, il a amélioré la précision de la localisation de la bonne personne de près de 6 % par rapport au système précédent le plus performant. Dans le monde de la sécurité par IA, c'est un bond en avant massif.
Efficacité : Malgré un travail plus complexe, il n'a pas nécessité de super-ordinateur ; il était en fait plus rapide et plus léger que les autres méthodes de haute technologie.

Résumé

En bref, ce document présente une nouvelle façon d'apprendre à l'IA à reconnaître des personnes à travers différents types de caméras (jour vs nuit). Il y parvient en :

Regardant la vidéo comme un film, et non comme une photo.
Utilisant une phrase textuelle pour forcer les deux types de caméras à s'accorder sur ce qu'est une « personne ».
Permettant aux deux types de caméras de discuter entre elles pour corriger les erreurs restantes.

Le résultat est un système de sécurité bien plus performant pour trouver la bonne personne, de jour comme de nuit, sans nécessiter de matériel coûteux.

Résumé Technique : Apprentissage de Représentations Invariantes aux Modalités au Niveau de la Séquence Pilotées par le Langage pour la Ré-identification de Personnes Vidéo-basée sur le Visible et l'Infrarouge

1. Énoncé du Problème

La ré-identification de personnes basée sur la vidéo entre le visible et l'infrarouge (VVI-ReID) vise à faire correspondre les identités de piétons à travers des séquences vidéo visibles (RGB) et infrarouges (IR) sous diverses conditions d'éclairage. Bien qu'efficace pour la surveillance 24h/24 et 7j/7, cette tâche est confrontée à deux défis principaux :

Le fossé modal (The Modality Gap) : Des divergences sémantiques significatives existent entre les données RGB et IR en raison de leurs mécanismes d'imagerie différents (réflectance vs rayonnement thermique), ce qui entrave l'alignement des caractéristiques transmodales.
Modélisation Spatio-Temporelle : Les méthodes existantes peinent à modéliser efficacement les dépendances temporelles dynamiques dans les séquences vidéo tout en maintenant une interaction cross-modale suffisante.

Les approches de pointe actuelles, particulièrement celles exploitant le modèle CLIP (Contrastive Language-Image Pre-training), présentent des limitations spécifiques :

Modélisation Inefficace : Des méthodes comme VLD introduisent des jetons supplémentaires (hubs spatio-temporels) dans l'encodeur de vision, provoquant une augmentation quadratique de la complexité computationnelle.
Interaction Insuffisante : Les architectures à réseau partagé négligent souvent le rôle critique de l'interaction explicite des caractéristiques cross-modales, ce qui résulte en des caractéristiques invariantes aux modalités qui manquent de robustesse.
Absence de Guidage Explicite : Le fait de s'appuyer uniquement sur des pertes au niveau de l'identité ne permet pas d'imposer explicitement la cohérence cross-modale, conduisant à un alignement modal inadéquat.

2. Méthodologie : LSMRL

Les auteurs proposent LSMRL (Language-Driven Sequence-Level Modal-Invariant Representation Learning), un cadre construit sur le modèle CLIP avec des modifications minimales. L'architecture se compose de trois modules complémentaires et d'un système de pertes multiples.

A. Module d'Apprentissage de Caractéristiques Spatio-Temporelles (STFL)

Conçu pour modéliser efficacement les séquences vidéo sans surcharge de calcul excessive, le module STFL décompose l'encodeur de vision CLIP en trois sous-modules :

Encodeur de Vision de Base : Réutilise les 8 premiers blocs Transformer de CLIP pré-entraîné pour extraire des sémantiques spatiales fines (ex: contours, textures) à partir d'images individuelles.
Encodeur Spatial-Temporel Groupé (STG) : Utilise les 4 derniers blocs Transformer mais modifie le mécanisme d'Auto-Attention Multi-Têtes (MHSA). Il divise les têtes d'attention en deux groupes :
- Têtes Temporelles : Permettent l'interaction entre les images en calculant l'attention entre une image $t$ et une image voisine $t + \Delta t$ , capturant ainsi les motifs de mouvement dynamiques.
- Têtes Spatiales : Conservent l'attention intra-image pour affiner les relations spatiales (ex: positions des membres du corps).
- Efficacité : Cette conception réutilise les paramètres pré-entraînés et évite l'introduction de nouveaux jetons, maintenant la complexité computationnelle inchangée.
Encodeur de Décalage de Patch Temporel (TPS) : Ajoute un bloc transformer avec un mécanisme de décalage de patch temporel. Il décale cycliquement les jetons de l'image le long de la dimension temporelle avant d'appliquer l'auto-attention. Cela permet au mécanisme d'attention spatial standard de capturer naturellement des dépendances temporelles à longue portée et des interactions éparses sans augmenter le nombre de paramètres.

B. Module de Diffusion Sémantique (SD)

Pour combler le fossé sémantique entre les modalités RGB et IR, le module SD injecte des sémantiques textuelles partagées par modalité dans les caractéristiques visuelles :

Extraction de Texte : Un prompt apprenable ("Une personne [X]1...[X]m observée dans des conditions de jour et de nuit") est encodé par l'encodeur de texte CLIP gelé pour générer une plongée sémantique textuelle partagée ( $T_e$ ).
Mécanisme de Diffusion : $T_e$ agit comme un vecteur de requête dans un mécanisme d'attention cross-modale contre les matrices de clés et de valeurs dérivées des caractéristiques des séquences RGB et IR. Cela diffuse l'information sémantique partagée dans les deux modalités, générant des représentations préliminaires invariantes aux modalités et établissant une cohérence à gros grain.

C. Module d'Interaction Cross-Modale (CMI)

Pour affiner les représentations et éliminer les écarts modaux résiduels, le module CMI utilise une auto-attention bidirectionnelle cross-modale :

Interaction Bidirectionnelle : Les caractéristiques RGB servent de requêtes pour les caractéristiques IR (et vice versa), permettant à chaque modalité d'absorber les motifs discriminants d'identité de l'autre tout en supprimant le bruit spécifique à la modalité.
Agrégation au Niveau de la Séquence : Le regroupement moyen temporel (Temporal Average Pooling - TAP) est appliqué aux jetons [cls] des caractéristiques interactuées pour produire les représentations finales invariantes aux modalités au niveau de la séquence ( $f^R$ et $f^I$ ).

D. Système de Pertes Multiples

L'objectif d'entraînement combine plusieurs fonctions de perte pour guider l'apprentissage à différentes étapes :

Pertes STFL : La perte d'Identité (ID) et la perte de Triplet Régularisée Pondérée (WRT) sont appliquées aux sorties STG et TPS pour assurer la discriminabilité intra-modale. Une perte de contraste Vidéo-vers-Texte (V2T) aligne les caractéristiques vidéo avec les sémantiques textuelles partagées.
Pertes au Niveau de la Modalité :
- Perte de Discriminativité Modale (MD) : Force la compacité au sein d'une même identité à travers les modalités tout en séparant les différentes identités.
- Perte d'Amélioration Partagée par la Modalité (MSEL) : Minimise explicitement la distance entre les représentations cross-modales d'un même échantillon, garantissant que les caractéristiques apprises sont réellement invariantes aux modalités.

3. Contributions Clés

Cadre Novateur : La proposition de LSMRL, qui exploite l'alignement sémantique de CLIP pour guider l'apprentissage de représentations invariantes aux modalités au niveau de la séquence, répondant aux limites d'efficacité, d'interaction et de guidage par les pertes.
Module STFL Efficace : Une conception efficiente en paramètres qui réutilise les blocs CLIP et introduit les mécanismes STG et TPS pour capturer la dynamique spatio-temporelle sans augmenter la charge de calcul ou le nombre de jetons.
Mécanisme d'Interaction en Deux Étapes : L'intégration de la SD (diffusion sémantique à gros grain) et de la CMI (attention bidirectionnelle à grain fin) pour réduire progressivement le fossé modal RGB/IR.
Guidage par Pertes Explicites : La construction d'un système de pertes multiples incluant les pertes MD et MSEL pour renforcer explicitement la cohérence cross-modale et la généralisation des caractéristiques.

4. Résultats Expérimentaux

Des expériences approfondies ont été menées sur deux jeux de données à grande échelle : HITSZ-VCM et BUPTCampus.

Performance sur HITSZ-VCM : LSMRL a atteint une précision Rank-1 de 75,1 % (I2V) et 75,2 % (V2I), surpassant la méthode SOTA précédente (VLD) de 0,8 % et 0,6 % respectivement en Rank-1, et atteignant les scores mAP les plus élevés (60,9 % et 58,2 %).
Performance sur BUPTCampus : La méthode a démontré une supériorité significative, atteignant 71,1 % en Rank-1 (I2V) et 67,0 % en Rank-1 (V2I). Cela représente une amélioration de 5,8 % en Rank-1 I2V par rapport à VLD et une amélioration de 14,6 % par rapport à la meilleure méthode non-CLIP (UCT).
Efficacité : Malgré les gains de performance, la phase d'inférence de LSMRL nécessite moins de paramètres (88,53M) et moins de FLOPs que d'autres méthodes basées sur CLIP comme TF-CLIP et VLD, grâce à la suppression du module SD et de l'encodeur de texte lors de l'inférence.
Études d'Ablation :
- Le module STFL seul a amélioré le Rank-1 de ~7-8 % par rapport à la ligne de base.
- L'ajout du module SD a apporté le plus grand boost individuel (+13,8 % Rank-1), confirmant l'importance de la diffusion sémantique.
- Le module CMI et les pertes au niveau de la modalité ont encore affiné les performances, validant la nécessité de l'interaction bidirectionnelle et des contraintes de cohérence explicites.
Visualisation : Les visualisations T-SNE et CAM ont confirmé que LSMRL produit des clusters intra-classe plus serrés, un meilleur alignement cross-modal (chevauchement des points RGB/IR) et une attention plus focalisée sur les parties du corps discriminantes par rapport aux lignes de base.

5. Signification et Limites

Signification :
L'article affirme que LSMRL démontre le grand potentiel des modèles de vision-langage pré-entraînés pour améliorer les performances de la VVI-ReID. En intégrant un guidage sémantique piloté par le langage avec une modélisation spatio-temporelle efficace, la méthode atteint une précision et une robustesse supérieures tout en maintenant l'efficacité computationnelle. Elle souligne que le guidage explicite par les pertes au niveau de la modalité et une interaction cross-modale suffisante sont critiques pour apprendre des représentations invariantes aux modalités robustes.

Limites :
Les auteurs reconnaissent deux limitations principales :

Alignement à Gros Grain : La méthode repose sur le backbone à gros grain de CLIP, qui peut avoir des difficultés à aligner efficacement les sémantiques locales et fines.
Information Modale Résiduelle : Les caractéristiques invariantes aux modalités apprises peuvent encore contenir certaines informations spécifiques à la modalité, ce qui pourrait interférer avec la capacité discriminante.

Travaux Futurs :
Les auteurs proposent d'introduire des techniques d'alignement à grain fin et de concevoir des réseaux de découplage de caractéristiques dans des recherches futures afin d'améliorer davantage la capacité discriminante et les performances de la ReID.