💻 computer science

Thermal-Only Crowd Counting with Deployment-Time Privacy Protection

Ce papier propose un cadre de comptage de foule basé uniquement sur l'imagerie thermique et préservant la vie privée, qui exploite des modèles de diffusion de profondeur vers RVB pour extraire des caractéristiques discriminantes, atteignant des performances compétitives par rapport aux méthodes de fusion RVB-Thermique tout en éliminant le besoin de capture continue d'images RVB lors de l'inférence.

Auteurs originaux : Yifei Qian, Zhongliang Guo, Chun Tong Lei, Bowen Deng, Chun Pong Lau, Xiaopeng Hong, Michael P. Pound

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifei Qian, Zhongliang Guo, Chun Tong Lei, Bowen Deng, Chun Pong Lau, Xiaopeng Hong, Michael P. Pound

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Compter les Personnes Sans Se Faire Attraper

Imaginez que vous essayez de compter combien de personnes se trouvent dans un parc bondé. Habituellement, les caméras de sécurité utilisent des caméras RVB (le type qui prend des photos couleur normales, comme votre téléphone). Mais il y a deux gros problèmes avec cela :

La Vie Privée : Si vous prenez une photo couleur, vous pouvez voir les visages, les vêtements et les identités des gens. Dans les espaces publics, les gens ne veulent pas toujours être filmés en haute définition.
Le Problème de « Désalignement » : Certains systèmes tentent d'utiliser deux caméras simultanément : une couleur (RVB) et une thermique (détection de chaleur). Ils espèrent combiner le meilleur des deux mondes. Cependant, les deux caméras sont rarement parfaitement alignées. C'est comme essayer de assembler deux cartes de la même ville où l'une est légèrement décalée vers la gauche et l'autre est inclinée. Ce « désalignement » rend l'ordinateur confus et moins précis.

La Solution : Le Détective « Uniquement Thermique »

Les auteurs de ce document, TDCount, proposent une nouvelle façon astucieuse de compter les personnes. Ils disent : « Oublions complètement la caméra couleur pendant le comptage réel. »

Au lieu de cela, ils utilisent une caméra thermique (qui voit les signatures thermiques, comme un contour fantomatique d'une personne) comme seule entrée lorsque le système fonctionne. Cela résout le problème de la vie privée car les images thermiques ressemblent à des taches lumineuses ; on ne peut pas reconnaître les visages ni les personnes spécifiques.

Comment Cela Fonctionne : Le « Traducteur Fantôme »

Les images thermiques sont délicates. Une personne ressemble à une tache de chaleur, mais un moteur de voiture chaud ou un banc tiède aussi. Il est difficile pour un ordinateur de les distinguer simplement en regardant la chaleur.

Pour résoudre cela, les auteurs utilisent un Traducteur Numérique (un type d'IA appelé Modèle de Diffusion). Voici l'analogie :

L'Entrée : Le système prend l'image thermique « tachetée ».
Le Pont : Il devine d'abord à quoi ressemble la « profondeur » (la distance des objets) basée sur la chaleur.
Le Traducteur : Il alimente cette carte de profondeur dans une IA pré-entraînée qui sait comment transformer un « croquis de profondeur » en « photo couleur ».
- Pensez-y ainsi : Imaginez que vous avez un croquis au crayon grossier d'une foule. Vous alimentez ce croquis dans un artiste magique qui sait comment peindre une scène de foule réaliste.
L'Ingrédient Secret : Le système ne vous montre pas réellement la photo couleur peinte. Il utilise uniquement la « compréhension mathématique » que l'artiste a acquise en peignant pour aider la caméra thermique à mieux comprendre la foule.

En utilisant ce « traducteur », la caméra thermique apprend à distinguer une personne d'une voiture chaude, même si elle ne voit jamais réellement la photo couleur.

L'Astuce « En Une Étape »

Habituellement, ces traducteurs d'IA prennent de nombreuses étapes pour affiner une image (comme esquisser, puis ombrer, puis colorier). Les auteurs ont découvert quelque chose de surprenant : La première étape est en fait la meilleure.

L'Analogie : Imaginez que vous essayez de deviner la forme d'un objet caché en le touchant.
- Étape 1 : Vous sentez le contour général. C'est grossier, mais cela vous dit exactement où se trouve l'objet.
- Étape 2 et 3 : Vous commencez à essayer de deviner la texture et la couleur. En faisant cela, vous pourriez commencer à « halluciner » des détails qui ne sont pas là, ou vous pourriez vous laisser distraire par la texture et perdre la trace de la forme.
Le Résultat : Les auteurs ont constaté que s'arrêter après la tout première étape donnait le comptage le plus précis. Attendre que l'IA « affine » l'image rendait en fait le comptage pire car cela introduisait des erreurs.

Les Résultats : Mieux Que l'Équipe à Deux Caméras

L'équipe a testé leur système « Uniquement Thermique » sur deux célèbres ensembles de données (RGBT-CC et DroneRGBT).

La Compétition : Ils ont comparé leur système aux meilleures méthodes existantes utilisant à la fois des caméras couleur et thermiques.
Le Résultat : Leur système uniquement thermique a fonctionné aussi bien, et parfois mieux, que les systèmes utilisant deux caméras.
La Victoire : Ils ont atteint une grande précision sans jamais capturer une seule photo couleur du visage d'une personne pendant le processus de comptage réel.

Pourquoi Cela Compte (Selon le Document)

Le document souligne qu'il s'agit d'une approche priorisant la vie privée.

Entraînement vs Déploiement : Ils ont utilisé des photos couleur une seule fois pour enseigner à l'IA du « Traducteur » comment comprendre les foules. Mais une fois l'IA entraînée, le système est déployé dans le monde réel en utilisant uniquement des caméras thermiques.
Pas de Surveillance Continue : Dans la surveillance réelle, le plus grand risque pour la vie privée est que la caméra enregistre constamment des vidéos haute définition des visages des gens. Ce système élimine ce risque entièrement en n'enregistrant jamais de vidéo couleur sur le terrain.

Résumé

Le document présente TDCount, un système qui compte les foules en utilisant uniquement des signatures thermiques. Il utilise une astuce d'IA ingénieuse pour « imaginer » à quoi ressemble la scène en couleur afin d'aider la caméra thermique à mieux comprendre la scène, mais il n'enregistre ni ne stocke jamais d'images couleur. Cela le rend très précis tout en protégeant la vie privée des gens, résolvant le problème des caméras « désalignées » et prouvant qu'il n'est pas nécessaire d'avoir un objectif couleur pour compter une foule efficacement.

Résumé technique : Comptage de foule en infrarouge thermique uniquement avec protection de la vie privée au moment du déploiement

Énoncé du problème
Le comptage de foule est essentiel pour la sécurité publique et la planification urbaine, mais il fait face à des défis majeurs liés aux conditions d'éclairage défavorables et à la préservation de la vie privée. Bien que les méthodes de fusion RGB-Thermique (RGB-T) aient amélioré la robustesse par rapport aux approches monocanales RGB, elles souffrent de deux limitations critiques. Premièrement, elles reposent sur une capture RGB continue lors du déploiement, ce qui soulève de graves préoccupations en matière de vie privée en enregistrant des caractéristiques identifiables (par exemple, des visages) dans des espaces publics. Deuxièmement, les stratégies de fusion existantes supposent implicitement un alignement parfait entre les capteurs RGB et thermiques ; en pratique, les désalignements spatiaux et temporels dus au placement des capteurs et au moment de l'acquisition dégradent les performances de fusion. Les tentatives actuelles pour résoudre les problèmes d'alignement n'apportent que des gains incrémentaux, suggérant que contourner entièrement le besoin de données RGB pourrait être une voie plus abordable.

Méthodologie : TDCount
Les auteurs proposent TDCount, le premier cadre conçu pour l'inférence en infrarouge thermique uniquement dans les scénarios de comptage de foule RGB-T. La méthode élimine la dépendance au RGB au moment de l'inférence tout en exploitant des a priori intermodaux appris lors d'une phase d'entraînement contrôlée. Les composants principaux sont :

Pont de diffusion Depth-to-RGB : Pour résoudre l'ambiguïté inhérente des signatures thermiques (par exemple, la difficulté de distinguer les humains d'autres sources de chaleur), le cadre utilise un Modèle de Cohérence Latente (LCM) préentraîné, adapté via ControlNet. Un modèle d'estimation de profondeur génère une carte de profondeur ( $D_T$ ) à partir de l'image thermique d'entrée ( $T$ ). Cette carte de profondeur conditionne le ControlNet pour extraire des caractéristiques discriminatives ( $F_{TD}$ ) qui font le pont entre le domaine thermique et la richesse sémantique des données RGB sans nécessiter d'entrée RGB réelle.
Entrée latente déterministe : Contrairement aux modèles de diffusion standard qui échantillonnent le bruit de manière stochastique, TDCount fixe le latent bruité initial ( $z_T$ ) comme une constante partagée sur toutes les itérations d'entraînement et d'inférence. Cela garantit que le processus d'extraction de caractéristiques est entièrement déterministe et reproductible, empêchant le problème de la « plusieurs-à-un » où des entrées identiques produisent des caractéristiques incohérentes, ce qui rendrait autrement le paysage de perte de régression pathologique.
Stratégie de débruitage en une seule étape : Les auteurs examinent le nombre d'étapes de débruitage nécessaire pour l'extraction de caractéristiques. Ils démontrent que le débruitage LCM en une seule étape produit des caractéristiques les plus fidèles au contenu structurel du signal de conditionnement de profondeur. Le débruitage multi-étapes découple progressivement les caractéristiques de l'entrée de conditionnement, privilégiant le raffinement perceptuel par rapport à la fidélité structurelle et accumulant des erreurs qui dégradent la précision du comptage.
Perte d'alignement de prototypes ( $L_{PA}$ ) : Pour aligner les caractéristiques thermiques hétérogènes ( $F_T$ ) avec l'espace sémantique dérivé de la diffusion ( $F_{TD}$ ), le cadre introduit une perte d'alignement de prototypes guidée par le texte. Cette perte aligne les caractéristiques thermiques avec des prototypes de comptage textuels encodés par CLIP (par exemple, « Il y a $c$ personnes dans la zone »), facilitant l'intégration efficace des deux flux de caractéristiques.

Contributions clés

Cadre centré sur la vie privée : TDCount est le premier cadre permettant une inférence en infrarouge thermique uniquement dans le comptage de foule RGB-T, éliminant le vecteur d'exposition principal à la vie privée (capture RGB continue) dans les déploiements de surveillance réels.
Apprentissage de caractéristiques basé sur LCM : L'article introduit un cadre d'apprentissage de caractéristiques basé sur LCM et révèle une découverte contre-intuitive : l'étape initiale de débruitage en une seule étape fournit des caractéristiques plus discriminatives pour le comptage que les approches multi-étapes, qui accumulent des erreurs structurelles.
Performances compétitives sans RGB : La méthode atteint des performances compétitives par rapport aux méthodes bimodales de l'état de l'art en utilisant uniquement une entrée thermique lors de l'inférence, remettant en question l'hypothèse selon laquelle les données RGB sont indispensables pour un comptage de foule de haute précision.

Résultats expérimentaux
Le cadre a été évalué sur deux ensembles de données largement utilisés : RGBT-CC et DroneRGBT.

Performances : Sur l'ensemble de données RGBT-CC, TDCount a surpassé les méthodes RGB-T précédentes, améliorant GAME(0) de 0,85 et RMSE de 1,02 par rapport à la ligne de base MC3Net. Sur l'ensemble de données DroneRGBT, il a établi de nouvelles performances de l'état de l'art sur toutes les métriques, réduisant GAME(0) de 0,26 et RMSE de 0,39 par rapport à la meilleure méthode précédente (RGBT-Booster).
Études d'ablation :
- Traitement de la profondeur : Le remplacement de l'approche thermique uniquement de base par un traitement de profondeur basé sur ControlNet a considérablement réduit les erreurs (GAME(0) est passé de 17,05 à 10,62), confirmant la valeur des a priori dérivés de la diffusion.
- Entrée déterministe : L'utilisation d'une entrée latente stochastique a empêché le modèle de converger (GAME(0) > 50), validant la nécessité de la conception de latent fixe.
- Étapes de débruitage : Les performances se sont dégradées de manière monotone à mesure que le nombre d'étapes de débruitage augmentait de 1 à 4, confirmant que l'extraction en une seule étape est optimale.
- Alignement de prototypes : La $L_{PA}$ proposée a surpassé la perte d'entropie croisée standard, réduisant davantage le RMSE de 25,01 à 19,57.

Importance et revendications
Les auteurs affirment que TDCount démontre qu'une seule modalité bien exploitée (thermique) peut égaler des systèmes bimodaux complexes grâce à une utilisation efficace des caractéristiques, évitant ainsi les défis d'alignement et les risques pour la vie privée inhérents à la fusion RGB-T.

Crucialement, l'article aborde les préoccupations en matière de vie privée concernant l'utilisation de données RGB pendant la phase d'entraînement. Les auteurs soutiennent que le ControlNet affiné ne constitue pas un canal de fuite de vie privée car :

Limites architecturales : L'encodeur VAE dans Stable Diffusion (sous-échantillonnage 8x) compresse les caractéristiques d'identité fines (comme les visages dans des prises de vue de foule lointaines) en jetons latents, les rendant irrécupérables.
Conditions de mémorisation : Les modèles de diffusion mémorisent généralement les données d'entraînement uniquement lorsque les échantillons sont fortement dupliqués ; les ensembles de données de comptage de foule comportent des individus uniques, et l'entraînement utilise un indicateur générique (« une photo d'une foule de personnes »), empêchant un conditionnement spécifique à l'identité.

Ainsi, le cadre sépare avec succès le besoin de données RGB (utilisées une fois hors ligne pour apprendre des a priori intermodaux) de la phase de déploiement (où seules des données thermiques sont capturées), réduisant considérablement l'exposition à la vie privée dans la surveillance publique.