ForensicNet: Lightweight Attention-Enhanced MobileNetV2 for Automated Face Identification

Imaginez que vous êtes un détective essayant de résoudre un mystère, mais au lieu d'une loupe, vous avez un appareil photo. Dans le monde de l'informatique, il existe un domaine appelé « forensique » où les machines tentent d'identifier des personnes à partir de photos, tout comme un détective humain le ferait. Mais voici le hic : les scènes de crime de la vie réelle ne sont pas comme dans les films. Les photos sont souvent floues, l'éclairage est terrible, les gens portent des masques ou regardent ailleurs. Cela rend la tâche incroyablement difficile pour les ordinateurs lorsqu'il s'agit de dire : « Oui, c'est le suspect ! »

Pour aider les ordinateurs à s'améliorer, les scientifiques utilisent ce qu'on appelle le « Deep Learning » (apprentissage profond). Considérez cela comme un cerveau numérique composé de couches, comme un gigantesque sandwich multicouche. Les couches inférieures apprennent des choses simples comme les bords et les courbes, tandis que les couches supérieures apprenment des choses complexes comme « c'est un nez » ou « c'est un sourire ». Cependant, ces cerveaux numériques peuvent être très lourds et lents, comme un énorme camion essayant de circuler dans une ruelle étroite. Pour corriger cela, les chercheurs utilisent des modèles « Lightweight » (légers), qui sont comme des voitures de sport élégantes et rapides capables de zigzaguer dans des espaces restreints sans perdre de vitesse. Ils utilisent également l'« Attention », qui est comme donner à l'ordinateur une paire de lunettes l'aidant à se concentrer uniquement sur les parties importantes du visage (comme les yeux) et à ignorer l'arrière-plan désordonné (comme une foule ou un arbre).

Ce document présente un nouvel outil de détective super efficace appelé ForensicNet. Les chercheurs voulaient construire un système assez rapide pour fonctionner sur de petits appareils (comme une caméra de surveillance) mais assez intelligent pour gérer les photos désordonnées et difficiles rencontrées dans les cas forensiques réels. Ils ont combiné un moteur léger (MobileNetV2) avec un mécanisme de focalisation spécial (CBAM) et une méthode d'entraînement ingénieuse. Leur objectif était de voir s'ils pouvaient créer un ordinateur qui soit à la fois rapide et précis, même lorsque les photos sont de mauvaise qualité.

Les nouvelles lunettes du détective

Les auteurs de ce document, Savitha N. J. et Lata B. T., ont créé ForensicNet pour résoudre un problème spécifique : les modèles de vision par ordinateur standards échouent souvent lorsque les photos sont prises « dans la nature » (in the wild). Dans un laboratoire parfait, un ordinateur peut reconnaître un visage facilement, mais dans une vidéo de surveillance réelle, la personne peut courir, la lumière peut être faible ou son visage peut être partiellement couvert. Le document suggère que, bien que des modèles puissants et lourds existent, ils sont trop lents pour une utilisation en temps réel dans des endroits comme les points de contrôle de sécurité.

Pour remédier à cela, l'équipe a construit un système « léger ». Imaginez que vous essayiez de reconnaître un ami dans une pièce bondée et brumeuse. Un modèle informatique lourd essaierait d'analyser chaque personne dans la pièce, chaque meuble et la couleur de la brume, ce qui prendrait un temps infini. ForensicNet est différent. Il utilise une structure (backbone) MobileNetV2, qui est comme un scanner super rapide et efficace qui ne regarde que les formes essentielles. Mais pour le rendre encore meilleur, ils ont ajouté le CBAM (Convolutional Block Attention Modules). Vous pouvez considérer le CBAM comme une paire de lunettes magiques qui disent à l'ordinateur : « Ignore le bruit de fond et les ombres ; concentre-toi strictement sur les yeux et la bouche. » Cela aide l'ordinateur à ignorer les distractions et à se focaliser sur les traits qui identifient réellement une personne.

La danse de l'entraînement en deux étapes

L'un des plus grands défis abordés par le document est qu'il n'y a pas assez de photos « étiquetées » de criminels dans le monde réel pour enseigner à l'ordinateur. Pour résoudre cela, les chercheurs ont utilisé une stratégie appelée Transfer Learning (apprentissage par transfert), mais avec une variante qu'ils appellent une « Stratégie de transfert en deux phases avec dégel adaptatif des couches » (Two-Phase Transfer Learning Strategy with Adaptive Layer Unfreezing).

Voici comment cela fonctionne, en utilisant une analogie simple : Imaginez que vous enseignez à un étudiant qui sait déjà lire (le modèle pré-entraîné) comment lire un dialecte spécifique et difficile (les données forensiques).

1. Phase 1 : Vous dites à l'étudiant : « Ne change pas encore ta façon de lire les mots de base. Apprends juste le nouveau vocabulaire à la fin de la phrase. » Dans le langage informatique, cela signifie de garder les premières couches du cerveau « gelées » (verrouillées) afin qu'il se souvienne des formes générales, tout en entraîant uniquement les nouvelles parties d'« attention » et la partie de prise de décision finale.
2. Phase 2 : Une fois que l'étudiant comprend le nouveau vocabulaire, vous dites : « D'accord, maintenant affinons ta façon de lire toute la phrase. » L'ordinateur « dégèle » lentement les couches plus profondes, lui permettant d'ajuster sa compréhension des caractéristiques complexes spécifiquement pour les photos forensiques.

Cette méthode aide le modèle à apprendre rapidement sans être confus ou faire du « surapprentissage » (overfitting) (ce qui revient à mémoriser tellement bien le test d'entraînement que vous échouez au test réel parce que vous ne savez pas gérer une question légèrement différente).

Les résultats : Rapide et Précis

Les chercheurs ont testé ForensicNet à l'aide d'un ensemble de données de 15 000 images faciales représentant 68 personnes différentes. Ils se sont assurés d'inclure des photos avec différentes poses, éclairages et même certaines qui étaient partiellement bloquées (occlus) pour imiter les conditions forensiques réelles.

Lorsqu'ils ont comparé leur nouveau modèle aux anciens modèles plus lourds comme AlexNet, ResNet-50 et le MobileNetV2 standard, ForensicNet est arrivé en tête.

• Précision (Accuracy) : ForensicNet a atteint une précision de 92,4 %. Cela signifie qu'il a correctement identifié la personne sur la photo près de 93 fois sur 100.
• Précision (Precision) : Il avait une précision de 90,8 %, ce qui signifie que lorsqu'il disait « C'est le suspect », il avait généralement raison.
• Rappel (Recall) : Il avait un rappel de 89,5 %, ce qui signifie qu'il a trouvé le suspect dans presque 9 cas sur 10 où le suspect était réellement présent.

Le plus important encore, le document souligne que ForensicNet est incroyablement efficace. Il nécessite seulement 2,1 GFLOPs (Giga Floating-point Operations) par inférence. Pour donner une idée, l'ancien modèle ResNet-50 nécessitait 3,8 GFLOPs. Cela signifie que ForensicNet est non seulement plus précis, mais aussi nettement plus rapide et plus léger, ce qui le rend adapté à une utilisation en temps réel sur des appareils qui ne disposent pas de supercalculateurs massifs.

Ce que le modèle voit

Pour prouver que le modèle ne faisait pas que deviner, les auteurs ont utilisé un outil appelé Grad-CAM. Cela crée une « carte de chaleur » (heat map) sur la photo, montrant exactement quelles parties de l'image l'ordinateur regardait. Le document montre que ForensicNet s'est correctement concentré sur les traits du visage (comme les yeux et le nez) et a ignoré l'arrière-plan, même lorsque les photos étaient floues ou mal éclairées. Cela confirme que le mécanisme d'« attention » fonctionne réellement comme prévu.

L'essentiel

Le document conclut que ForensicNet est une étape réussie vers l'identification faciale automatisée dans les contextes forensiques. Il suggère qu'en combinant un moteur léger avec des mécanismes d'attention intelligents et un processus d'entraînement rigoureux en deux étapes, nous pouvons construire des systèmes qui sont à la fois assez rapides et assez précis pour le monde réel de la surveillance.

Cependant, les auteurs sont prudents quant aux limites de leurs travaux. Ils admettent que leurs tests ont été effectués sur des ensembles de données publics et organisés. Ils suggèrent que, bien que les résultats soient prometteurs, le modèle pourrait encore éprouver des difficultés dans des scénarios réels extrêmes, tels qu'un flou de mouvement sévère, des angles extrêmes ou un éclairage très faible dépassant ce qu'ils ont testé. Ils proposent que les travaux futurs porteront sur l'utilisation de technologies encore plus récentes, comme les Transformers, et des tests sur des ensembles de données encore plus vastes et diversifiés.

En bref, ForensicNet est un détective léger et astucieux qui apprend à ignorer le bruit pour se concentrer sur la vérité, offrant une manière plus rapide et plus efficace d'identifier les visages dans le monde désordonné et imprévisible de la surveillance forensique.