SSRNet: Robust Facial Expression Representation Learning Using Structure Prior and Self-Supervised Regularization
Le papier propose SSRNet, un cadre de reconnaissance des expressions faciales robuste qui combine un module d'amélioration de caractéristiques guidé par un a priori de structure avec un apprentissage contrastif auto-supervisé pour traiter efficacement les défis du monde réel tels que le bruit et l'occlusion, atteignant des performances de pointe sur les ensembles de données FER2013 et RAF-DB.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans les recoins tranquilles de la vision par ordinateur, un défi spécifique empêche depuis longtemps les machines de véritablement comprendre l'émotion humaine : le désordre de la vie réelle. Si les ordinateurs peuvent facilement reconnaître un visage sur une photo de studio parfaitement éclairée, ils trébuchent souvent lorsque ce même visage est tourné de côté, partiellement caché par une main, ou éclairé par une lumière crue et inégale. Cette difficulté est accentuée par les données utilisées pour enseigner à ces systèmes. Les images qui entraînent l'intelligence artificielle sont souvent étiquetées par des humains, et les humains font des erreurs. Ils peuvent être en désaccord pour savoir si une grimace est de la colère ou du dégoût, ou ils peuvent étiqueter une photo de manière totalement erronée. Lorsqu'un ordinateur apprend de ces instructions imparfaites, il a tendance à mémoriser les erreurs plutôt que la vérité, menant à des modèles fragiles et peu fiables en dehors du laboratoire. L'objectif de la reconnaissance des expressions faciales n'est pas seulement d'identifier un sourire ou une moue, mais de construire un système capable de voir les changements subtils et fugaces des mouvements musculaires qui définissent nos sentiments, même lorsque l'image est bruitée et que les étiquettes sont fausses.
Pour s'attaquer à ce problème, la chercheuse Jing Li et son équipe de l'Université des sciences et technologies de Kunming ont développé une nouvelle approche appelée SSRNet. Au lieu de tenter de forcer un ordinateur à tout apprendre à partir de zéro, ils ont construit un système qui combine deux stratégies distinctes : une qui enseigne à la machine à regarder les bonnes parties du visage, et une autre qui lui enseigne à faire confiance aux motifs visuels qu'elle voit, même lorsque les étiquettes sont confuses. L'équipe a commencé avec une structure de vision par ordinateur standard et fiable, puis a ajouté une couche de guidage basée sur l'anatomie humaine. Ils savaient que certaines zones du visage — les yeux, les sourcils, le nez et la bouche — sont les endroits où les émotions s'écrivent le plus clairement. Ainsi, ils ont créé un module qui met explicitement en évidence ces régions, disant au réseau de prêter une attention particulière aux zones de peau spécifiques où une moue se forme ou un sourire se propage. Il ne s'agit pas d'une carte complexe et changeante ; c'est un guide fixe qui garantit que le système ne perd jamais de vue les traits les plus expressifs, peu importe la position du visage ou la distraction de l'arrière-plan.
Cependant, se concentrer sur les bons endroits n'est que la moitié de la bataille. Les chercheurs devaient également s'assurer que le système puisse gérer la confusion causée par des étiquettes incorrectes. Pour ce faire, ils ont introduit une branche de régularisation auto-supervisée. Imaginez un étudiant qui étudie pour un examen mais qui possède un manuel rempli de fautes de frappe. Si l'étudiant ne fait que lire les réponses à la fin du livre, il apprendra les erreurs. Mais s'il s'entraîne également en comparant différentes images d'un même concept pour voir ce qui reste identique, il peut apprendre la vérité sous-jacente indépendamment des fautes de frappe. De la même manière, cette partie du système examine différentes versions du même visage et apprend à reconnaître qu'il s'agit de la même personne exprimant le même sentiment, même si l'étiquette attachée à l'image est erronée. En forçant l'ordinateur à trouver une cohérence au sein des images elles-mêmes, le système devient moins dépendant des étiquettes humaines potentiellement défaillantes et plus concentré sur l'évidence visuelle réelle.
Les résultats de cette double approche ont été testés sur deux grands ensembles de données du monde réel, connus pour leur complexité et leur bruit. Sur l'ensemble de données FER2013, qui contient des milliers d'images prises dans des environnements non contrôlés, le nouveau système a atteint une précision de 72,51 pour cent. Sur l'ensemble de données RAF-DB, une autre collection d'images provenant d'Internet avec des éclairages et des angles divers, il a atteint 85,09 pour cent. Ces chiffres sont plus élevés que ceux atteints par plusieurs autres méthodes de pointe, suggérant que la combinaison du guidage anatomique et de l'auto-correction fonctionne bien. Les chercheurs ont également testé la résistance du système lorsqu'ils ajoutaient intentionnellement plus d'erreurs aux données d'entraînement. Même lorsque 40 pour cent des étiquettes étaient fausses, le nouveau système conservait un avantage net sur les modèles plus anciens, prouvant qu'il avait appris à ignorer le bruit pour se concentrer sur le signal.
Lorsque l'équipe a visualisé la façon dont l'ordinateur voyait le monde, la différence était frappante. Les modèles plus anciens avaient tendance à regrouper les différentes émotions dans un nuage confus, peinant à distinguer la peur de la surprise ou la tristesse de la neutralité. Le nouveau système, en revanche, organisait ces émotions en grappes distinctes et serrées. Il a appris à séparer les variations subtiles qui définissent un sentiment spécifique, créant des frontières claires entre eux. Cela suggère qu'en apprenant à l'ordinateur à regarder aux bons endroits et à vérifier ses propres observations, le système peut construire une compréhension plus stable et plus précise de l'émotion humaine. Ce travail ne prétend pas avoir résolu tous les problèmes ; le système repose toujours sur des cartes préfinies du visage, qui pourraient éprouver des difficultés si une personne est sévèrement occultée ou tournée selon un angle extrême. Pourtant, il offre une voie prometteuse pour construire des machines capables de lire nos visages avec la même résilience et la même nuance que nous utilisons pour nous lire les uns les autres, même dans la lumière imparfaite du monde réel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.