LG-GER: Language-Guided Group Emotion Recognition via Multimodal Evidence Distillation

Les êtres humains sont remarquablement doués pour lire la température émotionnelle d'une foule. Nous ne nous contentons pas de compter les visages souriants ; nous pesons la tension d'un poing levé, l'affaissement d'une épaule, le contexte d'une célébration ou d'une manifestation, et la façon dont les gens se tiennent les uns par rapport aux autres. Un seul indice visuel, comme un bouquet de fleurs, peut signaler la joie lors d'un mariage ou la tristesse lors d'un enterrement. Déterminer l'humeur collective d'un groupe à partir d'une seule photographie est un puzzle complexe connu sous le nom de reconnaissance de l'émotion de groupe. Pour les ordinateurs, cette tâche a été notoirement difficile car les machines peinent souvent à comprendre que le même objet ou geste peut signifier des choses opposées selon la scène. Tandis que les humains fusionnent intuitivement ces indices éparpillés en un sentiment unique, l'intelligence artificielle s'est traditionnellement appuyée sur des processus rigides et multi-étapes qui passent souvent à côté de la forêt pour l'arbre.

Des chercheurs de l'Université de Caroline du Sud ont développé une nouvelle approche pour résoudre ce problème, une approche qui apprend à un ordinateur à voir une foule comme un humain le ferait, sans avoir besoin de la lourde machinerie des systèmes de détection traditionnels. Leur méthode, appelée LG-GER, contourne la nécessité d'identifier et d'isoler d'abord chaque personne ou objet dans une image. Au lieu de cela, elle utilise un modèle de langage puissant et pré-entraîné comme enseignant pour générer une carte détaillée de l'évidence émotionnelle. Ce modèle enseignant examine une image et rédige des observations spécifiques, telles que « une personne tenant un trophée avec une expression joyeuse » ou « un poing levé dans un contexte de protestation », accompagnées d'un score de confiance indiquant la force avec laquelle ce indice suggère une émotion particulière. Les chercheurs utilisent ensuite ces descriptions écrites et leurs emplacements pour entraîner un modèle informatique beaucoup plus petit et plus rapide. Ce modèle étudiant apprend à regarder l'image et à trouver ces mêmes indices émotionnels par lui-même, guidé par les notes de l'enseignant, jusqu'à ce qu'il puisse prédire l'humeur du groupe avec précision sans jamais avoir besoin de lancer un détecteur ou de consulter le grand modèle de langage à nouveau.

L'innovation centrale réside dans la manière dont les chercheurs ont géré les données d'entraînement. Les méthodes traditionnelles pour apprendre aux ordinateurs à reconnaître les émotions de groupe reposent sur un pipeline où le système détecte d'abord les visages, puis les corps, puis les objets, et enfin tente de fusionner toutes ces informations. Cette approche est lente, sujette aux erreurs si la détection initiale échoue, et nécessite une puissance de calcul importante. Le nouveau cadre rejette entièrement ce pipeline multi-étapes. Au lieu de cela, les chercheurs ont utilisé un grand modèle de langage pour agir comme un annotateur hors ligne. Ce modèle a examiné des milliers d'images d'entraînement et a généré des preuves structurées pour chacune d'elles. Pour chaque image, il a produit une liste de régions spécifiques, décrivant ce qui se passait à cet endroit, l'émotion que cela signalait, et son degré de confiance dans ce signal. Cela a créé un ensemble de données riche et spatialement ancré où l'ordinateur a appris non seulement la réponse finale, mais aussi les raisons spécifiques pour lesquelles une certaine zone était importante.

Pour apprendre au modèle étudiant à utiliser ces preuves, les chercheurs ont conçu un processus d'apprentissage axé sur quatre types distincts d'apprentissage. Premièrement, le modèle a appris à classifier l'émotion globale de l'image. Deuxièmement, il a appris à faire correspondre les caractéristiques visuelles d'une région spécifique avec la description textuelle fournie par l'enseignant, s'assurant que l'ordinateur comprenne qu'une zone précise de pixels correspond à une « femme souriante » plutôt qu'à un visage générique. Troisièmement, il a appris à prédire le signal émotionnel de cette région spécifique, distinguant la joie, la neutralité ou la colère. Enfin, il a appris à estimer la force de ce signal, comprenant qu'un sourire large et ouvert est un indice émotionnel plus fort qu'un sourire partiellement masqué. En combinant ces quatre objectifs d'apprentissage, le modèle a développé une capacité sophistiquée à se concentrer sur les parties les plus pertinentes d'une image tout en ignorant le bruit.

Les résultats de cette approche ont été frappants lors des tests sur des références établies. Sur deux ensembles de données majeurs utilisés pour évaluer la reconnaissance de l'émotion de groupe, la nouvelle méthode a atteint des performances qui égalent ou dépassent les systèmes existants les plus avancés. Sur l'ensemble de données GAF 3.0, elle a atteint une précision de 84,08 %, surpassant la meilleure méthode précédente. Sur le plus grand ensemble de données GroupEmoW, elle a atteint une précision de 92,39 %, arrivant en deuxième position derrière la méthode la plus performante, mais avec une différence cruciale : la nouvelle méthode n'a nécessité aucune détection et aucune fusion complexe de flux de données multiples lors de la phase de test réelle. Alors que le concurrent le plus performant devait exécuter plusieurs algorithmes de détection et combiner leurs sorties pour obtenir son résultat, la nouvelle méthode regardait simplement l'image et donnait une réponse. Cela rend le système nettement plus rapide et plus pratique pour des applications réelles où la vitesse et les ressources informatiques sont limitées.

Les chercheurs ont également étudié pourquoi leur méthode fonctionnait si bien en analysant comment l'attention de l'ordinateur changeait pendant l'entraînement. Avant l'entraînement spécialisé, le modèle avait tendance à répartir son attention largement sur l'ensemble de l'image, se laissant souvent distraire par des détails de l'arrière-plan non pertinents comme des murs ou des meubles. Après avoir appris grâce aux preuves guidées par le langage, le modèle a appris à concentrer son attention sur les zones spécifiques qui portent un poids émotionnel, comme une interaction centrale entre des personnes ou un visage particulièrement expressif. Dans certains cas, cette attention focalisée a permis au modèle d'identifier correctement une humeur de célébration dans une scène que un modèle standard avait mal classée comme neutre. Cependant, l'étude a également révélé une limite : lorsqu'une foule contenait un mélange d'émotions conflictuelles qui s'annulaient véritablement, la tendance du modèle à se concentrer sur un signal fort unique pouvait parfois conduire à interpréter à tort une scène neutre comme négative. Cela suggère que, bien que la méthode excelle à trouver des signaux émotionnels clairs, elle fait toujours face à des défis dans les scénarios les plus ambigus et équilibrés.

En fin de compte, ce travail démontre que le chemin vers une meilleure intelligence artificielle ne nécessite pas toujours la construction de systèmes plus grands et plus complexes. En utilisant un grand modèle de langage pour générer des données d'entraînement structurées de haute qualité, et en distillant ce savoir dans un modèle à flux unique plus simple, les chercheurs ont créé un système qui est à la fois hautement précis et efficace. L'approche prouve qu'un ordinateur peut apprendre à comprendre les nuances de la dynamique de groupe en étant enseigné à chercher des preuves spécifiques décrites par le langage plutôt que de simples motifs visuels bruts. Cette méthode offre un schéma directeur pratique pour le déploiement de la reconnaissance des émotions dans des contextes en temps réel, de la surveillance de la sécurité publique à la compréhension des réactions du public, sans la lourde charge computationnelle qui a précédemment limité ces technologies.