Emotional regulation improves deep learning-based image classification

Résumé Technique : La Régulation Émotionnelle Améliore la Classification d'Images par Apprentissage Profond

Énoncé du Problème
Les méthodes existantes d'apprentissage profond augmenté par l'émotion reposent principalement sur des facteurs neurophysiologiques objectifs, tels que les structures cérébrales anatomiques (ex. : amygdale, cortex préfrontal) et les processus hormonaux (ex. : dopamine, anxiété, confiance). Bien que ces approches aient montré des promesses, elles négligent le rôle de la subjectivité dans les réponses émotionnelles. Les réactions émotionnelles humaines ne sont pas uniquement déterminées par des états physiologiques, mais sont significativement influencées par l'expérience subjective et l'historique émotionnel. De plus, les études précédentes dans ce domaine manquaient souvent d'architectures d'apprentissage de bout en bout ou n'étaient pas validées sur des ensembles diversifiés de stimuli émotionnels, limitant ainsi la robustesse et la généralisation des résultats. Cet article comble la lacune de la modélisation de l'émotion artificielle en incorporant l'expérience subjective plutôt que des définitions strictement neurophysiologiques.

Méthodologie : Le Cadre de Régulation Émotionnelle
L'étude introduit la Régulation Émotionnelle, un cadre conçu pour modéliser l'émotion dans l'apprentissage profond à travers une « expérience subjective artificielle ». Le mécanisme central consiste à équilibrer les prédictions non émotionnelles et celles influencées par l'émotion sur la base d'un état affectif appris.

1. Architecture : Le cadre utilise trois encodeurs :

   • Encodeur Non-émotionnel ($E_n$) : Le backbone original (ResNet-50 ou ViT-B/16) produisant des représentations non émotionnelles.
   • Encodeur Influencé par l'Émotion ($E_i$) : Apprend des plongements (embeddings) en concaténant les caractéristiques de l'Encodeur Non-émotionnel avec celles de l'Encodeur Émotionnel.
   • Encodeur Émotionnel ($E_e$) : Un composant pré-entraîné et gelé qui apprend un « historique émotionnel » à partir d'un ensemble de données d'instances stimulus-émotion. Il produit un vecteur de spectre émotionnel ($e$).

2. Processus de Régulation ($R$) : Une couche de régulation apprenable pondère les sorties des modèles Non-émotionnel ($p_n$) et Influencé par l'Émotion ($p_i$) en fonction du résultat émotionnel ($\hat{e}$). La prédiction finale ($p_r$) est calculée comme suit :
   $$p_r = \hat{e} \cdot h_r \cdot p_n + (1 - \hat{e} \cdot h_r) \cdot p_i$$
   Où $h_r$ est un vecteur de poids apprenable représentant l'intensité de la régulation pour des émotions spécifiques.

3. Phases d'Entraînement :

   • Pré-entraînement Émotionnel : L'Encodeur Émotionnel est optimisé sur un ensemble de données émotionnelles spécifique (ex. : EMOd, Diffused-EMOd, Abstract, EmoSet) pour apprendre la correspondance entre les stimuli visuels et les catégories émotionnelles.
   • Pré-entraînement : Les encodeurs Non-émotionnel et Influencé par l'Émotion sont optimisés sur la tâche en aval (ou restent gelés).
   • Entraînement : Le système complet est optimisé, apprenant le processus de régulation ($h_r$) pour équilibrer les deux flux de prédiction.

4. Configurations Expérimentales : Les auteurs ont évalué plusieurs variations, incluant la régulation non-apprenable (poids fixes), la régulation apprenable avec des encodeurs pré-entraînés fixes, et des configurations complètes apprenables de bout en bout. Les expériences ont utilisé des backbones ResNet-50 et ViT-B/16 pré-entraînés sur ImageNet, puis affinés sur CIFAR-10 et CIFAR-100.

Contributions Clés

1. Approche de Modélisation Novatrice : Propose la Régulation Émotionnelle comme une méthode pour définir les états affectifs dans l'apprentissage profond via une expérience subjective artificielle, comblant la lacune laissée par les modèles exclusivement neurophysiologiques.
2. Extension de Bout en Bout : Étend le cadre de la Régulation Émotionnelle à des architectures d'apprentissage complètes de bout en bout, dépassant les limites des implémentations précédentes non de bout en bout.
3. Validation Robuste : Valide l'approche à travers quatre ensembles de données émotionnelles distincts (stimuli de la vie réelle, images synthétiques générées par diffusion, peintures abstraites et ensembles équilibrés à grande échelle) pour assurer la généralisation.
4. Performance de Pointe (SOTA) : Démontre que la Régulation Émotionnelle surpasse les solutions existantes augmentées par l'émotion sur les benchmarks de classification d'images à grande échelle (CIFAR-10 et CIFAR-100).

Résultats
Des expérimentations approfondies ont révélé que les stratégies de régulation apprenables surpassent systématiquement les backbones originaux et les bases non émotionnelles :

• Gains de Performance : Sur CIFAR-10, la meilleure configuration (Rand-Learn-E-Reg avec ViT) a amélioré la précision de 0,34 % par rapport au backbone ViT. Sur CIFAR-100, les améliorations ont atteint 1,02 % pour ViT et 3,19 % pour ResNet.
• Comparaison avec les Travaux Précédents : La méthode proposée surpasse significativement le modèle AEmNN (un précédent état de l'art utilisant la rétropropagation émotionnelle) sur CIFAR-10 et CIFAR-100, atteignant des scores de précision de 97,32 % et 86,24 % respectivement, contre 54,76 % et 27,53 % pour le précédent.
• Dynamique de Régulation : L'étude a révélé que l'intensité de régulation optimale n'est pas fixe ; elle varie considérablement selon l'historique émotionnel (jeu de données de pré-entraînement) et la tâche en aval. Par exemple, les modèles entraînés sur Diffused-EMOd ont montré une régulation significative des émotions sémantiquement contrastées (ex. : peur vs bonheur), tandis que d'autres favorisaient des valences spécifiques.
• Ablations et Insights : La régulation apprenable a systématiquement apporté des améliorations, tandis que la régulation non-apprenable (fixe) n'a pas garanti de gains par rapport au backbone. Les résultats suggèrent qu'un modèle entièrement influencé par l'émotion n'améliore pas toujours l'apprentissage ; un mécanisme de régulation est nécessaire pour moduler la cognition affective afin d'obtenir une meilleure généralisation.

Signification et Revendications
L'article affirme que la Régulation Émotionnelle établit un nouvel état de l'art pour l'apprentissage profond augmenté par l'émotion sur les jeux de données de vision à grande échelle. L'étude démontre que l'expérience subjective, modélisée comme un historique émotionnel artificiel, est un facteur significatif pour améliorer l'optimisation de l'apprentissage automatique.

Les auteurs soulignent que leur travail ne prétend pas répliquer la cognition humaine ou assimiler les résultats artificiels à des études empiriques humaines. Au contraire, la signification réside dans la démonstration que l'introduction d'une « subjectivité artificielle » — via l'équilibre des représentations émotionnelles et non émotionnelles par un mécanisme de régulation — améliore les capacités de généralisation des réseaux de neurones profonds. Le cadre suggère que l'émotion agit comme un facteur cognitif qui, lorsqu'il est correctement régulé, améliore l'apprentissage des stimuli visuels, offrant une voie prometteuse pour les futures architectures en vision par ordinateur et en interaction homme-robot.