Visual Emotion Perception in a Deep Neural Network Model with Both Bottom-Up and Top-Down Connections

Cet article présente EmoFB, un modèle de réseau de neurones profond intégrant des connexions ascendantes et descendantes qui démontre comment les signaux top-down, notamment le guidage externe, modulent la perception émotionnelle en améliorant la reconnaissance et en alignant les représentations internes sur les réponses cérébrales humaines.

L'essentiel

Imaginez que votre cerveau est comme un chef cuisinier très expérimenté, et que vos yeux sont ses assistants qui lui apportent les ingrédients bruts (les images que vous voyez).

Habituellement, les ordinateurs (et les modèles d'intelligence artificielle) cuisinent de manière très rigide : l'assistant apporte l'ingrédient, le chef le transforme en plat, et c'est tout. C'est ce qu'on appelle un processus "en ligne droite" ou feedforward. Mais dans la vraie vie, notre cerveau ne fonctionne pas ainsi. Nos émotions et nos attentes changent la façon dont nous voyons les choses. C'est comme si le chef goûtait l'ingrédient et décidait de l'assaisonner différemment selon qu'il est de bonne humeur ou stressé.

Voici l'histoire de cette nouvelle recherche, racontée simplement :

1. Le Problème : Un Cuisinier Trop Rigide

Les chercheurs ont remarqué que les modèles d'intelligence artificielle actuels sont un peu comme des robots qui regardent une photo et disent "C'est un chat" sans jamais se demander : "Est-ce que je suis triste ? Est-ce que je cherche un chat ?". Ils ignorent comment nos sentiments intérieurs modifient notre vision.

2. La Solution : Le Modèle "EmoFB" (Le Chef avec un Second Cerveau)

Les chercheurs ont créé un nouveau modèle appelé EmoFB. Imaginez que ce modèle est un chef qui a deux canaux de communication secrets avec ses assistants :

• Le Canal Interne (La "Conscience Émotionnelle") : C'est comme si le chef disait : "Oh, cette image me fait peur, je vais la regarder avec plus de prudence." C'est l'évaluation de l'image par le modèle lui-même.
• Le Canal Externe (Le "Chef d'Orchestre") : C'est comme si un directeur de restaurant arrivait et disait : "Aujourd'hui, on cherche spécifiquement des chats, ignorez les chiens !" C'est ce qu'on appelle le contexte ou l'attente.

3. L'Expérience : Trois Scénarios de Cuisine

Pour tester ce modèle, ils l'ont mis dans trois situations difficiles, comme des défis culinaires :

1. Une seule image : Simple, comme un plat tout prêt.
2. Deux images côte à côte : Un peu plus dur, comme choisir entre deux assiettes.
3. Des images superposées : Très difficile, comme essayer de trouver un ingrédient caché sous une soupe épaisse.

4. Les Résultats : La Magie de l'Attente

Ce qu'ils ont découvert est fascinant :

• Le "Chef d'Orchestre" (le contexte externe) est le plus puissant. Quand le modèle savait ce qu'il devait chercher, il devenait beaucoup plus précis, même dans les situations les plus floues.
• Le "Nettoyage" du cerveau : Cette attention guidée par le haut (top-down) a agi comme un filtre. Elle a trié le chaos dans la tête du modèle, regroupant les images similaires ensemble, un peu comme ranger les épices par couleur dans des tiroirs bien étiquetés.
• Ressemblance avec le Cerveau Humain : C'est le point le plus important. Quand ils ont comparé le fonctionnement de ce modèle avec des scanners IRM (des photos du cerveau humain en action), ils ont vu que EmoFB pensait comme nous. Ses zones "émotionnelles" (comme l'amygdale, le centre de la peur) et ses zones "visuelles" s'activaient exactement comme chez un humain qui regarde une image avec une émotion.

En Résumé

Cette recherche nous dit que pour comprendre comment nous voyons le monde, il ne suffit pas de regarder les yeux. Il faut aussi regarder ce qui se passe "au-dessus" : nos émotions, nos buts et nos attentes.

Le modèle EmoFB est comme un pont entre l'intelligence artificielle et la neuroscience. Il nous montre que pour qu'une machine (ou un cerveau) voie vraiment, elle doit pouvoir écouter ses propres sentiments et ses propres objectifs, tout comme nous le faisons chaque jour. C'est une preuve que l'émotion n'est pas un bruit de fond, mais un outil essentiel pour clarifier notre vision du monde.

Résumé technique

1. Problématique

La perception émotionnelle est un processus dynamique où les signaux affectifs modulent le traitement sensoriel via des boucles de rétroaction (top-down). Cependant, les mécanismes computationnels précis par lesquels ces signaux distincts influencent les représentations visuelles restent mal compris. La majorité des modèles existants traitent la perception du contenu émotionnel comme une tâche statique et purement feedforward (ascendante), négligeant ainsi l'interaction dynamique entre les états internes, les objectifs externes et l'entrée sensorielle qui caractérise la perception affective dans le cerveau humain.

2. Méthodologie

Pour combler ce vide, les auteurs ont développé EmoFB, un modèle de réseau de neurones profonds (Deep Neural Network) inspiré biologiquement. L'architecture se distingue par l'intégration d'un système affectif avec une hiérarchie de traitement visuel via deux signaux de rétroaction fonctionnellement distincts :

• Rétroaction intrinsèque (Intrinsic feedback) : Générée par l'évaluation affective interne du modèle concernant l'entrée perceptive.
• Guidage externe (External steering) : Transmet des priors contextuels, tels que les attentes liées à la tâche ou les catégories cibles.

Le modèle a été évalué sur trois tâches expérimentales conçues pour varier en degré d'ambiguïté perceptive :

1. Image unique (Single Image) : Présentation d'une seule image.
2. Côte à côte (Side-by-Side) : Comparaison de deux images.
3. Superposition (Overlay) : Images superposées, créant une forte ambiguïté.

3. Contributions Clés

• Modélisation dynamique : Introduction d'un cadre qui simule l'interplay dynamique entre l'état affectif et le traitement visuel, s'éloignant des approches feedforward statiques.
• Architecture hybride : Création d'EmoFB, qui combine explicitement un système d'apprentissage affectif avec des mécanismes de rétroaction top-down pour moduler les représentations visuelles.
• Validation neurocognitive : Utilisation de données d'imagerie par résonance magnétique fonctionnelle (IRMf) humaines comme référence pour valider la pertinence biologique du modèle.

4. Résultats Principaux

Les expériences ont mis en évidence plusieurs résultats majeurs :

• Impact du guidage externe : Le signal de « guidage externe » a exercé l'influence la plus forte. Il n'a pas seulement amélioré la reconnaissance dans des conditions difficiles (ambiguïté élevée), mais a également restructuré les représentations internes du modèle.
• Clustering dans l'espace des caractéristiques : La rétroaction top-down a affiné le regroupement (clustering) spécifique aux catégories dans l'espace des caractéristiques, rendant les représentations plus discriminatives.
• Similarité avec le cerveau humain : L'ajout de la rétroaction top-down a significativement augmenté la similarité des représentations entre le modèle et le cerveau humain. Cette alignement a été observé dans :
  • Le cortex visuel précoce.
  • Les zones visuelles ventrales.
  • L'amygdale (région clé du traitement émotionnel).

5. Signification et Impact

Ce travail offre un cadre computationnel robuste pour tester les théories neurocognitives de l'évaluation émotionnelle et de la modulation par rétroaction. En faisant le pont entre les neurosciences affectives et l'intelligence artificielle, EmoFB fournit des insights mécanistiques sur la manière dont les signaux émotionnels façonnent la perception, tant dans les systèmes biologiques que dans les machines. Cela ouvre la voie à des modèles d'IA plus robustes et biologiquement plausibles capables de traiter l'ambiguïté visuelle de manière contextuelle et émotionnellement informée.