Visual Emotion Perception in a Deep Neural Network Model with Both Bottom-Up and Top-Down Connections

Dit artikel introduceert EmoFB, een biologisch geïnspireerd deep learning-model dat top-down feedback van affectieve systemen integreert om te demonstreren hoe emotionele signalen en contextuele verwachtingen visuele perceptie moduleren en de overeenkomst met menselijke hersenactiviteit vergroten.

De kern

Stel je voor dat je hersenen niet alleen een camera zijn die foto's maakt, maar een slimme regisseur die de scène beïnvloedt. Dit onderzoek gaat over hoe onze gevoelens (zoals angst of blijdschap) eigenlijk 'terugkijken' op wat we zien en onze waarneming veranderen.

Hier is de uitleg in gewoon Nederlands, met een paar verhelderende vergelijkingen:

De Kern: Een Camera met een Gevoelige Regisseur

Meestal denken we dat zien een eenrichtingsverkeer is: licht komt je oog binnen $\rightarrow$ je hersenen verwerken het $\rightarrow$ je ziet een hond. Maar in het echt is dat niet zo. Als je bang bent, zie je misschien een schaduw als een monster. Dat komt omdat je gevoelens (van bovenaf) terugkoppelen naar je ogen (van onderaf).

De onderzoekers wilden weten: Hoe werkt dat precies in de computerwereld?

Het Probleem: De Stijve Robot

Tot nu toe waren de slimme computerprogramma's (die we 'deep neural networks' noemen) te stijf. Ze keken alleen naar het plaatje en deden hun best om te raden wat het was. Ze hadden geen gevoel, geen context en luisterden niet naar wat er 'in hun hoofd' omging. Het was alsof een robot een foto bekijkt zonder te weten of hij nu op een feestje is of in een donkere kelder.

De Oplossing: EmoFB (De Slimme Regisseur)

De onderzoekers hebben een nieuw model gebouwd, genaamd EmoFB. Dit is als een robot die niet alleen kijkt, maar ook voelt en luistert.

Ze hebben twee speciale 'terugkoppel-kabels' toegevoegd:

1. De Interne Kabel (Intrinsic Feedback):
   Dit is als je eigen buikgevoel. Als de robot iets ziet dat lijkt op gevaar, zegt zijn eigen 'gevoels-systeem': "Hé, pas op!" en stuurt dat signaal terug naar de camera. De robot kijkt dan scherper naar de details die met gevaar te maken hebben.
2. De Externe Kabel (External Steering):
   Dit is als een regisseur die fluistert: "Kijk goed naar de rode auto, die is belangrijk!" of "Verwacht een hond." Dit helpt de robot om te focussen op wat er nu echt telt, net zoals jij scherper kijkt als je op zoek bent naar je sleutels in een rommelige kamer.

Wat Vonden Ze?

Ze testten dit model op drie verschillende situaties:

• Een simpele foto.
• Twee foto's naast elkaar.
• Een foto waar alles door elkaar heen ligt (erg verwarrend).

De resultaten waren verrassend:

• De Regisseur wint: De 'Externe Kabel' (de regisseur die zegt waar je naar moet kijken) had de grootste invloed. Hij maakte het model niet alleen slimmer in het herkennen van dingen, maar hij veranderde ook hoe het model de wereld 'in zijn hoofd' zag. Het maakte de verschillen tussen dingen duidelijker, alsof je een wazige foto ineens scherp stelt.
• Menselijk gevoel: Het belangrijkste was dat dit model, door die terugkoppeling, veel meer leek op een echt menselijk brein. Als je kijkt naar hoe het model denkt, past dat veel beter bij hoe mensen denken (gemeten met hersenscans). Het model reageerde in de 'gevoelscentrum' van de hersenen (de amandelen) en de visuele gebieden net zoals wij dat doen.

De Conclusie

Dit onderzoek is een brug tussen kunstmatige intelligentie en de menselijke psychologie. Het laat zien dat we om echt slimme machines te maken, ze niet alleen moeten leren kijken, maar ze ook een manier moeten geven om hun 'gevoel' en 'context' terug te sturen naar hun ogen.

Kortom: Zien is niet alleen kijken; het is een gesprek tussen wat je ziet en wat je voelt. EmoFB is de eerste computer die dit gesprek echt begrijpt.

Technische samenvatting

Probleemstelling

Emoties spelen een cruciale rol bij het herschikken van perceptie door sensorische verwerking te moduleren via top-down feedback; dit proces staat bekend als emotionele perceptie. Desondanks blijven de computationele mechanismen waarmee verschillende affectieve signalen visuele representaties beïnvloeden, slecht begrepen. Bestaande modellen behandelen de perceptie van emotionele inhoud vaak als een statische, feedforward-taak. Hierdoor wordt de dynamische wisselwerking tussen interne toestanden, externe doelen en sensorische input genegeerd, een kenmerk dat essentieel is voor affectieve perceptie in het menselijk brein. Er is behoefte aan een model dat deze bidirectionele communicatie (bottom-up en top-down) expliciet simuleert.

Methodologie

De auteurs introduceren EmoFB, een biologisch geïnspireerd deep neural network (DNN) dat een affectief systeem integreert met een hiërarchie voor visuele verwerking. Het kerninnovatiepunt van EmoFB is de implementatie van twee functioneel onderscheiden feedbacksignalen:

1. Intrinsieke feedback (Intrinsic feedback): Ontstaat uit de eigen affectieve beoordeling van het model van de perceptieve input. Dit simuleert hoe interne emotionele toestanden de verwerking beïnvloeden.
2. Externe sturing (External steering): Vermiddelt contextuele priors, zoals taakverwachtingen of doelcategorieën. Dit simuleert hoe externe instructies of context de perceptie sturen.

Het model werd geëvalueerd op drie taken met variërende niveaus van perceptuele ambiguïteit:

• Single Image: Eén afbeelding tonen.
• Side-by-Side: Twee afbeeldingen naast elkaar tonen.
• Overlay: Afbeeldingen overlappend tonen (hoogste ambiguïteit).

De evaluatie omvatte het analyseren van de prestaties bij herkenningsopgaven en het bestuderen van de interne representaties in de feature space. Daarnaast werd de representatieve gelijkenis (representational similarity) tussen het model en menselijke fMRI-antwoorden gemeten in verschillende hersengebieden.

Belangrijkste Bijdragen

• Architectuur: De ontwikkeling van EmoFB, een model dat de kloof overbrugt tussen affectieve neurowetenschap en kunstmatige intelligentie door expliciete top-down feedbackmechanismen te integreren.
• Mechanistisch inzicht: Het onderscheiden en testen van de specifieke bijdragen van intrinsieke affectieve feedback versus externe contextuele sturing.
• Validatie: Een robuuste validatie tegenover menselijke neurofysiologische data (fMRI), wat het model relevant maakt voor neurocognitieve theorieën.

Resultaten

• Invloed van Externe Sturing: Externe sturing bleek de sterkste invloed te hebben. Het verbeterde niet alleen de herkenningsnauwkeurigheid onder uitdagende omstandigheden (zoals bij overlappende beelden), maar herschikte ook de interne representaties van het model. Dit resulteerde in een scherper clusteren van specifieke categorieën in de feature space.
• Neurobiologische Alignering: Top-down feedback verhoogde de representatieve gelijkenis tussen het model en het menselijk brein. Er werd een sterkere uitlijning gevonden met menselijke fMRI-responsen in:
  • Het vroege visuele cortex.
  • Ventrale visuele gebieden.
  • De amygdala (een kerngebied voor emotionele verwerking).
• Dynamische Perceptie: Het model bevestigde dat perceptie geen statisch proces is, maar dynamisch wordt gevormd door de interactie tussen input en interne/externe feedbacksignalen.

Betekenis en Impact

EmoFB biedt een computationeel raamwerk om neurocognitieve theorieën over emotionele beoordeling en top-down modulatie te testen. Door de affectieve neurowetenschap te verbinden met deep learning, biedt het mechanistisch inzicht in hoe emotionele signalen de perceptie vormgeven, zowel in biologische systemen (hersenen) als in kunstmatige systemen (machines). Dit paper onderstreept het belang van het incorporeren van bidirectionele connecties in AI-modellen om menselijke waarneming en adaptatie beter te simuleren.