Emotional regulation improves deep learning-based image classification

Technische Samenvatting: Emotieregulatie verbetert op diep leren gebaseerde beeldclassificatie

Probleemstelling
Bestaande methoden voor emotie-geaugmenteerd diep leren vertrouwen primair op objectieve neurofysiologische factoren, zoals anatomische hersenstructuren (bijv. amygdala, prefrontale cortex) en hormonale processen (bijv. dopamine, angst, zelfvertrouwen). Hoewel deze benaderingen veelbelovend zijn gebleken, verwaarlozen ze de rol van subjectiviteit in emotionele reacties. Menselijke emotionele reacties worden niet uitsluitend bepaald door fysiologische staten, maar worden significant beïnvloed door subjectieve ervaring en emotionele geschiedenis. Bovendien ontbrak het eerdere studies in dit domein vaak aan end-to-end leerarchitecturen of waren zij niet gevalideerd over diverse sets emotionele stimuli, wat de robuustheid en generalisatie van de resultaten beperkte. Het artikel adresseert de kloof in het modelleren van kunstmatige emotie door subjectieve ervaring te incorporeren in plaats van strikt neurofysiologische definities te hanteren.

Methodologie: Het Emotieregulatie-framework
De studie introduceert Emotieregulatie, een framework dat is ontworpen om emotie in diep leren te modelleren via "kunstmatige subjectieve ervaring". Het kernmechanisme behelst het balanceren van niet-emotionele en emotioneel beïnvloede voorspellingen op basis van een geleerde affectieve staat.

1. Architectuur: Het framework maakt gebruik van drie encoders:

   • Niet-emotionele Encoder ($E_n$): De originele backbone (ResNet-50 of ViT-B/16) die niet-emotionele representaties produceert.
   • Emotioneel beïnvloede Encoder ($E_i$): Leert embeddings door kenmerken van de Niet-emotionele Encoder te concateneren met die van de Emotionele Encoder.
   • Emotionele Encoder ($E_e$): Een bevroren, vooraf getrainde component die een "emotionele geschiedenis" leert van een dataset van stimulus-emotie-instanties. Deze geeft een emotioneel spectrumvector ($e$) uit.

2. Regulatieproces ($R$): Een leerbaar regulatielaag weegt de outputs van de Niet-emotionele ($p_n$) en de Emotioneel beïnvloede ($p_i$) modellen op basis van de emotionele uitkomst ($\hat{e}$). De uiteindelijke voorspelling ($p_r$) wordt berekend als:
   $$p_r = \hat{e} \cdot h_r \cdot p_n + (1 - \hat{e} \cdot h_r) \cdot p_i$$
   Waarbij $h_r$ een leerbare gewichtsvector is die de regulatie-intensiteit voor specifieke emoties vertegenwoordigt.

3. Trainingsfasen:

   • Emotionele Pre-training: De Emotionele Encoder wordt geoptimaliseerd op een specifieke emotionele dataset (bijv. EMOd, Diffused-EMOd, Abstract, EmoSet) om de mapping tussen visuele stimuli en emotionele categorieën te leren.
   • Pre-training: De Niet-emotionele en Emotioneel beïnvloede encoders worden geoptimaliseerd op de downstream taak (of blijven bevroren).
   • Training: Het volledige systeem wordt geoptimaliseerd, waarbij het regulatieproces ($h_r$) wordt geleerd om de twee voorspellingsstromen te balanceren.

4. Experimentele Configuraties: De auteurs evalueerden verschillende variaties, waaronder niet-leerbare regulatie (vaste gewichten), leerbare regulatie met vaste vooraf getrainde encoders, en volledig leerbare end-to-end configuraties. Experimenten maakten gebruik van ResNet-50 en ViT-B/16 backbones vooraf getraind op ImageNet, fijn afgesteld op CIFAR-10 en CIFAR-100.

Belangrijkste Bijdragen

1. Nieuw Modellering-aanpak: Stelt Emotieregulatie voor als een methode om affectieve staten in diep leren te definiëren via kunstmatige subjectieve ervaring, waarmee de kloof wordt overbrugd die wordt achtergelaten door neurofysiologische-only modellen.
2. End-to-End Uitbreiding: Breidt het Emotieregulatie-framework uit naar volledige end-to-end leerarchitecturen, waarmee de beperkingen van eerdere niet-end-to-end implementaties worden overstegen.
3. Robuuste Validatie: Valideert de aanpak over vier verschillende emotionele datasets (echte stimuli, synthetische diffusie-gegenereerde afbeeldingen, abstracte schilderijen en grootschalige gebalanceerde sets) om generalisatie te waarborgen.
4. State-of-the-Art Prestaties: Toont aan dat Emotieregulatie bestaande emotie-geaugmenteerde oplossingen overtreft op grootschalige beeldclassificatie benchmarks (CIFAR-10 en CIFAR-100).

Resultaten
Uitgebreide experimenten toonden aan dat leerbare regulatiestrategieën consistent beter presteerden dan de originele backbones en niet-emotionele baselines:

• Prestatiewinst: Op CIFAR-10 verbeterde de beste configuratie (Rand-Learn-E-Reg met ViT) de nauwkeurigheid met 0,34% ten opzichte van de ViT backbone. Op CIFAR-100 bereikten de verbeteringen 1,02% voor ViT en 3,19% voor ResNet.
• Vergelijking met vorig werk: De voorgestelde methode presteerde significant beter dan het AEmNN-model (een vorige state-of-the-art die gebruikmaakte van emotionele backpropagation) op CIFAR-10 en CIFAR-100, met nauwkeurigheidsscores van respectievelijk 97,32% en 86,24%, vergeleken met de voorgaande 54,76% en 27,53%.
• Regulatiedynamiek: De studie vond dat de optimale regulatie-intensiteit niet vaststaat; deze varieert aanzienlijk afhankelijk van de emotionele geschiedenis (pre-training dataset) en de downstream taak. Zo vertoonden modellen getraind op Diffused-EMOd significante regulatie van semantisch contrasterende emoties (bijv. angst versus geluk), terwijl andere modellen specifieke valenties bevoordeelden.
• Inzichten uit Ablatie-studies: Leerbare regulatie leverde consistent verbeteringen op, terwijl niet-leerbare (vaste) regulatie geen winst garandeerde boven de backbone. De resultaten suggereren dat een model dat volledig door emotie wordt beïnvloed, de leerprocessen niet altijd verbetert; een regulatiemechanisme is noodzakelijk om affectieve cognitie te moduleren voor betere generalisatie.

Betekenis en Claims
Het artikel beweert dat Emotieregulatie een nieuwe state-of-the-art vestigt voor emotie-geaugmenteerd diep leren voor grootschalige visuele datasets. De studie levert bewijs dat subjectieve ervaring, gemodelleerd als een kunstmatige emotionele geschiedenis, een significante factor is bij het verbeteren van machine learning optimalisatie.

De auteurs benadrukken dat hun werk niet claimt de menselijke cognitie te repliceren of kunstmatige resultaten gelijk te stellen aan empirische menselijke studies. In plaats daarvan ligt de betekenis in het aantonen dat het introduceren van "kunstmatige subjectiviteit"—via het balanceren van emotionele en niet-emotionele representaties door een regulatiemechanisme—de generalisatiecapaciteiten van diepe neurale netwerken verbetert. Het framework sugggeert dat emotie fungeert als een cognitieve factor die, wanneer deze correct gereguleerd wordt, het leren van visuele stimuli verbetert, wat een veelbelovend pad biedt voor toekomstige architecturen in computer vision en mens-robot interactie.