ProFocus: Interpreting Affective Experience in Artistic Images with Progressive Visual Focusing

Technische Samenvatting: ProFocus

Probleemstelling
Het interpreteren van de emotionele reacties die door visuele kunst worden opgewekt, is een centrale uitdaging bij het bereiken van emotionele intelligentie. In tegen tegenover natuurlijke afbeeldingen, die objectieve scènes afbeelden, is visuele kunst bedoeld om emotionele reacties op te wekken via abstracte concepten, visuele metaforen en niet-letterlijke kleuren. Bestaande methoden voor visuele emotieanalyse vertrouwen vaak op algemene visuele embeddings (bijv. CLIP) die zijn voorgetraind op object-gecentreerde datasets zoals MS-COCO. Deze modellen genereren holistische visuele representaties die uitblinken in het identificeren van expliciete objecten, maar falen in het ontkoppelen van de genuanceerde, hiërarchische esthetische aanwijzingen die essentieel zijn voor artistieke affectieve interpretatie. Bijgevolg interpreteren huidige state-of-the-art modellen (bijv. SEVLM) de emotionele toon van kunstwerken vaak verkeerd, waarbij ze emoties zoals "ontzag" voorspellen wanneer de beoogde emotie "angst" is, door een onvermogen om abstracte stijl, narratieve structuur en symbolische details binnen een enkele feature space te ontwarren.

Methodologie
De auteurs stellen ProFocus voor, een framework dat is ontworpen om de affectieve ervaring te modelleren door visueel representatie-leren af te stemmen op een hiërarchische cognitieve theorie van menselijke esthetische waardering. De architectuur bestaat uit drie kerncomponenten:

1. Hierarchical Art Critic (HAC):

   • Functie: Dit module fungeert als een semantische front-end die verstrengelde visuele aanwijzingen expliciet ontkoppelt. Het maakt gebruik van een Multimodal Large Language Model (LLaVA-1.6) om te fungeren als een "virtuele kunstcriticus".
   • Proces: In plaats van te vertrouwen op ruwe visuele tokens, vertaalt de HAC de visuele inhoud naar gestructureerde linguïstische priors over drie cognitieve niveaus:
     • Atmospheric Style (Atmosferische Stijl): Legt de algehele stemming, het kleurenpalet en de artistieke techniek vast.
     • Narrative Subjects (Narratieve Onderwerpen): Beschrijft de belangrijkste entiteiten, hun ruimtelijke relaties en interacties.
     • Concrete Details (Concrete Details): Identificeert specifieke symbolische elementen en fijnmazig visueel bewijs.
   • Output: Deze beschrijvingen worden gecodeerd in expliciete tekstuele embeddings ($K^{(1)}, K^{(2)}, K^{(3)}$) die dienen als hiërarchische semantische ankers.

2. Progressive Hint Fusion (PHF):

   • Functie: Deze module integreert de hiërarchische linguïstische priors in de visuele features op een wijze die consistent is met de menselijke perceptie (van grof naar fijn).
   • Mechanisme: In tegenstelling tot conventionele cross-modale fusie die features simultaan concateneert, gebruikt PHF een sequentieel injectieproces met behulp van drie gestapelde Multi-Head Cross-Attention (MCA) blokken.
     • Fase 1: Visuele features letten op de Atmospheric Style priors om een globale esthetische context te vestigen.
     • Fase 2: De verfijnde features letten op de Narrative Subjects om zich te concentreren op specifieke entiteiten en interacties.
     • Fase 3: De features letten ten slotte op de Concrete Details om fijnmazig symbolisch bewijs te vangen.
   • Ontwerp: De module gebruikt residual connections en LayerNorm om de oorspronkelijke ruimtelijke inductieve biases van de afbeelding te behouden terwijl er progressief semantische kennis wordt geabsorbeerd. Dit zorgt ervoor dat het model de dominantie van de holistische affect behoudt terwijl de aandacht wordt verfijnd naar semantisch betekenisvolle regio's.

3. Affective Explanation Generation:

   • De hiërarchisch gefuseerde visuele features ($V_{fused}$) worden samen met een emotie-prompt in een GPT-2 taaldecoder gevoed. De decoder voorspelt autoregressief het emotielabel en genereert een bijbehorende verklaring, geconditioneerd op de expliciet geïnjecteerde semantische aanwijzingen.

Belangrijkste Bijdragen

• Nieuw Framework: Introductie van ProFocus, dat de visuele verwerking expliciet afstemt op het menselijke cognitieve pad van kunstwaardering, waarmee wordt afgestapt van generalistische visuele features.
• Architecturale Innovatie: Ontwerp van de Hierarchical Art Critic (HAC) om artistieke perceptie te deconstrueren in interpreteerbare linguïstische priors, en de Progressive Hint Fusion (PHF) module om deze hints sequentieel te integreren.
• Prestaties: Demonstratie dat deze aanpak effectief de "affectieve kloof" overbrugt tussen holistische visuele features en subtiele artistieke interpretatie.

Experimentele Resultaten
De auteurs hebben ProFocus geëvalueerd op de ArtEmis v1.0 en v2.0 datasets, waarbij het is vergeleken met state-of-the-art baselines inclusief SEVLM, NLX-GPT2 en diverse LLM-gebaseerde videomodellen die zijn aangepast voor statische afbeeldingen.

• Emotieherkenning: ProFocus behaalde een nieuwe state-of-the-art nauwkeurigheid van 66,1% op ArtEmis v1.0 (een verbetering van 2,2% ten opzichte van SEVLM) en 43,8% op ArtEmis v2.0.
• Verklaringgeneratie: Het model presteerde beter dan de baselines op het gebied van semantische relevantie en linguïstische vloeiendheid, met een BLEU@4 score van 9,8 en een ROUGE-L van 30,8 op v1.0.
• Ablatie-studies:
  • Complementaire Priors: Experimenten toonden aan dat het vertrouwen op slechts één type prior (bijv. alleen details) de prestaties beperkt; de combinatie van alle drie de niveaus levert de beste resultaten op.
  • Fusiemechanisme: De op aandacht gebaseerde Progressive Hint Fusion presteerde aanzienlijk beter dan eenvoudige feature-concatenatie.
  • Orde van Injectie: De volgorde van grof naar fijn (Style $\to$ Subject $\to$ Detail) bleek superieur aan andere permutaties, wat de noodzaak bevestigt om eerst een globale context te vestigen voordat lokale details worden verfijnd.
• Kwalitatieve Analyse: Visualisaties van de aandachtgewichten toonden aan dat het model dynamisch de focus verlegt van de achtergrondatmosfeer naar specifieke onderwerpen en uiteindelijk naar fijnmazige details. Visualisatie van de feature space (t-SNE) liet zien dat ProFocus aanzienlijk betere intra-class compactheid en inter-class scheidbaarheid produceert vergeleken met baseline modellen.
• Menselijke Evaluatie: In een blinde evaluatie op 300 samples scoorde ProFocus het hoogst op Visuele Relevantie (het verminderen van hallucinaties) en Detailrijkdom, waarbij het meer overtuigende en visueel gegronde ratio's produceerde dan concurrerende modellen.

Significantie
Het artikel stelt dat ProFocus een fundamentele beperking in huidige multimodale modellen aanpakt: het onvermogen om heterogene artistieke aanwijzingen (abstracte esthetiek, compositie en symbolische details) te ontwarren binnen compacte visuele representaties. Door het hiërarchische cognitieve proces van menselijke esthetische waardering na te bootsen, stelt het framework machines in staat om niet alleen emoties nauwkeuriger te voorspellen, maar ook verklaringen te genereren die visueel gegrond zijn en vrij zijn van de hallucinaties die gebruikelijk zijn bij algemene LLM's. Het werk vestigt een nieuwe benchmark voor affectief redeneren in de visuele kunst, en demonstreert dat expliciete semantische gronding cruciaal is voor het interpreteren van de genuanceerde emotionele intentie van artistieke afbeeldingen.