From pixels to pleasure: visual features explain dynamic aesthetic experiences across distinct movie content

Dit onderzoek toont aan dat visuele kenmerken, met name kleur en visuele vlotheid, dynamische esthetische ervaringen tijdens het kijken naar films betrouwbaar voorspellen en dat deze relatie stabiel blijft over verschillende kijkers en filmstijlen heen.

De kern

Van Pixels tot Plezier: Waarom we bepaalde films mooier vinden dan andere

Stel je voor dat je naar een film kijkt. Soms ben je volledig geboeid door een prachtig landschap of een kleurrijk schilderij dat tot leven komt; op andere momenten vind je het gewoon saai. Waarom is dat? Is schoonheid iets dat volledig in het hoofd van de kijker zit, of is er een soort "recept" in de beelden zelf dat ons allemaal op dezelfde manier raakt?

Deze studie van Mustafa Alperen Ekinci en zijn team probeert dat recept te vinden. Ze kijken niet naar de plot of de acteurs, maar puur naar de visuele ingrediënten van de film: de kleuren, de beweging en de vorm.

De Proef: Twee heel verschillende films

De onderzoekers lieten mensen naar twee heel verschillende films kijken:

1. Home: Een documentaire over de natuur (zeeën, bossen, dieren).
2. Loving Vincent: Een animatiefilm die eruitziet als een levend schilderij van Vincent van Gogh.

Tijdens het kijken moesten de mensen continu met een schuifbalk aangeven hoe mooi ze het op dat specifieke moment vonden. Het was alsof ze een "mooiheids-meter" in hun hand hielden die ze elke seconde aanpasten.

De Receptuur: De "Visuele Ingrediënten"

Vervolgens keken de onderzoekers naar elke frame van de films en haalden ze de "visuele ingrediënten" eruit, net zoals een kok de smaakmakers uit een gerecht haalt. Ze keken naar vier groepen:

• Vloeiendheid: Ziet het beeld er logisch en samenhangend uit? (Net als wanneer je een puzzel snel en makkelijk kunt leggen).
• Symmetrie: Is het beeld in balans? (Zoals een vlinder die aan beide kanten hetzelfde is).
• Kleuren: Hoeveel kleuren zijn er, en welke tinten overheersen?
• Beweging: Hoe snel en hoe vloeibaar bewegen de beelden?

De Grote Ontdekkingen

1. De computer kan voorspellen wat jij mooi vindt
De onderzoekers bouwden een slim computermodel (een soort digitale kok) dat leerde welke combinatie van ingrediënten leidt tot een hoge "mooiheids-score". Het verrassende resultaat? Dit model kon heel goed voorspellen wat mensen vonden, zelfs voor delen van de film die het model nog nooit had gezien. Het bewijst dat er een gedeelde "taal" is in wat we mooi vinden, gebaseerd op hoe onze ogen en hersenen beelden verwerken.

2. Kleur is de ster van de show
Welke ingrediënt was het belangrijkst? Kleur.
Of je nu naar een natuurdocumentaire kijkt of naar een Van Gogh-animatie: als het beeld rijk aan kleuren is (vooral groen en blauw) en er een mooi contrast is tussen licht en donker, vinden mensen het over het algemeen mooier. Kleur lijkt een universele sleutel te zijn die werkt, ongeacht of je naar een echte boom of een geschilderde boom kijkt.

3. De "Kunst-Valstrik"
Bij de natuurdocumentaire (Home) vonden mensen beelden mooier als ze "vlot" en makkelijk te begrijpen waren (zoals een rustig meer). Maar bij de kunstfilm (Loving Vincent) was het andersom: hier vonden mensen juist de complexere, minder "vlotte" beelden mooier.

• De Analogie: Denk aan het luisteren naar muziek. Soms wil je een makkelijk, herkenbaar liedje (de natuur). Maar soms wil je juist een ingewikkeld, uitdagend jazz-nummer dat je dwingt om dieper na te denken (de kunst). De manier waarop we "vloeibaarheid" waarderen, hangt dus af van wat we kijken.

4. Kunst is subjectiever dan natuur
Het model voorspelde de reacties op de natuurdocumentaire beter dan op de kunstfilm. Dat betekent dat mensen het over natuurbeelden vaak eens zijn ("Ja, dat is mooi!"), maar dat ze het bij kunst meer oneens zijn. Kunst roept meer persoonlijke gevoelens en interpretaties op, terwijl de schoonheid van een zonsondergang voor bijna iedereen gelijk voelt.

Conclusie: Schoonheid is een mix

Deze studie leert ons dat schoonheid niet puur "in het oog van de kijker" zit, maar ook in de pixels zelf. Er is een gedeelde basis: we vinden bepaalde kleuren en patronen gewoonweg aantrekkelijk. Maar de context (is het een foto of een schilderij?) bepaalt hoe we die basis gebruiken.

Kortom: Kleur is de universele taal van schoonheid, maar de manier waarop we naar de rest van het beeld kijken, hangt af van of we naar de natuur of naar kunst kijken.

Technische samenvatting

Probleemstelling

Aesthetische ervaringen in het dagelijks leven ontstaan onder continu veranderende visuele input. Hoewel deze ervaringen afhankelijk zijn van de waarnemer en de context, wordt aangenomen dat ze deels worden bepaald door de visuele kenmerken van de stimulus. Bestaande literatuur op het gebied van visuele esthetiek is echter gefragmenteerd:

1. Isolatie van kenmerken: Veel studies onderzoeken slechts één visueel kenmerk per keer (bijv. alleen symmetrie of alleen kleur), waardoor het onduidelijk blijft hoe deze kenmerken gezamenlijk esthetische oordelen beïnvloeden.
2. Beperkte domeinen: Onderzoek richt zich vaak op één type visuele content (bijv. alleen kunstwerken, alleen gezichten of alleen natuurlijke scènes), wat beperkt inzicht biedt in hoe esthetische aantrekkelijkheid generaliseert over verschillende soorten complexe stimuli.

De auteurs stellen de vraag of een combinatie van image-computable visuele kenmerken dynamische esthetische ervaringen kan voorspellen tijdens het kijken naar films met zeer verschillende inhoud en stijlen, en of deze voorspellingen generaliseren over verschillende waarnemers en contenttypes.

Methodologie

De studie bestaat uit twee experimenten waarbij deelnemers continu esthetische aantrekkelijkheid beoordeelden terwijl ze films keken.

Experimentele Opzet:

• Experiment 1: 37 deelnemers keken naar de natuurdocumentaire Home (9 segmenten, gemiddeld 505 sec).
• Experiment 2: 30 deelnemers keken naar de geanimeerde kunstfilm Loving Vincent (8 segmenten, gemiddeld 581 sec).
• Taken: Deelnemers gaven per seconde een continu oordeel over de esthetische aantrekkelijkheid van het beeld op een schaal van -144 tot +144. De films werden zonder geluid getoond om visuele factoren te isoleren.

Visuele Predictors (Kenmerken):
Uit elke frame van de films werden 12 image-computable visuele kenmerken geëxtraheerd en gesampleerd op een resolutie van 1 seconde. Deze werden gegroepeerd in vier categorieën:

1. Visuele Vloeiendheid (Visual Fluency): Afgeleid van een Deep Neural Network (VGG16, getraind op Places365).
   • Similarity: Correlatie tussen activatiepatronen van twee complementaire helften van het beeld.
   • Integration: Correlatie tussen de gemiddelde activatie van de helften en de activatie van het volledige beeld.
   • L2-norm: Totale activatiesterkte (som van kwadraten) in de 11e laag van het netwerk.
2. Symmetrie: Pixel-wijze correlaties over alle mogelijke horizontale en verticale reflectie-assen.
3. Kleurstatistieken: Berekend in CIELAB en RGB kleerruimtes.
   • Colorfulness: Euclidische norm van standaarddeviaties en middens van de 'a' en 'b' kanalen.
   • Greenness/Blueness: Sign-omgekeerde gemiddelden van de 'a' en 'b' kanalen.
   • Mean Saturation, Hue Contrast, Brightness Contrast.
4. Beweging (Motion): Bewegingsenergie berekend met een spatiotemporele Gabor-filter (Nishimoto et al., 2011), gereduceerd tot één component via PCA.

Statistische Modellering:

• Modeltype: Ridge-regressie (lineaire modellen).
• Validatie: Een nested cross-validatieprocedure werd gebruikt. Voor elke deelnemer werden modellen getraind op een subset van filmsegmenten en getest op een "left-out" segment.
• Generalisatie:
  • Within-subject: Trainen en testen binnen dezelfde deelnemer.
  • Cross-subject: Trainen op groepsdata (gemiddelde ratings van N-1 deelnemers) en testen op een individuele deelnemer.
  • Cross-movie: Trainen op data van Home en testen op Loving Vincent (en vice versa).
• Modelvergelijking: De bijdrage van elke predictor-groep werd getest door het model te hertrainen zonder die specifieke groep en de daling in voorspellende prestatie ($\Delta r$) te meten.

Belangrijkste Resultaten

1. Robuuste Voorspelling binnen en tussen Individuen:

   • Visuele kenmerken konden moment-tot-moment esthetische ratings significant voorspellen voor beide films (p < .001).
   • Modellen getraind op de data van andere deelnemers konden de ratings van een nieuwe deelnemer significant voorspellen, wat wijst op gedeelde perceptuele mechanismen. De voorspelling was echter sterker voor Home dan voor Loving Vincent, wat suggereert dat esthetische oordelen over kunst subjectiever zijn dan over natuur.

2. Belangrijkste Predictors:

   • Visuele Vloeiendheid en Kleur: Deze waren de meest informatieve predictors voor beide films.
   • Symmetrie en Beweging: Speelden een minder grote rol. Beweging had geen significant effect binnen individuele films, maar wel een klein effect bij cross-movie voorspelling.

3. Cross-Movie Generalisatie:

   • Modellen getraind op Home konden ratings in Loving Vincent voorspellen (en omgekeerd), ondanks de enorme verschillen in stijl (fotorealistisch vs. geschilderde animatie).
   • Kleurstreken als drijvende kracht: Bij cross-movie voorspelling bleek dat kleurstatistieken de enige predictors waren die consistent en robuust bijdroegen aan de voorspellende kracht.
   • Vloeiendheid: De bijdrage van vloeiendheid verschilde kwalitatief tussen de films. In Home correleerden hogere similariteit en integratie met hogere aantrekkelijkheid (zoals bij natuurlijke scènes gebruikelijk is), terwijl in Loving Vincent de relatie omgekeerd was (minder vloeiende inputs werden soms als esthetischer ervaren), wat mogelijk wijst op een andere verwerkingsmodus bij kunst.

Bijdragen en Betekenis

Technische Bijdragen:

• Integratie van Low- en Mid-level Features: Het artikel demonstreert dat een combinatie van image-computable kenmerken (van pixel-niveau tot DNN-activaties) dynamische esthetische ervaringen kan modelleren zonder gebruik te maken van "black box" deep learning modellen die niet interpreteerbaar zijn.
• Validatie van Continue Ratings: De studie bevestigt dat continue, moment-tot-moment ratings een valide methode zijn om esthetische ervaringen te bestuderen, waarbij principes die bij statische beelden zijn gevonden, generaliseren naar dynamische stimuli.

Wetenschappelijke Betekenis:

• Gedeelde Subjectiviteit: De bevindingen weerleggen het idee dat schoonheid puur subjectief is ("in het oog van de toeschouwer"). In plaats daarvan bestaat er een vorm van "perceptuele schoonheid" die gedeeld wordt door individuen en gebaseerd is op visuele kenmerken.
• De Rol van Kleur: Kleurstatistieken (vooral kleurrijkheid en contrast) blijken een universele drijvende kracht te zijn voor esthetische aantrekkelijkheid, zelfs over sterk verschillende contenttypes heen. Dit suggereert een biologische of ecologische basis voor kleurvoorkeuren.
• Contextafhankelijkheid van Vloeiendheid: Hoewel vloeiendheid een sterke predictor is, is de richting van het effect afhankelijk van de context (natuur vs. kunst). Dit onderstreept dat esthetische modellen rekening moeten houden met het type stimulus.

Conclusie:
De auteurs concluderen dat esthetische ervaring het beste begrepen kan worden als "gedeelde subjectiviteit". Hoewel individuele verschillen en hogere cognitieve factoren een rol spelen, zijn de basismechanismen die esthetische aantrekkelijkheid sturen, vast te stellen via visuele kenmerken, met name kleur en vloeiendheid. Dit biedt een fundament voor toekomstig onderzoek dat lage-niveau visuele kenmerken combineert met hogere cognitieve en affectieve factoren.