From pixels to pleasure: visual features explain dynamic aesthetic experiences across distinct movie content

Die Studie zeigt, dass dynamische ästhetische Erfahrungen beim Filmsehen durch visuelle Merkmale wie Farb- und Fluency-Eigenschaften vorhergesagt werden können, wobei diese Zusammenhänge sowohl über verschiedene Beobachter hinweg als auch zwischen inhaltlich und stilistisch unterschiedlichen Filmen stabil bleiben.

Das Wesentliche

🎬 Vom Pixel zum Gefühl: Warum wir manche Filme schöner finden als andere

Stellen Sie sich vor, Sie schauen sich einen Film an. Manchmal sind Sie von einer Landschaft oder einer Szene so verzaubert, dass Sie sagen: „Wow, das ist wunderschön!" Eine andere Szene wirkt vielleicht langweilig oder sogar etwas hässlich. Die Frage, die sich die Forscher in diesem Papier stellen, ist ganz einfach: Was macht diese Momente so besonders? Liegt es nur an Ihrem persönlichen Geschmack, oder gibt es eine Art „geheime Formel" im Bild selbst, die uns allen gefällt?

Die Forscher haben herausgefunden, dass es tatsächlich eine solche Formel gibt – und sie besteht aus den Farben und Formen, die wir auf dem Bildschirm sehen.

1. Das Experiment: Ein Naturfilm vs. ein Van-Gogh-Film

Um das herauszufinden, haben die Forscher zwei völlig unterschiedliche Filme genommen:

• Film A (Home): Ein Dokumentarfilm über die Natur. Hier sehen wir Wälder, Ozeane und Tiere. Es ist sehr realistisch.
• Film B (Loving Vincent): Ein Animationsfilm, bei dem jeder einzelne Bildstrich wie ein Ölgemälde von Vincent van Gogh aussieht. Es ist künstlich, bunt und künstlerisch.

Die Teilnehmer mussten während des Films ständig einen Regler bewegen und sagen: „Wie schön ist diese Szene gerade?" (Von „sehr hässlich" bis „sehr schön").

2. Die Detektivarbeit: Der Computer als Geschmacksprüfer

Die Forscher haben dann einen Computer-Algorithmus (eine Art digitaler Detektiv) auf die Bilder losgelassen. Dieser Detektiv hat sich nicht die Handlung oder die Emotionen der Schauspieler angesehen, sondern nur die technischen Daten jedes einzelnen Bildes:

• Wie viele Farben gibt es? (Ist es bunt oder grau?)
• Wie bewegt sich das Bild? (Ist es ruhig oder wild?)
• Wie symmetrisch ist es? (Sieht es links und rechts gleich aus?)
• Wie leicht ist es zu „lesen"? (Ist das Bild klar und strukturiert oder chaotisch?)

3. Die überraschende Entdeckung: Wir sind alle ähnlich!

Das Spannendste an der Studie ist das Ergebnis: Der Computer konnte vorhersagen, was die Menschen schön finden, nur indem er auf die Farben und Formen schaute.

Stellen Sie sich vor, Sie haben eine Maschine, die nur die Farbe eines Bildes analysiert. Wenn Sie dieser Maschine einen neuen Film zeigen, den sie noch nie gesehen hat, kann sie ziemlich genau sagen: „Hier werden die Leute jetzt 'Wow' sagen, und hier werden sie gähnen."

Das bedeutet:

• Wir sind keine Einzelgänger: Auch wenn wir alle unterschiedliche Meinungen haben, reagieren unsere Gehirne auf bestimmte visuelle Muster (wie bestimmte Farbkombinationen) sehr ähnlich.
• Die Farbe ist der Star: Die wichtigste Vorhersage-Größe war die Farbe. Besonders Blau- und Grüntöne wurden fast immer als schöner empfunden als dunkle oder braune Töne. Das ist so, als ob unser Gehirn eine Art „biologischer Kompass" hat, der uns zu frischen, natürlichen Farben zieht.

4. Der große Test: Funktioniert die Formel auch bei anderen Filmen?

Die Forscher machten einen mutigen Test: Sie trainierten den Computer mit Daten vom Naturfilm (Home) und gaben ihm dann den Van-Gogh-Film (Loving Vincent), um zu sehen, ob er dort auch funktioniert.

Das Ergebnis: Ja! Der Computer konnte auch beim künstlerischen Film vorhersagen, was die Leute schön fanden.

• Die Analogie: Stellen Sie sich vor, Sie lernen, wie man ein Auto fährt, indem Sie einen Sportwagen fahren. Wenn Sie dann in einen alten Lieferwagen steigen, können Sie trotzdem noch fahren, weil die Grundprinzipien (Lenkrad, Gaspedal) gleich sind.
• Die Ausnahme: Bei den „künstlichen" Van-Gogh-Bildern war es etwas schwieriger als bei den Naturbildern. Das liegt daran, dass Kunst oft komplexer ist und wir sie mit unserem Kopf (unserer Kultur und Erfahrung) bewerten, nicht nur mit unseren Augen. Aber die Grundregeln der Farben funktionierten trotzdem.

5. Was bedeutet das für uns?

Die Studie zeigt uns, dass Schönheit nicht nur „in den Augen des Betrachters" liegt, wie das Sprichwort sagt. Es gibt eine gemeinsame Sprache der Schönheit, die in den Pixeln selbst steckt.

• Farben sind universell: Wir alle mögen bestimmte Farbkombinationen, egal ob wir einen echten Wald oder ein gemaltes Bild sehen.
• Klarheit zählt: Bilder, die unser Gehirn leicht verarbeiten können (sie sind „flüssig" zu lesen), finden wir oft schöner – es sei denn, es ist Kunst, wo wir manchmal das Schwierige und Komplexere mögen, weil es uns zum Nachdenken anregt.

Fazit: Schönheit ist ein Mix aus unserem persönlichen Geschmack und festen Regeln, die in den Bildern selbst verankert sind. Wenn Sie also das nächste Mal einen Film schauen und sich fragen, warum diese Szene so toll aussieht, liegt es vielleicht einfach daran, dass die Farben perfekt aufeinander abgestimmt sind und Ihr Gehirn es liebt, sie zu „essen". 🎨🍿

Technische Zusammenfassung

Titel: Von Pixeln zu Vergnügen: Visuelle Merkmale erklären dynamische ästhetische Erfahrungen über unterschiedliche Film-Inhalte hinweg

1. Problemstellung und Motivation

Ästhetische Erfahrungen im Alltag entstehen unter sich kontinuierlich verändernden visuellen Reizen (z. B. beim Filmeschauen). Während diese Erfahrungen stark vom Betrachter und dem Kontext abhängen, spielen auch die visuellen Merkmale des Inputs eine entscheidende Rolle.
Die aktuelle Forschung leidet jedoch an zwei wesentlichen Einschränkungen:

1. Isolierte Betrachtung: Bisherige Studien untersuchten oft nur einzelne visuelle Merkmale (z. B. nur Symmetrie oder nur Farbe) getrennt voneinander, anstatt deren kombinierten Einfluss zu modellieren.
2. Domänenspezifität: Die Forschung konzentrierte sich meist auf eine einzige Art von visuellem Inhalt (z. B. nur Kunstwerke, nur Gesichter oder nur Naturszenen). Es ist unklar, inwieweit ästhetische Präferenzen über verschiedene komplexe visuelle Stimuli hinweg generalisieren.

Das Ziel dieser Studie war es, zu untersuchen, wie gut eine Kombination aus visuellen Merkmalen dynamische ästhetische Erfahrungen während des Anschauens von natürlichen und künstlerischen Filmen vorhersagen kann und ob diese Vorhersagen über verschiedene Beobachter und verschiedene Filmgenres hinweg stabil sind.

2. Methodik

Experimentelles Design:
Die Studie umfasste zwei Experimente mit kontinuierlichen ästhetischen Bewertungen (Moment-to-Moment-Ratings) durch die Teilnehmer:

• Experiment 1 (Natürlichkeit): 37 Teilnehmer sahen die Naturdokumentation Home (9 Segmente, ca. 505 Sekunden pro Segment).
• Experiment 2 (Kunst): 30 Teilnehmer sahen den animierten Film Loving Vincent (8 Segmente, ca. 581 Sekunden pro Segment), der auf Van Goghs Gemälden basiert.
• Aufgabe: Die Teilnehmer bewerteten die ästhetische Anziehungskraft der Filme kontinuierlich auf einer Schieberegler-Skala (-144 bis +144).

Extraktion visueller Merkmale (Predictors):
Aus jedem Einzelbild (Frame) der Filme wurden 12 berechenbare visuelle Merkmale extrahiert und auf eine Sekundenaauflösung heruntergefasst, um mit den Ratings abzugleichen. Diese Merkmale wurden in vier Gruppen unterteilt:

1. Visuelle Flüssigkeit (Visual Fluency): Abgeleitet aus den Aktivierungen eines tiefen neuronalen Netzes (VGG16, trainiert auf Places365).
   • Similarity: Korrelation der Aktivierungsmuster zwischen komplementären Bildhälften.
   • Integration: Korrelation der gemittelten Aktivierung der Hälften mit der Aktivierung des Gesamtbildes.
   • L2-Norm: Summe der quadrierten Aktivierungen (Maß für die Gesamtaktivierungsstärke).
2. Symmetrie: Pixelweise Korrelationen über alle möglichen horizontalen und vertikalen Spiegelachsen.
3. Farbstatistiken: Berechnet im CIELab-Farbraum und HSL/RGB-Raum.
   • Farbintensität (Colorfulness): Kombination aus Standardabweichung und Mittelwert der Farbkanäle.
   • Grün-/Blauanteil: Sign-invertierte Mittelwerte der a- und b-Kanäle.
   • Sättigung, Farbkontrast, Helligkeitskontrast.
4. Bewegung (Motion): Berechnet mittels eines spatiotemporalen Gabor-Filter-Modells (Motion Energy).

Statistische Modellierung:

• Algorithmus: Ridge-Regression (lineare Modelle).
• Validierung: Ein strenges Nested-Cross-Validation-Verfahren wurde angewendet.
  • Within-Subject: Modelle wurden auf einem Teil der Filmsegmente trainiert und auf zurückgehaltenen Segmenten desselben Teilnehmers getestet.
  • Cross-Subject: Modelle wurden auf den Durchschnittsdaten der Gruppe trainiert und auf einzelne, zurückgehaltene Teilnehmer getestet.
  • Cross-Movie: Modelle, die auf Home trainiert wurden, wurden auf Loving Vincent getestet (und umgekehrt), um die Generalisierbarkeit über Inhalte hinweg zu prüfen.
• Modellvergleich: Durch systematisches Weglassen einzelner Predictor-Gruppen (Leave-One-Group-Out) wurde der Beitrag jedes Merkmals zur Vorhersagegenauigkeit quantifiziert.

3. Wichtige Ergebnisse

1. Robuste Vorhersage ästhetischer Bewertungen:
Visuelle Merkmale konnten die moment-to-moment Ratings in beiden Filmen signifikant vorhersagen (p < .001). Dies gilt sowohl innerhalb einzelner Teilnehmer als auch über die Teilnehmer hinweg. Dies zeigt, dass ästhetische Erfahrungen teilweise auf gemeinsamen perceptuellen Mechanismen basieren.

2. Generalisierung über Teilnehmer:
Die Modelle funktionierten auch, wenn sie auf einer Gruppe trainiert und auf Einzelpersonen getestet wurden. Die Vorhersagegenauigkeit war jedoch für den Naturfilm (Home) höher als für den Kunstfilm (Loving Vincent). Dies deutet darauf hin, dass ästhetische Bewertungen bei Kunstwerken eine höhere individuelle Variabilität aufweisen als bei Naturszenen.

3. Treibende Faktoren (Feature Importance):

• Visuelle Flüssigkeit und Farbe waren die wichtigsten Prädiktoren für beide Filme.
• Symmetrie und Bewegung spielten eine untergeordnete Rolle.
• Interessanter Befund zur Flüssigkeit: Die Richtung des Einflusses war je nach Film unterschiedlich. Bei Home (Natur) korrelierten hohe Ähnlichkeit und Integration positiv mit Schönheit (wie bei natürlichen Szenen üblich), während bei Loving Vincent (Kunst) die Beziehung umgekehrt war (höhere "Unflüssigkeit" oder Komplexität wurde als ästhetisch ansprechender bewertet). Dies deutet auf einen Wechsel vom rein perceptuellen zum reflektierenden Bewertungsmodus bei Kunst hin.

4. Generalisierung über Inhalte (Cross-Movie):
Modelle, die auf einem Film trainiert wurden, konnten die Ratings des anderen Films signifikant vorhersagen, trotz der enormen Unterschiede in Stil und Inhalt.

• Farbmerkmale waren der einzige Prädiktor, der diese cross-dataset Vorhersage konsistent und robust antrieb.
• Dies legt nahe, dass Farbstatistiken (insbesondere Farbintensität und Kontrast) universelle Grundlagen der ästhetischen Präferenz darstellen, die unabhängig von semantischem Inhalt oder Stil wirken.

4. Bedeutung und Fazit

• Geteilte Subjektivität: Die Studie widerlegt die Annahme, dass Schönheit rein im Auge des Betrachters liegt ("Beauty is in the eye of the beholder"). Stattdessen gibt es eine "perzeptuelle Schönheit", die auf geteilten visuellen Präferenzen basiert, die durch einfache Bildmerkmale modelliert werden können.
• Stabilität von Farbpräferenzen: Farbstatistiken erweisen sich als besonders robuste Prädiktoren, die über verschiedene visuelle Domänen (Natur vs. Kunst) hinweg stabil bleiben.
• Methodischer Fortschritt: Die Verwendung von dynamischen, natürlichen Stimuli (Filme) mit kontinuierlichen Ratings bietet eine ökologisch valide Methode, um ästhetische Erfahrungen zu untersuchen, die über statische Bildstudien hinausgeht.
• Zukunftsperspektive: Obwohl visuelle Merkmale einen signifikanten Teil der Varianz erklären, bleibt ein Großteil unerklärt (vermutlich durch höhere kognitive Faktoren wie Semantik, Emotion und kulturellen Hintergrund). Die Studie legt jedoch den Grundstein für Modelle, die niedrigere visuelle Merkmale mit höheren kognitiven Prozessen integrieren.

Zusammenfassend demonstriert das Papier, dass ästhetische Erfahrungen durch eine stabile Abbildung visueller Merkmale (insbesondere Farbe und Flüssigkeit) auf ästhetische Anziehungskraft erklärt werden können, die sowohl über verschiedene Personen als auch über stark unterschiedliche visuelle Inhalte hinweg generalisiert.