From pixels to pleasure: visual features explain dynamic aesthetic experiences across distinct movie content

Cette étude démontre que des caractéristiques visuelles, en particulier la fluidité visuelle et les attributs colorimétriques, permettent de prédire avec fiabilité l'expérience esthétique dynamique des spectateurs lors de la vision de films, et ce, de manière stable à la fois entre différents individus et entre des œuvres au style et au contenu radicalement différents.

L'essentiel

Imaginez que vous êtes assis dans un cinéma, plongé dans l'obscurité. Devant vous défilent des images : tantôt des paysages naturels époustouflants, tantôt des scènes peintes à la main qui ressemblent à des tableaux vivants. À chaque seconde, votre cerveau vous dit : « Ça, c'est beau ! » ou « Là, c'est moins joli ».

Mais la question est : pourquoi ? Est-ce que le beau est purement dans l'œil de celui qui regarde, ou existe-t-il une recette secrète cachée dans les pixels eux-mêmes ?

C'est exactement ce que les chercheurs de cette étude ont voulu découvrir. Voici leur histoire, racontée simplement.

1. Le Grand Expérience : Deux Films, Une Question

Les scientifiques ont organisé deux séances de cinéma spéciales.

• Film 1 : Home, un documentaire magnifique sur la nature (des baleines, des forêts, des volcans). C'est du « réel ».
• Film 2 : Loving Vincent, un film d'animation où chaque image est une peinture à l'huile de Van Gogh. C'est du « artistique ».

Au lieu de simplement regarder, les spectateurs avaient un petit curseur dans les mains. Ils devaient le bouger en temps réel pour indiquer à quel moment le film leur semblait beau ou laid. C'était comme si ils tenaient le « cœur émotionnel » du film en direct.

2. La Recette Magique : Décortiquer l'Image

Pendant que les gens regardaient, les chercheurs ont pris chaque image du film (chaque « pixel ») et l'ont décortiquée comme un chef cuisinier qui analyse les ingrédients d'un plat. Ils ont cherché quatre types d'ingrédients visuels :

1. La Facilité de lecture (Fluence visuelle) : Est-ce que l'image est facile à comprendre ? Les formes s'assemblent-elles bien ? C'est comme si votre cerveau disait : « Oh, c'est clair, je comprends tout de suite, c'est reposant ».
2. La Symétrie : Y a-t-il un équilibre, comme un visage ou un papillon ?
3. Les Couleurs : Est-ce que c'est coloré ? Est-ce qu'il y a du vert, du bleu ? Est-ce que les couleurs contrastent bien ?
4. Le Mouvement : Est-ce que ça bouge vite ou lentement ?

3. La Surprise : L'Ordinateur a Deviné !

Ensuite, les chercheurs ont donné ces « ingrédients » à un ordinateur (un modèle mathématique) et lui ont demandé : « Peux-tu deviner ce que les humains vont trouver beau, juste en regardant ces ingrédients ? »

Le résultat est bluffant :

• L'ordinateur a réussi à prédire ce que les gens trouvaient beau, même pour des parties du film qu'il n'avait jamais vues.
• Plus incroyable encore : l'ordinateur a pu prendre ce qu'il avait appris sur le film de nature (Home) et l'appliquer au film peint (Loving Vincent), et inversement ! Même si les deux films sont totalement différents (l'un est réel, l'autre est de l'art), les règles du « beau » sont restées les mêmes.

4. Les Vrais Héros de l'Histoire

Alors, quel ingrédient est le plus important ?

• Les couleurs sont les stars ! C'est le facteur le plus puissant. Les gens aiment généralement les images où les couleurs sont vives et où il y a beaucoup de bleu et de vert (comme dans la nature ou les ciels). Peu importe si c'est un documentaire ou un tableau, si les couleurs sont belles, le cerveau dit « J'aime ».
• La facilité de lecture compte aussi, mais de manière subtile. Dans la nature, on aime ce qui est clair et bien organisé. Dans l'art, parfois, on aime aussi ce qui est un peu plus complexe ou mystérieux.
• Le mouvement et la symétrie jouent un rôle, mais moins décisif que les couleurs.

5. La Leçon à Retenir

Cette étude nous dit quelque chose de très réconfortant sur la beauté.

On a souvent l'impression que la beauté est une opinion purement personnelle, comme le goût pour la musique ou la nourriture. « Le beau est dans l'œil de celui qui regarde », dit-on.

Mais cette recherche montre que nous partageons tous un même « langage visuel ». Notre cerveau réagit de la même façon à certaines combinaisons de couleurs et de formes, que nous soyons un Américain, un Allemand, un jeune ou un vieux, et que nous regardions un documentaire ou un chef-d'œuvre d'art.

En résumé :
Imaginez que la beauté est une mélodie. Chaque personne a son propre style de musique préféré, mais il y a une gamme de notes (les couleurs, la clarté) qui fait que tout le monde tape du pied en même temps. Les chercheurs ont réussi à écrire la partition de cette mélodie universelle, et ils ont prouvé qu'elle fonctionne aussi bien pour un documentaire sur les baleines que pour un film peint par Van Gogh.

La beauté n'est pas seulement dans l'œil, elle est aussi dans les pixels.

Résumé technique

1. Problématique et Contexte

L'étude s'attaque à la question de savoir comment les caractéristiques visuelles de bas et de milieu de niveau influencent les expériences esthétiques dynamiques dans des contextes naturels et changeants. Bien qu'il soit établi que la beauté dépend de l'observateur et du contexte, la littérature actuelle présente deux limites majeures :

1. Focus isolé : La plupart des études se concentrent sur une seule caractéristique visuelle à la fois (ex. : symétrie, luminosité) plutôt que sur une combinaison de multiples facteurs.
2. Manque de généralisation : Les recherches se limitent souvent à un seul type de contenu visuel (ex. : uniquement des œuvres d'art, des visages ou des scènes naturelles), rendant incertaine la généralisation des préférences esthétiques à travers différents types de stimuli complexes.

L'objectif principal est de déterminer si une combinaison de caractéristiques visuelles extraites d'images peut prédire de manière fiable les jugements esthétiques en temps réel lors de la vision de films, et si ces modèles généralisent à travers différents observateurs et différents contenus cinématographiques (documentaire naturel vs film d'animation artistique).

2. Méthodologie

Design Expérimental :
L'étude comprend deux expériences distinctes impliquant une notation continue de l'attrait esthétique :

• Expérience 1 (Nature) : 37 participants ont regardé le documentaire Home, divisé en 9 segments, présentant des scènes naturelles variées.
• Expérience 2 (Art) : 30 participants ont regardé le film d'animation Loving Vincent (dépeignant les œuvres de Van Gogh), divisé en 8 segments.
• Tâche : Les participants ont évalué l'attrait esthétique de chaque film en temps réel à l'aide d'une barre de défilement (slider) tout en regardant les films (sans son).

Extraction des Prédicteurs Visuels :
Pour chaque image (frame) du film, 12 métriques visuelles « calculables par image » ont été extraites et rééchantillonnées à une résolution d'une seconde. Ces métriques sont regroupées en quatre catégories :

1. Fluence Visuelle (Visual Fluency) : Calculées via un réseau de neurones profond (VGG16 pré-entraîné sur Places365).
   • Similarité : Corrélation entre les activations des parties paires et impaires d'une image.
   • Intégration : Corrélation entre la moyenne des activations des parties et l'activation de l'image entière.
   • Norme L2 : Somme des activations carrées (mesure de la force d'activation globale).
2. Symétrie : Corrélation pixel par pixel des images avec leurs réflexions horizontales et verticales.
3. Statistiques de Couleur : Calculées dans l'espace CIELab et HSL.
   • Colorfulness, Greenness, Blueness : Dérivés des canaux a (vert-rouge) et b (bleu-jaune).
   • Saturation moyenne, Contraste de teinte, Contraste de luminosité.
4. Mouvement Visuel : Énergie du mouvement calculée via un modèle de filtres de Gabor spatio-temporels.

Modélisation et Analyse :

• Régression Ridge : Des modèles de régression ridge ont été entraînés pour prédire les notes d'attrait esthétique à partir des 12 prédicteurs.
• Validation Croisée : Une procédure de validation croisée imbriquée a été utilisée. Pour chaque participant, un segment était réservé comme ensemble de test, un autre pour la validation (sélection du paramètre de régularisation $\lambda$), et le reste pour l'entraînement.
• Analyses de Généralisation :
  • Intra-sujet : Prédiction des notes d'un participant sur de nouveaux segments.
  • Inter-sujet : Entraînement sur la moyenne de groupe pour prédire les notes d'un participant laissé de côté.
  • Inter-film (Cross-dataset) : Entraînement sur un film (ex. Home) et test sur l'autre film (Loving Vincent), et vice-versa.
• Analyse de Contribution : Des modèles réduits (excluant un groupe de prédicteurs à la fois) ont été comparés au modèle complet pour identifier les caractéristiques les plus informatives.

3. Résultats Clés

Prédiction Robuste de l'Attrait Esthétique :

• Les modèles basés sur les caractéristiques visuelles ont prédit avec succès les notes d'attrait esthétique pour les deux films (Home et Loving Vincent), tant au niveau individuel qu'au niveau de groupe.
• Les corrélations entre les notes prédites et observées étaient significatives ($p < .001$), indiquant que les caractéristiques visuelles sous-tendent les expériences esthétiques dynamiques.

Généralisation Inter-sujet :

• Les modèles entraînés sur un groupe de participants ont pu prédire les jugements d'un nouveau participant, suggérant des préférences visuelles partagées.
• La précision de la prédiction inter-sujet était plus élevée pour le documentaire Home que pour le film artistique Loving Vincent, ce qui confirme que l'appréciation de l'art est plus variable individuellement que celle des scènes naturelles.

Contribution des Caractéristiques Visuelles :

• Fluence et Couleur : Ces deux groupes de caractéristiques étaient les plus informatifs pour prédire l'expérience esthétique dans les deux films.
• Symétrie et Mouvement : Leur contribution était moindre et moins constante. La symétrie était significative pour Home mais pas pour Loving Vincent. Le mouvement n'avait pas d'effet significatif dans les analyses intra-film.

Généralisation Inter-film (Cross-Movie) :

• Résultat Critique : Les modèles entraînés sur un film ont pu prédire les notes de l'autre film avec une précision significative, malgré des différences majeures de style et de contenu.
• Rôle Dominant de la Couleur : Lors de la prédiction inter-film, les caractéristiques de couleur étaient les seules à garantir une généralisation robuste. L'exclusion des statistiques de couleur réduisait significativement la performance du modèle.
• Nuance sur la Fluence : Bien que la fluence soit prédictive à l'intérieur de chaque film, ses effets s'inversent entre les deux. Dans Home (nature), une plus grande similarité et intégration (plus de fluence) augmentait l'attrait, tandis que dans Loving Vincent (art), la relation était inversée (moins de fluence = plus d'attrait), suggérant un mode de traitement différent (réflexif vs perceptif).

4. Contributions et Signification

Contributions Théoriques :

• Esthétique Partagée : L'étude démontre que l'expérience esthétique n'est pas purement idiosyncrasique (« la beauté est dans l'œil de celui qui regarde ») mais repose sur des mécanismes perceptifs partagés qui peuvent être capturés par des caractéristiques visuelles objectives.
• Universalité de la Couleur : Les statistiques de couleur (en particulier la richesse des couleurs et les tons bleus/verts) apparaissent comme des prédicteurs universels de l'attrait esthétique, transcendant les différences de contenu (nature vs art) et de style.
• Modulation Contextuelle de la Fluence : L'étude révèle que l'impact de la fluence visuelle (facilité de traitement) dépend du contexte. Alors qu'elle favorise la beauté dans les scènes naturelles, elle peut être moins préférentielle dans un contexte artistique où la complexité et l'ambiguïté sont recherchées.

Implications Méthodologiques :

• Stimuli Dynamiques : L'étude valide l'utilisation de stimuli cinématographiques dynamiques et de notations continues pour étudier l'esthétique, offrant une validité écologique supérieure aux images statiques.
• Interprétabilité vs Boîte Noire : Contrairement aux approches « brute-force » utilisant des réseaux de neurones profonds comme boîtes noires, cette étude utilise des caractéristiques interprétables pour identifier spécifiquement quels aspects visuels (couleur, fluence) pilotent la beauté.

Conclusion :
Les auteurs concluent que l'expérience esthétique est une « subjectivité partagée ». Bien que les différences individuelles et contextuelles jouent un rôle, elles s'enracinent dans des mécanismes perceptifs communs. La cartographie des caractéristiques visuelles vers l'attrait esthétique est stable à travers les observateurs et les types de contenu, en particulier grâce au rôle central des statistiques de couleur.