Résumé technique : L'IA surpasse les humains dans l'évaluation esthétique personnalisée d'images via des entretiens basés sur des LLM et l'extraction de caractéristiques sémantiques

Énoncé du problème

Prédire avec précision les préférences esthétiques individuelles pour des images constitue un défi fondamental en intelligence artificielle. Bien que les modèles d'apprentissage profond (DL) aient fait progresser le domaine de l'évaluation esthétique générique d'images (GIAA) — en prédisant les notes moyennes de la population —, ils peinent à gérer l'évaluation esthétique personnalisée d'images (PIAA). L'évaluation esthétique est intrinsèquement subjective et dépend du traitement interne individuel, ce qui signifie que les moyennes de population éliminent souvent des informations critiques spécifiques à l'individu.

Les approches PIAA existantes se heurtent à deux limitations principales :

1. Rareté des données : Il est difficile de collecter suffisamment de données de notation pour des individus spécifiques.
2. Limites des caractéristiques : Les méthodes conventionnelles reposent fortement sur des caractéristiques physiques objectives de bas niveau (par exemple, couleur, texture) et échouent à capturer adéquatement les caractéristiques sémantiques de haut niveau (par exemple, récit, émotion, contexte culturel) qui déterminent la préférence subjective. De plus, ces méthodes manquent souvent d'un mécanisme pour susciter activement les préférences spécifiques et nuancées d'un individu cible.

Méthodologie

Les auteurs proposent un système intégré DL-LLM conçu pour combler le fossé entre les caractéristiques objectives d'images et la préférence humaine subjective grâce à une interaction linguistique active. Le système se compose de deux sous-systèmes principaux :

1. Le système d'entretien (Élicitation des préférences)

Pour capturer les préférences esthétiques de l'individu cible, le système utilise un cadre LLM multi-agents pour mener un entretien semi-structuré.

• Agents : Deux agents fonctionnent de manière asynchrone : un Interviewer qui pose des questions et un Analyseur qui traite les réponses.
• Mécanisme : Contrairement aux sondages à questions fixes, le système utilise un « Conteneur de données d'entretien » partagé pour maintenir le contexte. L'Analyseur génère des insights et des hypothèses à partir des réponses de l'utilisateur, que l'Interviewer utilise pour formuler la question suivante.
• Thèmes : L'entretien couvre trois thèmes principaux : Cibles de préférence (sujets, histoires, culture), Réactions évoquées par l'image (réponses émotionnelles/physiques) et Goûts personnels (préférences/générales).
• Objectif : Capturer linguistiquement l'essence sous-jacente de la sensibilité esthétique de l'individu.

2. Le système de prédiction (Extraction de caractéristiques et modélisation)

Ce sous-système construit un modèle prédictif personnalisé en intégrant des caractéristiques de bas niveau et de haut niveau.

• Architecture :
  • Module DL : Un réseau de neurones convolutif (colonne vertébrale ResNet-50) préentraîné sur des données GIAA et affiné sur les données de l'individu pour fournir une prédiction intermédiaire basée sur des caractéristiques de bas niveau.
  • Module LLM : Utilise les données d'entretien pour générer un ensemble de caractéristiques sémantiques de haut niveau. Il fonctionne en deux phases :
    • Exploration des caractéristiques : Un processus itératif où le LLM analyse les erreurs de prédiction d'un modèle linéaire temporaire et conçoit de nouvelles descriptions de caractéristiques linguistiques (par exemple, « évoque un sentiment de nostalgie »). Le LLM attribue ensuite un « score d'applicabilité » (0–1) à chaque image pour ces nouvelles caractéristiques.
    • Entraînement du modèle : Un modèle d'apprentissage automatique (ML) final (Régresseur à Gradient Boosting) est entraîné en utilisant les caractéristiques de haut niveau extraites et les scores intermédiaires du module DL pour prédire la note esthétique finale.
• Données d'entraînement : Le système utilise un ensemble de données de 300 images par participant (30 catégories sémantiques × 3 classes de notation × 20 images), divisé en ensembles d'entraînement, de validation et de test.

Configuration expérimentale

• Participants : 30 individus (tous dans la vingtaine ; 25 hommes, 5 femmes).
• Tâche : Les participants ont noté 300 images sur une échelle de 1,0 à 5,0.
• Lignes de base : Le système proposé a été comparé à :
  • Prédicteur basé sur DL : ResNet-50 standard affiné.
  • Prédicteurs basés sur LLM : Divers modèles (Claude, GPT, Gemini) utilisant l'apprentissage par quelques exemples sans le système d'entretien.
  • Prédicteurs humains : Des participants prédisant les notes d'autres participants anonymisés (en utilisant leurs données d'entraînement et les résumés d'entretien).
  • Auto-retest : Les participants ont re-noté les mêmes images après un intervalle de deux semaines (mesurant la variabilité intra-individuelle).
• Métrique : L'erreur absolue moyenne (MAE) a été utilisée pour mesurer la précision de la prédiction, permettant une comparaison directe avec la variabilité intra-individuelle.

Résultats clés

1. Performance supérieure : Le système intégré proposé a obtenu la MAE la plus faible (0,549) parmi tous les prédicteurs, surpassant significativement le prédicteur basé sur DL (0,561, $p=0,0328$).
2. Précision pour les images très notées : Le système a montré l'amélioration la plus significative par rapport à la ligne de base DL pour les images notées 5,0 (très bien notées), avec une amélioration moyenne de 21 %. Cela suggère que les caractéristiques sémantiques de haut niveau sont cruciales pour capturer une forte appréciation esthétique.
3. Surpassement des prédicteurs humains : Les prédicteurs humains ont obtenu les pires résultats parmi tous les groupes. Leurs erreurs étaient systématiquement biaisées vers leurs propres valeurs esthétiques, indiquant une difficulté à dissocier la préférence personnelle de la prédiction de celle d'autrui.
4. IA contre Futur Soi : Le système proposé a surpassé la ligne de base « Auto-retest ». Cela indique que l'évaluation esthétique d'un individu à un moment donné est capturée plus précisément par le système d'IA que par son propre futur soi, car l'évaluation humaine présente des fluctuations temporelles substantielles.
5. Expérience utilisateur : Les participants ont rapporté des niveaux élevés d'introspection et de métacognition après l'entretien, suggérant que le processus les a aidés à articuler leurs propres préférences.

Signification et revendications

L'article revendique que ce travail fournit des preuves quantitatives que les systèmes d'IA peuvent capturer les préférences esthétiques individuelles plus précisément que d'autres humains ou même le futur soi d'un individu.

• Insight scientifique : Les résultats suggèrent que les valeurs esthétiques humaines sont sujettes à des fluctuations temporelles et sont fortement biaisées par le propre système de valeurs d'un individu lorsqu'il prédit celles d'autrui. En revanche, les systèmes d'IA, une fois entraînés, présentent une cohérence temporelle et peuvent s'adapter flexiblement à de nouveaux individus sans le biais systématique de la projection personnelle.
• Interprétation de la sensibilité humaine : Les auteurs postulent que l'IA pourrait être mieux positionnée pour servir d'« interprète plus profond » de la sensibilité esthétique humaine que les humains eux-mêmes, car elle peut susciter et modéliser activement les préférences subjectives sans l'interférence des valeurs fluctuantes du prédicteur.
• Contribution technique : Le travail démontre un pipeline novateur où les LLM sont utilisés non seulement pour la prédiction, mais pour l'extraction active et itérative de caractéristiques sémantiques de haut niveau à partir de données linguistiques non structurées afin d'affiner les modèles prédictifs.

L'article se termine par une reconnaissance modeste des limites, notamment la petite taille et le déséquilibre démographique du pool de participants, la dépendance aux entretiens en langue japonaise et les coûts de calcul. Il note également les implications éthiques plus larges concernant la vie privée et la possibilité de simplifier excessivement les valeurs humaines, appelant à de futures recherches sur l'unicité irréductible de l'expérience esthétique humaine.