Not-quite-human tastes: the stylized omnivorousness of LLM survey surrogates

Résumé technique : Des goûts pas tout à fait humains : l'omnivorité stylisée des substituts de sondage par LLM

Énoncé du problème
Les grands modèles de langage (LLM) sont de plus en plus utilisés comme « substituts de silicium » pour les répondants humains dans la recherche par sondage, offrant la promesse d'une collecte de données peu coûteuse, évolutive et exempte de fatigue. Bien que des travaux antérieurs aient établi que les LLM peuvent approximer l'opinion publique globale sur des questions politiques et morales, leur fidélité dans le domaine du goût culturel demeure une question empirique ouverte. Le goût culturel est distinct de la simple opinion ; il est fondamentalement relationnel, structuré par des associations complexes entre les genres et profondément aligné sur l'espace social (classe, âge, genre, race). Cet article examine si les échantillons de silicium peuvent reproduire fidèlement non seulement les estimations écologiques (taux d'appréciation agrégés) de la consommation culturelle, mais aussi les structures relationnelles et les associations multivariées qui définissent les écologies du goût humain. L'urgence de cette enquête est portée par l'adoption commerciale rapide des « panels synthétiques » par les cabinets d'études de marché et le risque de « contamination synthétique » dans les données de sondage standards.

Méthodologie
L'étude emploie une approche par méthodes mixtes pour évaluer la fidélité des échantillons de silicium par rapport à un ensemble de données humaines canoniques : l'Enquête sur la participation du public aux arts (SPPA).

• Génération de données : Les auteurs ont généré 277 470 substituts de silicium (30 réponses synthétiques par répondant réel) en utilisant trois fournisseurs de LLM distincts : OpenAI (GPT-4.0), Anthropic (Claude 3.7 Sonnet) et DeepSeek (R1). Ces modèles ont été incités à adopter des personas correspondant aux caractéristiques démographiques de 9 249 répondants réels de la SPPA et à répondre par des questions binaires « aime/n'aime pas » concernant 17 genres musicaux.
• Analyse de la fidélité écologique : L'étude compare les taux d'« appréciation » agrégés entre les échantillons de silicium et les humains. Elle utilise la distance de Jaccard pour mesurer la dissimilarité entre l'ensemble des genres aimés par un répondant humain et son homologue de silicium. Les auteurs testent si les écarts sont expliqués par un « biais WEIRD » (favorisant les populations riches, éduquées, industrialisées, riches et démocratiques) ou par une « pénalité de minorité ».
• Analyse de la relationnalité : Pour évaluer la structure du goût, les auteurs construisent des matrices de covariation de Cramer's V de 17×17 pour les échantillons humains et de silicium. Cela mesure la force de l'association entre des paires de genres (par exemple, le fait d'aimer le jazz est-il corrélé à l'aimer l'opéra ?). L'étude compare ces matrices pour déterminer si les échantillons de silicium préservent la « relationnalité » complexe du goût humain ou s'ils ne font que reproduire des statistiques agrégées sans cohérence structurelle.
• Analyse d'association multivariée : En utilisant un cadre de méta-régression à effets mixtes, les auteurs modélisent les coefficients de la relation entre les goûts musicaux et quatre dimensions sociales : l'âge, le revenu, le genre et la race. Ils calculent le biais de coefficient introduit par les échantillons de silicium, en comparant les pentes de régression dérivées des données synthétiques à celles des données originales de la SPPA.

Résultats clés
L'étude conclut que, bien que les échantillons de silicium puissent produire des approximations de surface du goût humain, ils sont des « fac-similés hautement stylisés » qui échouent à capturer la logique sous-jacente de la consommation culturelle.

1. Biais positif systématique (Hyper-omnivorité) : Les échantillons de silicium présentent un biais positif omniprésent, « aimant trop » les genres de manière significative par rapport aux répondants humains. Cela se traduit par un profil « hyper-omnivore », particulièrement pour les genres non populaires. Par exemple, les substituts d'OpenAI ont gonflé l'appréciation de la musique folk de +63,61 points de pourcentage. Ce biais n'est pas expliqué par une pénalité de minorité ; en fait, les échantillons de silicium étaient moins fidèles pour les répondants blancs, plus riches et plus éduqués, contredisant l'hypothèse selon laquelle les LLM seraient simplement biaisés en faveur des groupes sous-représentés.
2. Perte de la structure relationnelle : La relationnalité complexe du goût humain est « complètement perdue » dans les échantillons de silicium. Bien que la force moyenne d'association (Cramer's V moyen) semble similaire entre les données humaines et de silicium, les couplages spécifiques n'étaient pas corrélés (r de Pearson = 0,06). Les échantillons de silicium atténuent les fortes associations humaines (par exemple, le lien entre le blues et le classic rock) et fabriquent des associations spécieuses entre des genres sans rapport (par exemple, l'hip-hop et le bluegrass). La fidélité relationnelle était conditionnée par la popularité, les genres non populaires montrant la plus grande divergence structurelle.
3. Alignements sociaux déformés : Les échantillons de silicium ne parviennent pas à préserver les alignements culturels connus entre le goût et l'espace social :
   • Âge : Les échantillons de silicium sur-associent les goûts à la jeunesse, amplifiant les coefficients d'âge négatifs pour des genres comme le rock alternatif et la pop, tout en atténuant la nature « codée par les aînés » du classic rock.
   • Classe (Revenu) : Les échantillons de silicium ressuscitent des hiérarchies de classe « anachroniques » rappelant le début du XXe siècle, imposant de fortes pentes de revenus positives sur les genres « intellectuels » (classique, jazz, opéra) là où les données humaines montrent des associations nulles ou faibles.
   • Genre : Les échantillons de silicium « caricaturaturent » les associations de genre, les exagérant pour des genres comme Broadway et la pop, tout en effaçant ou en inversant les associations non stéréotypiques (par exemple, en inversant la préférence féminine pour la musique country).
   • Race : Les échantillons de silicium « inventent » des associations fictives entre race et goût, exagérant les préférences racialisées pour des genres comme le reggae et l'hip-hop, et fabriquant des associations raciales là où aucune n'existe dans les données humaines (par exemple, en attribuant un biais non blanc à la musique électronique).

Signification et affirmations
L'article affirme que l'échantillonnage de silicium, dans son état actuel, n'est pas un substitut fidèle des répondants humains pour l'étude du goût culturel. Les auteurs soutiennent que la « plausibilité » des échantillons de silicium est trompeuse ; ils reproduisent des statistiques de synthèse (appréciation agrégée) tout en échouant à capturer l'organisation du goût qui lui donne sa signification sociologique.

La portée de ces résultats réside dans deux domaines :

1. Avertissement méthodologique : Les chercheurs utilisant des échantillons de silicium pour la sociologie culturelle risquent de tirer des conclusions fondamentalement erronées sur la structure du goût et sa relation avec la stratification sociale. Les échecs « relationnels » et « multivariés » signifient que les données de silicium ne peuvent pas être utilisées pour étudier l'écologie du goût, l'évolution des frontières de genre ou la localisation sociale des préférences culturelles.
2. Éclairage théorique : L'étude souligne que les LLM, malgré leur entraînement sur de vastes textes humains, ne possèdent pas un « espace social » latent qui reflète la réalité culturelle humaine. Au lieu de cela, ils produisent des résultats « stylisés » qui reflètent des artefacts algorithmiques (tels qu'une tendance à l'affirmation positive et une reconstruction de hiérarchies de classe obsolètes) plutôt que la nature nuancée, contingente et souvent contradictoire de la consommation culturelle humaine.

Les auteurs concluent que, bien que l'échantillonnage de silicium puisse offrir une utilité pour des tâches spécifiques et grossières, son application au goût culturel est actuellement limitée par des biais systématiques qui le rendent « pas tout à fait humain ».