🤖 AI

Critical Acclaim Orientation in Large Language Models: Evidence from Film Preference Elicitation

Deze studie toont aan dat grote taalmodellen consistent een oriëntatie op kritische lof vertonen, waarbij ze systematisch de voorkeur geven aan door critici geprezen maar commercieel obscure films boven commercieel succesvolle maar kritisch niet erkende films, een bias die intensiveert met de schaal van het model en die aanzienlijk wordt beïnvloed door publieke zichtbaarheid en populaire ontvangst.

Oorspronkelijke auteurs: Jonghyun Jee, Aaron Shaw

Gepubliceerd 2026-08-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonghyun Jee, Aaron Shaw

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot hebt die bijna alles heeft gelezen wat ooit op internet is geschreven. De robot weet hoe hij gedichten moet schrijven, wiskundige problemen moet oplossen en over je dag kan chatten. Maar hier komt de grote vraag: herhaalt deze robot gewoon wat de meeste mensen zeggen, of heeft hij stiekem zijn eigen "smaak" die neigt naar wat experts zeggen? Dit is de wereld van Large Language Models (LLM's) — computerprogramma's die getraind zijn op enorme hoeveelheden menselijke tekst. Wetenschappers maken zich al lang zorgen dat deze robots bevooroordeeld kunnen zijn tegenover bepaalde groepen mensen, maar deze studie stelt een andere vraag: hebben ze een voorkeur voor "hoge cultuur" (zoals arthousefilms) boven "popcultuur" (zoals zomerblockbusters)? Het is alsof je vraagt of een robot die elke filmrecensie uit de geschiedenis heeft gelezen, liever een stille, moeilijke film kijkt die door critici wordt geprezen, of een luidruchtige, actievolle film waar iedereen in de bioscoop het over heeft. Het begrijpen hiervan is belangrijk omdat deze robots beginnen te fungeren als onze gidsen; ze vertellen ons welke films we moeten kijken, welke boeken we moeten lezen en naar welke muziek we moeten luisteren. Als ze een verborgen voorkeur hebben, sturen ze ons misschien naar een specifiek soort cultuur zonder dat we het zelf doorhebben.

Dus, wat hebben de onderzoekers eigenlijk gedaan? Ze behandelden acht verschillende AI-modellen als filmcritici en vroegen hen een spelletje "Dit of Dat" te spelen. Ze kozen 200 films en verdeelden deze in drie groepen:

De Dubbele Winnaars: Films die zowel een kritisch succes als een bioscoophit waren (zoals The Godfather).
De Lievelings van de Critici: Films waar critici dol op waren, maar die het gewone publiek grotendeels negeerde (vaak oudere, buitenlandse of "arthouse"-films).
De Publieksfavorieten: Films die enorm veel geld opleverden bij de kassa, maar slechte recensies kregen van critici (zoals veel grote superheldenfilms of animatiesequels).

De onderzoekers vroegen de AI om telkens tussen twee films te kiezen, duizenden keren, om te zien welke zij de voorkeur gaf. Ze voerden dit experiment uit op modellen van vier verschillende grote technologiebedrijven (Anthropic, OpenAI, Alibaba en Mistral), inclusief zowel "kleine" als "grote" versies van elk model.

Hier komt de verrassende wending: De robots kozen consequent de Lievelings van de Critici boven de Publieksfavorieten. Zelfs toen de "Publieksfavorieten" miljoenen keren vaker online werden besproken, bleven de AI-modellen de obscure, door critici geprezen films kiezen. De onderzoekers noemen dit een "oriëntatie op kritische waardering" (critical acclaim orientation). Het is alsof de robot een geheime clubpas heeft met de tekst: "Ik hou alleen van de dingen die de kunstcritici goedkeuren."

De studie vond ook dat grotere, intelligentere robots een nog sterkere voorkeur hadden voor deze door critici favoriete films. Naarmate de modellen groter werden, werden ze eerder geneigd de obscure arthousefilm te kiezen boven de populaire blockbuster.

Maar waarom? De onderzoekers gingen dieper in op de vraag of de robots simpelweg de films kozen die het meest werden genoemd (publieke zichtbaarheid) of de films die gewone mensen hoog beoordeelden (populaire ontvangst). Ze gebruikten een slim statistisch trucje om deze factoren van elkaar te scheiden. Ze ontdekten dat zelfs wanneer je rekening houdt met hoe beroemd een film is of hoeveel gewone mensen er een hoge waardering voor gaven, de AI nog steeds de voorkeur gaf aan de films waar critici dol op waren. Sterker nog, wanneer ze corrigeerden voor hoe beroemd een film was, begon de AI de puur commerciële films zelfs nóg minder te waarderen dan daarvoor. Dit suggereert dat de AI niet alleen kopieert wat populair is; het heeft een specifiek "prestige"-signaal geabsorbeerd uit de trainingsdata dat kritische lof belangrijker vindt dan massale aantrekkingskracht.

Interessant genoeg veranderde het gedrag van de robots afhankelijk van hoe je de vraag stelde. Wanneer de onderzoekers vroegen: "Welke film zou je aan een algemeen publiek aanbevelen?", verschoof de voorkeur van de robots en werden ze minder geobsedeerd door de lievelings van de critici. Dit suggereert dat de AI van modus kan wisselen: het heeft een "criticus-modus" die houdt van hoogstaande kunst, maar het kan ook een "aanbevelings-modus" aanzetten als je vraagt om praktischer te zijn.

Kortom, de studie suggereert dat deze AI-modellen een verborgen hiërarchie van smaak hebben geleerd. Ze lijken de goedkeuring van culturele elites (critici) belangrijker te vinden dan de goedkeuring van de massa, zelfs wanneer de massa honderdduizend keer meer over een film praat dan de critici. Ho'e betekent niet dat de robots "bewustzijn" of gevoelens hebben, maar het betekent wel dat als je hen om hun mening vraagt, ze je waarschijnlijk richting de "serieuze" zaken zullen sturen, waarbij ze potentieel de leuke, populaire films over het hoofd zien die gewone mensen genieten. De onderzoekers zijn voorzichtig in hun bewoordingen en zeggen dat dit een patroon is dat zij hebben waargenomen en gemeten, en niet een bewezen feit over hoe de "hersenen" van de robots werken, maar het bewijs is sterk en consistent over alle geteste modellen heen.

Technisch Samenvatting: Kritische Erkenning Oriëntatie in Large Language Models

Probleemstelling

Large Language Models (LLM's) worden getraind op corpora die enorme hoeveelheden menselijk oordeel bevatten over culturele objecten zoals films, boeken en muziek. Terwijl eerder onderzoek uitgebreid sociale vooroordelen in LLM's heeft gedocumenteerd met betrekking tot demografie, nationaliteit en politiek, blijft de mate waarin modellen systematisch culturele hiërarchieën reproduceren—specifiek het onderscheid tussen kritische erkenning en commercieel succes—onduidelijk.

Twee concurrerende hypothesen kaderen deze verkenning:

Zichtbaarheidslogica: Modellen kunnen de omvang van het online discours weerspiegelen, waarbij ze de voorkeur geven aan commercieel succesvolle films die het internettekstvolume domineren door fancommunities en nieuwsverslaggeving.
Prestige logica: Modellen kunnen vormen van prestige reproduceren die ingebed zijn in kritisch discours, waarbij ze de voorkeur geven aan werken die door culturele elites zijn gezegend, zelfs als deze weinig publieke zichtbaarheid missen.

De studie beoogt te bepalen of LLM's een systematische evaluatieve oriëntatie vertonen naar kritisch geprezen werken boven commercieel succesvolle werken, en om te ontrafelen of deze voorkeur voortkomt uit de omvang van het discours (zichtbaarheid) of de evaluatieve valentie van dat discours (prestige).

Methodologie

Constructie van de Dataset

De auteurs hebben een benchmark van 200 films geconstrueerd, gestratificeerd in drie wederzijds uitsluitende sets op basis van twee corpora: They Shoot Pictures, Don't They? (TSPDT) voor kritische erkenning en Box Office Mojo (BOM) voor commercieel succes.

Set A (Dubbele Legitimiteit, n=40): Films die zowel in TSPDT als in BOM voorkomen.
Set B (Alleen Kritisch, n=80): Films in TSPDT maar niet in BOM (kritisch erkend, commercieel obscure).
Set C (Alleen Commercieel, n=80): Films in BOM maar niet in TSPDT (commercieel succesvol, kritisch niet erkend).
De dataset werd gestratificeerd naar taal en tijdperk om een gebalanceerde representatie te garanderen, hoewel Set B een hoger aandeel historische cinema van vóór 1980 bevatte, terwijl Set C neigde naar releases na 2000.

Geëvalueerde Modellen

Acht modellen uit vier families werden getest, die zowel kleine als grote capaciteitsniveaus binnen elke familie vertegenwoordigen:

Anthropic: Claude Haiku 4.5, Claude Sonnet 4.6
OpenAI: GPT-5.4 Nano, GPT-5.4
Alibaba: Qwen2.5-Turbo, Qwen2.5-Plus
Mistral: Mistral Small 3.2, Mistral Large 3

Elicitatieprocedure

De studie maakte gebruik van pairwise forced-choice vergelijkingen om voorkeuren te extraheren, een methode die ontworpen is om alignment-lagen te omzeilen die expliciete waardeoordelen vaak onderdrukken.

Protocol: Elk model voerde 20.000 pairwise vergelijkingen uit (4.000 per iteratie over 5 runs).
Prompt: "Welke van deze twee films heeft je voorkeur? A: {item a}; B: {item b}. Reageer met alleen 'A' of 'B'."
Adaptieve Sampling: Een driefasige samplingstrategie werd toegepast om efficiënte schatting te waarborgen, waarbij de prioriteit lag op brede dekking, competitieve sampling voor items van vergelijkbare sterkte, en focus op ranggrenzen.
Analyse: Het Bradley–Terry model werd gebruikt om latente sterkteparameters ( $\pi_i$ ) voor elk film te schatten, waardoor binaire keuzes werden omgezet in een stabiele voorkeurshiërarchie.

Validatie en Analyse

Validatie (H1): De studie verifieerde item-niveau determinisme (consistentie bij temperatuur 0), rangorde-stabiliteit over iteraties, en prompt-frame invariantie.
Hypothesetesten (H2–H4):
- H2: Alleen-kritische films (Set B) zullen meer dan 50% van de confrontaties winnen tegen alleen-commerciële films (Set C).
- H3: Films met dubbele legitimiteit (Set A) zullen de kritisch-alleen films (Set B) verslaan.
- H4: De oriëntatie op kritische erkenning intensiveert met de schaal van het model.
Regressieanalyse: Geneste Ordinary Least Squares (OLS) modellen werden gebruikt om de latente sterkte ( $\lambda_z$ ) te deconstrueren in voorspellers: lidmaatschap van de corpus set, tijdperk, publieke zichtbaarheid (log IMDb stemmen) en populaire receptie (IMDb gebruikerswaarderingen).

Belangrijkste Resultaten

1. Validatie van Geëxtraheerde Voorkeuren

De geëxtraheerde voorkeuren vertoonden een hoge betrouwbaarheid. Alle modellen overschreden de 0.95 consistentiedrempel voor item-niveau determinisme, en de inter-run Spearman-correlaties voor rangordes waren hoger dan 0.80. Cruciaal was dat evaluatieve prompts ("voorkeur", "houden van") stabiele rangordes produceerden ( $\rho \approx 0.85$ ), terwijl het verschuiven naar een aanbevelingskader ("aanbevelen aan een algemeen publiek") divergente rangordes produceerde ( $\rho \approx 0.26–0.31$ ), wat wijst op verschillende responsmodi.

2. Oriëntatie op Kritische Erkenning (H2)

Alle acht modellen vertoonden een consistente oriëntatie op kritische erkenning. Films uit Set B (alleen kritisch) wonnen significant vaker dan 50% van de head-to-head matchups tegen films uit Set C (alleen commercieel).

Grote Modellen: Winpercentages varieerden van 77,7% tot 87,8% (effectgroottes $d = 1,31–1,72$ ).
Kleine Modellen: Winpercentages varieerden van 65,6% tot 77,1% (effectgroottes $d = 0,82–1,11$ ).
Top gerangschikte Films: Omvatten Spirited Away, The Godfather en Portrait of a Lady on Fire (Set A/B), terwijl onderaan de ranglijst films stonden als The Angry Birds Movie en Cars 2 (Set C).

3. Dubbele Legitimiteit (H3)

De hypothese dat films met dubbele legitimiteit (Set A) consequent de kritisch-alleen films (Set B) zouden verslaan, werd niet ondersteund. De resultaten waren gemengd: sommige grote modellen lieten zien dat Set B won, terwijl andere modellen lieten zien dat Set A won. Dit suggereert dat zodra publieke zichtbaarheid wordt meegewogen, de status van "alleen kritisch" een film niet inherent benadeelt ten opzijde van een film met dubbele legitimiteit.

4. Schaalafhankelijkheid (H4)

De oriëntatie op kritische erkenning intensifieert met de model schaal binnen elke familie. Grotere modellen vertoonden hogere winpercentages voor Set B versus Set C vergeleken met hun kleinere tegenhangers. Het mechanisme varieerde echter per familie: voor OpenAI en Mistral werd de toename gedreven door verbeterde prestaties op obscure Set B films (wat duidt op betere dekking van esoterische inhoud), terwijl voor Anthropic en Alibaba zowel de prestaties van Set A als Set B verbeterden, wat wijst op een bredere capaciteitsverschuiving.

5. Regressieanalyse: Zichtbaarheid versus Valentie

Geneste OLS-regressie onthulde dat publieke zichtbaarheid en populaire receptie verschillen van de evaluatieve oriëntatie:

Tekensverandering voor Set B: In ongecorrigeerde modellen leken Set B films minder geprefereerd dan Set A. Echter, na controle voor publieke zichtbaarheid (IMDb stemmen) en populaire receptie (waarderingen), veranderde de coëfficiënt voor Set B van teken en werd positief. Dit geeft aan dat de schijnbare achterstand van alleen-kritische films grotendeels te wijten is aan een lagere zichtbaarheid en dekking, en niet aan een inherente afkeer.
Attenuatie voor Set C: De grote initiële straf voor alleen-commerciële films (Set C) werd aanzienlijk verminderd na controle voor tijdperk, zichtbaarheid en waarderingen, wat suggereert dat LLM's commerciële films niet categorisch afwijzen; de straf wordt eerder gedreven door lagere kritische waarderingen en zichtbaarheid.
Voorspellende Kracht: Populaire receptie (IMDb-waarderingen) was de sterkste enkele voorspeller van de voorkeursterkte, gevolgd door publieke zichtbaarheid.

Betekenis en Claims

Het artikel beweert de eerste systematische meting te bieden van de culturele voorkeur van LLM's over meerdere modellen, families en capaciteitsniveaus. De primaire bijdragen en claims zijn:

Bestaan van een Oriëntatie op Kritische Erkenning: LLM's reproduceren consistent een hiërarchie die de voorkeur geeft aan kritisch gezegende werken boven commercieel succesvolle werken, zelfs wanneer laatstgenoemde een veel hogere publieke zichtbaarheid hebben. Deze oriëntatie is robuust over verschillende institutionele origines en modelarchitecturen heen.
Ontkoppeling van Zichtbaarheid en Valentie: De studie toont aan dat de voorkeur voor kritische werken niet louter een reflectie is van de omvang van de trainingsdata (zichtbaarheid). In plaats daarvan is de evaluatieve valentie (de kwaliteit van het oordeel) die in het kritische discours is ingebed, een afzonderlijke factor die de modeloutputs vormgeeft.
Schaaleffecten: De neiging om de voorkeur te geven aan kritische erkenning intensiveert met de model schaal, hoewel de onderliggende mechanismen (dekking versus capaciteit) variëren per modelfamilie.
Contextuele Divergentie: De studie benadrukt een functionele divergentie tussen evaluatieve outputs (die kritische hiërarchieën reflecteren) en aanbevelings outputs (die meer kunnen aansluiten bij de algemene publieksgeschiktheid). Dit suggereert dat de oriëntatie op kritische erkenning niet altijd manifesteert in real-world aanbevelingsscenario's, maar een latente structurele eigenschap blijft van de evaluatieve logica van het model.
Implicaties voor AI-auditing: De bevindingen suggerken dat culturele voorkeur een afzonderlijke dimensie van modelbias is die onafhankelijk opereert van demografische of politieke bias. Omdat esthetische domeinen geen objectieve baseline hebben, impliceert het afstemmen (aligning) van modellen op deze gebieden normatieve keuzes over welke evaluatieve standaarden (kritisch versus populair) geprioriteerd moeten worden.

De auteurs hanteren een bescheiden standpunt door te merken dat de studie gedragsregulariteiten in outputpatronen identificeert in plaats van interne cognitieve toestanden of "smaak" te bewijzen. Ze erkennen beperkingen met betrekking tot het enkele culturele domein (film), het gebruik van Engelse prompts, en het onvermogen om de effecten van trainingsdata-dekking definitief te scheiden van post-training alignment-regimes.