We geloven vaak dat ons oordeel over kunst, literatuur of muziek volledig afhangt van wat er recht voor onze ogen of oren staat. We gaan ervan uit dat als een verhaal goed verteld is of een gedicht ontroerend is, we de kwaliteit ervan zullen herkennen, ongeacht wie het geschreven heeft. Dit idee is lang een hoeksteen van de literatuurtheorie geweest, met de suggestie dat de tekst zelf het enige zou moeten zijn dat ertoe doet. Echter, decennia aan psychologisch onderzoek hebben aangetoond dat onze hersenen niet op deze manier werken. Wanneer we lezen of luisteren, gebruiken we constant aanwijzingen over de bron om onze interpretatie te sturen. Als we weten dat een stuk tekst afkomstig is van een beroemde dichter, neigen we het dieper en betekenisvoller te vinden dan wanneer ons wordt verteld dat dezelfde woorden afkomstig zijn van een computerprogramma. Dit is niet slechts een kwestie van snobisme; het is een fundamentele manier waarop onze geest informatie verwerkt, waarbij we vertrouwen op de reputatie van de maker om het werk te begrijpen.

Nu kunstmatige intelligentie in staat is om verhalen, gedichten en essays te schrijven die opmerkelijk menselijk klinken, is er een nieuwe vraag ontstaan. Blijft deze bias naar menselijke makers ook bestaan wanneer het werk door een machine is gegenereerd? En misschien nog verrassender: delen de machines zelf deze bias? Nu AI-systemen steeds vaker worden gebruikt om essays van studenten te beoordelen, creatieve schrijfwedstrijden te prijzen en de kwaliteit van verschillende modellen te rangschikken, fungeren zij effectief als critici. Als deze digitale rechters getraind zijn op menselijke data, kunnen ze onze eigen vooroordelen over wat telt als "echte" creativiteit hebben geabsorbeerd. Begrijpen of deze systemen simpelweg menselijke bias nabootsen of deze juist versterken, is cruciaal, omdat het bepaalt hoe we de tools zullen vertrouwen die beginnen ons culturele landschap vorm te geven.

Onderzoekers aan de Princeton University zetten zich in om deze vragen te testen met een gecontroleerd experiment waarin menselijke lezers werden afgezet tegen kunstmatige intelligentiemodellen. Ze kozen een unieke set materialen om een eerlijke vergelijking te garanderen: dertig verschillende hertellingen van hetzelfde eenvoudige verhaal, oorspronkelijk geschreven door de Franse auteur Raymond Queneau in 1947. Queneaus werk, bekend als Exercises in Style, neemt een alledaagse anekdote over een man in een bus en herschrijft deze op tweeënnegentig verschillende manieren, variërend van een dromerige sequentie tot een juridisch document of een straatgesprek vol jargon. De onderzoekers namen dertig van deze door mensen geschreven versies en vroegen een krachtig AI-model om eigen versies van dezelfde dertig stijlen te genereren. Het resultaat was een set gepaarde verhalen: één geschreven door een mens, één door een machine, beide met het doel om exact dezelfde stijl te vangen.

Het experiment omvatte twee afzonderlijke groepen rechters. De eerste groep bestond uit 556 menselijke deelnemers. De tweede groep bestond uit dertien verschillende AI-modellen, waaronder enkele van de meest geavanceerde systemen die op dat moment beschikbaar waren. Beide groepen kregen de opdracht om naar paren van deze verhalen te kijken en te beslissen welke de gevraagde stijl, zoals "Cockney-dialect" of "sciencefiction", beter benaderde. Om te zien hoeveel de naam van de auteur uitmaakte, lieten de onderzoekers de test uitvoeren onder drie verschillende condities. In de eerste conditie zagen de rechters de verhalen zonder namen, enkel gelabeld als "A" en "B". In de tweede zagen ze de correcte labels: één verhaal werd geïdentificeerd als geschreven door Queneau, de andere als gegenereerd door een AI. In de derde werden de labels bewust omgewisseld, zodat het door AI geschreven verhaal als menselijk werd gepresenteerd, en het door een mens geschreven verhaal als AI.

De resultaten onthulden een duidelijk en krachtig patroon. Wanneer de menselijke rechters niet wisten wie de verhalen had geschreven, gaven ze de door AI gegenereerde versies iets vaker de voorkeur boven de menselijke versies, wat suggereert dat het machinale schrijven van hoge kwaliteit was. Echter, op het moment dat de labels werden onthuld, verschoof hun voorkeur drastisch. Wanneer hen werd verteld dat een verhaal door een mens was geschreven, beoordeelden zij het hoger. Wanneer hen werd verteld dat hetzelfde verhaal door een machine was geschreven, beoordeelden zij het lager. Deze verschuiving was significant: de menselijke rechters vertoonden een bias van ongeveer dertien procentpunten in het voordeel van de als mens gelabelde inhoud. Ze waren bereid gebreken in het menselijke schrijven te negeren en er waarde in te vinden, terwijl ze strengere standaarden toepasten op het machinale schrijven.

De AI-rechters vertoonden echter een nog sterkere versie van dezezelfde bias. Wanneer de AI-modellen de verhalen evalueerden zonder labels, waren ze neutraal en kozen ze de menselijke en machinale versies ongeveer even vaak. Maar zodra de labels werden geïntroduceerd, veranderde hun gedrag drastisch. Wanneer een AI-model een verhaal zag dat gelabeld was als "door mens geschreven", was het veel eerder geneigd dit als de betere versie te kiezen. Wanneer het exact hetzelfde verhaal zag dat gelabeld was als "door AI gegenereerd", verwierp het dit. De omvang van deze verschuiving was enorm: de AI-modellen vertoonden een bias van eenendertig vier procentpunten, wat tweeënhalf keer sterker is dan de bias van de menselijke rechters. Dit suggereert dat de AI-systemen niet alleen hebben geleerd om te schrijven als mensen, maar ook hebben geleerd om te oordelen als mensen, waarbij ze de culturele aanname hebben geabsorbeerd dat menselijke creativiteit superieur is aan machinecreativiteit.

De onderzoekers gingen dieper in op de vraag hoe deze bias werkte. Ze ontdekten dat de labels niet alleen de uiteindelijke score veranderden, maar ook de redenering achter de beslissing. Wanneer hetzelfde verhaal als menselijk werd gelabeld, prezen de AI-rechters de kenmerken ervan als "authentiek" en "creatief". Wanneer dat exacte verhaal als AI werd gelabeld, bekritiseerden de rechters diezelfde kenmerken als "overdreven", "formulaïsch" of "gebrek aan diepgang". In een specifieke test waarbij een verhaal een strikte regel overtrad (een beperking waarbij de letter 'e' verboden was), hielden de menselijke rechters vast aan de regel en verwierpen zij de versie die er niet in slaagde, ongeacht het label. De AI-rechters waren echter veel vergevingsgezinder wanneer zij geloofden dat een mens de gebrekkige versie had geschreven, waarbij ze vaak redenen verzonnen om de fout te excuseren. Daarentegen waren ze hard op de machineversie voor precies dezelfde fout.

Dit fenomeen was niet beperkt tot één specifiek type AI of één specifieke schrijfstijl. De onderzoekers testten de bias over een breed scala aan verschillende AI-modellen die zowel als maker als als rechter fungeerden. Welke AI de tekst ook had geschreven, en welke AI ook de rechter was, het patroon hield stand: inhoud die als menselijk werd gelabeld, werd consequent verkozen boven inhoud die als AI werd gelabeld. De bias kwam voor in elke geteste stijl, van poëzie tot technische teksten, en het bleef bestaan zelfs toen de onderzoekers probeerden de labels neutraler of zelfs gunstiger voor de AI te maken. Het effect was robuust en trad op bij alle geteste modellen.

De studie concludeert dat de "human-authorship halo" (de aura van menselijk auteurschap) een krachtige kracht is die de manier waarop zowel mensen als machines creatief werk evalueren, vormgeeft. Het is niet slechts een menselijke eigenaardigheid; het is een bias die is geleerd en versterkt door de kunstmatige intelligentiesystemen die we bouwen. Deze systemen, getraind op enorme hoeveelheden menselijke tekst en feedback, hebben het idee geïnternaliseerd dat menselijke oorsprong een teken van kwaliteit is. Als gevolg hiervan hebben ze de neiging hun eigen output te devalueren wanneer de bron wordt onthuld, waardoor een cyclus ontstaat waarin de machine zijn eigen werk als inferieur beoordeelt, simpelweg omdat hij weet dat het door een machine is gemaakt. Deze bevinding suggereert dat naarmate we meer vertrouwen op AI om kunst en literatuur te beoordelen, we ons ervan bewust moeten zijn dat deze systemen geen neutrale arbiters zijn. Ze dragen dezelfde culturele aannames als hun menselijke makers en in sommige gevallen handhaven ze die aannames met zelfs nog grotere intensiteit.