Critical Acclaim Orientation in Large Language Models: Evidence from Film Preference Elicitation
Diese Studie zeigt, dass große Sprachmodelle konsistent eine Orientierung an kritischer Anerkennung aufweisen, indem sie systematisch kritisch gelobte, aber kommerziell obskure Filme gegenüber kommerziell erfolgreichen, aber kritisch nicht anerkannten Filmen bevorzugen, ein Bias, der mit der Modellgröße zunimmt und signifikant von öffentlicher Sichtbarkeit sowie populärer Rezeption beeinflusst wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter, der fast alles gelesen hat, was jemals im Internet geschrieben wurde. Er weiß, wie man Gedichte schreibt, Matheaufgaben löst und über Ihren Tag plaudert. Aber hier kommt die große Frage: Wiederholt dieser Roboter einfach das, was die meisten Menschen sagen, oder besitzt er insgeheim seinen eigenen „Geschmack“, der eher zu dem neigt, was Experten sagen? Dies ist die Welt der Large Language Models (LLMs) – Computerprogramme, die auf riesigen Mengen menschlicher Texte trainiert wurden. Wissenschaftler haben sich schon lange Sorgen gemacht, dass diese Roboter gegenüber bestimmten Gruppen von Menschen voreingenommen sein könnten, aber diese Studie stellt eine andere Art von Frage: Haben sie eine Voreingenommenheit gegenüber „Hochkultur“ (wie Arthouse-Filmen) gegenüber „Popkultur“ (wie Sommer-Blockbustern)? Es ist, als würde man fragen, ob ein Roboter, der jede Filmkritik der Geschichte gelesen hat, lieber einen ruhigen, schwierigen Film schauen würde, der von Kritikern gelobt wurde, oder einen lauten, actionreichen Film, über den alle im Kino sprechen. Das Verständnis dessen ist wichtig, weil diese Roboter beginnen, als unsere Wegweiser zu fungieren, die uns sagen, welche Filme wir schauen, welche Bücher wir lesen und welche Musik wir hören sollten. Wenn sie eine verborgene Präferenz haben, könnten sie uns in eine bestimmte Art von Kultur steuern, ohne dass wir es merken.
Was haben die Forscher also eigentlich gemacht? Sie behandelten acht verschiedene KI-Modelle wie Filmkritiker und ließen sie ein Spiel namens „Dies oder Das“ spielen. Sie wählten 200 Filme aus und teilten sie in drei Gruppen ein:
- Die Doppel-Gewinner: Filme, die sowohl ein Kritikerfolg als auch ein Kassenschlager waren (wie Der Pate).
- Die Lieblinge der Kritiker: Filme, die Kritiker liebten, die das reguläre Publikum aber größtenteils ignorierte (oft ältere, ausländische oder „Arthouse“-Filme).
- Die Publikumslieblinge: Filme, die Unmengen an Geld an den Kinokassen einspielten, aber schreckliche Bewertungen von Kritikern erhielten (wie viele große Superhelden- oder Animations-Fortsetzungen).
Die Forscher baten die KI, sich zwischen zwei Filmen zur Zeit zu entscheiden, tausende Male, um zu sehen, welche sie bevorzugte. Sie führten dieses Experiment mit Modellen von vier verschiedenen großen Tech-Unternehmen durch (Anthropic, OpenAI, Alibaba und Mistral), einschließlich sowohl „kleiner“ als auch „großer“ Versionen von jedem.
Hier ist die überraschende Wendung: Die Roboter wählten konsequent die Lieblinge der Kritiker gegenüber den Publikumslieblingen. Obwohl über die „Publikumslieblinge“ Millionen Mal mehr im Internet gesprochen wurde, wählten die KI-Modelle immer wieder die obskuren, kritisch gelobten Filme. Die Forscher nennen dies eine „Orientierung an der kritischen Anerkennung“. Es ist, als hätte der Roboter eine geheime Clubmitgliedschaft, auf der steht: „Ich mag nur das Zeug, das die Kunstkritiker gutheißen.“
Die Studie fand auch heraus, dass größere, intelligentere Roboter eine noch stärkere Vorliebe für diese von Kritikern geliebten Filme hatten. Je größer die Modelle wurden, desto wahrscheinlicher wählten sie den obskuren Arthouse-Film gegenüber dem populären Blockbuster.
Aber warum? Die Forscher gruben tiefer, um zu sehen, ob die Roboter einfach die Filme wählten, die am häufigsten erwähnt wurden (öffentliche Sichtbarkeit) oder die, die reguläre Menschen besonders gut bewerteten (populäre Rezeption). Sie verwendeten einen klugen statistischen Trick, um diese Faktoren zu trennen. Sie entdeckten, dass die KI selbst dann die Filme bevorzugte, die Kritiker liebten, wenn man für die Sichtbarkeit oder die Beliebtheit bei der breiten Masse korrigierte. Tatsächlich, als sie die Häufigkeit der Erwähnung berücksichtigten, begann die KI die rein kommerziellen Filme sogar noch mehr zu ablehnen als zuvor. Dies deutet darauf an, dass die KI nicht einfach nur kopiert, was populär ist; sie hat ein spezifisches „Prestige“-Signal aus den Trainingsdaten absorbiert, das kritische Anerkennung über Massenappeal stellt.
Interessanterweise änderte sich das Verhalten der Roboter, je nachdem, wie man die Frage stellte. Wenn die Forscher fragten: „Welchen Film würden Sie einem allgemeinen Publikum empfehlen?“, verschoben sich die Präferenzen der Roboter und wurden weniger besessen von den Lieblingen der Kritiker. Dies deutet darauf hin, dass die KI den Modus wechseln kann: Sie hat einen „Kritiker-Modus“, der Highbrow-Kunst liebt, aber sie kann auch einen „Empfehlungs-Modus“ einschalten, wenn man sie bittet, praktischer zu sein.
Kurz gesagt legt die Studie nahe, dass diese KI-Modelle eine verborgene Hierarchie des Geschmacks gelernt haben. Sie scheinen die Zustimmung der kulturellen Eliten (Kritiker) mehr zu schätzen als die Zustimmung der Massen, selbst wenn die Massen über einen Film millionenfach mehr sprechen als die Kritiker. Dies bedeutet nicht, dass die Roboter „bewusst“ sind oder Gefühle haben, aber es bedeutet, dass sie, wenn Sie sie nach ihrer Meinung fragen, Sie wahrscheinlich zum „ernsten“ Stoff führen werden und dabei potenziell die lustigen, populären Filme übersehen, die reguläre Menschen genießen. Die Forscher sind vorsichtig zu betonen, dass dies ein Muster ist, das sie beobachtet und gemessen haben, und keine bewiesene Tatsache darüber, wie die „Gehirne“ der Roboter funktionieren, aber die Beweise sind stark und konsistent über alle getesteten Modelle hinweg.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.