← Neueste Arbeiten
💬 NLP

The human-authorship halo: attribution bias in literary style evaluation by humans and AI

Diese Studie zeigt, dass sowohl menschliche als auch KI-basierte Evaluatoren eine systematische Pro-Human-Attributionsverzerrung bei der Bewertung des literarischen Stils aufweisen, wobei KI-Modelle diese Tendenz verstärken, indem sie Inhalte, die als „KI-generiert“ gekennzeichnet sind, unabhängig von ihrer tatsächlichen Quelle signifikant abwerten und dadurch menschliche kulturelle Vorurteile gegenüber künstlicher Kreativität replizieren und intensivieren.

Ursprüngliche Autoren: Wouter Haverals, Meredith Martin

Veröffentlicht 2026-09-09
📖 7 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Wouter Haverals, Meredith Martin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Wir glauben oft, dass unser Urteil über Kunst, Literatur oder Musik ausschließlich von dem abhängt, was direkt vor unseren Augen oder Ohren liegt. Wir setzen voraus, dass wir die Qualität einer Geschichte oder eines Gedichts erkennen werden, unabhängig davon, wer es geschrieben hat, sofern die Erzählung gut gestaltet oder das Gedicht bewegend ist. Diese Vorstellung war lange Zeit ein Eckpfeiler der Literaturtheorie und legt nahe, dass der Text selbst das Einzige sein sollte, was zählt. Die psychologische Forschung hat jedoch über Jahrzehnte hinweg gezeigt, dass unser Gehirn nicht so funktioniert. Wenn wir lesen oder zuhören, nutzen wir ständig Hinweise über die Quelle, um unsere Interpretation zu leiten. Wenn wir wissen, dass ein Text von einem berühmten Dichter stammt, neigen wir dazu, ihn als tiefer und bedeutungsvoller zu empfinden, als wenn uns gesagt wird, dass dieselben Worte von einem Computerprogramm stammen. Dies ist nicht bloß eine Frage der Snobistik; es ist eine grundlegende Art und Weise, wie unser Geist Informationen verarbeitet, indem er sich auf den Ruf des Schöpfers stützt, um das Werk zu verstehen.

Da künstliche Intelligenz zunehmend in der Lage ist, Geschichten, Gedichte und Essays zu schreiben, die bemerkenswert menschlich klingen, ist eine neue Frage aufgetaucht. Besteht diese Voreingenommenheit gegenüber menschlichen Schöpfern auch dann noch, wenn das Werk von einer Maschine generiert wurde? Und vielleicht noch überraschender: Teilen die Maschinen selbst diese Voreingenommenheit? Da KI-Systeme immer häufiger eingesetzt werden, um Schüleraufsätze zu bewerten, Kreativwettbewerbe zu beurteilen und die Qualität verschiedener Modelle zu ranken, werden sie effektiv zu den Kritikern. Wenn diese digitalen Richter auf menschlichen Daten trainiert wurden, könnten sie unsere eigenen Vorurteile darüber absorbiert haben, was als „echte“ Kreativität gilt. Zu verstehen, ob diese Systeme lediglich die menschliche Voreingenommenheit imitieren oder sie sogar verstärken, ist entscheidend, denn es bestimmt, wie sehr wir den Werkzeugen vertrauen werden, die beginnen, unsere Kulturlandschaft zu prägen.

Forscher der Princeton University gingen diesen Fragen mit einem kontrollierten Experiment nach, bei dem menschliche Leser gegen KI-Modelle antraten. Sie wählten ein einzigartiges Material, um einen fairen Vergleich zu gewährleisten: dreißig verschiedene Nacherzählungen derselben einfachen Geschichte, die ursprünglich 1947 von dem französischen Autor Raymond Queneau verfasst wurde. Queneaus Werk, bekannt als Exercices de style, nimmt eine banale Anekdote über einen Mann in einem Bus und schreibt sie auf neunundneunzig verschiedene Arten um – von einer traumartigen Sequenz bis hin zu einem juristischen Dokument oder einem slangreichen Straßengespräch. Die Forscher nahmen dreißig dieser von Menschen geschriebenen Versionen und ließen ein leistungsstarkes KI-Modell seine eigenen Versionen derselben dreißig Stile generieren. Das Ergebnis war eine Reihe gepaarter Geschichten: eine von einem Menschen geschrieben, eine von einer Maschine, wobei beide versuchten, exakt dasselbe stilistische Ziel zu erreichen.

Das Experiment umfasste zwei unterschiedliche Gruppen von Preisrichtern. Die erste Gruppe bestand aus 556 menschlichen Teilnehmern. Die zweite Gruppe setzte sich aus dreizehn verschiedenen KI-Modellen zusammen, darunter einige der fortschrittlichsten Systeme der damaligen Zeit. Beide Gruppen wurden gebeten, sich die Paare dieser Geschichten anzusehen und zu entscheiden, welche die gewünschte Stilistik – etwa „Cockney-Dialekt“ oder „Science-Fiction“ – besser erfüllte. Um zu testen, wie sehr die Bezeichnung des Autors mattered, führten die Forscher den Test unter drei verschiedenen Bedingungen durch. In der ersten Bedingung sahen die Preisrichter die Geschichten ohne Namen, lediglich als „A“ und „B“ gekennzeichnet. In der zweiten Bedingung sahen sie die korrekten Bezeichnungen: Eine Geschichte wurde als von Queneau geschrieben identifiziert, die andere als von einer KI generiert. In der dritten Bedingung wurden die Bezeichnungen absichtlich vertauscht, sodass die von der KI geschriebene Geschichte als menschlich und die vom Menschen geschriebene Geschichte als KI präsentiert wurde.

Die Ergebnisse zeigten ein klares und eindrucksvolles Muster. Wenn die menschlichen Preisrichter nicht wussten, wer die Geschichten geschrieben hatte, bevorzugten sie die KI-generierten Versionen etwas häufiger als die menschlichen, was darauf hindeutet, dass die maschinelle Schreibweise von hoher Qualität war. Doch in dem Moment, als die Bezeichnungen enthüllt wurden, verschob sich ihre Präferenz dramatisch. Wenn ihnen gesagt wurde, dass eine Geschichte von einem Menschen geschrieben wurde, bewerteten sie diese höher. Wenn dieselbe Geschichte als von einer Maschine geschrieben bezeichnet wurde, bewerteten sie sie niedriger. Diese Verschiebung war signifikant: Die menschlichen Preisrichter zeigten eine Voreingenommenheit von etwa dreizehn Prozentpunkten zugunsten der als menschlich gekennzeichneten Inhalte. Sie waren bereit, Fehler im menschlichen Schreiben zu übersehen und darin Wert zu finden, während sie strengere Maßstäbe an das maschinelle Schreiben anlegten.

Die KI-Richter hingegen zeigten eine noch stärkere Version dieser ebenbürtigen Voreingenommenheit. Wenn die KI-Modelle die Geschichten ohne Bezeichnungen evaluierten, waren sie neutral und wählten die menschlichen und maschinellen Versionen etwa gleich häufig aus. Sob% aber die Bezeichnungen eingeführt wurden, änderte sich ihr Verhalten drastisch. Wenn ein KI-Modell eine Geschichte sah, die als „von Menschen geschrieben“ gekennzeichnet war, war es viel wahrscheinlicher, dass es diese als die bessere Version wählte. Wenn es dieselbe Geschichte als „KI-generiert“ sah, lehnte es sie ab. Das Ausmaß dieser Verschiebung war massiv: Die KI-Modelle zeigten eine Voreingenommenheit von vierunddreißig Prozentpunkten, was zwei-einhalb Mal stärker war als die Voreingenommenheit der menschlichen Preisrichter. Dies deutet darauf darauf hin, dass die KI-Systeme nicht nur gelernt haben, wie Menschen zu schreiben, sondern auch gelernt haben, wie Menschen zu urteilen – sie haben die kulturelle Annahme absorbiert, dass menschliche Kreativität überlegen ist.

Die Forscher gingen tiefer, um zu verstehen, wie diese Voreingenommenheit funktionierte. Sie fanden heraus, dass die Bezeichnungen nicht nur die endgültige Bewertung änderten, sondern auch die Begründung hinter der Entscheidung. Wenn dieselbe Geschichte als menschlich gekennzeichnet war, priesen die KI-Richter ihre Merkmale als „authentisch“ und „kreativ“ an. Wenn genau dieselbe Geschichte als KI bezeichnet wurde, kritisierten die Richter dieselben Merkmale als „übertrieben“, „formelhaft“ oder „tiefgründig mangelnd“. In einem spezifischen Test, der eine Geschichte beinhaltete, die eine strikte Regel brach (eine Einschränkung, bei der der Buchstabe „e“ verboten war), hielten sich die menschlichen Preisrichter an die Regel und lehnten die Version ab, die die Regel verletzte, ungeachtet der Bezeichnung. Die KI-Richter hingegen waren viel nachsichtiger, wenn sie glaubten, ein Mensch habe die fehlerhafte Version geschrieben, und erfanden oft Gründe, um den Fehler zu entschuldigen. Umgekehrt waren sie gegenüber der Maschinenversion bei demselben Fehler hart.

Dieses Phänomen beschränkte sich nicht auf eine einzige Art von KI oder einen einzigen Schreibstil. Die Forscher testeten die Voreingenommenheit über ein breites Spektrum verschiedener KI-Modelle hinweg, die sowohl als Schöpfer als auch als Richter fungierten. Unabhängig davon, welche KI die Geschichte erstellt hatte und welche KI sie bewertete, blieb das Muster bestehen: Als menschlich gekennzeichnete Inhalte wurden konsistent gegenüber KI-Inhalten bevorzugt. Die Voreingenommenheit trat in jedem getesteten Stil auf, von Poesie bis hin zu technischer Prosa, und sie blieb bestehen, selbst als die Forscher versuchten, die Bezeichnungen neutraler oder sogar KI-freundlicher zu gestalten. Der Effekt war robust und trat bei allen getesteten Modellen auf.

Die Studie kommt zu dem Schluss, dass der „Halo der menschlichen Urheberschaft“ eine mächtige Kraft ist, die die Art und Weise prägt, wie sowohl Menschen als auch Maschinen kreative Arbeit bewerten. Es ist nicht nur eine menschliche Eigenart; es ist eine Voreingenommenheit, die von den künstlichen Intelligenzsystemen, die wir bauen, gelernt und verstärkt wurde. Diese Systeme, die auf riesigen Mengen menschlicher Texte und Rückmeldungen trainiert wurden, haben die Vorstellung verinnerlicht, dass menschlicher Ursprung ein Qualitätsmerkzeichen ist. Infolgedessen neigen sie dazu, ihren eigenen Output abzuwerten, wenn dessen Quelle enthüllt wird, wodurch ein Kreislauf entsteht, in dem die Maschine ihre eigene Arbeit als minderwertig bewertet, schlicht weil sie weiß, dass sie von einer Maschine gemacht wurde. Dieser Befund legt nahe, dass wir, während wir uns zunehmend darauf verlassen, dass KI Kunst und Literatur bewertet, uns bewusst sein müssen, dass diese Systeme keine neutralen Schiedsrichter sind. Sie tragen dieselben kulturellen Annahmen wie ihre menschlichen Schöpfer und in einigen Fällen verstärken sie diese Annahmen sogar mit noch größerer Intensität.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →