Are LLMs More Skeptical of Entertainment News?
Diese Studie zeigt, dass bestimmte große Sprachmodelle eine gattungsspezifische Skepsis gegenüber legitimen Unterhaltungsnachrichten aufweisen und diese aufgrund von Vorurteilen gegen die epistemische Legitimität der Gattung und nicht aufgrund stilistischer Merkmale häufiger als Fälschungen einstufen als harte Nachrichten, wodurch die Notwendigkeit einer gattungsstratifizierten Bewertung bei der automatisierten Glaubwürdigkeitsprüfung hervorgehoben wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben ein Team von vier sehr klugen, hochtechnologischen Bibliothekaren (den KI-Modellen). Ihre Aufgabe ist es, an der Tür einer riesigen Bibliothek zu stehen und zu entscheiden, welche Bücher „wahre Nachrichten" und welche „Fake News" sind.
Die Forscher wollten herausfinden, ob diese Bibliothekare alle Bücher mit „wahren Nachrichten" gleich behandeln. Konkret wollten sie wissen: Behandeln diese KI-Bibliothekare „Unterhaltungsnachrichten" (wie Promi-Gerüchte) unfair als falsch, selbst wenn sie wahr sind, nur weil sie anders aussehen als „harte Nachrichten" (wie Politik oder Kriminalität)?
Hier ist das Ergebnis, einfach zusammengefasst:
1. Der „Modepolizei"-Effekt
Die Forscher gaben den Bibliothekaren eine Mischung aus wahren Geschichten: einige über ernste Politik (harte Nachrichten) und einige über Promi-Dramen (Unterhaltungsnachrichten).
- Das Ergebnis: Zwei der Bibliothekare (DeepSeek-V3.2 und GPT-5.2) verhielten sich wie strenge Modepolizisten. Sie sahen sich die Promi-Geschichten an und dachten: „Das wirkt zu dramatisch, zu emotional oder zu sehr auf das Privatleben fokussiert. Das muss falsch sein!" Sie markierten etwa 10 % mehr wahre Promi-Geschichten als falsch im Vergleich zu wahren Politikgeschichten.
- Die anderen Bibliothekare: Die anderen beiden Bibliothekare (Claude Opus 4.6 und Gemini 3 Flash) kümmerten sich nicht um den Stil. Sie behandelten die Promi-Geschichten und die Politikgeschichten fair und markierten sie in gleichem Maße als falsch.
Die Erkenntnis: „Klug" zu sein bedeutet nicht, fair zu sein. Einige KIs haben eine eingebaute Voreingenommenheit gegen den Stil von Unterhaltungsnachrichten und gehen davon aus, dass eine Geschichte, die sich wie Gerücht anfühlt, eine Lüge sein muss.
2. Das „Makeover"-Experiment (Stil vs. Substanz)
Die Forscher fragten sich: Urteilt die KI nur über die „Kleidung", die die Geschichte trägt? Unterhaltungsnachrichten verwenden oft farbenfrohe, emotionale Sprache, während harte Nachrichten trocken und faktenbasiert sind.
Um dies zu testen, nahmen sie 50 wahre Promi-Geschichten und ließen sie von einer KI in einen „langweiligen, ernsten Politiknachrichten"-Stil umschreiben. Sie behielten die Fakten exakt gleich, änderten aber den Tonfall.
- Das Ergebnis: Das Makeover funktionierte nicht gut.
- Bei einer KI blieb die Rate der Falschmarkierungen exakt gleich.
- Bei einer anderen KI machte das Makeover die Dinge sogar schlimmer – sie markierte mehr der umgeschriebenen Geschichten als falsch!
- Die Metapher: Es ist, als würde man versuchen, einen Türsteher zu täuschen, indem man einem Rockstar einen Smoking anzieht. Der Türsteher (die KI) erkannte trotzdem die Energie des Rockstars und sagte: „Du gehörst hier nicht her", obwohl das Outfit perfekt war. Die Voreingenommenheit betraf nicht nur den Schreibstil; sie war tiefer verwurzelt.
3. Der „Spezialist"-Prompt
Die Forscher versuchten, den Bibliothekaren eine neue Stellenbeschreibung zu geben. Statt nur „Nachrichtenprüfer" zu sein, sagten sie zu einer KI: „Sie sind jetzt ein spezialisierter Experte für Unterhaltungsnachrichten. Ihre Aufgabe ist es, Promi-Geschichten auf Fakten zu prüfen."
- Das Ergebnis: Dies wirkte wie Magie bei einem Bibliothekar (DeepSeek-V3.2). Er markierte keine wahren Promi-Geschichten mehr als falsch und verpasste auch keine tatsächlichen Fake News.
- Der Haken: Es funktionierte nicht für den anderen Bibliothekar (GPT-5.2). Egal welche Anweisungen sie gaben, diese KI blieb weiterhin misstrauisch gegenüber Promi-Geschichten.
Die Erkenntnis: Man kann die Voreingenommenheit manchmal mit den richtigen Anweisungen beheben, aber es hängt davon ab, welche KI Sie verwenden. Es gibt keine „One-Size-Fits-All"-Lösung.
4. Warum passiert das?
Die Forscher untersuchten die Notizen, die die KIs schrieben, wenn sie Fehler machten. Sie fanden zwei Hauptgründe, warum die KIs skeptisch waren:
- „Ich kann es nicht beweisen": Die KIs dachten: „Diese Geschichte handelt vom Privatleben eines Prominenten. Ich kann nicht in sein Tagebuch schauen, also muss sie falsch sein."
- „Dieses Genre ist schwach": Die KIs schienen eine versteckte Regel zu haben, dass Unterhaltungsnachrichten nur eine „minderwertige" Art des Journalismus sind, weshalb sie ihnen weniger vertrauen als politischen Nachrichten.
Das große Ganze
Die wichtigste Lehre aus diesem Papier ist, dass Durchschnittswerte irreführend sein können.
Wenn Sie einen Testwert sehen, der besagt: „Diese KI ist zu 95 % genau", denken Sie vielleicht, sie sei perfekt. Aber dieses Papier zeigt, dass die KI bei politischen Nachrichten zu 99 % genau sein könnte und bei Unterhaltungsnachrichten nur zu 85 %. Sie „betrügt", indem sie bei einer bestimmten Art von Geschichte zu streng ist.
Kurz gesagt: Diese KI-Systeme prüfen nicht nur, ob Fakten wahr sind; sie urteilen auch darüber, welche Arten von Journalismus erlaubt sind, wahr zu sein. Manchmal entscheiden sie unfair, dass Promi-Nachrichten nicht das gleiche Vertrauen verdienen wie politische Nachrichten, selbst wenn beide die Wahrheit sagen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.