Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies
Eine groß angelegte Prüfung, die Grokipedia und Wikipedia vergleicht, zeigt, dass das durch eine KI generierte Grokipedia von mehreren KI-Richtern als weniger neutral als Wikipedia bewertet wird, wobei Grokipedia eine Tendenz zu einer wirtschaftlich rechtsgerichteten politischen Voreingenommenheit aufweist und sozial liberale Politiker benachteiligt, während Wikipedia die entgegengesetzte Tendenz zeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, belebte Bibliothek vor, in die jeder eingeladen ist, Bücher zu schreiben. Jahrelang war eine Bibliothek namens Wikipedia der beliebteste Ort, aber einige Leute haben sich beschwert, dass die Bibliothekare dort einen bestimmten „Vibe“ haben – vielleicht neigen sie ein wenig zu sehr zu einer Seite des politischen Spektrums, wie ein Chor, der nur Lieder über Regen singt, während die Sonne scheint. Vor kurzem eröffnete eine neue Bibliothek namens Grokipedia, die ganz von einem superintelligenten Computergehirn (einer KI) namens Grok aufgebaut wurde. Die Schöpfer dieser neuen Bibliothek versprachen, dass sie die ultimative „neutrale“ Zone sei, ein Ort ohne jegliche menschliche Voreingenommenheit, sondern nur reine Fakten. Aber hier ist die große Frage: Kann ein Roboter wirklich fairer sein als eine Menge von Menschen? Um das herauszufinden, müssen wir zuerst ein paar Dinge verstehen. Erstens ist „politische Voreingenommenheit“ wie eine getönte Brille; wenn man sie trägt, sieht die Welt in einer bestimmten Farbe aus, auch wenn die Welt selbst grau ist. Zweitens sind „Large Language Models“ (LLMs) die Computergehirne, die diese Artikel schreiben; sie sind wie unglaublich schnelle Studenten, die fast alles im Internet gelesen haben und in Sekundenschnelle Aufsätze schreiben können. Schließlich bedeutet „Neutralität“ in diesem Zusammenhang, über Menschen zu schreiben, ohne sie wie Helden oder Schurken aussehen zu lassen, sondern einfach zu beschreiben, wer sie sind. Dieses Papier ist eine Detektivgeschichte darüber, ob die neue Roboterbibliothek tatsächlich fairer ist als die alte menschliche, oder ob sie einfach nur eine andere getönte Brille trägt.
Die Forscher, ein Team der Universität Gent, beschlossen, Grokipedia und Wikipedia mit einem massiven Experiment auf die Probe zu stellen. Sie lasen nicht nur ein paar Artikel; sie sammelten 1.394 Artikelpaare, bei denen jedes Paar denselben Regierungsbeamten (wie einen Präsidenten oder einen Minister) beschrieb, wobei eine Version von Menschen auf Wikipedia und die andere von der KI auf Grokipedia geschrieben wurde. Um die Fairness dieser Artikel zu beurteilen, fragten sie nicht nur eine Person; sie nutzten vier verschiedene KI-„Richter“ (darunter Grok selbst, sowie Claude, Mistral und DeepSeek), um zu bewerten, wie neutral jeder Artikel war. Sie hatten auch eine Geheimwaffe: eine Liste von 9 verschiedenen „Ideologie-Flaggen“ (wie „unterstützt Einwanderung“, „unterstützt Frauenrechte“ oder „unterstützt einen freien Markt“), die Experten bereits jedem Politiker zugeordnet hatten. Dies ermöglichte es den Forschern zu sehen, ob die Artikel Politiker unterschiedlich behandelten, basierend auf deren politischen Überzeugungen.
Die Ergebnisse waren etwas überraschend und vielleicht auch ein wenig ironisch. Erstens waren sich die KI-Richter einig, dass keine der Enzyklopädien perfekt neutral war. Tatsächlich wurde Grokipedia insgesamt als ein Ort mit mehr voreingenommenen Artikeln eingestuft als Wikipedia. Als die Richter genauer hinschauten, wie sich die Voreingenommenheit zeigte, fanden sie ein klares Muster. Grokipedia schien eine Schwäche für Politiker zu haben, die wirtschaftlich „rechtskonservativ“ waren (jene, die weniger staatliche Regulierung und kleinere Sozialstaaten wollen) und diejenigen, die demokratische Normen unterstützten. Es war jedoch viel härter zu den Politikern, die sozial liberale Ansichten vertraten, wie etwa die Unterstützung von LGBT-Rechten oder den Arbeitsrechten von Frauen. Wikipedia hingegen wurde als wohlwollender gegenüber diesen sozial liberalen Politikern eingestuft, doch die Forscher fanden, dass Wikipedia insgesamt immer noch als neutraler als Grokipedia angesehen wurde.
Die vielleicht faszinierendste Wendung in der Geschichte betrifft Grok, die KI, die Grokipedia schrieb. Man könnte denken, wenn man einen Roboter bittet, seine eigene Arbeit zu beurteilen, würde er sagen: „Hey, ich bin perfekt!“ Aber die Studie ergab, dass Grok seine eigene Enzyklopädie (Grokipedia) tatsächlich als weniger neutral bewertete als das von Menschen geschriebene Wikipedia. Dies deutet darauf darauf hin, dass die Voreingenommenheit nicht nur ein Fehler in der Art und Weise ist, wie die Richter bewerten, sondern dass die Voreingenommenheit tatsächlich in die von Grok geschriebenen Artikel eingebettet ist. Die Forscher legen nahe, dass Grokipedia zwar gebaut wurde, um eine neutrale Alternative zu sein, aber letztlich eine andere Art von Ideologie eingebettet hat – eine, die wirtschaftlichen Konservatismus begünstigt und sozialen Liberalismus bestraft.
Die Studie untersuchte auch, wie sich die verschiedenen KI-Richter verhielten. Sie waren nicht alle gleich. Zum Beispiel war ein Richter namens DeepSeek sehr großzügig und bezeichnete fast alles als „neutral“, während ein anderer namens Claude viel strenger war und in viel mehr Artikeln Voreingenommenheit fand. Doch trotz dieser Unterschiede in der Strenge stimmten alle Richter in der Richtung der Voreingenommenheit überein: Grokipedia bevorzugte die wirtschaftliche Rechte, und Wikipedia neigte leicht zur sozialen Linken. Die Forscher kommen zu dem Schluss, dass KI zwar Enzyklopädie-Einträge schnell schreiben kann, dies sie aber nicht automatisch fairer macht. Tatsächlich könnte die Wahl der Enzyklopädie, die man liest, die Sicht auf Politiker verändern, je nachdem, welche politische „Geschmacksrichtung“ diese Enzyklopädie bevorzugt. Die Studie legt nahe, dass wir vorsichtig mit KI-generierten Inhalten sein müssen und dass die Verwendung eines vielfältigen Teams von Richtern (sowohl menschlich als auch maschinell) der beste Weg ist, um diese verborgenen Voreingenommenheiten aufzuspüren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.