A Systematic Analysis of Biases in Large Language Models

Diese Studie analysiert systematisch die politischen, ideologischen, geopolitischen, sprachlichen und geschlechtsspezifischen Verzerrungen in vier weit verbreiteten Large Language Models und zeigt, dass diese trotz ihrer Ausrichtung auf Neutralität weiterhin verschiedene Arten von Vorurteilen aufweisen.

Das Wesentliche

Stellen Sie sich vor, Sie haben vier sehr intelligente, aber noch sehr junge Assistenten in Ihrem Haus. Sie haben sie mit den Büchern der ganzen Welt gefüttert, damit sie alles wissen. Aber die Frage ist: Haben diese Assistenten auch die Vorurteile, die Vorlieben und die blinden Flecken der Menschen, die diese Bücher geschrieben haben?

Diese Studie von Forschern der Nanyang Technological University in Singapur hat genau das untersucht. Sie haben vier der bekanntesten „Künstlichen Intelligenzen" (LLMs) – genannt Qwen, DeepSeek, Gemini und GPT – wie Detektive unter die Lupe genommen.

Hier ist die einfache Erklärung der Ergebnisse, gemischt mit ein paar bildhaften Vergleichen:

1. Der politische Kompass: Sind sie neutral?

Stellen Sie sich vor, diese KI-Assistenten sollen eine Nachrichtensendung zusammenfassen. Die Idee ist, dass sie „neutral" sind, wie ein Schiedsrichter.

• Das Ergebnis: Die meisten sind tatsächlich ziemlich fair. Aber wenn man ganz genau hinsieht, neigen sie leicht in eine Richtung.
• Die Analogie: Stellen Sie sich vor, die KI ist ein Maler, der ein Bild von einem Streit zwischen zwei Parteien malt.
  • Gemini malt das Bild eher so, als ob die rechte Seite recht hat (leicht rechts).
  • GPT malt es eher so, als ob die linke Seite recht hat (leicht links).
  • DeepSeek ist der beste Schiedsrichter: Er malt das Bild am neutralsten und ehrlichsten.
  • Wichtig: Je besser die Zusammenfassung ist (je mehr Details sie trifft), desto mehr neigt sie oft zur „linken" Seite. Es ist, als ob die KI denkt: „Wenn ich es gut machen will, muss ich so klingen wie die linken Zeitungen."

2. Die Ideologie-Brille: Wie sehen sie die Welt?

Hier haben die Forscher die KIs gefragt, ob bestimmte Nachrichten „links", „rechts" oder „in der Mitte" sind. Besonders bei heiklen Themen wie Wahlen, Rassismus, Einwanderung oder LGBT-Rechten.

• Das Ergebnis: Die KIs sind nicht immer gut darin, die feinen Unterschiede zu erkennen.
• Die Analogie: Stellen Sie sich vor, die KIs sind wie Gäste auf einer Party, die versuchen, die Stimmung zu erraten.
  • Gemini ist etwas verwirrt. Er sieht oft alles als „neutral" an, auch wenn es gar nicht neutral ist. Er versteht die Sprache der Rechten besser als die der Linken.
  • GPT ist sehr sensibel für die Sprache der Linken und erkennt diese sofort, während er die Rechte manchmal übersieht.
  • Qwen und DeepSeek versuchen es gut, verwechseln aber manchmal die Argumente der Linken und Rechten komplett.
  • Besonderheit bei Einwanderung: Alle KIs scheinen die Argumente der Rechten zu diesem Thema nicht wirklich zu verstehen. Sie wirken hier eher konservativ, aber ohne die Nuancen der rechten Rhetorik zu begreifen.

3. Der Welt-Club: Wem geben sie Recht?

Die Forscher haben die KIs gebeten, wie ein Delegierter der Vereinten Nationen (UN) zu wählen. Sie mussten entscheiden, ob sie einer Resolution zustimmen oder nicht.

• Das Ergebnis: Die KIs haben ihre eigenen „Freunde" und „Feinde" in der Welt.
• Die Analogie: Stellen Sie sich eine große UN-Versammlung vor, bei der die KIs sitzen.
  • Gemini ist der Freund der Länder in Lateinamerika und Afrika. Er stimmt mit ihnen oft überein. Interessanterweise stimmt er nicht mit den USA überein (was sehr selten ist!), sondern eher mit Ländern wie China oder Nordkorea.
  • GPT hingegen stimmt oft mit den USA überein, lehnt aber viele andere Länder ab.
  • Qwen und DeepSeek haben eine eigene Art zu denken, die oft im Widerspruch zu osteuropäischen Ländern steht.
  • Fazit: Keine KI ist ein globaler Neutralitäts-Gott. Jede hat ihre eigene geopolitische „Herkunft".

4. Die Sprach-Maschine: Denken sie anders, je nach Sprache?

Die Forscher haben die KIs gebeten, Geschichten in 92 verschiedenen Sprachen zu schreiben. Die Geschichten handelten von fiktiven Stämmen, die nichts mit der echten Welt zu tun hatten.

• Das Ergebnis: Überraschenderweise denken die KIs in den meisten Sprachen sehr unterschiedlich. Sie sind nicht nur „Englisch" in anderen Sprachen verpackt.
• Die Analogie: Stellen Sie sich vor, die KI ist ein Schauspieler.
  • Wenn er auf Englisch spricht, ist er ein bestimmter Typ.
  • Wenn er auf Chinesisch oder Spanisch spricht, wird er zu einem ganz anderen Typ.
  • Aber: Wenn die KIs in Sprachen aus dem südlichen Afrika sprechen, fangen sie an, genau wie auf Englisch zu denken. Das ist wie ein Schauspieler, der eine neue Sprache lernt, aber unbewusst immer noch die Gesten seiner Muttersprache macht. Das liegt daran, dass diese Sprachen in den Trainingsdaten weniger vertreten waren.

5. Die Geschlechter-Frage: Wessen Werte vertreten sie?

Hier haben die KIs einen großen Fragebogen (den „World Values Survey") beantwortet, den normalerweise Menschen ausfüllen. Die Forscher haben verglichen: Antworten die KIs eher wie Männer oder eher wie Frauen?

• Das Ergebnis: Alle vier KIs antworten deutlich eher wie Frauen als wie Männer.
• Die Analogie: Stellen Sie sich vor, die KIs sind in einem Raum mit 50 Männern und 50 Frauen. Wenn man sie fragt, was sie denken, stimmen sie fast immer mit den Frauen überein.
  • GPT ist hier der extremste „Frauen-Vertreter".
  • Sie neigen zu progressiven Werten (z. B. bei Abtreibung oder Euthanasie), die oft eher mit modernen Frauenwerten übereinstimmen als mit dem weltweiten Durchschnitt der Männer.
  • Qwen und DeepSeek waren manchmal etwas verwirrt und gaben widersprüchliche Antworten, als hätten sie keine feste Meinung.

Das große Fazit: Warum ist das so?

Die Forscher sagen: Künstliche Intelligenz ist wie ein Spiegel.
Wenn wir Menschen in den Spiegel schauen, sehen wir unsere eigenen Vorurteile, unsere Fehler und unsere Vorlieben. Da diese KIs mit unseren Daten trainiert wurden (Bücher, Internet, Nachrichten), haben sie diese menschlichen Macken übernommen.

Selbst wenn wir versuchen, sie „fair" zu programmieren (durch menschliches Feedback), bleiben diese Vorurteile stecken. Es ist, als würde man einem Schüler sagen: „Sei fair!", aber der Lehrer selbst ist voreingenommen.

Die Botschaft für uns alle:
Wenn wir diese KIs nutzen, müssen wir uns bewusst machen, dass sie nicht „göttlich neutral" sind. Sie haben ihre eigenen kleinen Neigungen. Wir sollten sie nicht blind vertrauen, sondern sie wie einen sehr klugen, aber manchmal voreingenommenen Berater behandeln, dessen Meinung wir immer noch selbst prüfen müssen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung der Arbeit „A Systematic Analysis of Biases in Large Language Models" auf Deutsch:

Titel: Eine systematische Analyse von Verzerrungen in Large Language Models (LLMs)

Autoren: Xulang Zhang, Rui Mao, Erik Cambria (Nanyang Technological University, Singapur)

---

1. Problemstellung

Large Language Models (LLMs) sind zu unverzichtbaren Werkzeugen für Informationsbeschaffung und Entscheidungsunterstützung geworden. Es besteht jedoch die berechtigte Sorge, dass diese Modelle keine neutralen und fairen Antworten liefern, da sie während des Trainingsprozesses menschliche Vorurteile, Stereotype und kulturelle Verzerrungen übernehmen können. Trotz bestehender Forschung zu spezifischen Verzerrungen (z. B. Geschlecht, Rasse) fehlt es an einer umfassenden, systematischen Untersuchung, die verschiedene Dimensionen politischer, ideologischer, geopolitischer, sprachlicher und geschlechtsspezifischer Verzerrungen über mehrere führende LLM-Architekturen hinweg vergleicht. Zudem sind viele moderne Modelle geschlossen oder ressourcenintensiv, was den Zugang zu deren Bias-Analyse erschwert.

2. Methodik

Die Autoren untersuchten vier weit verbreitete LLMs: Qwen (Qwen2.5-7B-Instruct), DeepSeek (DeepSeek-V3-0324), Gemini (Gemini-2.5-flash) und GPT (GPT-4o-mini). Die Studie basiert auf fünf sorgfältig konzipierten Experimenten:

1. Politische Verzerrung (Political Bias):

   • Aufgabe: Zusammenfassung von Nachrichten aus zentristischen Medien (n = 1.018 Ereignisse).
   • Analyse: Die von den LLMs generierten Zusammenfassungen wurden mit Berichten linker und rechter Medien verglichen.
   • Metrik: Kosinus-Ähnlichkeit der Kontext-Embeddings (generiert durch das Qwen Embedding-Modell).
   • Ziel: Feststellung, ob „neutrale" Zusammenfassungen tatsächlich zu einer politischen Seite neigen.

2. Ideologische Verzerrung (Ideological Bias):

   • Aufgabe: Klassifizierung der ideologischen Ausrichtung (links, rechts, zentristisch) von Nachrichtenartikeln zu fünf Themen: Wahlen, Rasse/Rassismus, Immigration, LGBT und Abtreibung.
   • Daten: Artikel aus dem Article Bias Prediction Dataset.
   • Analyse: Analyse von Fehlklassifikationen, um die inhärente ideologische Ausrichtung der Modelle zu erkennen.

3. Allianz-Verzerrung (Alliance Bias):

   • Aufgabe: Simulation von UN-Generalversammlung (UNGA) Abstimmungen (n = 5.602 Resolutionen von 1946–2012).
   • Analyse: Vergleich der Abstimmungsergebnisse der LLMs mit denen von 200 realen UN-Delegierten.
   • Metrik: Cohens Kappa zur Messung der Übereinstimmung.

4. Sprachliche Verzerrung (Language Bias):

   • Aufgabe: Vervollständigung von fünf fiktiven Geschichten über Kulturen und Werte in 92 Zielsprachen.
   • Analyse: Die generierten Geschichten wurden zurück ins Englische übersetzt und in einen Vektorraum projiziert.
   • Metrik: Hauptkomponentenanalyse (PCA) der durchschnittlichen Embeddings, um zu prüfen, ob das „Denken" der Modelle je nach Sprache variiert oder zu dominanten Sprachen (z. B. Englisch) neigt.

5. Geschlechterverzerrung (Gender Bias):

   • Aufgabe: Beantwortung von Fragen aus der World Values Survey (WVS) (Soziale Werte & Ethische Normen) ohne Zuweisung eines Geschlechts.
   • Analyse: Vergleich der LLM-Antworten mit den Durchschnittswerten männlicher und weiblicher Teilnehmer der WVS.
   • Metrik: Absolute Differenz der Antworten zu den Geschlechterdurchschnitten.

3. Wichtige Ergebnisse

• Politische Neutralität: Die Modelle sind im Großen und Ganzen politisch neutral, zeigen jedoch subtile Neigungen.

  • Gemini zeigt eine leichte Rechtsneigung.
  • GPT neigt leicht nach links.
  • DeepSeek ist am ausgewogensten und neutralsten.
  • Interessanter Befund: Hochwertigere Zusammenfassungen (höhere Ähnlichkeit zu beiden Seiten) tendieren bei allen Modellen eher zu linken Berichten, während mittelmäßige Zusammenfassungen eher rechts ausgerichtet sind.

• Ideologische Sensitivität:

  • Gemini ist am wenigsten sensibel für ideologische Nuancen und neigt dazu, Nachrichten fälschlicherweise als „zentristisch" zu klassifizieren, besonders bei Themen wie Rasse und LGBT. Es passt sich ideologisch eher der Rechten an.
  • GPT ist am sensibelsten für linke ideologische Signale und passt sich stärker der Linken an.
  • Qwen und DeepSeek zeigen ähnliche Muster, neigen aber bei Fehlern dazu, Nachrichten der gegenteiligen Seite zuzuordnen statt als zentristisch zu markieren.

• Geopolitische Allianzen:

  • Alle Modelle zeigen eine höhere Übereinstimmung mit Delegierten aus Lateinamerika, West- und Zentralafrika.
  • Gemini zeigt die stärkste Übereinstimmung mit realen UN-Delegierten insgesamt, weicht jedoch signifikant von den USA ab (Rang 181 von 200) und stimmt eher mit kommunistischen Regimen (China, Nordkorea, Vietnam) überein.
  • GPT zeigt starke Ablehnung gegenüber den Abstimmungsverhalten von Delegierten mit niedrigeren Rängen und besonders gegenüber China und Nordkorea.

• Sprachliche Verzerrung:

  • Die Modelle zeigen keine starke Tendenz, in den Embeddings zu dominanten Sprachen (Englisch, Chinesisch, Spanisch) zu neigen, wenn sie über fiktive Kulturen nachdenken.
  • Befund: Bei Modellen wie Qwen, DeepSeek und Gemini bilden Geschichten in südafrikanischen Sprachen einen engeren Cluster, der dem Englischen nahe kommt. Dies deutet auf einen Transfer-Learning-Effekt bei ressourcenarmen Sprachen hin, der das „Denken" in diesen Sprachen an englische Muster angleicht.

• Geschlechterverzerrung:

  • Alle vier Modelle neigen signifikant stärker zu Werten, die von Frauen vertreten werden, als zu denen von Männern.
  • GPT zeigt die stärkste Ausrichtung auf weibliche Werte (Unterschied von 36,77 % zwischen Übereinstimmung mit Frauen vs. Männern).
  • Die Modelle zeigen insgesamt progressive Haltungen (z. B. bei Abtreibung, Euthanasie, Ablehnung traditioneller Geschlechterrollen), die stärker mit den globalen Frauen-Trends übereinstimmen.
  • Qwen und DeepSeek zeigten bei einigen Fragen widersprüchliche Werte, was auf eine mangelnde konsistente Wertebasis hindeutet.

4. Hauptbeiträge

• Systematischer Vergleich: Erste umfassende Studie, die vier führende LLMs gleichzeitig in fünf verschiedenen Bias-Dimensionen (Politik, Ideologie, Allianz, Sprache, Geschlecht) vergleicht.
• Neue Methodik: Entwicklung spezifischer Experimente, wie der UN-Abstimmungssimulation und der Analyse von fiktiven Geschichten in 92 Sprachen, um verborgene Verzerrungen aufzudecken.
• Erkenntnis über Alignment: Die Studie zeigt, dass selbst nach Alignment-Prozessen (z. B. RLHF) Modelle ihre inhärenten Verzerrungen aus den Trainingsdaten beibehalten und diese sogar amplifizieren können.
• Kritische Reflexion: Die Autoren hinterfragen, ob es sinnvoll ist, KI zu zwingen, menschliche Denkweisen zu imitieren, wenn diese selbst verzerrt sind, und plädieren für eine neue Theorie der Intelligenz, die Neutralität und Robustheit priorisiert.

5. Bedeutung und Implikationen

Die Studie unterstreicht, dass LLMs keine perfekten, neutralen Agenten sind, sondern Spiegelbilder ihrer Trainingsdaten und menschlicher Vorurteile. Für die globale Nutzerbasis ist es entscheidend, die spezifischen Neigungen der gewählten Modelle zu kennen, um nicht irreführt zu werden. Die Ergebnisse deuten darauf hin, dass aktuelle Alignment-Techniken unzureichend sind, um Bias vollständig zu eliminieren. Dies fordert die Forschung auf, neue Ansätze zu entwickeln, die nicht nur menschliche Werte kopieren, sondern KI-Systeme entwerfen, die von Grund auf neutral, robust und in der Lage sind, die Vielfalt menschlicher Werte ohne inhärente Verzerrung widerzuspiegeln.