Bias in Large Language Models: Origin, Evaluation, and Mitigation

Das große Ganze: Der „Super-Leser" mit einem blinden Fleck

Stellen Sie sich ein Large Language Model (LLM) als einen hochmodernen Schüler vor, der fast jedes je geschriebene Buch, jede Website und jeden Social-Media-Beitrag gelesen hat. Dieser Schüler ist unglaublich intelligent und kann Aufsätze schreiben, Fragen beantworten und Sprachen übersetzen – besser als fast jeder andere.

Da dieser Schüler jedoch aus allem gelernt hat, was Menschen geschrieben haben, hat er auch all unsere Vorurteile, Stereotype und ungerechten Gewohnheiten gelernt. Genau wie ein Kind, das in einer Nachbarschaft aufwächst, in der alle glauben, eine bestimmte Gruppe von Menschen sei schlecht in Mathe, könnte auch dieser Schüler das glauben, selbst wenn es nicht wahr ist.

Dieses Papier ist ein massiver Leitfaden, der drei Hauptfragen stellt:

1. Woher kommen diese schlechten Gewohnheiten? (Ursprünge)
2. Wie fangen wir den Schüler beim Schummeln? (Evaluation)
3. Wie bringen wir ihm bei, fair zu sein? (Mitigation)

---

Teil 1: Woher die schlechten Gewohnheiten kommen (Ursprünge)

Die Autoren unterteilen die „schlechten Gewohnheiten" (Bias) in zwei Arten: Intrinsisch und Extrinsisch.

1. Intrinsischer Bias: Das „interne Gedächtnis"

Stellen Sie sich dies als das interne Wörterbuch und Weltbild des Schülers vor, das sich während seines Studiums gebildet hat.

• Die Trainingsdaten (Die Lehrbücher): Der Schüler hat Bücher gelesen, in denen „Ärzte" fast immer Männer und „Krankenschwestern" fast immer Frauen waren. In seinem internen Gedächtnis verknüpft er also „Arzt" mit „männlich" und „Krankenschwester" mit „weiblich". Dies ist ein Daten-Bias.
• Die Sammlungsmethode (Die Bibliothek): Stellen Sie sich vor, der Schüler ging nur in Bibliotheken in einem bestimmten Land. Er würde denken, dass die Feiertage dieses Landes die einzigen Feiertage der Welt sind. Dies ist ein räumlich/zeitlicher Bias.
• Die Werkzeuge (Der Stift und das Papier): Selbst die Art und Weise, wie der Schüler Wörter in Stücke zerlegt (Tokenisierung), kann unfair sein. Wenn der „Stift" des Schülers Namen aus Minderheitengruppen in winzige, verwirrende Fragmente zerlegt, aber gängige Namen ganz lässt, kann er die Namen der Minderheiten nicht so gut verstehen. Dies ist ein Tokenisierungs-Bias.

2. Extrinsischer Bias: Die „schlechte Leistung"

Dies ist der Fall, wenn der Schüler seine schlechten Gewohnheiten während eines spezifischen Tests oder einer Aufgabe handelt.

• Verstehende Aufgaben (NLU): Wenn Sie fragen: „Wer ist der Arzt?" und der Text sagt „Der Arzt kam an", könnte der Schüler „Er" raten, selbst wenn der Text das Geschlecht nicht angibt, weil sein internes Gedächtnis verzerrt ist.
• Generierende Aufgaben (NLG): Wenn Sie den Schüler bitten, eine Geschichte über einen Anführer zu schreiben, könnte er automatisch den Anführer als Mann und die Krankenschwester als Frau darstellen, selbst wenn Sie das nicht verlangt haben.
• Das Ergebnis: Der Schüler könnte eine Jobempfehlung eher an einen Mann als an eine Frau geben oder einen Satz so übersetzen, dass er eine Kultur beleidigt, einfach weil er Muster wiederholt, die er in seinen Trainingsdaten gesehen hat.

---

Teil 2: Wie man das Schummeln aufdeckt (Evaluation)

Wie wissen wir, ob der Schüler voreingenommen ist? Das Papier schlägt vor, ihn auf drei verschiedenen Ebenen zu prüfen, wie ein Lehrer, der einen Schüler benotet.

1. Daten-Ebene-Check (Überprüfung der Lehrbücher):
   • Bevor der Schüler überhaupt beginnt, schauen wir uns die Bücher an, die er liest. Gibt es zu viele Bücher über Männer und zu wenige über Frauen? Gibt es zu viele Bücher aus den USA und keine aus Afrika? Wir verwenden Mathematik, um zu zählen, wie oft verschiedene Gruppen erscheinen.
2. Modell-Ebene-Check (Überprüfung des Gehirns):
   • Wir stupsen das Gehirn des Schülers, um zu sehen, wie es Ideen verknüpft. Wenn wir fragen: „Ist eine Krankenschwester ein Mann?" und das Gehirn des Schülers mit „Nein" aufleuchtet, aber wenn wir fragen „Ist ein Arzt ein Mann?", mit „Ja" aufleuchtet, wissen wir, dass in seinen Verbindungen ein versteckter Bias liegt. Wir verwenden Werkzeuge wie Gegenfaktische (einen Namen von „John" in „Jane" ändern und sehen, ob sich die Antwort ändert).
3. Ausgabe-Ebene-Check (Benotung der Hausaufgaben):
   • Wir schauen uns die tatsächlichen Antworten des Schülers an. Verwendet er böse Wörter für bestimmte Gruppen? Gibt er verschiedenen Menschen unterschiedliche Ratschläge? Wir verwenden auch Menschliche Prüfer (echte Menschen), um die Antworten zu lesen und zu sagen: „Hey, das klingt unfair."

---

Teil 3: Wie man die schlechten Gewohnheiten behebt (Mitigation)

Das Papier schlägt drei Wege vor, den Schüler zu „entbiasen", je nachdem, wann Sie eingreifen.

1. Pre-Model Debiasing (Reinigen der Lehrbücher)

• Die Idee: Bevor der Schüler mit dem Lernen beginnt, reinigen wir die Bibliothek.
• Wie: Wir fügen mehr Bücher über unterrepräsentierte Gruppen hinzu (Oversampling) oder entfernen die wirklich hasserfüllten Bücher. Wir könnten sogar Sätze umschreiben, um Geschlechter zu tauschen (z. B. „Der Arzt ist er" in „Der Arzt ist sie" ändern), damit der Schüler beide Optionen lernt.
• Vor-/Nachteile: Es ist günstig und einfach zu beginnen, aber man kann nicht alles nur durch das Reinigen der Bücher beheben. Einige schlechte Gewohnheiten sind bereits in die Gehirnstruktur des Schülers eingebacken.

2. Intra-Model Debiasing (Umverdrahten des Gehirns)

• Die Idee: Während der Schüler lernt, zwingen wir ihn, anders zu lernen.
• Wie: Wir ändern die Spielregeln. Wenn der Schüler versucht, „Krankenschwester" mit „weiblich" zu verknüpfen, geben wir ihm einen „Strafpunkt" (eine Verlustfunktion), damit er lernt, das nicht mehr zu tun. Wir könnten auch bestimmte Teile seines Gehirns, die diese schlechten Verbindungen enthalten, „beschneiden" (herausschneiden).
• Vor-/Nachteile: Dies ist sehr effektiv, um die Ursache zu beheben, aber es ist teuer und schwierig. Es ist wie der Versuch, einen Computer neu zu verdrahten, während er läuft.

3. Post-Model Debiasing (Bearbeiten der Hausaufgaben)

• Die Idee: Lassen Sie den Schüler die Antwort schreiben, aber wir bearbeiten sie, bevor wir sie der Welt zeigen.
• Wie: Wenn der Schüler einen voreingenommenen Satz schreibt, verwenden wir einen Filter, um die Wörter zu ändern. Oder wir verwenden einen Trick mit „kausalen Prompts", bei dem wir den Schüler bitten, das Problem auf eine bestimmte Weise zu betrachten, die ihn zwingt, Stereotype zu ignorieren.
• Vor-/Nachteile: Dies ist schnell und erfordert kein erneutes Trainieren des Schülers. Allerdings ist es wie das Auflegen eines Pflasters auf eine Wunde; es behebt das Symptom, aber heilt nicht die Krankheit.

---

Teil 4: Warum das wichtig ist (Ethik und Recht)

Das Papier warnt davor, dass diese Vorurteile nicht nur ärgerlich sind; sie sind gefährlich.

• Repräsentative Schäden: Der Schüler könnte sagen: „Muslime sind gewalttätig" oder „Frauen sind keine Anführer". Dies verletzt die Gefühle der Menschen und verstärkt negative Stereotype in der Gesellschaft.
• Allokative Schäden: Hier geht es darum, dass Menschen echte Chancen im wirklichen Leben verlieren. Wenn ein voreingenommener Schüler einem Unternehmen hilft, Leute einzustellen, könnte er den Lebenslauf einer qualifizierten Frau ablehnen. Wenn ein voreingenommener Schüler einem Krankenhaus hilft, Patienten zu diagnostizieren, könnte er eine Krankheit bei einer Minderheitengruppe übersehen.

Das Papier stellt fest, dass Gesetze beginnen, aufzuholen. An Orten wie New York City und der Europäischen Union sind Unternehmen nun verpflichtet, ihre KI-Tools zu überprüfen, um sicherzustellen, dass sie Menschen nicht aufgrund von Rasse, Geschlecht oder Alter diskriminieren.

Das Fazit

Dieses Papier ist eine Landkarte. Es sagt uns, dass KI wie ein Spiegel ist, der die Fehler unserer Gesellschaft widerspiegelt. Um faire KI zu bauen, können wir uns nicht nur auf eine Lösung verlassen. Wir müssen unsere Daten bereinigen, unsere Modelle sorgfältig trainieren, ihre Arbeit ständig überprüfen und die Ausgabe beheben, bevor sie die Menschen erreicht. Es ist ein kontinuierlicher Prozess, keine einmalige Aufgabe.