What Triggers my Model? Contrastive Explanations Inform Gender Choices by Translation Models

Diese Studie untersucht mittels kontrastiver Erklärungen und Saliency-Zuordnung, welche Eingabetokens in englischen Quelltexten die Geschlechterentscheidungen von neuronalen Übersetzungsmodellen in deutsche und spanische Zieltexte auslösen, und zeigt dabei eine deutliche Übereinstimmung zwischen den Modellattributen und menschlichen Geschlechterwahrnehmungen auf.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber etwas verwirrten Roboter-Übersetzer. Wenn du ihm einen Satz auf Englisch gibst, in dem nicht klar ist, ob eine Person männlich oder weiblich ist (z. B. „Der Autor schreibt ein Buch"), muss der Roboter entscheiden: Übersetzt er das Wort „Autor" ins Deutsche als „Autor" (männlich) oder als „Autorin" (weiblich)?

Oft entscheidet der Roboter einfach nach dem Bauchgefühl – und leider ist dieses Bauchgefühl voller alter Klischees. Er denkt: „Ärzte sind Männer, Krankenschwestern sind Frauen", auch wenn im Satz nichts darüber steht.

Dieser Forschungsbericht von Janiça Hackenbuchner und ihrem Team an der Universität Gent untersucht genau dieses Problem. Sie wollen herausfinden: Was genau bringt den Roboter dazu, sich für das eine oder das andere Geschlecht zu entscheiden?

Hier ist die Erklärung der Studie, vereinfacht und mit ein paar bildhaften Vergleichen:

1. Das Problem: Der Roboter ist ein „Klischee-Räuber"

Bisher haben Forscher oft nur gezählt, wie oft der Roboter falsch liegt. Aber sie haben nicht wirklich verstanden, warum er liegt.
Stell dir vor, der Roboter ist wie ein Detektiv, der einen Fall löst. Wenn er nicht genug Beweise hat (weil das Wort im Englischen geschlechtsneutral ist), greift er auf seine alten Notizen zurück – also auf die Daten, mit denen er trainiert wurde. Und in diesen Daten stecken viele Vorurteile.

2. Die Methode: Der „Was-wäre-wenn"-Spiegel

Um herauszufinden, was den Roboter beeinflusst, haben die Forscher eine clevere Trickkiste benutzt, die sie kontrastive Erklärungen nennen.

Stell dir vor, du hast einen Satz: „Der Koch backt einen Kuchen."

• Szenario A: Der Roboter übersetzt es als „Der Koch backt einen Kuchen" (männlich).
• Szenario B: Die Forscher sagen dem Roboter: „Hey, stell dir vor, es wäre eine Frau. Übersetze es als 'Die Köchin'."

Dann schauen sie sich den Roboter genau an (wie einen Röntgenblick in sein Gehirn) und fragen: „Welches Wort im Original-Satz hat dich dazu gebracht, bei Szenario A an 'Koch' zu denken und bei Szenario B an 'Köchin'?"

Sie suchen nach den „Auslösern" (Triggern). Ist es das Wort „Koch" selbst? Oder ist es das Wort „Kuchen", das vielleicht eher mit Männern assoziiert wird? Oder das Wort „backen"?

3. Die Entdeckung: Was sieht der Roboter?

Die Forscher haben herausgefunden, dass der Roboter und Menschen oft auf ähnliche Hinweise achten, aber sie gewichten diese Hinweise unterschiedlich.

• Die Übereinstimmung: Wenn Menschen im Satz Hinweise auf ein Geschlecht finden (z. B. „Sie trägt eine Schürze"), tut der Roboter das oft auch. Das ist gut! Es zeigt, dass der Roboter nicht völlig blind ist.
• Der Unterschied: Hier kommt der spannende Teil.
  • Menschen schauen sich den ganzen Satz an. Sie lesen zwischen den Zeilen. Sie achten auf ganze Sätze oder Phrasen, die eine Stimmung erzeugen.
  • Der Roboter hingegen ist wie ein sehr fokussierter, aber etwas starrer Scanner. Er achtet extrem stark auf Nomen und Verben (Hauptwörter und Tätigkeitswörter), die direkt neben dem Zielwort stehen. Er übersieht oft die feinen Nuancen, die Menschen verstehen.

Ein Bild zur Veranschaulichung:
Stell dir vor, der Satz ist ein Gemälde.

• Der Mensch betrachtet das ganze Bild: Die Farben, die Stimmung, die Lichtverhältnisse.
• Der Roboter zoomt extrem nah auf zwei oder drei Pinselstriche (die Nomen und Verben) und ignoriert fast alles andere. Wenn diese zwei Striche „Mann" schreien, denkt er, das ganze Bild sei ein Mann, auch wenn der Rest des Bildes eigentlich eine Frau zeigt.

4. Warum ist das wichtig?

Bisher dachte man, man müsse den Roboter einfach nur „bestrafen", wenn er falsch übersetzt. Diese Studie sagt: Nein, wir müssen erst verstehen, wie er denkt.

Wenn wir wissen, dass der Roboter besonders stark auf bestimmte Verben reagiert (z. B. dass das Wort „leiten" ihn automatisch zum männlichen Geschlecht führt), können wir ihn gezielt trainieren, diese Verknüpfung zu lösen. Wir können ihm beibringen, dass „leiten" auch eine Frau tun kann.

Fazit

Die Forscher haben bewiesen, dass wir den Roboter nicht nur als Black Box betrachten dürfen. Indem wir ihm einen Spiegel vorhalten (durch die kontrastiven Erklärungen), sehen wir, welche Wörter ihn „auf die schiefe Bahn" bringen.

Das Ziel ist nicht nur, die Fehler zu zählen, sondern dem Roboter beizubringen, dass die Welt nicht nur aus den Klischees besteht, die in seinen Trainingsdaten stecken. Es geht darum, ihn zu einem fairen Übersetzer zu machen, der – genau wie ein guter Mensch – den ganzen Kontext versteht und nicht nur auf die ersten drei Wörter schaut.

Technische Zusammenfassung

1. Problemstellung

Maschinelle Übersetzungsmodelle (NMT) und Large Language Models (LLMs) zeigen nach wie vor ausgeprägte Geschlechterverzerrungen (Gender Bias). Bisherige Forschung konzentrierte sich hauptsächlich auf die Messung von Bias in eindeutigen Szenarien (z. B. durch Pronomen-Referenzen) oder auf künstliche Datensätze. Ein zentrales, aber wenig untersuchtes Problem ist jedoch, wie Modelle Geschlechterentscheidungen in natürlichen, mehrdeutigen Kontexten treffen, in denen keine expliziten Pronomen zur Disambiguierung vorliegen.

Das Paper adressiert folgende Lücken:

• Es fehlt an Verständnis dafür, welche spezifischen Eingabe-Token (Quellwörter) in einem mehrdeutigen Satz die Geschlechterwahl des Modells „auslösen" (triggern).
• Es gibt keine definierte Schwelle (Threshold), um zu bestimmen, welche Attributionsscores als „einflussreich genug" gelten.
• Es ist unklar, inwieweit die für das Modell salienten Wörter mit der menschlichen Wahrnehmung von Geschlechterkontexten übereinstimmen.

2. Methodik

Die Studie ist eine explorative Untersuchung, die Interpretierbarkeitsmethoden (Explainable AI, XAI) nutzt, um die Entscheidungsfindung eines NMT-Modells zu analysieren.

• Datensatz: Es wurde ein kleiner, aber hochwertiger Datensatz von 60 natürlichen englischen Sätzen verwendet, die sich auf ein geschlechtsneutrales Substantiv (Target Referent, z. B. „writer") beziehen, aber kontextuell mehrdeutig sind.
• Zielsprachen: Deutsch (DE) und Spanisch (ES), da diese grammatische Geschlechtermarkierungen erfordern (im Gegensatz zum Englischen).
• Modell: Das Open-Source-Modell OPUS-MT wurde für die Übersetzungen verwendet.
• Kontrastive Erklärungen (Contrastive Explanations):
  • Für jeden englischen Satz wurden zwei Übersetzungen generiert: die originale Ausgabe des Modells und eine manuell erstellte „Gegenübersetzung" (Foil), die das entgegengesetzte Geschlecht verwendet (z. B. Berater vs. Beraterin).
  • Mittels Saliency Attribution (basierend auf Gradienten-Normen, implementiert im Toolkit inseq) wurde berechnet, wie stark jeder Eingabe-Token die Wahrscheinlichkeit für die originale Geschlechterwahl im Vergleich zur Gegenwahl beeinflusst.
• Vergleich mit menschlichen Annotationen: Die Studie nutzt Annotationen von 20 menschlichen Bewertern (aus einer vorherigen Studie), die markierten, welche Wörter im englischen Originalsatz ihre Geschlechterwahrnehmung beeinflussten.
• Analyse-Ansätze: Um die fehlende Schwellenwert-Definition zu adressieren, wurden vier verschiedene Methoden zur Identifizierung salienter Wörter getestet:
  1. Top X% der Wörter nach Score (5–25%).
  2. Nur das Wort mit dem höchsten Score.
  3. Wörter mit einem absoluten Score-Schwellenwert (0,01–0,10).
  4. Relative Top X% der kumulierten Scores pro Satz.
• Metriken: Die Übereinstimmung zwischen Modell und Mensch wurde als Micro-Precision gemessen. Zusätzlich erfolgte eine linguistische Analyse (Wortarten/POS, Abhängigkeitsabstand zum Zielreferenten).

3. Wichtige Beiträge

• Shift von Messung zu Ursprung: Statt Bias nur zu messen, untersucht das Paper die Ursprünge der Bias-Entscheidungen im Kontext mehrdeutiger natürlicher Daten.
• Methodische Innovation: Einführung und Vergleich verschiedener Attributionsschwellenwerte, um zu bestimmen, welche Eingabewörter als „einflussreich" gelten.
• Plausibilitätsvergleich: Ein direkter Vergleich der vom Modell als wichtig erachteten Wörter mit menschlichen Annotationen in einem natürlichen, mehrdeutigen Setting.
• Linguistische Einblicke: Eine detaillierte Analyse der Wortarten (POS) und syntaktischen Abstände, die das Modell nutzt, im Vergleich zur menschlichen Wahrnehmung.

4. Ergebnisse

• Hohe Übereinstimmung (Overlap): Es gibt eine signifikante Übereinstimmung zwischen den vom Modell als salient erkannten Wörtern und den menschlichen Annotationen.
  • Der höchste Overlap wurde bei Approach 4 (relative Top 15% der kumulierten Scores pro Satz) erreicht.
  • Micro-Precision Scores: 0,851 im Durchschnitt (0,817 für EN→DE, 0,897 für EN→ES). Dies zeigt, dass das Modell oft von denselben kontextuellen Hinweisen beeinflusst wird wie Menschen.
• Einfluss der Schwellenwerte: Die Methode, nur die absoluten Top-Wörter oder relative Top-Anteile zu betrachten, führte zu besseren Ergebnissen als feste absolute Score-Schwellenwerte (Approach 3), da letztere den Vergleich zwischen Sätzen unterschiedlicher Länge erschweren.
• Linguistische Unterschiede (POS & Struktur):
  • Wortarten: Das Modell stützt sich stark auf Nomen und Verben (zusammen ca. 60–65% der salienten Wörter). Menschen hingegen zeigen eine ausgewogenere Verteilung, wobei auch Eigennamen und Adjektive eine größere Rolle spielen.
  • Syntaktischer Abstand: Das Modell wird primär von Wörtern beeinflusst, die einen syntaktischen Abstand von 1 (direkte Nachbarn im Dependency-Tree) zum Zielreferenten haben. Menschen berücksichtigen hingegen einen breiteren Kontext, der auch Wörter mit größerem syntaktischem Abstand (bis 6) einbezieht.
• Ausreißer: Das Modell identifizierte manchmal Wörter als salient, die Menschen nicht annotierten (z. B. Zahlen oder spezifische Token-Fehler), was auf eine stärkere Sensibilität für eindeutige Token hinweist.

5. Bedeutung und Fazit

Das Paper zeigt, dass Interpretierbarkeitsmethoden wie kontrastive Erklärungen effektiv genutzt werden können, um zu verstehen, wie NMT-Modelle Geschlechter in mehrdeutigen Kontexten entscheiden.

• Kernaussage: Obwohl das Modell und Menschen oft von denselben Wörtern beeinflusst werden (hohe Plausibilität), unterscheiden sie sich in der Art der Verarbeitung (fokussierter auf direkte syntaktische Nachbarn und Nomen/Verben beim Modell vs. breiterer Kontext beim Menschen).
• Implikation: Um Gender Bias zu mildern, reicht es nicht aus, nur die Ausgabe zu korrigieren. Es ist notwendig, zu verstehen, welche Eingabe-Token die Verzerrung auslösen. Da das Modell oft ähnliche Kontextsignale wie Menschen nutzt, aber diese anders gewichtet, können gezielte Eingriffe in die Modellarchitektur oder das Training (z. B. durch gezielte Datenanreicherung) helfen, die Verzerrung zu reduzieren.
• Zukunftsausblick: Die Studie legt den Grundstein für weitere Forschung an größeren Datensätzen und moderneren Modellen, um die Ursachen von Bias tiefer zu verstehen und faire Übersetzungen zu entwickeln.

Zusammenfassend beweist die Arbeit, dass Interpretierbarkeit ein entscheidendes Werkzeug ist, um von der bloßen Messung von Bias zur aktiven Bekämpfung und zum Verständnis der zugrundeliegenden Mechanismen in maschinellen Übersetzungssystemen überzugehen.