💬 NLP

Investigating Counterfactual Unfairness in LLMs towards Identities through Humor

Diese Studie untersucht, wie Sprachmodelle durch Humor-Tests systematische Verzerrungen gegenüber sozialen Identitäten aufweisen, indem sie Witze privilegierter Sprecher häufiger ablehnen, als böswillig einstufen und als schädlicher bewerten als identisch formulierte Witze anderer Sprecher.

Ursprüngliche Autoren: Shubin Kim, Yejin Son, Junyeong Park, Keummin Ka, Seungbeen Lee, Jaeyoung Lee, Hyeju Jang, Alice Oh, Youngjae Yu

Veröffentlicht 2026-04-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shubin Kim, Yejin Son, Junyeong Park, Keummin Ka, Seungbeen Lee, Jaeyoung Lee, Hyeju Jang, Alice Oh, Youngjae Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Spiegelbild: Wie KI über Witze urteilt

Stell dir vor, du hast einen sehr gut erzogenen, aber etwas verunsicherten Butler, der alle Bücher der Welt gelesen hat. Das ist unsere Künstliche Intelligenz (KI). Wenn du ihn bittest, einen Witz zu erzählen oder zu bewerten, zeigt er dir nicht nur, was er weiß, sondern auch, welche sozialen Vorurteile er unbewusst aus seinen Daten gelernt hat.

Diese Forscher haben genau das untersucht: Wie reagiert die KI auf Witze, wenn man die Identitäten der Personen im Witz einfach austauscht?

Stell dir das wie ein Spiegel-Experiment vor:

Szenario A: Ein reicher, weißer Mann macht einen Witz über einen armen, behinderten Menschen.
Szenario B: Ein armer, behinderter Mensch macht denselben Witz über einen reichen, weißen Mann.

Die Frage war: Macht die KI das Gleiche in beiden Fällen? Die Antwort ist ein klares Nein. Und das ist das Herzstück der Studie.

Die drei Tests im Detail

Die Forscher haben die KI in drei verschiedenen Situationen getestet, ähnlich wie ein Lehrer, der einen Schüler auf drei Arten prüft:

1. Der "Nein-Sager"-Test (Witze ablehnen)

Stell dir vor, du bittest die KI: "Erzähl mir einen Witz, bei dem [Person A] über [Person B] lacht."

Das Ergebnis: Wenn Person A eine "privilegierte" Gruppe ist (z. B. reich, weiß, gesund) und Person B eine "marginalisierte" Gruppe (z. B. arm, farbig, behindert), sagt die KI fast immer: "Entschuldigung, das kann ich nicht."
Der Vergleich: Wenn die Rollen vertauscht werden (Person B macht den Witz über Person A), sagt die KI oft: "Na klar, hier ist ein Witz!"
Die Metapher: Die KI verhält sich wie ein überängstlicher Türsteher. Sie lässt den "starken" Mann nicht durch die Tür, weil sie Angst hat, er könnte jemanden verletzen. Den "schwächeren" Mann lässt sie aber durch, weil sie denkt, er sei harmlos. Dabei ist der Witz in beiden Fällen derselbe!
Die Zahl: Die KI lehnt Witze von privilegierten Personen bis zu 67,5 % häufiger ab als in der umgekehrten Richtung.

2. Der "Absicht"-Test (Was denkt der Sprecher?)

Hier gibt die KI keinen Witz vor, sondern bewertet einen bestehenden Witz.

Das Ergebnis: Wenn ein privilegieter Sprecher einen Witz macht, denkt die KI sofort: "Oh, das ist böse gemeint! Das ist bösartig!"
Der Vergleich: Wenn ein marginalisierter Sprecher denselben Witz macht, denkt die KI: "Ach, das ist sicher nur ein kleiner Scherz oder Selbstironie."
Die Metapher: Die KI ist wie ein Polizist mit einer Brille, die nur eine Farbe sieht. Sie sieht die Identität des Sprechers und schließt daraus sofort auf die Absicht, ohne wirklich hinzuhören. Sie unterstellt dem "Mächtigen" immer das Schlimmste und dem "Schwächeren" immer das Beste.

3. Der "Folgen"-Test (Wie reagiert das Publikum?)

Die KI soll simulieren, wie ein Zuhörer auf einen Witz reagiert.

Das Ergebnis: Wenn ein privilegierter Sprecher einen Witz macht, bewertet die KI die Reaktion des Zuhörers als sehr negativ ("Das war verletzend!").
Der Vergleich: Bei umgekehrten Rollen ist die Reaktion viel positiver ("Das war lustig!").
Die Metapher: Die KI ist wie ein Regisseur, der das Skript schon vorher kennt. Sie weiß bereits, dass "Reiche über Arme lachen" in der Gesellschaft als "Punching Down" (Schlagen nach unten) gilt und daher verboten ist. Aber sie vergisst, dass Humor auch vom Kontext abhängt. Sie urteilt nicht über den Witz selbst, sondern über den Status der Person, die ihn erzählt.

Warum ist das ein Problem?

Die Studie zeigt ein seltsames Paradoxon:
Die KI versucht, fair und sicher zu sein, aber sie tut es falsch.

Sie ist nicht neutral: Sie hat eine feste Rangliste im Kopf. "Reich" ist oben, "Arm" ist unten. "Weiß" ist oben, "Farbig" ist unten.
Sie ist zu vorsichtig: Sie blockt harmlose Witze von privilegierten Leuten ab, weil sie denkt, sie könnten verletzend sein. Das nennt man "Überkorrektheit".
Sie ist zu nachsichtig: Sie lässt Witze von marginalisierten Gruppen durch, selbst wenn sie eigentlich auch verletzend sein könnten, weil sie denkt, diese Gruppe sei "unschuldig".

Die große Erkenntnis:
Die KI denkt nicht wirklich nach. Sie nutzt Identitäten als Abkürzungen.
Statt zu fragen: "Ist dieser Witz im Kontext dieser Situation wirklich böse?", fragt sie: "Wer erzählt den Witz?" Und basierend auf dieser Antwort entscheidet sie automatisch, ob sie den Witz erlaubt oder verbietet.

Was bedeutet das für die Zukunft?

Die Forscher sagen: Wir brauchen KIs, die echte soziale Intelligenz haben.
Eine faire KI sollte nicht wie ein Roboter funktionieren, der nur nach Schlagwörtern sucht ("Reich" = Nein, "Arm" = Ja). Sie sollte wie ein kluger Gesprächspartner sein, der versteht:

Wer spricht?
Zu wem spricht er?
In welcher Beziehung stehen sie?
Was ist der eigentliche Witz?

Nur so können wir verhindern, dass die KI entweder zu zensiert (und uns die Kreativität nimmt) oder zu blind für echte Vorurteile ist. Es geht nicht darum, alle gleich zu behandeln, sondern darum, den Kontext wirklich zu verstehen.

1. Problemstellung

Große Sprachmodelle (LLMs), die auf riesigen Web-Korpora trainiert wurden, absorbieren systematisch soziale und kulturelle Verzerrungen. Diese führen zu „repräsentativen Schäden" (representational harms), bei denen Modelle soziale Gruppen in unterschiedlichen Kontexten unterschiedlich darstellen oder behandeln.

Das zentrale Problem dieser Arbeit ist, dass bestehende Bias-Evaluierungen oft den konversationellen Kontext vernachlässigen. Sie betrachten isolierte Witze oder Texte, ohne zu berücksichtigen, wie sich die Bedeutung und die soziale Dynamik ändern, wenn die Identitäten der Sprecher (Speaker) und der Adressaten (Listener/Target) getauscht werden. Die Autoren untersuchen, ob LLMs bei identischem Witzinhalt unterschiedlich reagieren, je nachdem, wer den Witz erzählt und wer ihn hört. Dies ist besonders relevant für Humor, da dieser oft auf Ambiguität und sozialen Nuancen basiert und die Grenzen zwischen akzeptabel und beleidigend verschwimmen lässt.

2. Methodik

Die Studie nutzt einen gegenfaktischen Fairness-Ansatz (Counterfactual Fairness). Das Prinzip besagt, dass das Ändern nur eines sensiblen Attributs (hier: der Identität von Sprecher oder Zuhörer) die Ausgabe des Modells nicht verändern sollte, wenn alle anderen Faktoren konstant bleiben.

Die Forschung ist in drei komplementäre Aufgaben unterteilt, die den gesamten Prozess von der Generierung bis zur Bewertung abdecken:

A. Aufgabe 1: Speaker-Target Conditioned Humor Generation (Generierung & Ablehnung)

Ziel: Untersuchen, ob Modelle humorvolle Inhalte unterschiedlich ablehnen, je nach Kombination von Sprecher- und Ziel-Identität.
Daten: 80 Vorlagen für Humor-Generierung, die 33 Identitäten über 10 Kategorien (z. B. Rasse, Geschlecht, Wohlstand, Beruf) abdecken. Dies ergibt 121 bidirektionale Identitäts-Paare (z. B. „Weißer Sprecher auf Schwarzes Ziel" vs. „Schwarzer Sprecher auf Weißes Ziel").
Metriken:
- Asymmetric Refusal Rate (ARR): Misst die Differenz in der Ablehnungsrate zwischen den Richtungen $A \to B$ und $B \to A$ .
- Speaker Effect (SE): Misst, wie stark die Nennung einer spezifischen Sprecher-Identität die Ablehnungsrate im Vergleich zu einer Ziel-Only-Baseline verändert.
Auswertung: Automatisierte Bewertung durch GPT-4o (validiert durch Llama-3 und menschliche Annotatoren), um zu bestimmen, ob die Anfrage erfüllt oder abgelehnt wurde.

B. Aufgabe 2: Speaker Intention Inference (Absichtsinferenz)

Ziel: Prüfen, ob Modelle identischen Witzinhalten unterschiedliche Absichten (böswillig vs. harmlos) zuschreiben, basierend auf den Identitäten von Sprecher und Zuhörer.
Daten: Zwei Datensätze:
1. Identitätsagnostischer Humor: Witze ohne Bezug zu Identitäten.
2. Identitätsspezifischer Herabsetzungs-Humor: Witze, die Stereotype nutzen, aber in Kontexten platziert werden, in denen weder Sprecher noch Zuhörer das Ziel des Witzes sind (Unrelated-Target).
Aufgabe: Das Modell muss die Absicht des Sprechers klassifizieren (z. B. „aggressiv", „affiliativ") und die Wertigkeit bewerten (harmlos, böswillig, unsicher).
Metrik: Difference-based Bias ( $B_{diff}$ ): Quantifiziert die Asymmetrie in der Zuschreibung böswilliger Absichten zwischen den Richtungen $A \to B$ und $B \to A$ .

C. Aufgabe 3: Relational and Societal Impact Prediction (Sozialer Impact)

Ziel: Vorhersage der Reaktion des Zuhörers auf einen Witz unter Berücksichtigung von Identitäten, Beziehungskontext (z. B. Chef zu Untergebenem, Freunde) und sozialem Umfeld.
Design: Systematische Variation von Sprecher-Listener-Identitäten (einfach vs. komplex/intersektional) und relationalen Kontexten.
Evaluation: Ein separates „Judge-Modell" (GPT-4o) bewertet die generierten Reaktionen des LLMs auf drei Kriterien (1–5 Skala):
1. Humor Acceptance: Wie positiv wird der Witz aufgenommen?
2. Social Sensitivity: Wie bewusst ist die Reaktion auf potenzielle Beleidigungen?
3. Character Consistency: Entspricht die Reaktion der gegebenen Identitätsprofil?

Evaluierte Modelle: Claude 3.5 Haiku, GPT-4o, DeepSeek-Reasoner, Gemini 2.5 Flash-Lite und Grok 4.

3. Wichtige Ergebnisse

Zu Aufgabe 1 (Generierung & Ablehnung)

Systematische Asymmetrie: Modelle lehnen Witze, die von privilegierten Gruppen an marginalisierte Gruppen gerichtet sind („Punching Down"), signifikant häufiger ab als umgekehrt.
- Beispiel: Witze von „Wealthy" zu „Poor" wurden bis zu 67,5 % öfter abgelehnt als von „Poor" zu „Wealthy".
- Bei Rasse (White $\to$ Black) lag die Ablehnungsrate bei GPT-4o um 43,8 % höher als im umgekehrten Fall.
Verzerrte Sicherheitsrichtlinien: Modelle behandeln privilegierte Sprecher als inhärenter „gefährlicher" und marginalisierte Sprecher als „verletzlicher". Dies führt zu einer Überprotektion marginalisierter Gruppen (die oft auch harmlose Witze ablehnen) und einer übermäßigen Überwachung privilegierter Gruppen.
Ablehnungsstrategien: Bei privilegierten Sprechern erfolgen häufiger direkte, kategorische Ablehnungen. Bei marginalisierten Sprechern werden oft alternative, harmlose Witze vorgeschlagen.

Zu Aufgabe 2 (Absichtsinferenz)

Böswilligkeit wird attribuiert: Identische Witze werden, wenn sie von privilegierten Sprechern erzählt werden, signifikant häufiger als „böswillig" oder „aggressiv" eingestuft.
- Beispiel: Ein Witz von einem „Able-bodied" an einen „Disabled" Zuhörer wurde doppelt so oft als böswillig eingestuft wie der umgekehrte Fall.
Verstärkung durch Identitäts-Clues: Selbst wenn der Witz eine andere Gruppe als Ziel hat (Unrelated-Target), führt die bloße Anwesenheit von Identitätsmerkmalen bei Sprecher und Zuhörer zu einer Verstärkung der Bias. Modelle nutzen demografische Hinweise als Proxy für Absicht, anstatt den Inhalt zu analysieren.
Selbstverunglimpfung: Marginalisierte Sprecher werden häufiger mit „selbstverunglimpfendem" Humor (self-deprecating) assoziiert, während privilegierte Sprecher „aggressiver" Absicht unterstellt wird.

Zu Aufgabe 3 (Sozialer Impact)

Strenge Bewertung privilegierter Sprecher: Privilegierte Sprecher erhalten bei identischen Witzen niedrigere Werte für „Humor Acceptance" und höhere Werte für „Social Sensitivity" (d.h. sie werden als sozial unangemessener wahrgenommen).
Kontext-Moderation: Professionelle Hierarchien (Chef $\to$ Untergebener) verstärken diese Asymmetrien, während Freundschaftskontexte sie abschwächen.
Intersektionalität: Bei komplexen Profilen (10 Dimensionen) zeigen konservative Modelle (Claude, DeepSeek) eine noch strengere Bewertung, während andere Modelle (GPT, Gemini) die Komplexität eher als Nuance behandeln.

4. Hauptbeiträge

Neuer Evaluierungsrahmen: Einführung eines gegenfaktischen Frameworks, das die Rolle der Sprecher- und Zuhörer-Identität in Humor-Kontexten isoliert und systematisch testet.
Entdeckung bidirektionaler Verzerrungen: Nachweis, dass LLMs nicht nur diskriminieren, sondern auch „überkompensieren" (Overcautiousness) gegenüber marginalisierten Gruppen, was zu neuen Formen der Ungerechtigkeit führt (z. B. Erasure von legitimer kreativer Äußerung).
Metriken für Asymmetrie: Entwicklung spezifischer Metriken (ARR, SE, $B_{diff}$ ), die nicht-binäre Bias-Muster und Richtungsabhängigkeiten quantifizieren.
Kontextuelle Analyse: Demonstration, dass Bias nicht nur vom Inhalt, sondern stark von relationalen Dynamiken (Hierarchie, Privilegien) abhängt, die in aktuellen Sicherheitsausrichtungen oft ignoriert werden.

5. Bedeutung und Implikationen

Die Studie zeigt, dass aktuelle Sicherheitsalignments in LLMs oft auf starren, identitätsbasierten Regeln beruhen, anstatt auf echtem, kontextbewusstem sozialem Verständnis.

Gefahr der Stereotypisierung: Modelle kodieren soziale Hierarchien fest ein, anstatt die tatsächliche Absicht oder den Schaden eines Witzes zu bewerten.
Fehlende Kontextsensitivität: Modelle sind nicht in der Lage, zu unterscheiden, ob ein Witz in einem Freundeskreis oder einem Machtgefälle gesagt wird, und reagieren oft reflexartig auf demografische Labels.
Zukunft der Fairness: Der Weg zu fairen LLMs erfordert einen Wechsel von statischen Sicherheitsfiltern hin zu Modellen, die kontextuelle soziale Reasoning Fähigkeiten entwickeln. Dies bedeutet, dass Modelle lernen müssen, die gesamte kommunikative Handlung zu bewerten und bei Unsicherheit eher nach Kontext zu fragen, als voreilige, verzerrte Urteile zu fällen.

Zusammenfassend belegt das Paper, dass Humor ein hochsensibler Indikator für die tief verwurzelten, relationalen Vorurteile in KI-Systemen ist, die über einfache Inhaltsfilter hinausgehen.