🤖 AI

Causal Bias Detection in Generative Artifical Intelligence

Dieser Beitrag etabliert einen einheitlichen theoretischen Rahmen für kausale Fairness in generativer KI, indem er neue Dekompositionsmethoden und Schätzer ableitet, um zu quantifizieren, wie die internen kausalen Mechanismen generativer Modelle zu demografischen Verzerrungen über verschiedene Pfade beitragen.

Ursprüngliche Autoren: Drago Plecko

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Drago Plecko

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, warum zwei Gruppen von Menschen in der Gesellschaft unterschiedlich behandelt werden. Vielleicht erhält die eine Gruppe niedrigere Gehälter, wird häufiger mit einer bestimmten Krankheit diagnostiziert oder konsumiert bestimmte Substanzen häufiger.

Stellen Sie sich nun vor, wir bauen einen superschlauen Computer (eine KI), der uns hilft, Entscheidungen zu treffen oder Geschichten über diese Menschen zu erzählen. Die große Sorge lautet: Kopiert der Computer einfach nur die Ungerechtigkeit der realen Welt, oder verschlimmert er sie versehentlich?

Dieser Beitrag stellt eine neue Methode vor, um das „Gehirn" des Computers zu überprüfen und genau zu sehen, wie und warum er voreingenommen sein könnte. Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Der alte Weg vs. der neue Weg

Der alte Weg (Standard-KI):
Stellen Sie sich eine traditionelle KI wie einen Richter vor. Der Richter betrachtet den Lebenslauf einer Person (Alter, Ausbildung, Berufserfahrung) und entscheidet, ob sie einen Kredit oder einen Job erhält. Der Richter nutzt die Regeln der realen Welt dafür, wie Alter und Ausbildung funktionieren, wendet aber seine eigene spezifische Regel für die endgültige Entscheidung an.

Das Problem: Wir prüfen normalerweise nur, ob die endgültige Entscheidung des Richters fair ist. Wir prüfen nicht, ob der Richter missverstanden hat, wie die Welt funktioniert.

Der neue Weg (Generative KI):
Stellen Sie sich eine generative KI (wie die Chatbots, die Sie kennen) als Geschichtenerzähler vor. Dieser Geschichtenerzähler betrachtet nicht nur einen Lebenslauf und gibt ein „Ja/Nein" aus. Er erfindet ganze Leben. Er entscheidet, was der Beruf einer Person ist, was ihr Gehalt ist, was ihre Hobbys sind und ob sie krank wird – alles basierend darauf, wer sie ist.

Das Problem: Da der Geschichtenerzähler alles erfindet, könnte er eigene seltsame Vorstellungen davon haben, wie die Welt funktioniert. Er könnte denken: „Oh, Menschen der Gruppe A haben normalerweise geringe Einkommen", auch wenn das in der Realität nicht stimmt. Er urteilt nicht nur; er schreibt die Regeln des Universums um.

2. Der „S-Knoten": Der Realitätsschalter

Die Autoren haben ein spezielles Werkzeug namens S-SFM (Selection-Standard Fairness Model) entwickelt. Stellen Sie sich eine riesige Schalttafel mit der Beschriftung „S" vor.

Wenn der Schalter auf Realwelt steht, verwendet der Computer tatsächliche Fakten aus der menschlichen Geschichte (wie echte Volkszählungsdaten).
Wenn der Schalter auf KI-Welt steht, verwendet der Computer die eigenen erfundenen Überzeugungen der KI.

Indem dieser Schalter für verschiedene Aspekte des Lebens einer Person (Hintergrund, Beruf, Gesundheit) umgelegt wird, können die Forscher genau isolieren, wo die KI falsch liegt.

3. Die drei Pfade der Voreingenommenheit

Der Beitrag unterteilt Ungerechtigkeit in drei „Straßen", die die KI nehmen kann:

Der direkte Weg: Die KI behandelt Gruppe A anders als Gruppe B nur wegen dessen, wer sie sind (z. B. „Weil Sie X sind, erhalten Sie Y").
Der indirekte Weg: Die KI behandelt Gruppe A anders, weil sie glaubt, sie habe unterschiedliche vermittelnde Merkmale (z. B. „Weil Sie X sind, glaubt die KI, Sie hätten weniger Bildung, also erhalten Sie weniger Geld").
Der spurlose Weg: Die KI wird durch Hintergrundrauschen verwirrt (z. B. „Gruppe A ist im Durchschnitt jünger, und jüngere Menschen werden seltener krank, also glaubt die KI, Gruppe A sei gesünder, auch wenn das nicht die ganze Geschichte ist").

4. Das „Wasserfall"-Experiment

Die Forscher haben sich nicht nur das Endergebnis angesehen. Sie bauten einen Wasserfall, um zu sehen, wo sich das Wasser (die Voreingenommenheit) verändert.

Sie begannen mit Daten aus der realen Welt.
Dann tauschten sie das „Ergebnis"-Gehirn der KI aus (wie sie entscheidet, ob jemand raucht oder krank wird), während sie die Fakten der realen Welt für alles andere beibehielten.
Als Nächstes tauschten sie das „Vermittler"-Gehirn der KI aus (wie sie das Einkommen oder die Bildung einer Person entscheidet).
Schließlich tauschten sie das „Hintergrund"-Gehirn der KI aus (wie sie das Alter oder die ethnische Zugehörigkeit einer Person entscheidet).

Indem sie beobachteten, wie der Wasserstand bei jedem Schritt stieg oder fiel, konnten sie genau lokalisieren: Ist die KI voreingenommen, weil sie glaubt, Minderheiten würden mehr Drogen konsumieren? Oder ist sie voreingenommen, weil sie glaubt, Minderheiten hätten niedrigere Einkommen?

5. Was sie fanden

Sie testeten 10 verschiedene populäre KI-Modelle an drei realen Themen: Marihuana-Konsum, Diabetes und Gehälter.

Der „Spiegel"-Effekt: Manchmal war die KI ein perfekter Spiegel der Realität.
Der „Verzerrungs"-Effekt: Manchmal nahm die KI eine kleine Voreingenommenheit der realen Welt und machte sie riesig.
Der „Umkehrungs"-Effekt: Manchmal lag die KI völlig falsch. Zum Beispiel nutzten Minderheitengruppen in der realen Welt tatsächlich weniger Marihuana als die Mehrheitsgruppe (wenn andere Faktoren kontrolliert wurden). Doch ein KI-Modell (Gemma 3) entschied das Gegenteil und erfand ein Stereotyp, wonach Minderheiten mehr konsumieren.
Familienangelegenheiten: Man könnte denken, KI-Modelle desselben Unternehmens (wie „Llama"-Geschwister) würden ähnlich denken. Die Studie ergab, dass dies nicht immer der Fall war. Zwei Modelle derselben Familie konnten sehr unterschiedliche „Persönlichkeiten" in Bezug auf Voreingenommenheit haben, während Modelle verschiedener Familien manchmal ähnlich dachten.

Das Fazit

Dieser Beitrag gibt uns ein Mikroskop für KI-Voreingenommenheit. Anstatt nur zu sagen „Diese KI ist unfair", können wir nun sagen: „Diese KI ist unfair, weil sie eine spezifische, falsche Überzeugung darüber hat, wie Bildung für eine bestimmte Gruppe mit dem Einkommen zusammenhängt."

Es ist wie ein Arzt, der einen Patienten diagnostiziert. Anstatt nur zu sagen „Sie sind krank", kann der Arzt nun sagen: „Sie haben Fieber wegen dieses spezifischen Virus, nicht wegen jenem." Dies hilft uns, den spezifischen Teil des „Gehirns" der KI zu reparieren, der kaputt ist, anstatt einfach den ganzen Computer wegzuwerfen.

Technische Zusammenfassung: Kausale Verzerrungserkennung in generativer künstlicher Intelligenz

Problemstellung

Da automatisierte Systeme auf Basis künstlicher Intelligenz (KI) zunehmend in hochriskanten Bereichen (z. B. Einstellungen, Kreditvergabe, Gesundheitswesen) eingesetzt werden, haben sich die Bedenken hinsichtlich Fairness und der Aufrechterhaltung demografischer Ungleichheiten verschärft. Während frühere Arbeiten zur kausalen Fairness einen prinzipiellen Rahmen für das Standard-Maschinen-Lernen (ML) etabliert haben – bei dem ein Entscheidungsträger eine einzige Vorhersagefunktion $f_{\hat{Y}}$ konstruiert, während er die kausalen Mechanismen für alle anderen Kovariablen aus der realen Welt übernimmt –, ist dieser Rahmen für generative KI unzureichend.

Generative Modelle unterscheiden sich grundlegend von Standard-ML-Vorhersagemodellen:

Mechanismuskonstruktion: Im Gegensatz zum Standard-ML, das eine einzige Abbildung von Kovariablen auf ein Ergebnis lernt, konstruieren generative Modelle implizit ihre eigenen Überzeugungen über alle kausalen Mechanismen (einschließlich derer für Kovariablen $X, Z, W$ ), nicht nur über das Ergebnis $Y$ .
Datengranularität: Generative Modelle operieren häufig auf niedrigeren Modalitäten (Text, Bilder) statt auf strukturierten tabellarischen Daten, was die Inferenz von Variablenbeziehungen erfordert, die sich erheblich von realen Korrelationen unterscheiden können.
Verzerrungspropagierung: Bestehende Methoden versagen darin, zu unterscheiden, ob beobachtete Disparitäten in generativen Ausgaben aus dem gelernten Ergebnismechanismus des Modells, seinen gelernten Kovariablenmechanismen oder der Interaktion zwischen ihnen resultieren.

Der Beitrag adressiert die Notwendigkeit einer neuen Methodik zur Erkennung, Quantifizierung und Zerlegung kausaler Verzerrungen in generativer KI, indem er spezifisch analysiert, wie generative Modelle reale Disparitäten durch ihre internen kausalen Mechanismen verändern.

Methodik

Die Autoren schlagen einen einheitlichen theoretischen Rahmen vor, der das Standard-Fairness-Modell (SFM) unter Verwendung von Strukturellen Kausalen Modellen (SCMs) auf das generative Setting erweitert.

1. Das S-Standard-Fairness-Modell (S-SFM)

Die Kerninnovation ist die Einführung eines Selektionsknotens $S$ , der die Quelle des Datengenerierungsmechanismus angibt:

$S = rw$ (oder $0$): Der Mechanismus der realen Welt ( $f^{rw}$ ).
$S = gm$ (oder $1$): Der Mechanismus des generativen Modells ( $f^{gm}$ ).

In diesem Rahmen zeigt der Selektionsknoten $S$ auf alle Variablen ( $X, Z, W, Y$ ), was den unabhängigen Austausch von Mechanismen ermöglicht. Dies steht im Gegensatz zum Standard-SFM, bei dem $S$ typischerweise nur den Ergebnismechanismus beeinflusst. Das Modell definiert potenzielle Ergebnisse $Y^{s_y}_{x_y, W^{s_w}_{x_w} | X=x_z, S=s_z}$ , wobei die Exponenten die Umgebung (reale Welt oder Modell) bezeichnen, aus der der spezifische Mechanismus stammt, und die Indizes die Werte der Variablen entlang spezifischer kausaler Pfade bezeichnen.

2. S-modifizierte Kausale Effekte

Die Autoren definieren S-modifizierte x-spezifische Effekte (Direkt, Indirekt und Schein), die die Quelle des Mechanismus berücksichtigen. Beispielsweise ist der S-modifizierte direkte Effekt:
$x\text{-}DE^{s_z, s_w, s_y}_{x_0, x_1}(y | x) = E[Y^{s_y}_{x_1, W^{s_w}_{x_0}} | X=x, S=s_z] - E[Y^{s_y}_{x_0, W^{s_w}_{x_0}} | X=x, S=s_z]$
Dies ermöglicht die Isolierung, wie sich der direkte Effekt ändert, wenn spezifische Mechanismen (z. B. $f_Y$ , $f_W$ oder $f_{X,Z}$ ) von der realen Welt in das generative Modell ausgetauscht werden.

3. Zerlegung von Disparitätsunterschieden

Der Beitrag leitet einen Satz 1 her, der den Unterschied in der totalen Variation (TV) zwischen der realen Welt und dem generativen Modell ( $\Delta TV$ ) in Beiträge von Änderungen in direkten, indirekten und scheinbaren Pfaden zerlegt. Entscheidend ist, dass jeder Pfadbeitrag weiter in drei Terme zerlegt wird, die den schrittweisen Austausch von Mechanismen repräsentieren:

T1: Austausch nur des Ergebnismechanismus ( $f_Y$ ).
T2: Austausch des Mediatormechanismus ( $f_W$ ), wobei $f_Y$ bereits ausgetauscht ist.
T3: Austausch des Kovariablenmechanismus ( $f_{X,Z}$ ), wobei $f_W$ und $f_Y$ bereits ausgetauscht sind.

Diese granulare Zerlegung ermöglicht es Forschern, genau zu identifizieren, welcher Teil des „Glaubenssystems" des generativen Modells die Verzerrung antreibt.

4. Identifikation und Schätzung

Der Beitrag stellt Identifikationsbedingungen (Proposition 3) auf, die zeigen, dass diese potenziellen Ergebnisse unter Verwendung von Stichproben aus gemischten Umgebungen geschätzt werden können. Die Schätzstrategie umfasst:

Generator ( $\Gamma$ ): Ein LLM, das aufgefordert wird, Narrative basierend auf spezifischen Bedingungen zu generieren (z. B. „Schreibe eine Geschichte über eine Person der [Rasse] des [Geschlechts] im Alter von [Alter]...").
Annotator ( $A$ ): Ein separates LLM, das strukturierte Werte (z. B. Einkommen, Bildung, Ergebnis) aus den generierten Narrativen extrahiert.
Datensätze: Konstruktion von vier spezifischen Datensätzen ( $D_{s_0}$ , $D_{s_0,s_0,s_1}$ , $D_{s_0,s_1,s_1}$ , $D_{s_1}$ ), die den progressiven Austausch von Mechanismen repräsentieren und die Berechnung der Zerlegungsterme ermöglichen.

Hauptbeiträge

Formalisierung kausaler Fairness in generativer KI: Der Beitrag vereinheitlicht das Standard-ML-Fairness-Setting und das Setting der generativen KI unter einem einzigen theoretischen Dach (S-SFM) und modelliert explizit die Konstruktion eigener kausaler Mechanismen durch das generative Modell.
Neue kausale Zerlegungsergebnisse: Es wird eine neuartige Zerlegung (Satz 1) eingeführt, die Fairnessauswirkungen entlang zweier Dimensionen quantifiziert:
- Verschiedene kausale Pfade (Direkt, Indirekt, Schein).
- Der spezifische ausgetauschte Mechanismus (Reale Welt vs. Modell).
Identifikation und Schätzung: Es werden Identifikationsbedingungen und effiziente Schätzer für diese kausalen Größen bereitgestellt, wobei gezeigt wird, wie die notwendigen kontrafaktischen Daten unter Verwendung von LLMs generiert werden können.
Empirische Anwendung: Die Methodik wird angewendet, um rassistische und geschlechtsspezifische Verzerrungen in 10 großen Sprachmodellen (LLMs) über drei Datensätze hinweg zu analysieren:
- NSDUH: Rassistische Verzerrung bei Drogenmissbrauch (Marihuana-Konsum).
- BRFSS: Rassistische Verzerrung bei der Belastung durch chronische Krankheiten (Diabetes).
- ACS: Geschlechtsspezifische Verzerrung bei Einkommensniveaus.

Ergebnisse

Die Autoren analysierten 10 instruktionsfeinabgestimmte Open-Weight-Modelle (einschließlich der Familien Llama 3, Qwen, Gemma, DeepSeek und Phi) über die drei Datensätze hinweg.

Verzerrungssignaturen: Die Studie erzeugte eine 27-dimensionale „Verzerrungssignatur" für jedes Modell. Hierarchisches Clustering zeigte, dass die Ähnlichkeit der Verzerrung nicht strikt mit der Modellfamilie oder der Parameterskala korreliert; verschiedene Familien zeigten oft ähnlichere Verzerrungssignaturen als Geschwister innerhalb derselben Familie.
Verstärkung und Umkehrung:
- Umkehrung: Modelle kehrten häufig das Vorzeichen realer Disparitäten um. Beispielsweise zeigten reale Daten im NSDUH-Datensatz, dass Minderheiten Marihuana bei niedrigeren Raten konsumieren (unter Kontrolle von Kovariablen), aber Modelle wie Gemma 3 27B drehten dies um, sodass Minderheiten es bei höheren Raten konsumierten.
- Verstärkung: Im BRFSS-Datensatz verstärkten Modelle häufig den direkten Effekt der Rasse auf das Diabetesrisiko.
- Abschwächung: Einige Modelle schwächten scheinbare Vorteile ab (z. B. den altersbedingten Schutz vor Diabetes für Minderheiten in BRFSS).
Mechanismuszuschreibung: Die Zerlegung zeigte, dass Verzerrung nicht monolithisch ist.
- Im Fall von Gemma 3 27B (NSDUH) wurde die Umkehrung des direkten Effekts primär durch den Austausch des Mediatormechanismus ( $f_W$ ) getrieben, der eine stereotypisierte Verteilung von Bildung/Einkommen für Minderheiten kodiert, und nicht nur durch den Ergebnismechanismus.
- Im Fall von Qwen 3.5 27B (BRFSS) wurde die Umkehrung des direkten Effekts vom Ergebnismechanismus ( $f_Y$ ) dominiert, während die Umkehrung des indirekten Effekts durch den Mediator ( $f_W$ ) und Kovariablenmechanismen ( $f_{X,Z}$ ) getrieben wurde.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass seine primäre Bedeutung darin liegt, eine granulare, kausale Linse zum Verständnis von Verzerrungen in generativer KI bereitzustellen, die über aggregierte statistische Disparitäten hinausgeht.

Über kontrafaktische Fairness hinaus: Im Gegensatz zu früheren Arbeiten, die sich ausschließlich auf kontrafaktische Fairness bei Klassifikation konzentrieren, modelliert dieser Rahmen den latenten kausalen Prozess und quantifiziert, welche Mechanismen (Ergebnis, Mediator oder Kovariablen-Generierung) zu Disparitäten beitragen.
Generalisierung: Der Rahmen generalisiert die bestehende Literatur zur kausalen Fairness für Standard-ML (bei dem nur der Ergebnismechanismus ausgetauscht wird) strikt auf das komplexere generative Setting, in dem alle Mechanismen potenziell verändert werden.
Diagnostischer Nutzen: Die Zerlegung ermöglicht es Praktikern zu diagnostizieren, ob die Verzerrung eines Modells aus seinem Verständnis des Ergebnisses (z. B. „Minderheiten sind wahrscheinlicher, Drogen zu konsumieren") oder aus seinem Verständnis der Struktur der Welt (z. B. „Minderheiten haben niedrigere Bildung/Einkommen") resultiert, und bietet gezielte Erkenntnisse für Minderungsmaßnahmen.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und stellen fest, dass der Rahmen die Fähigkeit voraussetzt, Modelle nach beliebigen Konditionalen abzufragen (was bei Bildmodellen schwierig sein kann), die menschliche Elicitation kausaler Annahmen erfordert (S-SFM-Spezifikation) und aufgrund von Kostenbeschränkungen für geschlossene Modelle auf Open-Weight-Modelle beschränkt war. Sie stellen auch fest, dass der Rahmen derzeit keine Schlussfolgerungen in umgekehrter kausaler Reihenfolge abdeckt (z. B. die Inferenz der Rasse aus dem Gehalt).