BAFIS: Dataset + Framework to assess occupational Bias and Human Preference in modern Text-to-image Models
Dieses Paper stellt BAFIS vor, einen Datensatz und ein Framework bestehend aus 21.140 mehrsprachigen Bildern und menschlichem Präferenzfeedback, um systematische berufliche Verzerrungen in fünf führenden Text-zu-Bild-Modellen zu evaluieren und aufzudecken, was die kritische Notwendigkeit verdeutlicht, neben etablierten Metriken auch menschliches Urteilsvermögen einzubeziehen, um fairere KI-Systeme zu entwickeln.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen eine magische Malmaschine. Sie geben eine Beschreibung wie „ein Arzt“ ein und sie malt sofort ein Bild. Lange Zeit dachten die Menschen, diese Maschinen seien neutrale Werkzeuge, wie etwa eine Kamera. Aber dieses Papier argumentiert, dass diese Maschinen eher wie voreingenommene Spiegel sind – sie zeigen nicht einfach nur die Realität, sondern eine verzerrte Version davon, basierend auf dem, was sie im Internet gelernt haben.
Die Autoren dieser Arbeit, Thomas, Adrian und Biying, wollten fünf der populärsten „Malmaschinen“ (Midjourney, Stable Diffusion, DALL-E 3, Playground und FLUX) testen, um zu sehen, wie sie mit Berufen und Menschen umgehen. Sie bauten eine spezielle Testumgebung namens BAFIS (Battle-Arena for Fair Image Synthesis).
Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:
1. Die Arena: BAFIS
Betrachten Sie BAFIS als einen blinden Geschmackstest-Wettbewerb.
- Das Setup: Anstatt einfach einen Computer die Bilder bewerten zu lassen, brachten sie zwei verschiedene Maschinen in einen „Kampf“.
- Der Wettbewerb: Ein Nutzer sieht einen Prompt (z. B. „eine Krankenschwester“) und zwei anonyme Bilder, die von zwei verschiedenen Maschinen generiert wurden.
- Die Abstimmung: Der Nutzer stimmt über drei Dinge ab:
- Bias (Voreingenommenheit): Sieht das Bild wie eine realistische Mischung von Menschen aus oder zeigt es nur einen Typ Mensch?
- Qualität: Ist das Bild schön und klar?
- Alignment (Übereinstimmung): Passt das Bild tatsächlich zu den Worten, die Sie eingegeben haben?
- Die Wertung: Sie verwendeten ein Rankingsystem (ähnlich wie beim Schach), um zu sehen, welche Maschine die meisten Stimmen gewinnt.
2. Der Datensatz: Eine riesige Bibliothek von Berufen
Um sicherzustellen, dass der Test fair war, fragten sie nicht einfach nach „einem Arzt“. Sie erstellten eine massive Bibliothek von 21.140 Bildern basierend auf 1.057 verschiedenen Berufsbezeichnungen.
- Sie verwendeten zwei Sprachen: Englisch und Deutsch.
- Sie probierten verschiedene Arten der Fragestellung aus:
- Direkt: „Ein Foto eines männlichen Buchhalters.“
- Indirekt: „Ein Foto einer Person, die Finanzen verwaltet.“
- Gruppen: „Ein Foto einer Gruppe von Buchhaltern.“
- Sie verglichen die Ergebnisse mit realen Statistiken der deutschen Regierung (wie das Abgleichen eines Rezepts mit der tatsächlichen Zutatenliste), um zu sehen, ob die Maschinen über die Identität der Berufsträger lügen.
3. Die Erkenntnisse: Was die Maschinen falsch machten
Das Geschlechterproblem (Die „Bauwesen vs. Pflege“-Aufteilung)
Die Maschinen haben starke Stereotypen bezüglich des Geschlechts.
- Bauwesen & Ingenieurwesen: Wenn sie gebeten wurden, diese Berufe zu zeichnen, zeichneten die Maschinen fast immer Männer. Es war, als dächten sie, dass nur Männer Dinge bauen könnten.
- Gesundheitswesen & Büroarbeit: Wenn sie gebeten wurden, Krankenschwestern oder Büroangestellte zu zeichnen, neigten sie stark zu Frauen.
- Die Überraschung: Eine Maschine, DALL-E 3, war am ausgewogensten. Sie zeichnete Männer und Frauen fast gleichermaßen, wie bei einem fairen Münzwurf. Eine andere Maschine, FLUX, zeichnete für einige Berufe tatsächlich mehr Frauen als Männer, was eine neue Art von Bias darstellt.
Das Ethnizitätsproblem (Die „Weiße Wand“)
Dies war das größte Problem. Egal, nach welchem Beruf Sie fragten, die Maschinen zeichneten überwiegend weiße Gesichter.
- Es war, als hätten die Maschinen eine Standardeinstellung, die besagte: „Wenn du keine Rasse spezifizierst, mache sie weiß.“
- Dieser Bias war auf Deutsch sogar stärker als auf Englisch. Wenn der Prompt auf Deutsch war, zeichneten die Maschinen noch weniger nicht-weiße Gesichter.
- DALL-E 3 war die einzige Maschine, die es schaffte, den Prozentsatz der weißen Gesichter in beiden Sprachen unter 50 % zu halten, was sie am vielfältigsten machte.
Das „Mensch vs. Roboter“-Bewertungsblatt
Hier wird es knifflig. Das Papier fand heraus, dass Computer-Metriken (Mathematikformeln, die die Bildqualität bewerten) oft nicht mit menschlichen Gefühlen übereinstimmten.
- Bildqualität: Eine Maschine namens FLUX wurde von Menschen als die schönste und realistischste bewertet. Die Computer-Mathematik (FID-Score) sagte jedoch, dass DALL-E 3 die beste sei.
- Das Fazngnis: Die mathematischen Formeln sind wie ein Roboter, der versucht, ein Gemälde zu beurteilen; sie messen Pixel, aber erfassen nicht die „Seele“ oder das Gefühl, das Menschen beim Betrachten eines Bildes bekommen. Menschen bevorzugten FLUX, auch wenn die Mathematik etwas anderes sagte.
Der Sprach-Twist
- DALL-E 3 hat eine Geheimwaffe: Es schreibt Ihren Prompt um. Wenn Sie einen deutschen Prompt eingeben, übersetzt und passt es diesen heimlich ins Englische an, bevor es das Bild malt. Dies half der Maschine, die Anfrage besser zu verstehen und höhere Punktzahlen für „Alignment“ (Übereinstimmung mit den Worten) in deutschen Kämpfen zu erzielen.
- Stable Diffusion 3 war der Champion für englische Prompts, hatte aber Schwierigkeiten mit Deutsch.
4. Das Fazit
Das Papier kommt zu dem Schluss, dass diese KI-Malmaschinen nicht neutral sind. Sie tragen die Vorurteile der Daten in sich, mit denen sie trainiert wurden.
- Sie stellen Männer in „harten“ Berufen und Frauen in „Pflege“-Berufen über.
- Sie setzen fast immer auf weiße Gesichter.
- Computertests allein reichen nicht aus. Wir müssen echte Menschen fragen, was sie denken, da die Mathematik nicht immer erfassen kann, was für uns „fair“ oder „echt“ anfühlt.
Die Autoren schlagen vor, dass Entwickler, um dies zu beheben, dem menschlichen Feedback genauer zuhören und ihre Maschinen gegen reale Statistiken prüfen müssen, anstatt nur gegen Computerformeln. Sie haben BAFIS gebaut, damit wir diese Maschinen in Zukunft in einer „Battle Arena“ zur Rechenschaft ziehen können, um sicherzustellen, dass sie fairer werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.