🤖 AI

Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification

Diese Studie bewertet die demografische Fairness von neun Open-Source-Multimodal-LLMs bei der Gesichtsverifikation und zeigt, dass spezialisierte Modelle zwar genauer, aber nicht unbedingt fairer sind als allgemeine Modelle, wobei die Verzerrungsmuster je nach Benchmark und Modell variieren.

Ursprüngliche Autoren: Ünsal Öztürk, Hatef Otroshi Shahreza, Sébastien Marcel

Veröffentlicht 2026-03-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ünsal Öztürk, Hatef Otroshi Shahreza, Sébastien Marcel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🕵️‍♂️ Der neue Sicherheitscheck: Wenn KI Gesichter erkennt

Stellen Sie sich vor, Sie stehen an einem Flughafen. Früher hat ein hochspezialisierter, roboterhafter Scanner Ihr Gesicht gescannt und in eine lange Zahlenreihe verwandelt, um zu prüfen, ob Sie die Person auf dem Pass sind. Das war wie ein Schlüssel, der nur in ein einziges Schloss passt.

In dieser neuen Studie untersuchen die Forscher etwas anderes: Sie fragen moderne, riesige KI-Modelle (die sogenannten Multimodalen LLMs), die eigentlich wie allwissende Bibliothekare sind, die sowohl Bilder als auch Texte verstehen. Die Forscher geben diesen KI-Bibliothekaren zwei Fotos und fragen einfach: "Hey, sind das dieselbe Person?"

Die KI muss dann nicht nur schauen, sondern auch nachdenken und eine Antwort geben. Die Frage der Studie ist: Ist diese neue Art des "Nachdenkens" fair für alle Menschen?

🎯 Das Experiment: Ein Test für Gerechtigkeit

Die Forscher haben neun verschiedene KI-Modelle getestet. Manche sind kleine, schnelle Helfer (2 Milliarden "Gehirnzellen"), andere sind riesige Denker (8 Milliarden). Sie haben diese KIs auf zwei große Datenbanken mit Gesichtern losgelassen:

IJB-C: Eine riesige Sammlung mit vielen Bildern pro Person (wie ein ganzer Videoclip).
RFW: Eine Datenbank, die speziell dafür gemacht wurde, ethnische Unterschiede zu testen (Menschen aus Afrika, Asien, Europa und Indien).

Sie haben die KIs gefragt, ob sie zwei Gesichter als "gleich" oder "verschieden" erkennen, und zwar für verschiedene Gruppen: Männer vs. Frauen und verschiedene Ethnien.

🏆 Die Ergebnisse: Wer ist der Beste?

1. Der Spezialist gewinnt

Es gab einen klaren Gewinner: FaceLLM-8B.
Stellen Sie sich vor, die anderen KIs sind Generalisten – sie können gut malen, schreiben und rechnen, aber Gesichter sind nicht ihr Spezialgebiet. FaceLLM hingegen ist wie ein erfahrener Portier, der sein Leben lang nur Gesichter studiert hat.

Ergebnis: Der Spezialist (FaceLLM) war viel genauer als die Generalisten. Er machte deutlich weniger Fehler.

2. Das "Falsche Gerechtigkeit"-Problem

Hier wird es interessant. Die Forscher stellten fest: Nicht immer ist der genaueste auch der fairste.

Die Analogie: Stellen Sie sich zwei Schüler vor.
- Schüler A macht in Mathe, Deutsch und Sport viele Fehler, aber bei allen gleich viele (z. B. immer 50 %). Das sieht auf dem Zeugnis sehr "fair" aus, weil alle Fächer gleich schlecht sind. Aber er ist ein schlechter Schüler.
- Schüler B ist ein Genie und macht fast keine Fehler. Aber bei einer schwierigen Aufgabe (z. B. für eine bestimmte Ethnie) macht er vielleicht ein paar mehr Fehler als bei einer anderen.
Die Erkenntnis: Die KIs, die ganz schlecht waren (nahezu zufälliges Raten), wirkten "fair", weil sie bei allen Gruppen gleich schlecht waren. Die guten KIs (wie FaceLLM) waren genauer, zeigten aber manchmal kleine Ungerechtigkeiten, weil sie überhaupt erst in der Lage waren, feine Unterschiede zu erkennen.

3. Ein überraschender Umkehrschluss

Bei herkömmlichen Gesichtserkennern (den alten Robotern) wusste man: "Dunkelhäutige Frauen werden oft schlechter erkannt."
Bei diesen neuen KI-Bibliothekaren war das andersherum! Auf dem einen Test (IJB-C) hatten die weißen (kaukasischen) Gesichter bei vielen Modeln die meisten Probleme. Es ist, als würde ein neuer Arzt plötzlich bei einer bestimmten Patientengruppe öfter falsch liegen als bei der anderen – ganz anders als bei den alten Methoden.

4. Männer vs. Frauen

Zum Glück war die Diskriminierung zwischen Männern und Frauen viel geringer als zwischen den verschiedenen Ethnien. Die KIs waren hier ziemlich fair.

💡 Was bedeutet das für uns?

Die Studie sagt uns zwei wichtige Dinge:

Noch nicht einsatzbereit: Diese neuen, allgemeinen KI-Modelle sind noch nicht so gut wie die speziellen Systeme, die wir heute an Flughäfen nutzen. Sie sind noch zu ungenau für wichtige Sicherheitsaufgaben.
Fairness ist komplex: Wenn eine KI sehr gut ist, kann sie trotzdem kleine Ungerechtigkeiten haben. Wenn sie aber gar nicht gut ist, kann sie "zufällig" fair aussehen, weil sie bei allen gleich schlecht ist. Man darf sich also nicht täuschen lassen: Ein "fairer" Score bedeutet nicht automatisch, dass das System gut funktioniert.

Fazit: Die KI-Bibliothekare sind klug und können Gesichter erkennen, aber sie brauchen noch mehr Training, um nicht nur klug, sondern auch absolut gerecht für jeden Menschen auf der Welt zu sein. Der Spezialist (FaceLLM) ist auf dem besten Weg, aber die Reise ist noch nicht zu Ende.

1. Problemstellung

Multimodale Large Language Models (MLLMs) werden zunehmend für Aufgaben wie die Gesichtsverifikation (Verifizierung, ob zwei Gesichter zur selben Person gehören) untersucht. Im Gegensatz zu herkömmlichen, spezialisierten Gesichtserkennungssystemen, die auf Embeddings (numerischen Repräsentationen) basieren, nutzen MLLMs visuelle Prompting-Techniken und ihr allgemeines visuelles sowie logisches Schlussfolgervermögen, um Ähnlichkeitsbewertungen vorzunehmen.

Während die demografische Fairness (Bias) bei traditionellen Embedding-basierten Systemen gut erforscht ist, bleibt das Verhalten von MLLMs in diesem Bereich weitgehend unbekannt. Es ist unklar, ob die bekannten Verzerrungsmuster (z. B. höhere Fehlerraten bei dunkelhäutigen Frauen) auf MLLMs übertragbar sind oder ob sich neue, unterschiedliche Bias-Muster ergeben. Zudem ist unklar, ob die hohe Genauigkeit dieser Modelle mit Fairness einhergeht.

2. Methodik

Die Autoren führen eine systematische Benchmark-Studie durch, um die Fairness und Genauigkeit von MLLMs bei der Gesichtsverifikation zu bewerten.

Modelle: Es wurden neun Open-Source-MLLMs aus sechs Modellfamilien evaluiert (Größenbereich: 2B bis 8B Parameter). Dazu gehören allgemeine Vision-Language-Modelle (z. B. Qwen2-VL, LLaVA-NeXT, Idefics3) und ein spezialisiertes Modell (FaceLLM-8B), das für Gesichtsanalyse feinabgestimmt wurde. Alle Tests erfolgten im Zero-Shot-Setting (ohne Nachtraining oder Few-Shot-Beispiele).
Datensätze & Protokolle:
- IJB-C: Ein großes Benchmark mit 3.531 Probanden, unterteilt nach Ethnizität (Afrikanisch, Ostasiatisch, Südasianisch, Kaukasisch) und Geschlecht. Es wurde eine Teilmenge von 10.000 Template-Vergleichen verwendet.
- RFW (Racial Faces in-the-Wild): Ein ausgewogener Datensatz speziell für ethnische Bias-Studien (vier Ethnien, je 3.000 Genuine- und Impostor-Paare). Enthält keine Geschlechtsannotationen.
Verifizierungsprozess:
- Dem Modell werden zwei Gesichter und ein Text-Prompt gegeben („Wie ähnlich sind diese zwei Gesichter auf einer Skala von 0 bis 100?").
- Die Ausgabe wird als Ähnlichkeits-Score normalisiert.
- Bei Templates mit mehreren Bildern/Frames wird der Score als arithmetisches Mittel aller paarweisen Vergleiche berechnet.
Metriken:
- Genauigkeit: Equal Error Rate (EER), True Match Rate (TMR) bei festen FMR-Schwellen (10%, 1%, 0,1%).
- Fairness: Vier auf FMR (False Match Rate) basierende Metriken, berechnet pro demografischer Gruppe:
  1. Maximale FMR-Differenz ( $\Delta_F$ ).
  2. Maximales FMR-Verhältnis ( $R_F$ ).
  3. Verhältnis zum geometrischen Mittel ( $M_F$ ).
  4. Gini-Koeffizient ( $G_F$ ) zur Messung der Ungleichheit.
- Zusätzlich wurde der „Decidability Index" ( $d'$ ) zur Messung der Trennschärfe der Score-Verteilungen berechnet.

3. Wichtige Ergebnisse

A. Genauigkeitsleistung

FaceLLM-8B (das einzige spezialisierte Modell) übertrifft alle allgemeinen MLLMs deutlich. Auf IJB-C erreicht es eine globale EER von 5,13 %, während die besten allgemeinen Modelle (Qwen2-VL-7B) bei ca. 8,54 % liegen.
Die meisten allgemeinen MLLMs erreichen auf RFW eine EER von ca. 35–50 %, was nahe an einem zufälligen Raten liegt.
Ursache für Leistungsunterschiede: Die Templates in IJB-C enthalten durchschnittlich mehr Bilder (20,3) als in RFW (3,6). Da MLLMs Scores über alle Bildpaare mitteln, profitieren sie in IJB-C stärker von der Datenmenge zur Identitätsbestimmung.

B. Bias und Fairness

Unterschiedliche Bias-Muster: Im Gegensatz zu traditionellen Systemen, bei denen dunkelhäutige Gruppen oft benachteiligt sind, zeigt sich auf IJB-C, dass die kaukasische Gruppe bei fünf der acht Modelle die höchsten Fehlerraten (EER) aufweist.
Ethnizität vs. Geschlecht: Die Diskrepanzen zwischen Ethnien sind konsistent größer als zwischen den Geschlechtern. FaceLLM-8B zeigt auf IJB-C eine extrem niedrige Geschlechter-Ungleichheit ( $G_F = 0,004$ ).
RFW-Ergebnisse: Auf dem RFW-Datensatz ist die afrikanische Gruppe bei allen Modellen am stärksten benachteiligt. FaceLLM-8B hat hier zwar die beste Gesamtgenauigkeit, aber auch die höchste FMR-Differenz ( $\Delta_F = 0,478$ ) und einen hohen Gini-Koeffizienten, was auf eine starke Verzerrung hindeutet.

C. Trade-off zwischen Genauigkeit und Fairness

Keine Korrelation: Die genauesten Modelle sind nicht automatisch die fairsten.
Der „False Fairness"-Effekt: Modelle mit sehr schlechter Gesamtgenauigkeit (nahe Zufall, z. B. Ovis1.5 mit ~49% EER) erscheinen oft „fair", weil sie bei allen demografischen Gruppen ähnlich hohe Fehlerquoten produzieren.
FaceLLM-8B: Dieses Modell kombiniert auf IJB-C hohe Genauigkeit mit guter Fairness (niedrige Geschlechter-Bias), zeigt aber auf RFW trotz hoher Genauigkeit starke ethnische Verzerrungen.

4. Hauptbeiträge

Erster Benchmark: Dies ist die erste umfassende Studie zur demografischen Fairness von MLLMs in der Gesichtsverifikation.
Neue Erkenntnisse: Die Arbeit widerlegt die Annahme, dass Bias-Muster aus traditionellen Systemen direkt auf MLLMs übertragbar sind (z. B. die Benachteiligung der kaukasischen Gruppe auf IJB-C).
Metrik-Analyse: Die Studie zeigt, dass verschiedene Fairness-Metriken (Differenz vs. Verhältnis vs. Gini) unterschiedliche Aspekte der Verzerrung beleuchten und dass Modelle mit schlechter Leistung fälschlicherweise als fair interpretiert werden können.
Leistungslücke: Es wird aufgezeigt, dass aktuelle MLLMs (selbst spezialisierte) in puncto Genauigkeit und Skalierbarkeit noch nicht mit dedizierten Embedding-Systemen konkurrieren können.

5. Bedeutung und Ausblick

Die Studie unterstreicht, dass der Einsatz von MLLMs für biometrische Anwendungen in Hochrisikobereichen (z. B. Grenzkontrolle, Strafverfolgung) derzeit kritisch zu betrachten ist. Obwohl MLLMs flexibel sind, leiden sie unter signifikanten Genauigkeitsverlusten und unvorhersehbaren Bias-Mustern im Vergleich zu spezialisierten Systemen.

Zukünftige Arbeiten sollten die Evaluation auf weitere Benchmarks und intersektionale Attribute (Ethnizität × Geschlecht) ausweiten, die Sensitivität gegenüber Prompt-Formulierungen untersuchen und die Leistung größerer Modelle (>13B Parameter) evaluieren, um zu klären, ob Skalierung die Lücke zu spezialisierten Systemen schließen kann.