Large-Scale Dataset and Benchmark for Skin Tone Classification in the Wild

Die Arbeit stellt das groß angelegte, offene Datenset STW mit 42.313 Bildern und dem 10-stufigen MST-Schema vor, bewertet klassische und Deep-Learning-Ansätze zur Hauttönungsklassifizierung und führt mit dem feinabgestimmten ViT-Modell SkinToneNet einen neuen State-of-the-Art für faire Audits öffentlicher Datensätze ein.

Das Wesentliche

Das Problem: Der "Einheits-Skin-Tone"-Fehler

Stell dir vor, du hast einen riesigen Haufen Fotos von Menschen aus der ganzen Welt. Ein Computer soll nun lernen, die Hautfarbe auf diesen Fotos zu erkennen. Das Problem ist: Bisher haben die Computer oft nur grobe Kategorien wie "hell" oder "dunkel" benutzt, oder sie haben sich an medizinische Tabellen gehalten, die eigentlich nur für Sonnenbrand-Tests gedacht waren.

Das ist, als würdest du versuchen, die ganze Welt der Farben nur mit den Worten "Blau" und "Gelb" zu beschreiben. Es fehlt die Nuance! Außerdem waren die Trainingsdaten oft klein, versteckt oder nicht repräsentativ. Das Ergebnis? Computer, die bei hellhäutigen Menschen gut funktionieren, aber bei dunkleren Hauttönen völlig verwirrt sind oder gar nicht mehr wissen, was sie tun sollen.

Die Lösung: Ein riesiges, buntes Puzzle

Die Forscher aus Brasilien haben jetzt etwas Neues geschaffen, das sie "Skin Tone in The Wild" (STW) nennen.

1. Der neue Maßstab (MST-Skala): Statt der alten 6-Stufen-Skala haben sie eine 10-Stufen-Skala benutzt (die "Monk Skin Tone"-Skala). Stell dir das wie einen Farbverlauf vor, der von sehr hell bis sehr dunkel reicht, mit vielen feinen Abstufungen dazwischen. So kann man Hautfarben viel genauer beschreiben.
2. Die riesige Sammlung: Sie haben 42.313 Fotos von 3.564 verschiedenen Menschen gesammelt. Das ist wie ein riesiges Puzzle, das fast alle Hautfarben der Welt abdeckt. Wichtig: Sie haben nicht nur Fotos aus dem Labor, sondern "in the Wild" – also Fotos, die im echten Leben, bei unterschiedlichem Licht und in verschiedenen Umgebungen gemacht wurden.
3. Die menschliche Kontrolle: Damit die Daten korrekt sind, haben mehrere Menschen jedes Foto unabhängig voneinander bewertet. Sie haben sichergestellt, dass die Beschriftung fair und konsistent ist.

Der große Test: Der "Koch" vs. Der "Künstler"

Die Forscher haben zwei verschiedene Arten von Computern getestet, um zu sehen, wer die Hautfarben besser erkennt:

• Der "Koch" (Klassische Computer Vision): Dieser Computer arbeitet wie ein strenger Koch mit einem Rezept. Er misst genau, wie viel Rot, Grün oder Blau in einem Bild ist.
  • Das Ergebnis: Im Labor funktioniert das Rezept gut. Aber sobald er in die echte Welt (mit schlechtem Licht, Schatten, Bärten) kommt, versagt er. Er ist wie ein Koch, der nur in einer perfekten Küche kochen kann, aber auf der Straße nichts mehr versteht. Seine Ergebnisse waren fast so schlecht wie reines Raten.
• Der "Künstler" (Deep Learning / SkinToneNet): Dieser Computer ist ein genialer Künstler, der ein riesiges Museum (das STW-Datenset) studiert hat. Er schaut sich nicht nur die Farben an, sondern versteht den Kontext: Wie sieht die Haut bei Sonnenlicht aus? Wie wirkt sie im Schatten? Er nutzt moderne KI-Modelle (Vision Transformer), die Muster erkennen, die für uns Menschen unsichtbar sind.
  • Das Ergebnis: Der Künstler ist brillant! Er erkennt die Hautfarben fast so gut wie die menschlichen Experten, die die Fotos beschriftet haben. Er funktioniert auch bei neuen, unbekannten Fotos aus anderen Datensätzen hervorragend.

Warum ist das wichtig? (Die "Spiegel"-Analogie)

Stell dir vor, unsere KI-Systeme sind wie Spiegel, die uns zeigen, wie die Welt aussieht. Wenn dieser Spiegel verzerrt ist (weil er nur helle Hauttöne kennt), dann sehen wir die Welt falsch.

• Fairness: Wenn ein Computer Hautfarben nicht richtig erkennt, kann das zu unfairen Entscheidungen führen (z. B. bei Gesichtserkennung, medizinischen Geräten oder Werbung).
• Der Audit-Test: Die Forscher haben ihren neuen "Künstler" (SkinToneNet) benutzt, um andere bekannte Foto-Datenbanken zu überprüfen. Das Ergebnis war schockierend: Viele große Datensätze (die oft für KI-Training genutzt werden) haben fast gar keine Menschen mit sehr dunkler Hautfarbe (Stufen 6 bis 10). Es ist, als würde man eine Bibliothek bauen, in der 90 % der Bücher nur eine Farbe haben.

Das Fazit

Diese Arbeit ist wie ein Werkzeugkasten für Gerechtigkeit.

1. Sie haben eine neue, faire Landkarte (das STW-Datenset) erstellt.
2. Sie haben gezeigt, dass alte Methoden (wie einfache Farbmessungen) in der echten Welt nicht funktionieren.
3. Sie haben einen neuen, starken KI-Modell (SkinToneNet) gebaut, der hilft, Verzerrungen in unserer Technologie aufzudecken und zu korrigieren.

Das Ziel ist nicht, Menschen in Schubladen zu stecken, sondern sicherzustellen, dass die Technologie, die wir täglich nutzen, alle Menschen fair behandelt und nicht nur die, die am einfachsten zu erkennen sind.

Kurz gesagt: Sie haben den Computern beigebracht, die ganze Bandbreite menschlicher Hautfarben zu sehen, damit sie nicht mehr blind für die Hälfte der Weltbevölkerung sind.

Technische Zusammenfassung

1. Problemstellung

Trotz Fortschritten im Bereich der Fairness in KI-Modellen (z. B. bezüglich Geschlecht und Ethnie) bleibt die feinkörnige Analyse von Hauttönen eine große Herausforderung. Bestehende Ansätze leiden unter folgenden Mängeln:

• Fehlende granulare Datensätze: Es gibt kaum große, öffentlich zugängliche Datensätze mit detaillierten Hauttongrundwahrheiten.
• Unzureichende Skalen: Viele Methoden basieren auf der medizinischen Fitzpatrick-Skala (6 Töne), die für die visuelle Repräsentation von Hauttönen ungeeignet ist, da sie ursprünglich für die Reaktion auf UV-Strahlung (Verbrennung vs. Bräunung) entwickelt wurde.
• Methodische Schwächen: Bisherige Studien nutzen oft kleine, private Datensätze (fehlende Reproduzierbarkeit), klassische Computer-Vision-Pipelines (die in unkontrollierten Umgebungen versagen) oder ignorieren kritische Probleme wie „Train-Test-Leakage" (dieselbe Person erscheint in Trainings- und Testdaten) und Klassenungleichgewichte.
• Verwechslung von Konzepten: Oft wird „Ethnie" (soziale Kategorie) fälschlicherweise als Proxy für „Phänotyp" (beobachtbare Merkmale wie Hautfarbe) verwendet, was zu ungenauen Klassifikationen führt.

2. Methodik

A. Der Datensatz: Skin Tone in The Wild (STW)

Die Autoren stellen STW vor, den ersten großen, offenen Datensatz speziell für die Hauttongklassifikation in unkontrollierten Umgebungen („in the Wild").

• Umfang: 42.313 Bilder von 3.564 Individuen.
• Quellen: Kombination aus sieben bestehenden öffentlichen Datensätzen (LFW, CelebA, FairFace, Casia Face Africa, etc.), um eine breite demografische Abdeckung zu gewährleisten.
• Annotation: Nutzung der 10-stufigen Monk Skin Tone (MST)-Skala, die eine kontinuierlichere und repräsentativere Darstellung von Hauttönen bietet als die Fitzpatrick-Skala.
• Qualitätssicherung: Ein striktes, hierarchisches Annotationsprotokoll mit einem Haupt-Experten und zwei unabhängigen Validierungs-Annotatoren.
  • Ergebnis: Eine Übereinstimmung von 88 % innerhalb eines Tonschritts (Off-by-One Accuracy) und ein Intraclass Correlation Coefficient (ICC) von 0,939.
  • Die Roh-Übereinstimmung liegt bei 38,8 %, was der hohen Subjektivität der Hauttongwahrnehmung entspricht.

B. Modellarchitekturen und Pipelines

Das Paper vergleicht zwei Paradigmen:

1. SkinToneCCV (Classic Computer Vision):
   • Eine Baseline-Pipeline, die Hautsegmentierung (Mediapipe), Extraktion von Farbbeschreibern (Histogramme, statistische Momente, Border/Interior Classification) und klassische Klassifikatoren (Random Forest, SVM, KNN) verwendet.
   • Ziel war es zu testen, ob handgefertigte Merkmale ausreichen.
2. SkinToneNet (Deep Learning):
   • Ein feinabgestimmtes Vision Transformer (ViT)-Modell (speziell ViT-Small), das auf dem STW-Datensatz trainiert wurde.
   • Es wurden verschiedene Verlustfunktionen getestet, darunter eine ordentliche Cross-Entropy-Loss-Funktion, die die ordinalen Beziehungen zwischen den Hauttönen (z. B. ist Ton 4 näher an Ton 5 als an Ton 1) berücksichtigt.
   • Trainingsstrategie: Um Datenlecks zu vermeiden, wurde strikt nach Individuen (Individual Split) und nicht nach Bildern geteilt. Dies stellt sicher, dass Bilder derselben Person nicht gleichzeitig im Trainings- und Testset vorkommen.

C. Evaluierungsdesign

• Leakage-Vermeidung: Ein kritischer Teil der Arbeit ist der Nachweis, dass herkömmliche Aufteilungen (nach Bildern) zu überoptimistischen Ergebnissen führen, da das Modell Gesichter von Personen „auswendig lernt", anstatt Hauttöne zu generalisieren.
• Generalisierungstests: Die Modelle wurden auf Out-of-Domain-Datensätzen getestet (MSTE, CCv2), die während des Trainings nicht gesehen wurden.
• Audit: Das trainierte Modell wurde verwendet, um die Verteilung von Hauttönen in bekannten Datensätzen (CelebA, VGGFace2, FairFace) zu analysieren.

3. Wichtige Beiträge

1. STW-Datensatz: Bereitstellung eines großen, offenen, 10-stufigen MST-Datensatzes mit hoher annotatorischer Zuverlässigkeit.
2. SkinToneNet: Ein State-of-the-Art Deep-Learning-Modell, das eine robuste Generalisierung auf unkontrollierte Daten ermöglicht.
3. Methodologische Strenge: Einführung einer strengen Trennung nach Individuen (IND-Split) als Standard für Fairness-Benchmarks, um Identitäts-Leakage zu eliminieren.
4. Vergleich CCV vs. DL: Ein umfassender Benchmark, der zeigt, dass klassische Computer-Vision-Methoden für diese Aufgabe in der Wildnis ungeeignet sind.

4. Ergebnisse

• Versagen klassischer Methoden: Die CCV-Modelle (SkinToneCCV) erzielten auf Out-of-Domain-Daten Ergebnisse, die nahe an einem zufälligen Klassifikator lagen (z. B. ~10-16 % Genauigkeit). Sie überanpassten sich an die häufigsten Klassen im Trainingsset und generalisierten nicht.
• Erfolg von Deep Learning: SkinToneNet (ViT-Small) erreichte auf dem Testset (STW) eine gewichtete Off-by-One-Accuracy (wOOAcc) von 0,901.
• Generalisierung: Auf externen Datensätzen (MSTE, CCv2) zeigte SkinToneNet signifikant bessere Ergebnisse als alle anderen Modelle (Verbesserung von 10–20 % in der Genauigkeit und 30–60 % in der Off-by-One-Accuracy gegenüber Baselines).
• Audit-Ergebnisse: Die Analyse gängiger Datensätze (z. B. CelebA, FairFace) offenbarte eine massive Unterrepräsentation dunklerer Hauttöne (MST 6–10). Viele als „fair" geltende Datensätze sind in Bezug auf Hauttöne stark verzerrt.

5. Bedeutung und Fazit

Dieses Werk liefert einen entscheidenden Schritt hin zu faireren KI-Systemen im Bereich der Gesichtserkennung und Demografie-Analyse.

• Paradigmenwechsel: Es widerlegt die Annahme, dass klassische Computer-Vision-Pipelines für Hauttongklassifikation ausreichen, und etabliert Deep Learning mit ordentlichen Verlustfunktionen als notwendigen Standard.
• Reproduzierbarkeit: Durch die Bereitstellung des STW-Datensatzes und der Trainingsstrategien (IND-Split) wird eine solide Basis für zukünftige Forschung geschaffen.
• Ethische Anwendung: Das Tool wird explizit nur zur Auditing (Überprüfung) von Datensätzen und Modellen auf Bias empfohlen. Die Autoren warnen ausdrücklich vor der Nutzung für biometrische Profilerstellung, Überwachung oder automatische Kategorisierung von Personen ohne Einwilligung.

Zusammenfassend bietet die Arbeit das erste robuste Framework, um Hauttongklassifikation in der realen Welt („in the Wild") zuverlässig zu messen und die Fairness bestehender KI-Systeme kritisch zu hinterfragen.