TrueSkin: Towards Fair and Accurate Skin Tone Recognition and Generation

Die Arbeit stellt TrueSkin vor, einen umfassenden Datensatz mit 7299 Bildern, der genutzt wird, um erhebliche Verzerrungen bei der Erkennung und Generierung von Hauttönen in aktuellen Modellen aufzudecken und durch gezieltes Training sowohl die Klassifikationsgenauigkeit als auch die Fidelity bei der Bildsynthese signifikant zu verbessern.

Das Wesentliche

Das große Missverständnis: Was die Kamera sieht vs. wer wir wirklich sind

Stellen Sie sich vor, Sie gehen in einen Raum mit sehr rotem Licht. Wenn Sie sich in den Spiegel schauen, sehen Sie sich selbst rot. Aber Sie wissen, dass Ihre Haut eigentlich natürlich ist. Das ist das Problem, das die Forscher mit TrueSkin lösen wollen.

Bisher haben Computer (Künstliche Intelligenz) große Schwierigkeiten, die wahre Hautfarbe eines Menschen zu erkennen oder zu erzeugen. Sie verwechseln oft:

1. Das Licht: Sie denken, jemand hat dunkle Haut, nur weil er im Schatten steht.
2. Die Vorurteile: Wenn ein Computer ein Bild von einer Person mit Zöpfen sehen soll, denkt er oft automatisch an eine dunklere Hautfarbe, auch wenn Sie „helle Haut" geschrieben haben. Das liegt daran, dass die KI aus alten Daten gelernt hat, dass diese beiden Dinge oft zusammengehören – was aber nicht immer stimmt.

Die Lösung: Ein neuer, fairer Spiegel (TrueSkin-Datensatz)

Die Forscher haben eine riesige Sammlung von Bildern erstellt, die sie TrueSkin nennen. Stellen Sie sich das wie einen riesigen, perfekt beleuchteten Spiegel vor, der 7.299 verschiedene Menschen zeigt.

Was macht diesen Spiegel besonders?

• Vielfalt: Es gibt nicht nur Nahaufnahmen von Gesichtern (wie in medizinischen Büchern), sondern Bilder von ganzen Körpern, bei Kindern, bei alten Menschen, bei hellem Sonnenlicht und bei dunklem Kunstlicht.
• Klare Kategorien: Statt verwirrender medizinischer Begriffe haben sie 6 einfache, verständliche Kategorien erfunden: von „Sehr Hell" (fast weiß) bis „Sehr Dunkel" (fast schwarz).
• Gerechtigkeit: Bisherige Datensätze hatten oft zu viele helle und zu wenige dunkle Hauttöne. TrueSkin ist wie eine Waage, die alle Farben fair gewichtet hat.

Der Test: Wie gut sind die aktuellen KI-Modelle?

Die Forscher haben die besten aktuellen KI-Modelle (sowohl solche, die Bilder verstehen, als auch solche, die Bilder erschaffen) mit diesem neuen Spiegel getestet. Das Ergebnis war ernüchternd:

1. Die „Versteh-KI" (z. B. LLaVA, Llama): Diese Modelle sind wie Schüler, die oft raten. Wenn sie ein Bild mit dunkler Haut sehen, denken sie oft, es sei noch dunkler. Bei mittleren Hauttönen (wie „braun" oder „tan") werden sie oft verwirrt und nennen sie entweder zu hell oder zu dunkel. Sie scheitern oft daran, den Unterschied zwischen „schattig" und „dunkel" zu erkennen.
2. Die „Kreativ-KI" (z. B. Stable Diffusion, Flux): Diese Modelle sind wie Maler, die Vorurteile haben. Wenn Sie sagen: „Male eine Person mit heller Haut", malen sie vielleicht jemanden mit dunklerer Haut, weil im Bild auch „Schnee" oder „Nacht" vorkommt (dunkle Haut wird oft mit kühlen Umgebungen assoziiert). Oder wenn Sie „Zöpfe" erwähnen, wird die Haut automatisch dunkler gemalt, egal was Sie sonst sagen.

Die Reparatur: Training mit TrueSkin

Das Gute an der Studie ist: Sie haben nicht nur das Problem gefunden, sondern auch die Lösung getestet.

• Für die Versteh-KI: Als sie die KI mit den TrueSkin-Bildern trainierten, wurde sie plötzlich viel klüger. Ihre Treffsicherheit stieg um über 20 %. Sie lernte, dass Schatten nicht gleich dunkle Haut sind.
• Für die Kreativ-KI: Als sie die Maler-KI mit TrueSkin trainierten, lernte sie, Vorurteile abzulegen. Sie konnte plötzlich genau die Hautfarbe malen, die man wollte, ohne dass Zöpfe oder der Hintergrund die Farbe verfälschten.

Warum ist das wichtig?

Stellen Sie sich vor, Sie sind Arzt. Wenn Ihre Diagnose-App die Hautfarbe eines Patienten falsch einschätzt, könnte sie eine Krankheit übersehen. Oder stellen Sie sich vor, Sie nutzen eine KI, um sich selbst in einem Foto zu sehen, aber sie malt Sie immer in einer anderen Hautfarbe als Sie sind. Das ist unfair und ungenau.

Zusammenfassend:
Die Forscher haben einen neuen, fairen „Spiegel" (TrueSkin) gebaut, der zeigt, wo die aktuellen KI-Modelle blind sind. Sie haben bewiesen, dass man diese Modelle durch Training mit diesem Datensatz viel gerechter und genauer machen kann. Es ist wie das Umlernen eines Kindes, das lernt, dass nicht alle Menschen mit Zöpfen dunkle Haut haben und nicht alle Menschen im Schatten dunkle Haut haben – sondern dass die wahre Hautfarbe unabhängig vom Licht und den Haaren ist.

Technische Zusammenfassung

1. Problemstellung

Die Erkennung und Generierung von Hauttönen stellt trotz ihrer Bedeutung für Modellfairness, Gesundheitswesen und generative KI eine erhebliche Herausforderung dar.

• Diskrepanz zwischen scheinbarem und wahrem Hautton: Der „scheinbare Hautton" (apparent skin tone) in einem Bild wird stark durch Umgebungslicht, Kamerawinkel und Bildverarbeitung verzerrt. Der „wahre Hautton" (true skin tone) ist jedoch eine inhärente Eigenschaft der Person, unabhängig von diesen Faktoren.
• Mangel an Daten: Bestehende Datensätze (z. B. Fitzpatrick17k, SCIN) stammen oft aus medizinischen Kontexten, bestehen aus Nahaufnahmen einzelner Körperteile und verwenden medizinische Klassifizierungskriterien (z. B. Sonnenbrand-Reaktion), die für allgemeine Computer-Vision-Aufgaben ungeeignet sind. Zudem leiden diese Datensätze unter unausgewogener Verteilung und mangelnder Vielfalt in Bezug auf Lichtverhältnisse und Bildkomposition.
• Leistungsschwäche aktueller Modelle:
  • Large Multimodal Models (LMMs): Modelle wie LLaMA oder LLaVA neigen dazu, mittlere Hauttöne fälschlicherweise als heller zu klassifizieren und haben Schwierigkeiten, komplexe Lichtverhältnisse zu interpretieren.
  • Generative Modelle: Modelle wie SDXL oder FLUX.1 können angeforderte Hauttöne oft nicht präzise generieren, da sie durch inhärente Verzerrungen in den Prompts (z. B. Frisur, Umgebung) beeinflusst werden (z. B. werden Zöpfe oft mit dunklerer Haut assoziiert).

2. Methodik

A. Der TrueSkin-Datensatz

Die Autoren stellen TrueSkin vor, einen umfassenden Datensatz mit 7.299 Bildern, der speziell für die Aufgabe entwickelt wurde:

• Klassifizierung: Die Bilder sind in 6 Kategorien unterteilt (Dark, Brown, Tan, Medium, Light, Pale). Im Gegensatz zu medizinischen Skalen basiert die Einteilung rein auf der visuellen Wahrnehmung.
• Annotation: Sechs Annotatoren unterschiedlicher ethnischer Hintergründe haben die Bilder annotiert. Nur Bilder, bei denen mindestens vier Annotatoren übereinstimmten, wurden aufgenommen, um Subjektivität zu minimieren.
• Vielfalt (Diversity): Der Datensatz umfasst diverse Lichtverhältnisse (Farbe, Intensität, Winkel), verschiedene Bildausschnitte (Nahaufnahmen bis Ganzkörper) und ein breites Altersspektrum.
• Ausgewogenheit: Um die Ungleichverteilung zu beheben, wurden synthetische Bilder (generiert mit FLUX.1-dev) hinzugefügt, um unterrepräsentierte Kategorien zu ergänzen. Dies führte zu einer deutlich gleichmäßigeren Verteilung im Vergleich zu bestehenden Datensätzen (niedrigere Varianz und KL-Divergenz).

B. Evaluierung und Training

• Erkennung (Recognition):
  • Es wurden verschiedene SOTA-LMMs (LLaMA 3.2, LLaVA, Janus-Pro, Qwen 2.5-VL, Phi 3.5) und eine traditionelle Methode (Hautsegmentierung + ITA-Berechnung) auf dem TrueSkin-Datensatz getestet.
  • Ein Baseline-Klassifikator (EfficientNet-B1) wurde auf TrueSkin trainiert. Um die Korrelation zwischen den Hautton-Klassen zu berücksichtigen, wurde eine Weighted Cross Entropy Loss (LWCE) eingeführt, die Fehler bestraft, die weiter vom wahren Label entfernt sind.
• Generierung (Generation):
  • Drei führende Generative Modelle (SDXL, SD3, FLUX.1) wurden getestet, um zu sehen, ob sie angeforderte Hauttöne korrekt generieren.
  • Ein SDXL-Modell wurde mit TrueSkin feinabgestimmt (Fine-Tuning via LoRA), um zu prüfen, ob sich die Verzerrungen reduzieren lassen.

3. Wichtige Beiträge

1. Einführung von TrueSkin: Ein hochwertiger, vielfältiger und ausgewogener Datensatz mit 7.299 Bildern, der als Benchmark und Trainingsressource dient.
2. Systematische Analyse von Verzerrungen: Die Studie zeigt auf, dass LMMs systematisch mittlere Hauttöne falsch klassifizieren und generative Modelle durch nicht-relevante Prompt-Attribute (wie Frisur oder Hintergrund) in ihrer Hautton-Generierung beeinflusst werden.
3. Nachweis der Effektivität: Es wird demonstriert, dass das Training auf TrueSkin die Genauigkeit der Erkennung signifikant steigert und das Fine-Tuning von Generativen Modellen die Verzerrungen bei der Synthese reduziert.

4. Ergebnisse

• Erkennungsleistung:
  • Die besten LMMs erreichten eine Genauigkeit von nur 40–49 % und zeigten eine starke Tendenz, dunklere Töne als heller zu klassifizieren.
  • Der auf TrueSkin trainierte Baseline-Modell (EfficientNet) erreichte 74,18 % Genauigkeit (Verbesserung von >20 % gegenüber LMMs) und einen Mean Squared Error (MSE) von nur 0,3374.
  • Nur 2,16 % der Vorhersagen des trainierten Modells weigten um mehr als eine Kategorie vom wahren Wert ab.
• Generierungsleistung:
  • Vor dem Fine-Tuning zeigten generative Modelle große Diskrepanzen zwischen gewünschtem und generiertem Hautton. Beispielsweise führte die Erwähnung von „Zöpfen" im Prompt oft zu dunklerer Haut, auch wenn „helle Haut" gefordert war.
  • Nach dem Fine-Tuning von SDXL mit TrueSkin stieg die Genauigkeit von 61,08 % (Schritt 0) auf 64,75 % (Schritt 800), und der MSE sank von 0,6008 auf 0,4800.
  • Das Fine-Tuning half, die inhärenten Verzerrungen zu mildern, sodass das Modell auch bei komplexen Prompts den angeforderten Hautton präziser generierte.

5. Bedeutung und Fazit

Das Paper unterstreicht, dass der Mangel an hochwertigen, diversen Datensätzen die Hauptursache für Verzerrungen in der Hautton-Erkennung und -Generierung ist.

• Fairness: TrueSkin bietet eine Grundlage, um Modelle zu entwickeln, die fairer gegenüber allen Hauttönen agieren, was für Anwendungen in der Medizin (z. B. Diagnosegenauigkeit bei dunklerer Haut) und der allgemeinen KI-Ethik entscheidend ist.
• Ressource: Der Datensatz dient sowohl als Benchmark zur Bewertung bestehender Modelle als auch als wertvolle Trainingsdatenquelle, um die Genauigkeit und Fairness zukünftiger Systeme zu verbessern.
• Zukunft: Die Autoren sehen Potenzial in der Erweiterung des Datensatzes, der Entwicklung halbautomatischer Annotationswerkzeuge und der Integration kausaler Modellierung, um Hautton noch besser von Umwelteinflüssen zu entkoppeln.

Zusammenfassend beweist TrueSkin, dass mit einem sorgfältig kuratierten Datensatz die Leistung von KI-Modellen in diesem kritischen Bereich signifikant gesteigert und systemische Verzerrungen reduziert werden können.