Prompt-Driven Color Accessibility Evaluation in Diffusion-based Image Generation Models

Diese Arbeit stellt eine systematische Evaluierung der Farbzugänglichkeit in diffusionsbasierten Bildgenerierungsmodellen vor, führt die neue Metrik „CVDLoss" ein und zeigt auf, dass aktuelle Modelle auf zugänglichkeitsorientierte Prompts nicht zuverlässig reagieren.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würde man sie einem Freund beim Kaffee erzählen – ohne komplizierte Fachbegriffe, aber mit ein paar lustigen Vergleichen.

Das große Problem: Wenn die KI Farben verwechselt

Stell dir vor, du hast einen magischen Maler, der aus nichts als Textbefehlen (Prompts) wunderschöne Bilder malt. Das ist heutzutage möglich durch sogenannte "Diffusions-Modelle" (wie Stable Diffusion). Wenn du sagst "Eine Schüssel mit bunten Früchten", malt er ein tolles Bild.

Aber es gibt ein Problem: Nicht jeder sieht die Welt so, wie wir.
Etwa 8 % der Männer und 0,5 % der Frauen haben eine Farbschwäche (oft Rot-Grün-Schwäche). Für sie sind manche Farben, die wir klar unterscheiden können (z. B. ein roter Apfel auf grünem Gras), fast unsichtbar oder sehen gleich aus wie ein grauer Matsch.

Die Forscher haben sich gefragt: Kann man dem magischen Maler einfach sagen: "Mach das Bild farbschwachen-freundlich!", und dann wird er es automatisch richtig machen?

Die Untersuchung: Ein Test mit 320 Bildern

Die Forscher (Xinyao, Jose und Kaan) haben einen großen Test gemacht:

1. Sie haben 8 verschiedene Themen gewählt (von "Süßigkeiten" über "Korallenriffe" bis hin zu "Straßenszenen").
2. Sie haben dem KI-Maler vier verschiedene Arten von Befehlen gegeben:
   • Normal: "Eine Schüssel Früchte."
   • Allgemein: "Eine Schüssel Früchte mit einer farbschwachen-freundlichen Palette."
   • Spezifisch: "Eine Schüssel Früchte, die für Rot-Blinde gut aussieht."
   • Spezifisch: "Eine Schüssel Früchte, die für Grün-Blinde gut aussieht."

Insgesamt entstanden 320 Bilder.

Das neue Werkzeug: Der "Struktur-Verlust-Messer" (CVDLoss)

Das Schwierige ist: Wie misst man, ob ein Bild für Farbschwache wirklich besser ist?
Bisher schaute man nur auf den Helligkeitskontrast (Hell gegen Dunkel). Aber das reicht nicht! Ein roter Ball auf grünem Hintergrund kann für uns klar sein, aber für einen Rot-Blinden sieht er aus wie ein grauer Ball auf grauem Hintergrund. Die Form ist weg!

Die Forscher haben ein neues Messwerkzeug erfunden, das sie CVDLoss nennen.
Die Analogie: Stell dir vor, du hast ein Bild aus feinen Linien und Kanten gebaut (wie ein Puzzle).

• Wenn ein Farbschwacher das Bild sieht, verschmelzen manche Farben. Das ist, als würden Teile des Puzzles verschwinden oder ineinanderlaufen.
• Das CVDLoss-Werkzeug misst genau, wie viele Puzzleteile (Strukturen, Kanten, Texturen) beim "Umschalten" auf die Sichtweise eines Farbschwachen zerstört wurden.
• Je niedriger der Wert, desto besser: Das Bild sieht für alle gleich gut aus.
• Je höher der Wert, desto schlechter: Das Bild ist für Farbschwache ein Chaos, bei dem man nichts mehr erkennt.

Was haben sie herausgefunden?

Das Ergebnis ist etwas enttäuschend, aber sehr wichtig:

1. Der KI-Maler versteht den Befehl nicht wirklich.
   Wenn man dem KI-Maler sagt "Mach es farbschwachen-freundlich", macht er das nicht zuverlässig. Manchmal wird es besser, manchmal wird es sogar schlechter als das normale Bild!

   • Beispiel: Bei "Süßigkeiten" half der Befehl manchmal. Bei "Blumen" wurde das Bild durch den Befehl oft chaotischer und schwerer zu lesen.
   • Es ist, als würdest du einem Koch sagen: "Mach das Essen für jemanden, der keinen Salzgeschmack hat, lecker." Der Koch könnte das Salz weglassen, aber stattdessen das Essen mit etwas völlig Falschem würzen, das es ungenießbar macht.

2. Es kommt auf das Thema an.
   Bei manchen Bildern (wie Cartoon-Zeichnungen oder Plakaten) half der Befehl ein wenig. Bei anderen (wie bunten Korallenriffen oder Papageien) hatte der Befehl fast keine Wirkung oder machte die Sache schlimmer.

3. Warum passiert das?
   Diese KI-Modelle wurden trainiert, um hübsche Bilder zu machen, nicht um zugängliche Bilder zu machen. Sie kennen die Regeln für Farbenblindheit nicht. Wenn man ihnen nur einen Textbefehl gibt, raten sie eher, als dass sie es berechnen.

Das Fazit: Warum ist das wichtig?

Die Forscher sagen: Wir können uns nicht darauf verlassen, dass KI-Bilder einfach durch einen cleveren Textbefehl für alle zugänglich werden.

Aber sie haben eine gute Nachricht: Ihr neues Werkzeug CVDLoss ist wie ein Frühwarnsystem.

• Es kann automatisch prüfen, ob ein generiertes Bild für Farbschwache funktioniert.
• Es zeigt genau, wo die Struktur verloren geht.
• Es hilft Entwicklern zu verstehen, wo ihre KIs noch versagen, damit sie diese Modelle in Zukunft besser trainieren können.

Zusammengefasst:
Der magische KI-Maler ist noch nicht so schlau, dass er allein durch einen Befehl für alle Menschen malen kann. Aber mit dem neuen "Struktur-Verlust-Messer" können wir jetzt genau sehen, wo er hakt, und ihm helfen, in Zukunft Bilder zu malen, die wirklich für jeden sichtbar sind.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Prompt-Driven Color Accessibility Evaluation in Diffusion-based Image Generation Models" auf Deutsch:

1. Problemstellung

Generative Modelle, insbesondere Diffusionsmodelle (wie Stable Diffusion), haben sich als leistungsstark in der Erzeugung visuell ansprechender und semantisch reicher Bilder erwiesen. Ein bisher weitgehend unerforschtes Gebiet ist jedoch die Farbbarrierefreiheit für Menschen mit Farbsehschwächen (Color Vision Deficiencies, CVD), wie z. B. Protanopie (Rotblindheit) und Deuteranopie (Grünblindheit).

Während bestehende Richtlinien oft nur auf Helligkeitskontrasten basieren, vernachlässigen sie Konflikte, die durch Farbton- und Sättigungsunterschiede entstehen. Diese Konflikte können in komplexen Szenen (sowohl in natürlichen als auch in generierten Bildern) zu einem Verlust an struktureller Information führen, selbst wenn der globale Bildaufbau erhalten bleibt. Die zentrale Forschungsfrage lautet: Können generative Modelle durch reines Prompt-Engineering (Texteingabe) barrierefreie Farbtransformationen durchführen, ohne dass eine explizite Nachbearbeitung erforderlich ist?

2. Methodik

Die Studie verfolgt einen systematischen Ansatz zur Evaluierung und Quantifizierung der Farbbarrierefreiheit in generierten Bildern.

• Datensatz und Prompt-Design:

  • Es wurden Bilder mit dem Stable Diffusion 3.5-large-Modell generiert.
  • Der Datensatz umfasst 8 semantisch und visuell unterschiedliche Kategorien (z. B. Süßigkeiten, Cartoon, Korallenriff, Blume, Frucht, Papagei, Poster, Straßensicht).
  • Für jede Kategorie wurden vier Prompt-Strategien getestet:
    1. Standard-Prompt: Nur visuelle Beschreibung.
    2. Farbblinden-bewusst: Mit dem Zusatz „mit rot-grün-farbblinder Palette".
    3. Protanopie-bewusst: Mit dem Zusatz „mit protanopie-freundlicher Palette".
    4. Deuteranopie-bewusst: Mit dem Zusatz „mit deuteranopie-freundlicher Palette".
  • Insgesamt wurden 320 Bilder (10 pro Prompt-Kategorie) generiert.

• Simulation von Farbsehschwächen:

  • Zur objektiven Evaluierung wurde ein physiologisches Simulationsmodell (basierend auf [VBM99], implementiert in der DaltonLens-Bibliothek) verwendet.
  • Es wurden Simulationen für Protanopie und Deuteranopie mit maximaler Schweregrad (vollständiger Rot- bzw. Grünblindheit) durchgeführt.

• Einführung der Metrik „CVDLoss":

  • Da Helligkeitsmetriken unzureichend sind, wurde eine neue Metrik namens CVDLoss entwickelt, um den Verlust an lokaler Struktur und Textur unter CVD-Simulation zu quantifizieren.
  • Die Metrik berechnet die Differenz zwischen den Gradienten-Magnitude-Karten (GMM) des Originalbildes und des simulierten CVD-Bildes.
  • Dabei werden Farbdifferenzen im OKLab-Farbraum unter Verwendung der HyAB-Metrik berechnet, um wahrgenommene 3D-Farbabstände zu erfassen.
  • Formel: $CVDLoss(I, I_{CVD}) = \frac{\sum_p (G(I)_p - G(I_{CVD})_p)^2}{N \cdot \max_p G(I)_p^2}$
  • Ein niedrigerer Wert bedeutet, dass die Strukturwahrnehmung für Personen mit und ohne Farbsehschwäche ähnlich ist.

• Synthetische Validierung:

  • Um die Wirksamkeit von CVDLoss zu testen, wurden Bilder mittels Daltonisierung (einer Nachbearbeitungsmethode zur Verbesserung der Sichtbarkeit für CVD-Nutzer) verarbeitet.
  • Die Erwartung war, dass daltonisierte Bilder einen geringeren CVDLoss aufweisen sollten als die Originalbilder.

3. Wichtige Beiträge

1. Systematische Evaluierung: Erste umfassende Untersuchung, wie gut Diffusionsmodelle auf barrierefreiheitsorientierte Prompts reagieren.
2. Neue Metrik (CVDLoss): Einführung eines gradientenbasierten Metrik, der spezifisch auf den Verlust von strukturellen Details durch Farbkonflikte bei Farbsehschwächen reagiert, anstatt nur auf Helligkeit zu schauen.
3. Validierung: Nachweis, dass CVDLoss sensitiv auf barrierefreiheitsorientierte Farbtransformationen reagiert (durch Vergleich mit Daltonisierung).
4. Erkenntnisse zur Prompt-Effektivität: Demonstration, dass Prompt-Engineering allein keine zuverlässige Lösung für Farbbarrierefreiheit darstellt.

4. Ergebnisse

Die experimentellen Ergebnisse zeigen gemischte und oft negative Tendenzen bei der Nutzung von Prompts zur Verbesserung der Barrierefreiheit:

• Inkonsistenz: Diffusionsmodelle reagieren nicht konsistent auf barrierefreiheitsorientierte Prompts. Die Ergebnisse sind unvorhersehbar und manchmal sogar kontraproduktiv.
• Kategorienabhängigkeit:
  • Farbdominierte Szenen (z. B. Süßigkeiten, Blumen): Zeigten die größte Variabilität. Während „Süßigkeiten" oft von barrierefreien Prompts profitierten, führte dies bei „Blumen" zu einem erhöhten CVDLoss, was darauf hindeutet, dass die Farbneuinterpretation die lokale Struktur zerstörte.
  • Strukturdominierte Szenen (z. B. Cartoon, Poster, Straßensicht): Zeigten Instabilität unter allgemeinen „farbblinden" Prompts (erhöhter CVDLoss). Spezifische Prompts (z. B. nur für Protanopie) halfen teilweise, aber der Erfolg hing stark von der Szenenkomposition ab.
• Asymmetrie: Die Wirkung von Prompts variierte stark zwischen Protanopie und Deuteranopie (z. B. bei Früchten), was die Notwendigkeit einer getrennten Evaluierung für verschiedene Defizite unterstreicht.
• Validierung: CVDLoss reagierte konsistent auf Daltonisierung (negative Werte bei Protanopie), was die Metrik als zuverlässiges Diagnosewerkzeug bestätigt.

5. Bedeutung und Fazit

Das Paper kommt zu dem Schluss, dass aktuelle Diffusionsmodelle nicht explizit für Barrierefreiheitsbedingungen trainiert sind. Daher kann Prompt-Engineering allein keine zuverlässigen Verbesserungen garantieren und birgt sogar das Risiko, die Zugänglichkeit in farbdominierten Szenen zu verschlechtern.

• Praktische Implikation: CVDLoss wird als wertvolles Werkzeug für die Evaluierung von barrierefreien Bildgenerierungen und für die Nachverarbeitung vorgeschlagen. Es hilft, Schwachstellen in generativen Modellen zu identifizieren.
• Zukünftige Forschung: Die Autoren betonen, dass ohne explizites Training für Barrierefreiheit (Accessibility Supervision) keine konsistenten Ergebnisse zu erwarten sind. Zukünftige Arbeiten sollten weitere Daltonisierungsmethoden untersuchen und die Metrik durch Benutzerstudien mit betroffenen Personen validieren.

Zusammenfassend liefert die Studie einen kritischen Einblick in die aktuellen Grenzen generativer KI im Bereich der Inklusion und stellt ein neues, strukturbasiertes Messinstrument für die Farbbarrierefreiheit vor.