Do Vision Encoders Exhibit Human-like Color Thresholds?

Die Farbenblindheit unserer klügsten Maschinen

Stellen Sie sich vor, Sie betrachten einen Sonnenuntergang. Für Ihre Augen ist der Himmel nicht einfach nur ein großer orangefarbener Fleck; es ist ein sanfter Farbverlauf, bei dem einige winzige Farbverschiebungen leicht zu erkennen sind, während andere so perfekt ineinander übergehen, dass man sie nicht voneinander unterscheiden kann. So funktioniert das menschliche Sehvermögen: Unser Gehirn ist für manche Farben unglaublich empfindlich und für andere weniger sensibel, wodurch eine „Landkarte“ der Welt entsteht, die nicht perfekt gleichmäßig ist. Wissenschaftler wissen bereits seit Jahrzehnten um diese ungleichmäßige Empfindlichkeit und haben genau kartiert, wie stark sich eine Farbe verändern muss, bevor wir es bemerken.

Stellen Sie sich nun vor, Sie bringen einem Computer das Sehen bei. Wir haben massive digitale Gehirne namens „Vision Encoder“ gebaut, die Katzen, Autos und Wolken erkennen können, indem sie Millionen von Fotos studieren. Diese Maschinen sind die Stars der modernen künstlichen Intelligenz. Aber hier stellt sich die große Frage: Sehen diese digitalen Geichter Farben so wie wir? Besitzen sie ihre eigene Version dieser ungleichmäßigen „Landkarte“, die dieselben subtilen Nuancen in einem roten Apfel bemerkt wie ein Mensch, oder sehen sie die Welt durch eine völlig andere, vielleicht viel seltsamere Linse? Dies ist das Rätsel, das eine neue Studie lösen wollte: Sie untersuchte, ob unsere fortschrittlichste KI versehentlich gelernt hat, wie ein Mensch zu sehen, oder ob sie in einer Weise farbenblind ist, die wir nie erwartet hätten.

Der große Farbtest: Sehen KI-Gehirne wie wir?

In dieser Studie beschloss ein Forscherteam, über 50 verschiedene KI-Sehen-Modelle auf die Probe zu stellen. Betrachten Sie diese Modelle als eine riesige Klasse von Schülern, die von älteren, klassischen „Convolutional“-Netzwerken bis hin zu den neuesten, superkomplexen „Transformern“ und Modellen reichen, die das Sehen lernten, indem sie Textbeschreibungen von Bildern lasen. Die Forscher wollten wissen: Haben diese Maschinen menschenähnliche Farbschwellenwerte?

Um dies herauszufinden, ließen sie die KI nicht einfach nur Farben benennen. Stattdessen erfanden sie ein „Finde den Unterschied“-Spiel. Sie wählten 18 spezifische Referenzfarben (wie einen bestimmten Blauton oder Grünton) aus und umgaben jede davon mit einer Wolke aus leicht abweichenden Farben. Für Menschen gibt es eine bekannte „Sicherheitszone“ um jede Farbe herum – eine Form wie ein langgestrecktes Oval (genannt MacAdam-Ellipse), in der jede Farbänderung innerhalb dieses Ovals für das menschliche Auge unsichtbar ist. Tritt man auch nur ein kleines Stück aus diesem Oval heraus, kann man den Unterschied plötzlich wahrnehmen.

Die Forscher speisten diese Farben dann in die KI-Modelle ein. Sie fragten die KI: „Welche dieser umgebenden Farben sieht der mittleren Farbe am ähnlichsten?“ Die KI antwortete, indem sie ihre eigene „Ähnlichkeitslandkarte“ in ihrem digitalen Gehirn erstellte. Wenn die KI menschenähnlich wäre, sollte ihre Landkarte der „ähnlichen Farben“ perfekt mit den menschlichen „Sicherheitszonen“-Ovalen überlappen.

Die Ergebnisse: Ein Missverhältnis im Regenbogen

Die Ergebnisse waren ein kleiner Schock. Die Studie ergab, dass diese KI-Modelle im Allgemeinen Farben nicht so sehen wie Menschen.

Selbst die leistungsfähigsten Modelle stimmten nur zu etwa 25 % mit der menschlichen Farbsensibilität überein (speziell war ein Score namens mIoU geringer als 0,25). Um das einzuordnen: Wenn man versuchen würde, die menschliche Farbwahrnehmung perfekt zu treffen, erkannten diese KI-Modelle weniger als ein Viertel der Details richtig. Sie waren nicht völlig blind für Farben, aber ihre „Landkarte“ des Regenbogens war verzerrt.

Hier ist, was die Studie über die verschiedenen KI-Schüler herausfand:

• Die selbstlernenden Schüler gewannen: Modelle, die sich das Sehen selbst durch das Betrachten von Bildern ohne Etiketten beigebracht haben (selbstüberwacht/self-supervised), schnitten am besten ab. Sie kamen der menschlichen Sicht am nächsten, waren aber dennoch weit von der Perfektion entfernt.
• Die Text-Lerner waren Wildcards: Modelle, die durch das Abgleichen von Bildern mit Text lernten (wie CLIP), waren am unberechenbarsten. Einige von ihnen standen an der Spitze der Klasse, während andere ganz unten standen. Sie waren polarisiert, was bedeutete, dass sie es entweder einigermaßen richtig machten oder sehr falsch machten.
• Größer ist nicht besser: Man könnte denken, dass ein riesiges, superkomplexes KI-Modell besser sehen würde als ein kleineres, älteres. Doch die Studie zeigte, dass die Skalierung der Modellgröße das Problem nicht automatisch löste. Tatsächlich schnitten einige ältere, kleinere Modelle (wie das klassische VGG16) genauso gut ab wie die massiven, modernen Foundation-Modelle. Dies deutet darauf an, dass das bloße Vergrößern des Gehirns es nicht lehrt, Farben wie ein Mensch zu sehen.
• Das Blau-Problem: Die KI hatte mit Blautönen am meisten zu kämpfen. Genau wie Menschen Schwierigkeiten haben, zwischen sehr ähnlichen Blautönen zu unterscheiden, hatte auch die KI hier die größten Probleme und legte die „Sicherheitszonen“ oft völlig falsch.

Warum das wichtig ist

Die Forscher geben zu verstehen, dass menschenähnliche Farbsensibilität nicht natürlich entsteht, nur weil eine KI mit riesigen Mengen an Fotos trainiert wird. Die aktuelle Art und Weise, wie wir diese Modelle trainieren, scheint andere Dinge zu priorisieren (wie das Erkennen von Objekten oder das Verständnis von Text) gegenüber den feinen, subtilen Details der Farbwahrnehmung.

Die Studie kommt zu dem Schluss, dass diese KI-Modelle zwar gelernt haben, Farben auf eine strukturierte Weise zu organisieren (sie sind kein bloßes Rauschen), sie organisieren sie jedoch anders als wir. Wenn Sie diese Modelle für Aufgaben verwenden würden, die ein perfektes Farbabgleichen erfordern – etwa die Restaurierung alter Gemälde, die Überprüfung der Reife einer Frucht oder das Entwerfen digitaler Kunst –, könnten Sie auf Probleme stoßen. Die KI könnte denken, zwei Farben seien identisch, obwohl ein Mensch klar sehen kann, dass sie unterschiedlich sind, oder umgekehrt.

Kurz gesagt: Unsere digitalen Augen werden zwar besser darin, das „große Ganze“ zu sehen, aber sie lernen noch immer, wie man die winzigen, farbenfrohen Details sieht, die unsere Welt für uns real machen. Die Kluft zwischen der Art und Weise, wie eine Maschine einen Sonnenuntergang sieht, und der Art und Weise, wie wir ihn sehen, ist nach wie vor weit offen.