Systematic comparison of color representations between humans and deep neural networks: towards predicting human color perception in a vast color space

Stellen Sie sich vor, Sie versuchen, die Art und Weise zu kartieren, wie Menschen die gesamte Welt der Farben sehen. Lange Zeit haben Wissenschaftler dies getan, indem sie Menschen baten, Farbpere Paare zu vergleichen, wie zum Beispiel: „Ist dieses Rot eher wie Orange oder wie Lila?“ Aber das ist so, als würde man versuchen, einen ganzen Kontinent zu kartieren, indem man nur ein paar Schritte auf einmal geht. Es dauert ewig, und wir haben bisher nur die „Nachbarschaften“ ähnlicher Farben erkundet, während die riesige, globale Landschaft von über 4.000 Farben ein Geheimnis bleibt.

Um dies zu lösen, entschieden sich die Forscher dafür, Deep Neural Networks (DNNs) – also tiefe neuronale Netze – als digitale Detektive einzusetzen. Betrachten Sie diese Netzwerke als künstliche Gehirne, die gelernt haben zu sehen. Die große Frage war: Welche Art von künstlichem Gehirn sieht Farben am ähnlichsten so, wie ein Mensch sie sieht?

Sie testeten drei verschiedene „Trainingslager“ für diese digitalen Gehirne:

1. Self-Supervised Learning (SSL - Selbstüberwachtes Lernen): Das Gehirn lernt, indem es Millionen von Fotos ganz allein betrachtet und versucht, Muster zu erkennen, ohne Hilfe zu erhalten.
2. Supervised Learning (SL - Überwachtes Lernen): Das Gehirn lernt, indem es Fotos betrachtet, während ein Lehrer darauf zeigt und sagt: „Das ist eine Katze“, „Das ist ein Hund“.
3. CLIP: Das Gehirn lernt, indem es Fotos mit deren schriftlichen Beschreibungen abgleicht (wie „ein roter Apfel“ oder „ein blauer Himmel“).

Um zu prüfen, ob diese digitalen Gehirne der menschlichen Wahrnehmung entsprachen, verwendeten die Forscher ein spezielles mathematisches Werkzeug namens Gromov-Wasserstein Optimal Transport (GWOT). Sie können sich dies als einen superpräzisen „Gestaltwandler“ vorstellen, der versucht, die Farbkarte des digitalen Gehirns und die menschliche Farbkarte zusammenzufalten und ineinanderzufügen, um zu sehen, ob sie perfekt zusammenpassen.

Dies ist das Ergebnis:

• Die frühen Schichten: Als sie die „frühen Denkprozesse“ aller drei Arten von Netzwerken untersuchten, machten sie alle einen großartigen Job. Sie waren wie Lehrlinge, die bereits gelernt hatten, einen roten Apfel von einem grünen zu unterscheiden, genau so gut wie ein Mensch es könnte.
• Das endgültige Urteil: Als die Informationen jedoch tiefer in die Netzwerke vordrangen, änderte sich die Situation.
  • Die Self-Supervised und Supervised Netzwerke begannen, von der menschlichen Wahrnehmung abzuweichen, sobald sie zu ihrem endgültigen Ergebnis gelangten. Sie entwickelten ihre eigenen, nicht-menschlichen Wege, Farben zu organisieren.
  • CLIP war der Gewinner. Es war das einzige Netzwerk, das seine „menschenähnliche“ Farbkarte bis ganz zum Ende beibehielt. Selbst nachdem es alle Informationen verarbeitet hatte, sah seine finale Sicht auf Farben strukturell immer noch so aus, wie Menschen Farben sehen.

Das große Ganze:
Die Forscher nutzten dieses Gewinner-Netzwerk (CLIP), um ein riesiges Territorium von 4.096 Farben zu erkunden – eine Größenordnung, für deren Testung Menschen Jahrzehnte in einem Labor benötigen würden. Das Netzwerk blieb nicht bei den Farben stehen, die wir bereits kennen; es erstellte eine vollständige, strukturierte Karte davon, wie diese Tausenden von Farben zueinander in Beziehung stehen.

Kurz gesagt zeigt diese Arbeit, dass wir durch das Training einer KI, die Bilder mit Wörtern abgleicht (CLIP), ein Werkzeug erhalten, das Farben genau wie wir sieht. Wir können nun dieses Werkzeug nutzen, um vorherzusagen, wie Menschen riesige, ungetestete Welten der Farben wahrnehmen würden – als Kompass für zukünftige wissenschaftliche Erkundungen, ohne endlose, zeitaufwendige Experimente an echten Menschen durchführen zu müssen.