Human-AI Perceptual Alignment by Playing Hues and Cues

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, die Welt zu sehen – nicht nur durch das Erkennen von Formen, sondern durch das Verständnis des Gefühls der Dinge. In der Welt der künstlichen Intelligenz gibt es eine spezielle Art von Gehirn, ein „Vision-Language Model“. Denken Sie an diese Modelle als superintelligente Studenten, die Milliarden von Büchern gelesen und Milliarden von Fotos aus dem Internet betrachtet haben. Sie sind großartig darin zu sagen: „Das ist ein Hund“ oder „Das ist ein Auto“. Aber können sie die Farbe eines Hundes verstehen? Können sie wissen, dass eine Banane normalerweise gelb ist, nicht weil sie auf jedem einzelnen Foto physisch gelb ist, sondern weil unser Gehirn eine „Erinnerung“ hat, dass Bananen gelb sind? Das ist der knifflige Teil: Menschliche Farbe ist nicht nur das, was Licht in unsere Augen trifft; es geht um unsere Kultur, unsere Erinnerungen und unsere gemeinsamen Geschichten. Wissenschaftler wollen wissen, ob diese KI-Studenten lernen, wie Menschen zu sehen, oder ob sie nur raten, basierend auf den seltsamen Mustern, die sie in ihren massiven Datenstapeln gefunden haben.

Um dies herauszufinden, beschloss ein Team von Forschern, ein Spiel zu spielen. Sie verwendeten kein langweiliges Diagramm oder komplexe mathematische Tests. Stattdessen nutzten sie ein Brettspiel namens „Hues and Cues“. Stellen Sie sich ein riesiges Brett mit 480 winzigen Quadraten vor, von denen jedes eine leicht andere Farbe hat, angeordnet wie eine Regenbogenkarte. Das Spiel funktioniert so: Jemand sagt ein Wort (wie „Banane“ oder „Hoffnung“) und man muss auf das Quadrat auf dem Brett zeigen, das diesem Wort am besten entspricht. Es klingt einfach, aber es offenbart, wie unsere Gehirne Wörter mit Farben verbinden. Die Forscher nutzten dieses Spiel, um 162 verschiedene KI-Modelle zu testen, indem sie sie baten, mit 325 echten Menschen mitzuspielen. Sie wollten sehen, ob die „Vermutungen“ der KI mit der „Erinnerung“ der Menge übereinstimmten oder ob die KI sich in ihrem eigenen Kopf verlor.

Das Setup: Ein digitales Brettspiel
Die Forscher bauten eine digitale Version des „Hues and Cues“-Bretts. Dieses Brett hatte 480 unterschiedliche Farbfelder, die so kartiert waren, dass sie wissenschaftlich messbar waren. Sie versammelten eine große Gruppe von 325 Menschen, die das Spiel auf ihren Telefonen und Computern spielten. Jede Person wurde gebeten, 100 verschiedene Wörter einem passenden Farbquadrat auf dem Brett zuzuordnen. Einige Wörter waren einfach und physisch, wie „Banane“ oder „Blut“. Andere waren schwierig und abstrakt, wie „Hoffnung“, „Feminismus“ oder „Popkultur“.

Um sicherzustellen, dass die KI nicht vom Protokoll abweicht, gaben die Forscher den Modellen exakt dasselbe digitale Brett. Die Aufgabe der KI war es, ein Wort zu betrachten und die 5 Farbfelder auszuwählen, von denen sie glaubte, dass sie am besten passen. Die Forscher verglichen dann die Entscheidungen der KI mit dem „menschlichen Konsens“ – der durchschnittlichen Antwort, die die echten Menschen gaben. Sie berechneten sogar eine „menschliche Fehlerrate“, was im Grunde beschreibt, wie sehr Menschen untereinander uneinig sind. Dies gab ihnen eine perfekte Baseline: Wenn eine KI so gut wie ein Mensch ist, sollte sie etwa die gleichen „Fehler“ machen wie ein Mensch.

Die große Entdeckung: Der „Blau“-Crash
Die Ergebnisse waren eine Mischung aus beeindruckenden Siegen und einem sehr seltsamen, systematischen Scheitern.

Zuer erst die guten Nachrichten: Wenn die Wörter von realen, physischen Objekten handelten, war die KI überraschend gut. Für konkrete Dinge wie „Banane“, „Kürbis“ oder „Schwein“ wählten die KI-Modelle oft exakt dieselben Farben wie die Menschen. Sie verstanden, dass Bananen gelb und Schweine rosa sind. Tatsächlich waren die KI-Modelle für einige dieser physischen Objekte so präzise, dass sie sogar die „idealisierte“ Erinnerungsfarbe der Menschen trafen, statt nur die buchstäbliche Farbe eines spezifischen Fotos. Dies deutologisiert, dass die KI den menschlichen „Vibe“ lernen kann, wenn es eine klare, physische Realität gibt.

Doch als das Spiel zu abstrakten oder kulturellen Konzepten überging, stieß die KI an eine Wand. Bei Wörtern wie „Hoffnung“, „Wut“, „Feminismus“ oder sogar „Traktor“ (was in Spanien eine spezifische kulturelle Bedeutung hat), ergab die KI keinen Sinn mehr. Anstatt eine Farbe zu wählen, die das Gefühl oder die Kultur widerspiegelt, begannen die Modelle etwas Bizarres zu tun: Sie kollabierten alle in eine einzige, Standardfarbe.

Die Forscher fanden heraus, dass die KI, wenn sie die Antwort nicht wusste, nicht zufällig rät. Stattdessen wählte sie fast immer einen spezifischen Blauton (eine Koordinate, die sie auf dem Brett als „I18“ bezeichnen). Es war, als ob das Gehirn der KI einen Kurzschluss erlitt und sagte: „Ich weiß nicht, was das bedeutet, also wähle ich einfach Blau.“ Dies geschah immer wieder, unabhängig davon, ob das Wort „Winter“, „Stitch“ (aus dem Film) oder „Axolotl“ war.

Warum passierte das?
Das Team grub tiefer, um herauszufzufinden, warum die KI so besessen von Blau war. Sie testeten die Modelle mit „Nonsense“-Wörtern – Dingen, die überhaupt keine Bedeutung haben, wie zufällige Buchstaben oder Stoppwörter wie „der“, „die“, „das“ oder „und“. Sie fanden heraus, dass etwa 42 % der Modelle eine eingebaute Voreingenommenheit hatten. Wenn sie auf Nonsense stießen, raten sie nicht zufällig, sondern defaulten auf spezifische Farben, oft eben jenem Blau oder manchmal Gelb.

Dies enthüllte einen kritischen Fehler: Die KI „verstand“ das Wort „Hoffnung“ nicht wirklich. Sie folgte nur einem Muster, das sie aus ihren Trainingsdaten gelernt hatte. Da das Internet so viele Bilder von Himmel und Wasser (die blau sind) enthält, lernte die KI, dass „Blau“ eine sichere Wahl ist, wenn sie verwirrt ist. Es ist, als würde ein Student, der die Antwort auf eine Geschichtsfrage nicht weiß, einfach „Blau“ hinschreiben, weil er dieses Wort oft in seinem Lehrbuch gesehen hat.

Die Rolle der Datenqualität
Die Forscher untersuchten auch, wie die KI trainiert wurde. Sie verglichen Modelle, die auf massiven, chaotischen Haufen von Internetdaten (wie dem LAION-Datensatz) trainiert wurden, mit Modellen, die auf kleineren, sorgfältig bereinigten und kuratierten Datensätzen trainiert wurden.

Sie fanden heraus, dass die chaotischen, riesigen Datensätze die KI nicht wirklich besser in Bezug auf Farben machten. Tatsächlich waren Modelle, die mit hochwertigen, kuratierten Daten trainiert wurden, viel besser darin, menschliche Farben zu matchen. Die schiere Größe der Daten spielte nicht so eine Rolle wie die Qualität. Es ist wie beim Lernen für eine Prüfung: Eine Million ungefilterter Blogposts zu lesen, mag einem viele Fakten liefern, aber ein gut editiertes Lehrbuch zu lesen, hilft einem, die Konzepte besser zu verstehen. Die „sauberen“ Modelle machten weniger Fehler und waren weniger wahrscheinlich dazu neigend, in diesen Standard-Blau-Modus zu kollabieren.

Das Fazit
Was bedeutet das alles? Die Arbeit zeigt, dass KI zwar sehr gut darin wird, physische Objekte und deren Farben zu erkennen, aber immer noch Schwierigkeiten mit der chaotischen, kulturellen und emotionalen Seite der menschlichen Wahrnehmung hat. Wenn die KI verwirrt ist, gibt sie nicht die Unsicherheit zu; sie fällt stattdessen auf eine „sichere“ Farbe zurück, meistens Blau, basierend auf dem, was sie am häufigsten in ihren Trainingsdaten gesehen hat.

Die Forscher schlagen vor, dass wir, um die KI wirklich zu uns zu machen, sie nicht nur mit mehr Daten füttern dürfen. Wir müssen ihr beibringen, mit Unsicherheit umzugehen, ohne abzustürzen, und wir müssen bessere, sauberere Daten verwenden, um ihr die subtilen, kulturellen Regeln der Farbe beizubringen, die Menschen ganz natürlich befolgen. Das Spiel „Hues and Cues“ hat bewiesen, dass selbst die klügsten KI-Modelle noch einen weiten Weg vor sich haben, bevor sie die Welt wirklich so sehen können wie wir.