Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies
Diese Arbeit evaluiert Large-scale Vision-Language-Modelle (LVLMs) mithilfe des Ishihara-Tests und stellt fest, dass diese Modelle trotz ihres faktischen Wissens über Farbfehlsichtigkeiten nicht in der Lage sind, die veränderten Wahrnehmungserfahrungen betroffener Personen zu simulieren, sondern stattdessen auf eine normative Farbwahrnehmung zurückfallen, was eine kritische Lücke in ihrer Fähigkeit zur Unterstützung inklusiver Barrierefreiheit aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, belesenen Roboter-Assistenten. Sie haben ihm alles über das menschliche Auge, Farbenblindheit und die Art und Weise beigebracht, wie Menschen mit unterschiedlichen Sehfähigkeiten die Welt sehen. Er kann einen perfekten Aufsatz darüber schreiben, wie es ist, farbenblind zu sein.
Aber dann zeigen Sie ihm ein Bild und fragen ihn: „Wenn du farbenblind wärst, welche Zahl würdest du in diesem Bild sehen?“
Anstatt die Welt durch die Augen eines farbenblinden Menschen zu sehen, betrachtet der Roboter das Bild einfach mit seinen eigenen „perfekten“ Augen und nennt Ihnen die Antwort, die eine normal sehende Person sehen würde. Er kennt die Fakten über Farbenblindheit, aber er kann die Erfahrung nicht wirklich fühlen oder simulieren.
Das ist die Kernentdeckung dieser Arbeit.
Der „Ishihara“-Test: Die Augenuntersuchung des Roboters
Um dies zu testen, verwendeten die Forscher ein berühmtes Werkzeug namens Ishischara-Test. Diese haben Sie wahrscheinlich schon einmal gesehen: Es sind Kreise, die mit bunten Punkten gefüllt sind.
- Für eine Person mit normaler Sehkraft: Die Punkte bilden eine klare Zahl, wie zum Beispiel „12“ oder „8“.
- Für eine Person mit Rot-Grün-Schwäche: Die Farben verschwimmen, und sie sieht vielleicht eine völlig andere Zahl (wie eine „3“) oder gar nichts.
Die Forscher behandelten diese Bilder wie ein Diagnosewerkzeug für Roboter. Sie baten verschiedene große KI-Modelle (die „Roboter“), sich diese Bilder anzusehen und vorzugeben, eine bestimmte Art von farbenblinden Menschen zu sein.
Die drei Wege, wie sie die Roboter prüften
Die Forscher fragten nicht einfach nur: „Welche Zahl siehst du?“ Sie untersuchten die Roboter auf drei verschiedene Arten, wie ein Arzt einen Patienten untersucht:
Der „Was du sagst“-Check (Generierung):
Sie baten den Roboter, einfach die Zahl zu nennen, die er sah.- Das Ergebnis: Selbst wenn man ihm sagte: „Du bist rot-grün farbenblind“, gab der Roboter fast immer die Antwort, die eine Person mit perfekter Sehkraft geben würde. Er konnte die falsche Zahl, die eine farbenblinde Person tatsächlich sehen würde, nicht „halluzinieren“. Er steckte im Modus „normale Sehkraft“ fest.
Der „Wie sicher bist du?“-Check (Konfidenz):
Sie maßen, wie sicher sich der Roboter bei seiner Antwort war.- Das Ergebnis: Der Roboter war sehr sicher bei der Beantwortung für „normale Sehkraft“. Aber als er gebeten wurde, für eine farbenblinde Person zu antworten, wurde er sehr verwirrt und unsicher. Er hat nicht einfach nur die falsche Zahl geraten; er wusste nicht einmal, wie er auf die richtige Weise unsicher sein sollte. Es war wie ein Schüler, der die Lösung einer Matheaufgabe kennt, aber die Orientierung verliert, wenn er gebeten wird, sie rückwärts zu lösen.
Der „Im Inneren des Gehirns“-Check (Interne Repräsentation):
Sie schauten tief in den „Gehirn“-Bereich des Roboters (seine internen Datenschichten), um zu sehen, ob er das Bild tatsächlich anders verarbeitet, basierend auf den Anweisungen.- Das Ergebnis: Selbst tief im Inneren änderte der Roboter seine Perspektive nicht. Er verarbeitete das Bild so, als hätte er eine perfekte Sehkraft, ungeachtet dessen, was ihm gesagt wurde. Es war, als würde eine Person mit einer Augenbinde den Raum beschreiben, als könne sie ihn perfekt sehen.
Der „Arzt“ und der „Musterlerner“
Die Forscher fragten sich: „Vielleicht brauchen die Roboter nur mehr medizinisches Training?“ oder „Vielleicht lernen sie nur die Punktmuster auswendig?“
- Sie testeten einen Roboter, der speziell auf medizinischen Daten trainiert wurde. Ergebnis: Er scheiterte dennoch daran, Farbenblindheit zu simulieren.
- Sie trainierten einen Roboter mit tausenden künstlichen Punktmustern, um zu sehen, ob er nur Formen auswendig lernte. Ergebnis: Er wurde besser darin, Zahlen bei perfekter Sehkraft zu erkennen, aber er wurde schlechter darin, sich als farbenblind auszugeben.
Das große Fazit
Die Arbeit kommt zu dem Schluss, dass diese KI-Modelle zwar großartig darin sind, über Farbenblindheit zu sprechen, aber schrecklich darin sind, sie zu erleben.
Man kann es so denken: Man kann ein Buch darüber lesen, wie es sich anfühlt, unter Wasser zu sein, aber das Lesen des Buches bedeutet nicht, dass man fünf Minuten lang den Atem anhalten kann. Diese KI-Modelle haben das „Buch“ über Farbenblindheit gelesen, aber sie können nicht wirklich „den Atem anhalten“ und die Welt durch die Augen eines farbenblinden Menschen sehen.
Dies ist wichtig, weil wir, wenn wir anfangen, diese Roboter einzusetzen, um Menschen beim Navigieren in der Welt, beim Lesen von Karten oder beim Verstehen von Diagrammen zu helfen, sicherstellen müssen, dass sie nicht versehentlich Anweisungen geben, die nur für Menschen mit perfekter Sehkraft funktionieren und so andere zurücklassen. Die Arbeit zeigt, dass diese Roboter im Kern immer noch „visuell normal“ sind, selbst wenn sie versuchen, etwas anderes vorzugeben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.