HueManity: Probing Fine-Grained Visual Perception in MLLMs
Das Papier stellt HueManity vor, einen groß angelegten Benchmark unter Verwendung von Bildern im Ishihara-Stil, der aufzeigt, dass hochmoderne multimodale große Sprachmodelle (MLLMs) im Vergleich zu Menschen und spezialisierten Modellen ein kritisches Defizit in der feingranularen visuellen Wahrnehmung aufweisen, ungeachtet ihrer starken Fähigkeiten im Bereich des High-Level-Reasonings.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen sehr intelligenten Roboter, der Bücher lesen, Gedichte schreiben und komplexe Szenen in einem Gemälde beschreiben kann. Man könnte denken: „Wenn er so klug ist, kann er doch sicher auch alles klar sehen, oder?“
Das Paper „HueManity“ sagt: „Warten Sie mal kurz.“
Die Forscher entwickelten einen speziellen Test, um zu prüfen, ob diese „Multimodalen Großen Sprachmodelle“ (MLLMs) – die KI-Gehirne hinter vielen Chatbots – tatsächlich die winzigen Details sehen können oder ob sie nur basierend auf dem raten, was sie zuvor gelesen haben.
Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:
1. Der Test: Das „Unsichtbare Tinte“-Rätsel
Die Forscher erstellten eine riesige Bibliothek von 83.850 Bildern. Jedes Bild sieht aus wie ein farbenfroher, chaotischer Haufen von Punkten, ähnlich den Ishihara-Farbenblindheitstests, die man vielleicht von einem Arzt kennt.
- Der Trick: In den chaotischen Punkten sind zwei Buchstaben oder Zahlen versteckt (wie „42“ oder „X7“).
- Die Herausforderung: Um sie zu finden, muss man das Rauschen ignorieren und die subtilen Farbunterschiede erkennen, die die Form der Buchstaben bilden.
- Das Ziel: Es geht nicht um „Denken“ oder „Schlussfolgern“. Es geht rein um das Sehen. Kann die KI die Nadel im Heuhaufen finden?
2. Die Ergebnisse: Menschen vs. KI
Die Forscher führten diesen Test mit Menschen, einem Standard-Computer-Vision-Programm (ResNet50) und neun der derzeit intelligentesten verfügbaren KI-Modelle durch (wie GPT-4, Claude und LLaVA).
- Menschen: Waren fast perfekt. Sie sahen die Zahlen und Buchstaben sofort (99 % und 93 % Genauigkeit).
- Standard-Computer-Vision: War ebenfalls sehr gut (96 % und 94 %). Es ist wie ein trainiertes Auge, das genau weiß, wonach es suchen muss.
- Die „smarten“ KI-Modelle: Sie fielen kläglich durch.
- Das beste KI-Modell bestand nur 33 % der einfachen Zahlen-Tests.
- Bei den schwierigeren Buchstaben-/Zahlen-Tests schaffte das beste Modell nur 3 %.
- Die meisten anderen Modelle lagen bei 0 % bis 1 %.
Die Analogie: Stellen Sie sich vor, Sie fragen einen Genie, der jedes Buch in der Bibliothek gelesen hat, nach einem spezifischen Wort, das mit unsichtbarer Tinte auf einer Seite geschrieben wurde. Das Genie mag das Konzept des Wortes kennen, aber es kann die Tinte auf der Seite nicht sehen. Es „halluziniert“ Antworten, anstatt die Wahrheit zu sehen.
3. Warum scheiterte die KI?
Das Paper legt nahe, dass die KI nicht „dumm“ ist, sondern eine spezifische Schwachstelle hat:
- Zu viel Fokus auf das „Große Ganze“: Diese KIs sind darauf trainiert, die Bedeutung eines Bildes zu verstehen (z. B. „Das ist eine Katze, die auf einer Matte sitzt“). Sie sind so gut im Großen und Ganzen, dass sie die winzigen, chaotischen Details (die spezifischen Farben und Formen der Punkte) ignorieren.
- Verlassen auf Raten: Wenn die KI die Punkte nicht sehen kann, versucht sie, basierend auf Sprachmustern zu raten. Es ist wie ein Schüler, der die Matheaufgabe nicht lösen kann, aber eine Antwort rät, weil sie so klingt wie etwas, das er schon einmal gehört hat.
- Der „Zusammenzucken“-Effekt: Interessanterweise wurde ein KI-Modell sogar besser, als die Forscher die Bilder unscharfer machten (niedrigere Auflösung). Es scheint, als bräuchte die KI das „Rauschen“, um die Form zu erraten, anstatt die Details tatsächlich zu sehen.
4. Der „Zaubertrick“, der nicht funktionierte
Die Forscher versuchten, der KI beizubringen, wie man diesen Test macht:
- Beispiele zeigen: Sie zeigten der KI zuerst einige Beispiele des Rätsels. Es half nicht.
- Feinabstimmung (Fine-Tuning): Sie versuchten, die KI speziell auf diese Rätsel zu trainen. Es half nicht. Tatsächlich vergaß die KI dadurch sogar, wie man einfachen Text liest!
Das Fazit: Das Problem ist nicht, dass der KI nicht genug beigebracht wurde; das Problem liegt wahrscheinlich darin, wie die KI aufgebaut ist. Es ist, als würde man versuchen, einem Fisch das Baumklettern beizubringen, indem man ihm mehr Bücher über das Klettern gibt. Der Fisch (die KI) ist einfach nicht für diese Art des Sehens gebaut.
Warum ist das wichtig?
Das Paper argumentt, dass wir diesen KIs in Situationen, in denen klares Sehen entscheidend ist, nicht vertrauen können.
- Wenn eine KI ein Auto fährt, muss sie einen feinen Riss in der Windschutzscheibe oder ein kleines Schild im Regen sehen, anstatt nur zu „raten“, dass dort eine Straße ist.
- Wenn eine KI medizinische Scans analysiert, muss sie eine winzige Anomalie erkennen können, anstatt nur die allgemeine Form des Organs zu beschreiben.
Kurz gesagt: Diese KI-Modelle sind exzellente Geschichtenerzähler und verstehen Konzepte sehr gut, aber sie sind derzeit schrecklich in der feingliedrigen Sicht (fine-grained vision). Sie sind wie eine Person, die ein Gemälde perfekt beschreiben kann, aber die versteckte Signatur in der Ecke nicht findet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.