How Well Does GPT-4o Understand Vision? Evaluating Multimodal Foundation Models on Standard Computer Vision Tasks
Diese Arbeit bewertet führende multimodale Fundamentmodelle wie GPT-4o anhand standardisierter Computer-Vision-Aufgaben unter Verwendung eines neuartigen Prompt-Chaining-Rahmens und zeigt, dass diese zwar als respektable Generalisten mit starker semantischer Verständigungsfähigkeit dienen, bei geometrischen Aufgaben jedoch weiterhin hinter spezialisierten Modellen zurückbleiben und spezifische Fehlermodi aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben eine Gruppe unglaublich intelligenter, gut gebildeter Bibliothekare (die Multimodalen Grundmodelle oder MFMs, wie GPT-4o, Gemini und Claude). Diese Bibliothekare haben fast jedes Buch im Internet gelesen und können ein Bild in wunderschönen, poetischen Details beschreiben. Sie sind berühmt dafür, Fragen wie „Was passiert auf diesem Foto?" oder „Schreiben Sie eine Geschichte über diesen Hund" zu beantworten.
Aber die Forscher der EPFL stellten eine andere Frage: „Können diese Bibliothekare tatsächlich die Arbeit eines professionellen Fotografen oder eines 3D-Architekten leisten?"
Um das herauszufinden, ließen sie die Bibliothekare nicht nur plaudern; sie unterzogen sie einer Reihe strenger, technischer Prüfungen, die normalerweise spezialisierten Computervision-Robotern vorbehalten sind. Hier ist, wie sie es taten und was sie herausfanden, einfach erklärt.
Die Herausforderung: Das „Nur-Text"-Problem
Das Hauptproblem ist, dass diese KI-Modelle darauf trainiert sind, zu sprechen, nicht zu zeichnen oder zu messen. Wenn Sie einen Standard-Vision-Roboter bitten, „die Katze zu finden", zeichnet er einen Kasten um sie herum. Wenn Sie eine textbasierte KI bitten, sagt sie vielleicht: „Ich sehe eine Katze."
Um sie fair zu testen, erfanden die Forscher ein Übersetzungsspiel namens „Prompt Chaining" (Verketten von Aufforderungen).
- Die Analogie: Stellen Sie sich vor, Sie sind blind und müssen ein bestimmtes Buch in einer riesigen Bibliothek finden. Sie können nicht sehen, aber Sie können einem Führer Fragen stellen.
- Die Methode: Anstatt die KI zu bitten, „einen Kasten um die Katze zu zeichnen" (was sie von Natur aus nicht kann), zerlegten die Forscher die Aufgabe in winzige, textbasierte Schritte. Sie fragten die KI: „Ist in der oberen linken Ecke eine Katze?" „Nein." „Ist in der Mitte eine Katze?" „Ja." Dann: „Ist sie in der oberen Hälfte der Mitte?" „Ja."
- Indem sie diese winzigen „Ja/Nein"-Fragen verketten, erstellt die KI schließlich eine Karte davon, wo sich das Objekt befindet, und zeichnet effektiv einen Kasten oder eine Maske allein durch Text. Dies ermöglichte den Forschern, die „Redner" gegen die „Macher" (Spezialmodelle) bei exakt denselben Aufgaben zu vergleichen.
Die Prüfung: Was testeten sie?
Die Forscher gaben den Modellen sechs verschiedene Arten von Tests, die von einfach bis sehr schwer reichten:
- Klassifizierung: „Was ist das?" (Wie das Identifizieren eines Zebras).
- Objekterkennung: „Wo ist das Zebra?" (Ein Kasten darum herum zeichnen).
- Segmentierung: „Welche Pixel gehören zum Zebra?" (Das Zebra perfekt einfärben).
- Gruppierung: „Wenn ich auf das Ohr des Zebras tippe, welche anderen Pixel gehören zum selben Zebra?"
- Tiefenvorhersage: „Welcher Teil des Bildes ist näher an der Kamera?" (Erstellen einer 3D-Entfernungskarte).
- Oberflächennormalen: „In welche Richtung zeigt die Oberfläche?" (Zeigt diese Wand nach links, rechts, oben oder unten?).
Die Ergebnisse: Der „Generalist" vs. der „Spezialist"
1. Sie sind großartige „Generalisten", aber keine „Spezialisten".
Die KI-Modelle schnitten für Generalisten überraschend gut ab. Sie konnten Objekte identifizieren und die allgemeine Szene besser verstehen als zufälliges Raten. Dennoch hinken sie den spezialisierten Robotern, die speziell für diese Jobs gebaut wurden, immer noch deutlich hinterher.
- Analogie: Die KI ist wie ein brillanter Hausarzt, der ein wenig von allem weiß. Die Spezialmodelle sind wie Neurochirurgen. Der Generalist kann Kopfschmerzen diagnostizieren, aber er kann keine Gehirnoperation so gut durchführen wie der Chirurg.
2. Die „Semantische" vs. „Geometrische" Lücke
Die Modelle waren bei semantischen Aufgaben (zu verstehen, was Dinge sind) viel besser als bei geometrischen Aufgaben (zu verstehen, wo Dinge im 3D-Raum sind).
- Sie konnten Ihnen leicht sagen: „Das ist ein Zebra."
- Sie hatten Schwierigkeiten, Ihnen zu sagen: „Dieses Zebra ist 5 Meter entfernt und sein Rücken zeigt leicht nach links."
- Analogie: Sie sind großartig darin, die Handlung eines Films zu beschreiben, aber schrecklich darin, das Szenenbild zu zeichnen oder die Physik der Explosionen zu berechnen.
3. Das Problem der „Unschärfe"
Als die Forscher versuchten, die KI zu veranlassen, präzise Umrisse zu zeichnen, hatten die Modelle oft Schwierigkeiten mit feinen Details. Es war, als hätten sie „unscharfe Sicht".
- Um dies zu beheben, mussten die Forscher der KI „herangezoomte" Ausschnitte des Bildes geben (wie durch eine Lupe schauend), um ihr zu helfen, die Kanten klar zu sehen. Ohne diese Hilfe waren die Umrisse der KI unordentlich.
4. Die „Reasoning"-Modelle verändern das Spiel
Die Studie testete eine neue Art von KI, die „Reasoning Models" (wie o1, o3 und o4-mini). Diese Modelle nehmen sich extra Zeit zum „Nachdenken", bevor sie antworten.
- Das Ergebnis: Diese denkenden Modelle waren bei den schwierigen 3D-Geometrie-Aufgaben (Tiefe und Oberflächennormalen) viel besser als die Standardmodelle. Sie schienen Logik zu verwenden, um räumliche Beziehungen herauszufinden, während die Standardmodelle nur basierend auf Mustern raten.
5. Das Problem der „Halluzinationen"
Als die Forscher das neueste GPT-4o testeten, das tatsächlich Bilder generieren (Zeichnungen erstellen) kann, anstatt nur zu sprechen, stellten sie fest, dass es anfällig für Halluzinationen ist.
- Analogie: Wenn Sie es bitten, „das Zebra zu zeichnen", könnte es ein Zebra zeichnen, aber es könnte auch versehentlich ein Einhornhorn hinzufügen oder die Beine des Zebras an die falsche Stelle setzen. Die Bildgenerierung ist vielversprechend, aber derzeit für präzise Aufgaben unzuverlässig.
Das Fazit
Die Studie kommt zu dem Schluss, dass diese massiven KI-Modelle zwar beeindruckende „Generalisten" sind, die die Bedeutung eines Bildes verstehen können, aber noch nicht bereit sind, die spezialisierten Werkzeuge zu ersetzen, die von Ingenieuren und Wissenschaftlern für präzise Messungen und 3D-Rekonstruktionen verwendet werden.
Allerdings zeigen die „Reasoning"-Modelle die ersten Anzeichen dafür, diese Lücke zu schließen, was darauf hindeutet, dass, während KI lernt, tiefer zu „denken", ihre Fähigkeit, die physische 3D-Welt zu verstehen, beginnt, mit ihrer Fähigkeit, Sprache zu verstehen, Schritt zu halten.
Wichtiger Hinweis: Die Forscher betonen, dass ihre „Prompt Chaining"-Methode ein Testwerkzeug ist, keine praktische Möglichkeit, diese Modelle im echten Leben einzusetzen. Es ist wie das Benutzen eines Lineals, um die Größe eines Modells zu messen; es ist eine Möglichkeit, eine Zahl zu erhalten, aber man würde kein Lineal verwenden, um ein Haus zu bauen. Das Ziel war einfach zu sehen, wie gut diese Modelle wirklich sind, und die Antwort lautet: „Sehr gut darin, über Bilder zu sprechen, aber lernt immer noch, wie man sie misst."
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.