The Illusion-Illusion: Vision Language Models See Illusions Where There Are None

Technische Zusammenfassung: Die Illusion-Illusion: Vision-Language-Modelle sehen Illusionen, wo keine sind

Problemstellung
Perzeptuelle Illusionen dienen in der Kognitionswissenschaft als diagnostische Werkzeuge, die die Lücken zwischen Realität und Erscheinung aufzeigen und dadurch zugrunde liegende mentale Verarbeitungsmechanismen beleuchten. Während die bisherige Forschung untersucht hat, ob künstliche Systeme denselben klassischen Illusionen erliegen wie Menschen, argumentiert dieses Paper, dass das Testen klassischer Illusionen unzureichend ist, um aktuelle Vision-Language-Modelle (VLMs) zu diagnostizieren. Der Autor vertritt die Auffassung, dass ein aussagekräftigeres Diagnosewerkzeug die „Illusion-Illusion“ (oder „Illusion-Illusion“) ist: Bilder, die die visuellen Merkmale einer Illusion besitzen, aber den tatsächlichen perzeptuellen Trick vermissen lassen. In diesen Fällen stimmt die visuelle Realität mit der Erscheinung überein (z. B. Linien, die tatsächlich unterschiedlich lang sind, eine Ente, die tatsächlich eine Ente ist), doch sie sind Nachbarn berühmter Illusionen. Das Kernproblem besteht darin, ob aktuelle VLMs diese „Illusion-Illusionen“ fälschlicherweise als Illusionen wahrnehmen, was ein Versagen bei der Unterscheidung zwischen echten perzeptuellen Anomalien und geradlinigen visuellen Fakten offenbaren würde.

Methodik
Die Studie verwendete ein vergleichendes Evaluierungs-Framework unter Einbeziehung von zehn repräsentativen visuellen Illusionen, die diverse perzeptuelle Phänomene abdecken (z. B. Müller-Lyer-Pfeile, Ebbinghaus-Kreise, Kanizsa-Dreiecke, Schachbrett-Schatten). Für jede klassische Illusion konstruierte der Autor drei Arten von Stimuli:

1. Die Illusion: Das Originalbild, das darauf ausgelegt ist, einen perzeptuellen Fehler hervorzurufen.
2. Die Illusion-Illusion: Eine modifizierte Version, bei der der „Trick“ entfernt wurde und die visuellen Eigenschaften literal sind (z. B. Pfeile mit tatsächlich unterschiedlichen Schaftlängen, ein klares Bild einer Ente).
3. Die Kontrolle: Vereinfachte Versionen, die dazu dienen, die grundlegende Kompetenz zu verifizieren (z. B. das Identifizieren eines einzelnen Dreiecks).

Die Evaluierung testete acht aktuelle VLMs: GPT-4o, Claude 3, Gemini Pro Vision, miniGPT, Qwen-VL, InstructBLIP, BLIP2 und LLaVA-1. Den Modellen wurden Bilder und spezifische Prompts präsentiert, die auf das Subjekt der Illusion abzielen (z. B. „Welche Linie ist länger, die blaue oder die rote?“). Eine sekundäre Bedingung beinhaltete das Voranstellen des Satzes „In der folgenden visuellen Illusion“, um den Einfluss des Kontexts zu testen.

Die Leistung wurde binär (0 oder 1) bewertet, basierend auf der Übereinstimmung mit menschenähnlichen Antworten. Für klassische Illusionen bedeutete ein Score von 1, dass die illusionäre Wahrnehmung gemeldet oder die Illusion anerkannt wurde. Für Illusion-Illusionen und Kontrollen bedeutete ein Score von 1, dass die buchstäbliche Wahrheit so gemeldet wurde, wie es ein Mensch tun würde. Der Autor merkt an, dass diese Bewertung nachsichtig ist und dazu neigt, die Leistung der Modelle eher zu übertreiben.

Wesentliche Ergebnisse
Die Ergebnisse zeigen eine signifikante Divergenz zwischen der menschlichen Wahrnehmung und den aktuellen VLM-Fähigkeiten:

• Versagen bei Illusion-Illusionen: Führende Modelle (GPT-4o, Claude 3, Gemini Pro), die klassische Illusionen erfolgreich erkennen oder melden, klassifizieren Illusion-Illusionen ebenfalls häufig fälschlicherweise als Illusionen. Wenn sie beispielsweise mit Linien konfrontiert werden, die tatsächlich unterschiedlich lang sind, behaupten diese Modelle oft, sie seien gleich lang (die Illusion imitierend) oder beschreiben sie als eine Illusion.
• Kontextuelle Fragilität: Wenn der Prompt ein Bild explizit als „visuelle Illusion“ bezeichnete, verschlechterte sich die Leistung der Top-drei-Modelle bei Illusion-Illusionen und Kontrollen erheblich. Sie meldeten diese nicht-illusorischen Bilder überwältigend als Illusionen, was darauf hindeutet, dass ihre Antworten stark durch den textuellen Prompt verzerrt werden und nicht auf visuellen Beweisen basieren.
• Kontroll-Fehlleistungen: Entgegen der Hypothese, dass Kontrollen als Baseline für die Kompetenz dienen würden, meldeten Modelle wie GPT-4o, Gemini Pro und Claude 3 häufig einfache Kontrollbilder (z. B. ein einzelnes Dreieck) als Illusionen. Dies deutet darauf hin, dass der Begriff „Illusion“ für diese Modelle auf Bilder angewendet wird, die lediglich die Kategorie der Illusion ähneln, anstatt ein spezifisches perzeptuelles Urteil darzustellen.
• Modellverhalten: Das Verhalten der Top-Modelle stimmt nicht mit einem hypothetischen „Modell B“ überein (welches Illusionen erkennen würde, aber keine Illusion-Illusionen). Stattdessen zeigen sie ein Muster, das eher einer „flachen“ Leistung oder einer Tendenz gleicht, Illusionen zu halluzinieren, wo keine vorhanden sind, insbesondere wenn sie durch das Wort „Illusion“ geprimt werden.

Zentrale Beiträge
Das Paper führt das Konzept der „Illusion-Illusionen“ als neues diagnostisches Werkzeug für künstliche Systeme ein. Durch die Invertierung der Standardverwendung von Illusionen zeigt der Autor, dass aktuelle VLMs unter einem spezifischen Fehlermuster leiden: Sie wenden das Muster der Illusionenerkennung auf Bilder an, die dies nicht rechtfertigen. Diese Arbeit hebt hervor, dass die Unfähigkeit, zwischen einer Illusion und einer Illusion-Illusion zu unterscheiden, ein tieferer Indikator für Verarbeitungsfehler ist als die bloße Fähigkeit, eine klassische Illusion zu erkennen. Die Studie liefert einen Datensatz und ein Evaluierungsprotokoll, das zeigt, dass Modelle oft versagen, ihre Antworten in der buchstäblichen visuellen Realität zu begründen, wenn der Kontext eine Illusion suggeriert.

Bedeutung und Behauptungen
Der Autor behauptet, dass diese Fehler keine bloßen Eigenheiten sind, sondern auf breitere Verarbeitungsfehler in aktuellen VLMs hindeuten. Das Paper legt nahe, dass wenn ein Modell bei einer Illusion-Illusion versagt, dies impliziert, dass das System keine tiefgründige Erkennung von „gewöhnlichem“ Input vollzieht. Stattdessen scheint das Modell eher auf ein Low-Level-Similarity-Matching mit Trainingsdaten zu setzen und die visuellen Merkmale eines Bildes mit dem Konzept einer Illusion aus seinem Trainingskorpus zu assoziieren, anstatt die spezifischen perzeptuellen Ausfälle der menschlichen Biologie zu imitieren.

Die Bedeutung dieser Arbeit liegt darin, dass sie die Annahme infrage stellt, dass die Fähigkeit eines Modells, eine Illusion zu identifizieren, beweist, dass es über ein menschenähnliches perzeptuelles Verständnis verfügt. Der Autor argumentet, dass das Erliegen unter eine Illusion ein menschliches Merkmal ist, aber das Erliegen unter eine „Illusion-Illusion“ (bei der der Trick fehlt) ein Zeichen für ein System ist, das von der Idee einer Illusion getäuscht wird und nicht von den visuellen Daten selbst. Das Paper schließt mit dem Hinweis, dass diese Fehler darauf hindeuten, dass aktuelle Systeme noch nicht robust genug sind, zwischen dem Anschein eines Problems und der Realität des Inputs zu unterscheiden – eine Einschränkung, die über Vision hinaus auf andere Modalitäten und Domänen erstreckt.