Spatial Colour Mixing Illusions as a Perception Stress Test for Vision-Language Models

Diese Studie zeigt, dass Vision-Language-Modelle bei räumlichen Farbmischungs-Verzerrungen signifikant schlechter abschneiden als Menschen und dass eine menschenähnliche Vorverarbeitung die Robustheit dieser Modelle verbessern kann.

Das Wesentliche

Das große Missverständnis: Wenn KI auf optische Täuschungen hereinfällt

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der Bilder sehen und beschreiben kann. Er hat Millionen von Büchern gelesen und ist in Tests oft besser als Menschen. Aber dieser Roboter hat eine seltsame Schwäche: Er ist wie ein Mensch, der niemals die Brille absetzt und niemals einen Schritt zurücktritt, um etwas aus der Ferne zu betrachten.

Die Forscher aus Rumänien und der Schweiz haben genau das untersucht. Sie haben einen neuen Test entwickelt, den sie „Spatial Colour Mixing" (Räumliche Farbmischung) nennen.

1. Der Test: Ein Bild, das flackert wie ein alter Fernseher

Stellen Sie sich ein Foto eines Hundes vor. Normalerweise erkennen Sie ihn sofort. Jetzt nehmen die Forscher dieses Foto und überlagern es mit einem feinen, gestreiften Muster aus Farben (wie ein Raster oder Streifen).

• Für den Menschen: Wenn Sie nah an den Bildschirm gehen, sehen Sie nur bunte Streifen. Aber wenn Sie einen Schritt zurücktreten oder die Augen zusammenkneifen (wie beim „Squinting"), verschmelzen die Streifen in Ihrem Gehirn wieder zu einem klaren Bild des Hundes. Ihr Gehirn ist ein Meister darin, Lücken zu füllen und das „Große Ganze" zu sehen.
• Für die KI (VLMs): Die KI schaut sich das Bild pixelgenau an. Sie sieht nur das Chaos aus bunten Linien. Sie kann nicht „heraustreten" oder die Augen zusammenkneifen. Das Ergebnis? Die KI ist sich zu 100 % sicher, aber sie sagt völlig Unsinn. Statt „Hund" sagt sie vielleicht „Ein Hund ist ein Künstler" oder „Das ist eine Statue der Freiheit".

2. Das Experiment: Mehr Größe hilft nicht

Die Forscher haben neun verschiedene KI-Modelle getestet – von kleinen bis zu riesigen, sehr teuren Modellen.

• Die Erkenntnis: Es macht keinen Unterschied, wie „groß" oder „stark" die KI ist. Wenn das Bild mit diesen bunten Streifen verzerrt wird, fallen alle KIs in Panik. Sie werden nicht besser, nur weil sie mehr Rechenleistung haben. Es ist, als würde man einem Menschen, der nicht lesen kann, ein dickeres Wörterbuch geben – er kann immer noch nicht lesen, wenn die Buchstaben durcheinandergewürfelt sind.

3. Der Vergleich mit Menschen

Die Forscher haben auch 61 echte Menschen getestet.

• Das Ergebnis: Die Menschen waren den KIs haushoch überlegen. Selbst bei stark verzerrten Bildern konnten die Menschen den Hund oder die Katze erkennen, sobald sie den Abstand zum Bildschirm änderten. Die KIs blieben stur bei ihrem falschen Urteil.
• Der Grund: Unser Gehirn ist darauf trainiert, Muster zu erkennen und sich auf das Wesentliche zu konzentrieren. Die KI ist darauf trainiert, jedes einzelne Pixel exakt zu analysieren. Bei diesem speziellen Trick funktioniert das exakte Analysieren eher wie ein Nachteil als wie ein Vorteil.

4. Die Lösung: Die KI muss „blinzeln" lernen

Das Spannendste an der Studie ist der Versuch, die KIs zu retten. Die Forscher haben einen einfachen Trick angewendet, den Menschen unbewusst machen:

• Sie haben die verzerrten Bilder für die KI heruntergezoomt (verkleinert) und dann wieder hochgezoomt (vergrößert).
• Der Effekt: Durch das Verkleinern verschwimmen die störenden bunten Streifen. Wenn die KI das verwaschene Bild dann wieder betrachtet, erkennt sie plötzlich wieder den Hund!
• Das Problem: Die KI weiß nicht, dass sie das tun muss. Wenn man ihr ein Werkzeug gibt, um das Bild selbst zu bearbeiten (wie einen Code-Interpreter), nutzt sie dieses Werkzeug nicht. Sie merkt nicht: „Hey, mein Bild sieht komisch aus, ich sollte es mal verwischen." Sie bleibt stur bei ihrer falschen Analyse.

Fazit in einem Satz

Diese Studie zeigt, dass unsere aktuellsten KI-Modelle zwar sehr klug wirken, aber in ihrer Art zu „sehen" noch sehr starr sind. Sie können nicht wie Menschen „heraustreten" oder die Augen zusammenkneifen, um ein verzerrtes Bild zu verstehen. Um robuster zu werden, müssen wir ihnen beibringen, ihre eigene Wahrnehmung zu hinterfragen und einfache Tricks (wie das Verwischen von Details) anzuwenden, bevor sie eine Antwort geben.

Kurz gesagt: Die KI ist wie ein Detektiv, der sich so sehr auf die einzelnen Fasern eines Teppichs konzentriert, dass er den ganzen Teppich nicht mehr sieht. Wenn wir ihr aber helfen, einen Schritt zurückzutreten, sieht sie das Bild wieder klar.

Technische Zusammenfassung

1. Problemstellung

Vision-Language-Modelle (VLMs) erzielen zwar beeindruckende Ergebnisse in Standard-Benchmarks, zeigen jedoch systematische Schwächen in der visuellen Wahrnehmung. Selbst kleine oder strukturierte Änderungen an den Pixelwerten eines Bildes können zu selbstbewussten, aber nonsensischen Vorhersagen führen, obwohl die Szene für Menschen leicht erkennbar bleibt.

Das zentrale Problem ist die Diskrepanz zwischen menschlicher und maschineller Wahrnehmung:

• Menschliche Wahrnehmung: Ist ein aktiver, konstruktiver Prozess, der stark von Vorwissen und Kontext abhängt. Menschen können Objekte auch bei starken Verzerrungen (z. B. durch „Zurücktreten" oder „Zwinkern", was hochfrequente Details reduziert) identifizieren.
• Maschinelle Wahrnehmung: VLMs optimieren ihre Verlustfunktionen (z. B. Kontrastverluste) und sind oft anfällig für niedrigfrequente Muster oder hochfrequente Störungen, die für Menschen irrelevant sind.

Bisherige Evaluierungen mittels optischer Täuschungen leiden oft unter Confoundern wie Internet-Memorierung, sprachlichen Einschränkungen durch Multiple-Choice-Fragen oder unkontrollierten Datenquellen. Es fehlt an einer systematischen, programmatisch erzeugbaren Methode, um die Robustheit der visuellen Wahrnehmung isoliert von der semantischen Sprache zu testen.

2. Methodik

Spatial Colour Mixing (Räumliche Farbmischung)

Die Autoren führen eine kontrollierte Familie von Farbverzerrungen ein, die auf dem Prinzip der räumlichen Farbmischung basieren. Dabei werden strukturierte Muster (Streifen oder Gitter) über natürliche Bilder gelegt, die die Pixelwerte stark verändern, aber den semantischen Inhalt für Menschen erhalten.

• Systeme: Es werden zwei Farbsysteme verwendet: RGB und Ostwald.
• Varianten: Insgesamt 8 verschiedene Transformationen wurden entwickelt:
  • RGB-Varianten (5): SCMix-1 bis SCMix-3B und SCMix-6 (z. B. vertikale Streifen in RGB, R+G/B, oder proportionale Streifen basierend auf der Farbhäufigkeit).
  • Ostwald-Varianten (3): Ostwald RGB, Ostwald Checker und Ostwald Random (basierend auf der Zerlegung von Farben in Schwarz, Weiß und Farbton).
• Parametrisierung: Jeder Illusionstyp kann durch einen „Verzerrungsgrad" (distortion degree) parametrisiert werden, der die Breite der Streifen oder die Gittergröße bestimmt. Dies ermöglicht eine systematische Stress-Testung ohne Änderung des Bildinhalts.

Experimentelles Setup

• Modelle: Evaluation von 9 VLMs aus drei Familien (Gemma3, LLaVA, Qwen3) mit unterschiedlichen Skalierungen (z. B. 4B bis 34B Parameter).
• Datensätze: Vier Datensätze mit unterschiedlichen Prompting-Strategien:
  1. Animals: Klassifizierung von Tieren (Multiple Choice).
  2. Artworks: Identifikation von Künstlern (Open-Ended).
  3. Landmarks: Identifikation von Wahrzeichen (Open-Ended).
  4. MME: Ein etablierter Benchmark mit Ja/Nein-Fragen.
• Human Study: Eine Studie mit 61 Teilnehmern auf dem „Animals"-Datensatz, um den Vergleich zwischen menschlicher und maschineller Robustheit zu quantifizieren.
• Preprocessing-Strategie: Untersuchung menschlich inspirierter Vorverarbeitungsschritte (Downscaling gefolgt von Bilinear-Upscaling und Box-Blur), um die Wirkung von „Zurücktreten" und „Zwinkern" zu simulieren.

3. Wichtige Beiträge

1. Neue Stress-Test-Familie: Einführung einer kontrollierten Familie von „Spatial Colour Mixing"-Verzerrungen (8 Varianten), die programmatisch auf beliebige Bilder angewendet werden können, um die Wahrnehmungsrobustheit zu testen.
2. Umfassende Evaluation: Systematische Bewertung von 9 VLMs über vier Datensätze hinweg, wobei die Genauigkeit in Abhängigkeit von der Intensität der Farbverzerrung gemessen wird.
3. Human-in-the-Loop Vergleich: Durchführung einer Human-Studie, die einen signifikanten Leistungsabfall bei VLMs im Vergleich zu Menschen unter denselben Verzerrungen aufzeigt.
4. Analyse von Gegenmaßnahmen: Demonstration, dass einfache Vorverarbeitungsschritte (Low-Pass-Filtering) die Leistung teilweise wiederherstellen können, während die bloße Verfügbarkeit von Code-Interpretation-Tools (Tool-Use) das Problem nicht löst, da Modelle nicht erkennen, wann ihre Wahrnehmung unzuverlässig ist.

4. Ergebnisse

• Leistungsabfall: Die Genauigkeit der VLMs bricht bereits bei geringen Verzerrungsstärken drastisch ein. Selbst Modelle, die im ungestörten Fall fast perfekte Ergebnisse erzielen (z. B. bei Tieren), sinken auf ca. 50 % oder darunter.
• Skalierung hilft nicht: Das Skalieren des Sprachmodells (z. B. von 4B auf 27B Parameter) mildert das Versagen nicht zuverlässig. Die Leistung variiert stärker abhängig von der Modellfamilie (und damit dem gewählten Vision-Encoder) als von der Größe des Sprachmodells.
  • Beispiel: LLaVA zeigt sich robuster, während Gemma3 und Qwen3 bei bestimmten Illusionstypen auf 0 % Genauigkeit fallen.
• Mensch vs. Maschine: Menschen sind deutlich robuster gegenüber diesen Illusionen. Die menschliche Leistung degradiert viel langsamer mit zunehmender Verzerrung.
• Qualitative Fehler: VLMs produzieren nicht nur falsche Antworten, sondern oft nonsensische Ausgaben (z. B. Nennung eines Tieres als Künstler) oder erkennen die Illusion nicht, sondern beschreiben das Bild fälschlicherweise als „pixelig".
• Effekt der Vorverarbeitung:
  • Aggressives Low-Pass-Filtering (Downscale-Upscale mit Faktor 8x oder Blur) kann die Genauigkeit bei bestimmten Illusionstypen (z. B. Ostwald Checker) um über 30 % wiederherstellen.
  • Bei komplexen Streifenmustern (z. B. SCMix-3A) bringt dies wenig, da die Muster durch einfache Mittelwertbildung nicht eliminiert werden.
• Tool-Use Limitierung: Ein Test mit gpt-5-mini und Code-Interpreter zeigte, dass die Verfügbarkeit von Tools die Leistung nicht verbessert. Das Modell erkennt nicht autonom, wann es die Vorverarbeitung anwenden sollte.
• Encoder-Analyse: Die Analyse der Embeddings (Cosine-Similarity) zeigt, dass die Wahl des Vision-Encoders entscheidender ist als dessen Größe. Encoder, die auf DINOv3 basieren, zeigen eine stärkere Sensitivität gegenüber den Verzerrungen (die Ähnlichkeit sinkt mit der Verzerrung), während CLIP/SigLIP-Encoder oft eine hohe, aber irreführende Ähnlichkeit beibehalten.

5. Bedeutung und Fazit

Das Paper demonstriert, dass aktuelle VLMs in ihrer visuellen Wahrnehmung fundamental anders funktionieren als Menschen und anfällig für spezifische, strukturelle Farbverzerrungen sind. Das reine Skalieren von Modellen löst dieses Problem nicht.

Schlussfolgerungen und Implikationen:

• Perzeptionsbewusste Vorverarbeitung: Einfache, menschlich inspirierte Filter (wie Unschärfe oder Skalierung) sind praktische Strategien, um die Robustheit von VLMs zu erhöhen.
• Hybride Encoder-Architekturen: Da DINOv3-Features sensibler auf strukturelle Störungen reagieren, könnte die Kombination von semantischen Encodern (CLIP/SigLIP) mit perzeptiven Encodern (DINOv3) die Robustheit verbessern.
• Unsicherheitsbewusstsein: Ein kritisches Defizit ist die Unfähigkeit der Modelle, ihre eigene Unsicherheit bei verzerrten Eingaben zu erkennen und automatisch Gegenmaßnahmen (Tools) zu ergreifen. Zukünftige Forschung sollte sich auf Mechanismen zur unsicherheitsbewussten Tool-Nutzung konzentrieren.

Dieser Ansatz bietet einen neuen, kontrollierten Weg, um die Grenzen der visuellen Wahrnehmung von KI-Modellen zu verstehen und zu überwinden, indem er die Lücke zwischen menschlicher und maschineller Perzeption quantitativ misst.