MindSet: Vision. A toolbox for testing DNNs on key psychological experiments

Das Paper stellt „MindSet: Vision" vor, ein Werkzeugkasten aus manipierten Bilddatensätzen und Skripten, der entwickelt wurde, um Deep-Learning-Modelle systematisch anhand von 30 psychologischen Befunden zur menschlichen visuellen Wahrnehmung und Objekterkennung zu testen.

Das Wesentliche

Stell dir vor, du hast einen sehr schlauen Roboter namens „Künstliche Intelligenz" (KI). Dieser Roboter ist ein Meister darin, Bilder zu erkennen. Wenn du ihm ein Foto von einer Katze zeigst, sagt er sofort: „Das ist eine Katze!" Er ist so gut darin, dass viele Forscher denken: „Wow, dieser Roboter sieht die Welt genau so wie wir Menschen."

Aber das Paper „MindSet: Vision" von Valerio Biscione und seinem Team sagt: „Halt! Nicht so schnell. Wir haben einen neuen Test entwickelt, um zu prüfen, ob dieser Roboter wirklich menschlich sieht oder ob er nur Tricks benutzt."

Hier ist die einfache Erklärung, was sie gemacht haben:

1. Das Problem: Der Roboter ist ein „Betrüger"

Bisher haben Forscher die KI oft mit normalen Fotos getestet (wie in einem Fotoalbum). Die KI lernt dabei Muster.

• Die menschliche Sicht: Wir erkennen eine Katze, weil wir ihre Form, ihre Ohren und ihre Schnurrhaare verstehen.
• Die KI-Sicht: Die KI lernt oft nur die „Textur". Sie denkt vielleicht: „Ah, das Bild hat viel Fell und ist grau, also ist es eine Katze."

Das ist wie bei einem Schüler, der für einen Test nur die Antworten auswendig gelernt hat, aber das Fach nicht wirklich versteht. Wenn man die Fragen ein wenig verändert, fällt er durch. Bisherige Tests haben diese „Veränderungen" aber nicht gemacht.

2. Die Lösung: Der „MindSet"-Werkzeugkasten

Das Team hat einen riesigen digitalen Werkzeugkasten (eine Toolbox) gebaut. Dieser Kasten enthält 30 verschiedene „Zaubertricks" aus der Psychologie, die wir Menschen seit Jahrzehnten kennen.

Stell dir vor, du hast einen Spiegel, der nicht nur dein Gesicht zeigt, sondern auch, wie dein Gehirn auf bestimmte Dinge reagiert. Der Werkzeugkasten enthält Bilder, die genau diese Tricks nutzen:

• Die Täuschungen (Optische Täuschungen):
  • Beispiel: Die Müller-Lyer-Illusion. Zwei Linien sind gleich lang, aber weil an den Enden Pfeile nach innen oder außen zeigen, sieht eine Linie für uns Menschen länger aus.
  • Der Test: Zeigt man das der KI? Die meisten KIs sehen die Linien als gleich lang. Sie werden nicht getäuscht. Das bedeutet: Sie sehen nicht so wie wir.
• Die „Versteck-Spiele" (Verdeckte Objekte):
  • Beispiel: Ein Hund steht hinter einem Zaun. Wir sehen nur den Kopf und den Schwanz, aber unser Gehirn „füllt" den Körper automatisch im Kopf aus (das nennt man amodale Vervollständigung).
  • Der Test: Die KI sieht oft nur die Teile, die sie sieht, und erkennt den Hund nicht als Ganzes.
• Die „Textur-Falle":
  • Beispiel: Man nimmt ein Bild von einem Apfel und füllt es mit kleinen Sternen oder Buchstaben. Für uns ist es immer noch ein Apfel, weil wir die Form erkennen.
  • Der Test: Die KI ist oft verwirrt. Sie sieht nur die Sterne und denkt, es sei ein Haufen Sterne, kein Apfel.

3. Wie funktioniert der Test?

Statt nur zu fragen: „Was siehst du?", nutzen die Forscher drei verschiedene Methoden, um tief in den Kopf der KI zu schauen:

1. Der Ähnlichkeits-Test: Die KI schaut sich zwei Bilder an. Wie ähnlich sind die „Gedanken" (die inneren Daten) der KI für diese Bilder? Wenn die KI wie ein Mensch denkt, sollten ähnliche Bilder auch ähnliche „Gedanken" auslösen.
2. Der Detektiv-Test (Decoder): Die Forscher bauen einen kleinen „Spion" (einen Decoder) an die KI an. Dieser Spion versucht zu erraten, was die KI gerade sieht. Wenn die KI getäuscht wird (wie beim optischen Täuschungstest), macht der Spion denselben Fehler wie ein Mensch.
3. Der „Außerhalb-des-Regelwerks"-Test: Die KI wird auf Bildern getestet, die sie nie gesehen hat (z. B. nur Strichzeichnungen statt Fotos). Menschen erkennen diese sofort. KIs haben oft große Probleme damit.

4. Was haben sie herausgefunden?

Das Team hat 15 verschiedene, sehr fortschrittliche KIs getestet. Das Ergebnis war ernüchternd, aber wichtig:

• Die KIs sind keine perfekten Nachahmer: Obwohl sie auf normalen Tests (wie Brain-Score) sehr gut abschneiden, scheitern sie oft an den psychologischen Tricks.
• Sie sehen anders: KIs verlassen sich viel zu sehr auf Texturen und Details, während Menschen die Form und die Beziehung zwischen Teilen eines Objekts verstehen.
• Keine Illusionen: Die meisten KIs werden nicht von optischen Täuschungen getäuscht. Ein Mensch sieht die Linien unterschiedlich lang, die KI misst sie mathematisch und sieht sie als gleich.

5. Warum ist das wichtig?

Stell dir vor, du willst einen Roboter bauen, der wie ein Mensch autonom Auto fährt. Wenn der Roboter nur auf Textur reagiert und nicht auf die Form eines Hindernisses, könnte er in Gefahr geraten.

Das Paper sagt: „Wir müssen die KIs härter testen."
Bisher haben wir die KIs nur auf „sanften" Tests geprüft. Mit dem MindSet: Vision-Werkzeugkasten können wir nun sehen, wo die Kls wirklich schwach sind. Nur wenn wir ihre Schwächen kennen, können wir sie so verbessern, dass sie wirklich wie Menschen sehen und verstehen.

Zusammenfassend:
Die Autoren haben einen neuen, cleveren Test entwickelt, der wie ein psychologisches Labyrinth für Computer ist. Sie haben gezeigt, dass unsere heutigen KI-Modelle zwar super gute „Musterzähler" sind, aber noch keine echten „Seher", die die Welt so verstehen, wie wir es tun. Dieser Werkzeugkasten hilft uns, die nächsten Generationen von KIs zu bauen, die uns wirklich ähnlich sehen.

Technische Zusammenfassung

1. Problemstellung

Trotz des Erfolgs von Deep Neural Networks (DNNs) als State-of-the-Art-Modelle für die Objekterkennung und ihrer hohen Leistung auf bestehenden Benchmarks (wie Brain-Score) besteht eine kritische Lücke in der Validierung dieser Modelle gegenüber der menschlichen visuellen Wahrnehmung.

• Beobachtungscharakter bestehender Benchmarks: Die meisten aktuellen Benchmarks basieren auf beobachtenden Daten (natürliche Bilder), bei denen Modelle trainiert werden, um menschliche Fehler oder Gehirnaktivitäten vorherzusagen. Es wird selten versucht, spezifische Hypothesen über wie Vision funktioniert durch experimentelle Manipulationen zu testen.
• Verwechslung von Merkmalen (Confounds): DNNs können auf diesen Datensätzen gute Ergebnisse erzielen, indem sie Merkmale nutzen, die für das menschliche Gehirn irrelevant sind (z. B. Textur statt Form), da diese Merkmale in natürlichen Bildern oft korreliert sind.
• Fehlende „Severe Tests": Die psychologische Literatur bietet zahlreiche Experimente, die spezifische Hypothesen über menschliche Vision testen (z. B. durch Manipulation unabhängiger Variablen), doch diese werden in der DNN-Forschung oft ignoriert. Ohne diese strengen Tests (die dazu dienen, Modelle zu widerlegen, wenn sie falsch sind) werden oft oberflächliche Ähnlichkeiten als Beweis für eine echte biologische Ähnlichkeit fehlinterpretiert.

2. Methodik und Ansatz

Das Paper stellt MindSet: Vision vor, ein Open-Source-Toolbox, das darauf abzielt, DNNs systematisch an 30 psychologischen Experimenten zu testen, die bekannte visuelle Phänomene abdecken.

Die Toolbox besteht aus drei Hauptkomponenten:

1. Datensätze: 30 parametrisierbare Bild-Datensätze, die psychologische Phänomene aus den Bereichen niedrige/mittlere Vision (Gestalt-Prinzipien, visuelle Illusionen) und Objekterkennung abdecken. Die Stimuli sind so konstruiert, dass sie spezifische Hypothesen testen (z. B. durch „Scrambling" von Illusionen, um Decoder zu trainieren).
2. Generierungsskripte: Code zur regenerierbaren Erstellung der Datensätze mit konfigurierbaren Parametern (Bildgröße, Hintergrund, Anzahl der Proben etc.), um die Flexibilität für verschiedene Forschungsfragen zu erhöhen.
3. Testmethoden: Skripte zur Evaluierung von DNNs mittels drei verschiedener Ansätze:
   • Similarity Judgment Analysis: Vergleich der Aktivierungsmuster (Cosine-Similarity) von Bildpaaren in verschiedenen Netzwerkschichten, um zu prüfen, ob DNNs Ähnlichkeitsurteile wie Menschen treffen.
   • Decoder Approach: Anbringen eines kleinen linearen Decoders an die Schichten eines eingefrorenen DNNs, um zu testen, ob spezifische Informationen (z. B. Größe eines Objekts in einer Illusion) kodiert sind. Dies dient als „Probe" für die interne Repräsentation.
   • Out-of-Distribution (OOD) Classification: Testen von Modellen, die auf ImageNet trainiert wurden, auf stark veränderten Bildern (z. B. Strichzeichnungen, Silhouetten), die für Menschen leicht zu erkennen sind, aber für DNNs oft eine Verteilungsverschiebung darstellen.

3. Schlüsselbeiträge

• Systematische Testumgebung: Bereitstellung einer umfassenden Sammlung von 30 Experimenten, die auf etablierter psychologischer Literatur basieren und speziell darauf ausgelegt sind, DNNs auf ihre Fähigkeit hin zu testen, menschliche visuelle Mechanismen (wie Gestalt-Gruppierung, Amodal Completion, visuelle Illusionen) nachzubilden.
• Reproduzierbarkeit und Flexibilität: Im Gegensatz zu statischen Benchmarks bietet MindSet Code, um Datensätze neu zu generieren und Parameter anzupassen, was eine tiefgehende Analyse von Variablen ermöglicht.
• Brückenschlag zwischen Disziplinen: Das Tool verbindet die computergestützte Modellierung mit der experimentellen Psychologie, indem es psychologische Experimente, die unabhängige Variablen manipulieren, in den Mittelpunkt der DNN-Evaluation stellt.
• Empirische Evaluation: Die Autoren testen 15 verschiedene DNN-Architekturen (ResNet, ResNeXt, ConvNeXt, ViT, DeIT, FocalNet) auf 9 ausgewählten Experimenten der Toolbox, um die aktuellen Grenzen der Modelle aufzuzeigen.

4. Ergebnisse

Die Evaluierung der 15 Modelle auf den 9 Experimenten ergab gemischte, aber überwiegend kritische Ergebnisse:

• Erfolge (begrenzt): Einige Modelle zeigten Anzeichen für Amodal Completion (das vollständige Erkennen verdeckter Objekte) und eine gewisse Sensitivität für nicht-zufällige Eigenschaften (Non-Accidental Properties). Bei der Jastrow-Illusion zeigten einige Modelle eine menschlicheähnliche Tendenz, die untere Form als größer wahrzunehmen, allerdings oft mit unrealistisch großen Fehlermargen.
• Versagen (kritisch):
  • Visuelle Illusionen: Die meisten Modelle zeigten keine Anzeichen der Müller-Lyer-Illusion und nur gemischte Ergebnisse bei der Ebbinghaus-Illusion.
  • Relationale vs. Koordinaten-Änderungen: DNNs zeigten keine menschliche Sensitivität für relationale Änderungen zwischen Objektteilen (im Gegensatz zu reinen Positionsänderungen).
  • Out-of-Distribution: Die Klassifikationsleistung auf Strichzeichnungen, Silhouetten und texturierten Formen war deutlich schlechter als beim Menschen, was darauf hindeutet, dass DNNs stark von Textur und lokalen Merkmalen abhängig sind, während Menschen globale Formen nutzen.
  • Schichtabhängigkeit: Die Ergebnisse waren oft über die verschiedenen Schichten des Netzwerks hinweg inkonsistent. Selbst wenn ein Effekt in einer Schicht sichtbar war, fehlte er oft in anderen, was auf einen Mangel an robusten, biologisch plausiblen Repräsentationen hindeutet.

5. Bedeutung und Fazit

Das Paper unterstreicht, dass hohe Leistungen auf traditionellen Benchmarks (wie Brain-Score) nicht ausreichen, um DNNs als Modelle der menschlichen Vision zu validieren.

• Notwendigkeit strenger Tests: Um echte Fortschritte zu erzielen, müssen Modelle gegen psychologische Experimente getestet werden, die kausale Hypothesen testen und Confounds ausschließen.
• Diagnostischer Wert: Die aktuellen Misserfolge der DNNs bei diesen psychologischen Aufgaben sind nicht als Beweis für die Unbrauchbarkeit von DNNs zu werten, sondern als wertvolle Diagnose, die genau aufzeigt, wo und wie diese Modelle verbessert werden müssen, um biologische Vision besser zu simulieren.
• Zukunftsperspektive: MindSet: Vision bietet die Infrastruktur für eine neue Ära der Forschung, in der DNNs nicht nur auf Genauigkeit, sondern auf der Fähigkeit hin optimiert werden, die komplexen kognitiven Prozesse der menschlichen Wahrnehmung zu replizieren.

Zusammenfassend stellt MindSet: Vision einen Paradigmenwechsel dar: weg von rein beobachtenden Benchmarks hin zu experimentell gesteuerten, kausalen Tests, die die Lücke zwischen künstlicher und biologischer Intelligenz kritisch beleuchten.