MindSet: Vision. A toolbox for testing DNNs on key psychological experiments

Dit paper introduceert de toolbox 'MindSet: Vision', een verzameling van systematisch gemanipuleerde beelddatasets en scripts die zijn ontworpen om diepe neurale netwerken te testen op 30 psychologische bevindingen over menselijk visueel waarnemen en objectherkenning.

De kern

MindSet: Vision – De "Psychologische Test" voor Computerogen

Stel je voor dat je een nieuwe sportauto bouwt. Je wilt weten of hij echt zo goed is als een menselijke coureur. Je kijkt niet alleen naar hoe snel hij een rechte weg aflegt (dat is makkelijk), maar je test hem ook op een lastig circuit met bochten, hellingen en verrassingen.

Dit is precies wat het nieuwe onderzoekspaper "MindSet: Vision" doet, maar dan voor Deep Neural Networks (DNN's) – de slimme computerprogramma's die we gebruiken voor beeldherkenning (zoals in je telefoon of bij zelfrijdende auto's).

Hier is een simpele uitleg van wat ze hebben gedaan en waarom het belangrijk is:

1. Het Probleem: De "Valse Vriendschap"

Tot nu toe hebben wetenschappers gekeken of computers net zo goed zijn als mensen door ze te laten kijken naar normale foto's (zoals een hond op een grasveld).

• Het probleem: Computers kunnen deze foto's vaak heel goed herkennen, maar ze kijken er heel anders naar dan wij.
• De analogie: Stel je voor dat je een kind leert wat een "hond" is. Als je alleen foto's van honden toont met een grasveld op de achtergrond, leert het kind misschien niet dat het een hond is, maar dat het een "hond met gras" is. Als je hem nu een hond op een witte muur laat zien, denkt hij: "Oh, dat is geen hond, want er is geen gras."
• Computers doen dit ook. Ze kijken vaak naar de textuur of de achtergrond in plaats van de vorm. Ze "slagen" de test, maar ze begrijpen het niet echt. Ze spelen het spel, maar ze spelen het niet op de manier waarop mensen het spelen.

2. De Oplossing: MindSet: Vision (De Toolbox)

De auteurs van dit paper hebben een toolbox gemaakt genaamd MindSet: Vision.

• Wat is het? Een verzameling van 30 verschillende "psychologische trucs" en experimenten die al decennia lang worden gebruikt om te testen hoe menselijke ogen en hersenen werken.
• Het doel: Ze willen deze trucs gebruiken om de computers te testen. Als een computer echt slim is (en menselijk denkt), zou hij ook in de valkuilen moeten trappen die mensen in trappen.

3. De Experimenten: De "Illusie-Test"

De toolbox bevat verschillende soorten tests, allemaal gebaseerd op hoe onze hersenen soms "gebluft" worden of hoe ze dingen automatisch invullen.

• De "Geest van de Gevulde Lijst" (Amodal Completion):
  • Mens: Als je een hond ziet die half achter een muur zit, "zien" je hersenen de hele hond. Je hersenen vullen het ontbrekende deel in.
  • Test: De toolbox laat een computer zien of hij ook die "onzichtbare" hond ziet, of dat hij alleen kijkt naar wat er echt zichtbaar is.
• De "Magische Spiegel" (Illusies):
  • Mens: Bekende illusies, zoals de Müller-Lyer pijlen (waarbij lijnen met pijltjes eruitzien als langer of korter dan ze zijn), werken bij mensen.
  • Test: De toolbox vraagt de computer: "Is deze lijn langer dan die?" Als de computer de illusie niet ziet, betekent dit dat hij op een heel andere manier kijkt dan wij.
• De "Vorm- versus Textuur-Test":
  • Mens: We herkennen een auto snel, zelfs als het alleen een zwart-wit lijntekening is.
  • Test: De toolbox laat computers kijken naar lijntekeningen, silhouetten en beelden die zijn bedekt met patronen (zoals stippen of letters). Mensen vinden dit makkelijk, maar computers hebben hier vaak enorme moeite mee.

4. Wat Vonden Ze? (De Resultaten)

De auteurs hebben 15 verschillende moderne AI-modellen getest op deze 30 experimenten. Het nieuws is niet heel bemoedigend voor de huidige AI:

• De "Valse Vriendschap" is waar: De modellen die het beste scoren op de standaard tests (zoals het herkennen van foto's van katten en auto's), falen op deze psychologische tests.
• Ze zien geen illusies: De meeste computers zien de Müller-Lyer illusie niet. Ze meten de lijn echt en zeggen: "Nee, ze zijn even lang." Mensen zeggen: "Nee, de ene is langer!"
• Ze zijn slecht in vormen: Als je een auto tekent met alleen stippen, herkent de computer het vaak niet, terwijl een kind dat wel doet.
• Ze zijn niet "relatief": Mensen zijn heel goed in het zien van veranderingen in de verhouding tussen objecten. Computers zijn daar vaak blind voor.

5. Waarom is dit belangrijk?

Dit paper is een wake-up call.

• De boodschap: Het feit dat een AI hoge cijfers haalt op standaard benchmarks (zoals Brain-Score) betekent niet dat hij "menselijk" denkt. Hij is misschien gewoon heel goed in het memoriseren van patronen, maar hij mist de diepere, menselijke manier van waarnemen.
• De toekomst: Om echte "menselijke" intelligentie te bouwen, moeten we AI niet alleen trainen op miljoenen foto's, maar we moeten ze testen op deze specifieke psychologische trucs. We moeten ze leren om te kijken naar vormen en relaties, niet alleen naar texturen en achtergronden.

Kort samengevat:
De auteurs zeggen: "Stop met kijken naar hoe snel de auto rijdt op een rechte weg. Laten we hem op een parcours met gaten en spiegels zetten. Als hij daar niet doorheen komt, is hij misschien wel snel, maar hij is nog niet echt slim."

Met MindSet: Vision hebben ze nu de kaart en de gereedschappen om die tests voor iedereen beschikbaar te maken, zodat we AI kunnen helpen om echt menselijker te worden.

Technische samenvatting

Titel: MindSet: Vision. Een toolbox voor het testen van DNN's op cruciale psychologische experimenten

1. Het Probleem

Deep Neural Networks (DNN's) worden momenteel beschouwd als de beste technische oplossingen voor objectherkenning en worden vaak gepresenteerd als de beste modellen voor menselijk visueel bewustzijn. Echter, de huidige benchmarks die worden gebruikt om DNN's te evalueren (zoals Brain-Score), zijn voornamelijk observationeel. Ze testen modellen op hun vermogen om natuurlijke beelden te classificeren of hersenactiviteit te voorspellen, zonder de stimuli systematisch te manipuleren om specifieke hypothesen over visuele verwerking te testen.

Dit benadering is problematisch omdat DNN's goede prestaties kunnen leveren op deze datasets door te vertrouwen op "confounds" (bijv. textuur in plaats van vorm), terwijl ze fundamenteel anders werken dan biologische visie. De psychologische literatuur bevat decennia aan experimenten die specifieke mechanismen van menselijke waarneming testen (bijv. illusies, Gestalt-principes), maar deze worden zelden gebruikt om DNN's streng te testen. Bestaande modellen falen vaak bij het reproduceren van deze psychologische fenomenen, maar dit wordt vaak genegeerd of niet systematisch onderzocht.

2. Methodologie

Het paper introduceert MindSet: Vision, een open-source toolbox die 30 image-datasets en bijbehorende scripts bevat, ontworpen om DNN's te testen op basis van 30 goed gerepliceerde psychologische experimenten.

De Drie Testmethoden:
Om DNN's op deze datasets te evalueren, biedt de toolbox drie methoden:

1. Out-of-Distribution (OOD) Classificatie: Een DNN, getraind op natuurlijke beelden (bijv. ImageNet), wordt getest op gemanipuleerde beelden (bijv. lijntekeningen, silhouetten) binnen dezelfde categorieën. Dit meet de robuustheid en het vormbias van het model.
2. Similarity Judgment Analysis: Het meten van de gelijkenis (Cosine Similarity of Euclidische afstand) tussen de activatiepatronen van het netwerk voor verschillende stimulus-paren. Dit wordt gebruikt om te zien of DNN's menselijke perceptuele gelijkenissen nabootsen (bijv. zijn twee objecten met een relationele verandering meer of minder vergelijkbaar dan objecten met een coördinatie-verandering?).
3. Decoder Method: Een kleine, lineaire decoder wordt getraind op de gevroren activaties van een DNN om specifieke eigenschappen te voorspellen (bijv. de grootte van een cirkel in een illusie). Als de decoder op illusoire stimuli systematisch fouten maakt die lijken op menselijke perceptie, suggereert dit dat het netwerk de illusie "ervaart".

Datasets en Categorisatie:
De 30 experimenten zijn onderverdeeld in drie hoofdcategorieën:

• Laag- en Midden-niveau Visie: Testen van Weber's Wet, Crowding/Uncrowding, Emergent Features (Gestalt), Amodal Completion (objecten herkennen achter een obstakel), en het onderscheid tussen niet-toevallige (NAP) en meetkundige (MP) eigenschappen.
• Visuele Illusies: Testen van de Müller-Lyer, Ponzo, Ebbinghaus, Jastrow, Tilt-illusie, Thatcher-effect en lichtcontrast-illusies. Hierbij worden vaak "illusoire" condities vergeleken met "scrambled" (niet-illusoire) condities.
• Vorm- en Objectherkenning: Testen van herkenning van lijntekeningen, silhouetten, getextureerde vormen, ingebedde figuren, en invariantie voor transformaties (rotatie, schaal, perspectief). Ook wordt het "Same/Different" redeneringstest opgenomen.

Experimenteel Ontwerp:
Elke dataset bevat gecontroleerde variabelen (bijv. achtergrondkleur, grootte, aantal steekproeven) en kan via configuratiebestanden (TOML) opnieuw worden gegenereerd. De auteurs testten 15 verschillende DNN-architecturen (waaronder ResNet, ResNeXt, ConvNeXt, ViT, DeIT en FocalNet) op 9 van de 30 experimenten.

3. Belangrijkste Bijdragen

• Toolbox MindSet: Vision: Een uitgebreide, open-source collectie van 30 datasets die specifiek zijn ontworpen om causale hypothesen uit de psychologie te testen, in plaats van alleen observationele prestaties.
• Reproduceerbaarheid en Flexibiliteit: De code stelt onderzoekers in staat om datasets met verschillende parameters opnieuw te genereren, waardoor de toolbox aanpasbaar is voor diverse onderzoeksvragen.
• Strenge Testprotocollen: Het introduceren van methoden (zoals de decoder-benadering voor illusies) die specifiek zijn ontworpen om te detecteren of DNN's dezelfde perceptuele fouten maken als mensen, wat een strengere test is dan standaard classificatie.
• Brug tussen Disciplines: Het paper verbindt computationele neurowetenschap met psychologische experimenten, waarbij het benadrukt dat het testen op "severe tests" (experimenten die een model waarschijnlijk zouden laten falen als het onjuist is) essentieel is voor het bouwen van betere modellen.

4. Resultaten

De test van 15 DNN's op 9 experimenten leverde gemengde tot slechte resultaten op, wat wijst op significante verschillen tussen huidige DNN's en menselijke visie:

• Succesvolle Patronen (Beperkt): Sommige netten toonden een menselijk patroon bij Amodal Completion (herkennen van een object achter een obstakel) en bij de Jastrow-illusie (waarbij de onderste boog groter lijkt dan de bovenste, hoewel ze even groot zijn). Echter, de grootte van het effect was vaak onmenselijk groot of inconsistent over de lagen van het netwerk.
• Mislukkingen:
  • Illusies: De meeste modellen toonden geen bewijs voor de Müller-Lyer-illusie en slechts gemengde resultaten voor de Ebbinghaus-illusie.
  • Relaties: DNN's waren niet gevoelig voor relationele veranderingen tussen objectonderdelen (in tegenstelling tot mensen die hier zeer gevoelig voor zijn).
  • Vormherkenning: Netwerken presteerden slecht bij het herkennen van lijntekeningen, silhouetten en getextureerde vormen (Out-of-Distribution), terwijl mensen dit moeiteloos doen.
  • 3D Structuur: DNN's slaagden er niet in om 3D-structuur uit 2D-beelden af te leiden zoals mensen dat doen (geen verschil in discriminatie tussen 3D- en 2D-features).
• Decoder Resultaten: De decoders die werden getraind om eigenschappen te voorspellen, generaliseerden vaak slecht naar testcondities en produceerden fouten die niet overeenkwamen met menselijke perceptie, wat suggereert dat de interne representaties fundamenteel anders zijn.

5. Betekenis en Conclusie

De studie concludeert dat het succes van DNN's op bestaande benchmarks (zoals Brain-Score) niet betekent dat ze menselijke visie accuraat modelleren. Het feit dat ze falen op deze psychologische "severe tests" ondermijnt niet de waarde van DNN's, maar benadrukt dat er nog veel werk te verrichten is om modellen te bouwen die de mechanica van biologische visie echt nabootsen.

Kernboodschap:
Om echt te begrijpen hoe menselijke intelligentie werkt, moeten DNN's niet alleen worden getest op hun classificatievermogen op natuurlijke beelden, maar systematisch worden onderworpen aan de gecontroleerde experimenten uit de psychologie. MindSet: Vision biedt de infrastructuur om deze strenge tests uit te voeren, waardoor onderzoekers de sterke en zwakke punten van huidige modellen kunnen identificeren en gerichte verbeteringen kunnen doorvoeren. De auteurs pleiten voor een verschuiving van het maximaliseren van correlatie op observationele datasets naar het testen van causale mechanismen via psychologische experimenten.