Reassessing Number-Detector Units in Convolutional Neural Networks

Dit onderzoek toont aan dat gespecialiseerde nummervolledige eenheden niet essentieel zijn voor de representatie van getalwaarneming in CNN's, aangezien pruning aantoont dat deze eenheden niet cruciaal zijn voor het verklaren van gedragsmatige overeenkomsten.

De kern

De Kernvraag: Hoe "tellen" computers?

Stel je voor dat je een computer leert kijken. We hebben al lang ontdekt dat kunstmatige neurale netwerken (CNN's) heel goed zijn in het herkennen van objecten, zoals een hond of een auto. Maar wat gebeurt er als je ze een plaatje laat zien met veel dingen? Bijvoorbeeld een bosje bomen of een groepje vogels? Kunnen ze dan het aantal (de 'numerositeit') zien zonder te tellen?

In de menselijke hersenen zijn er speciale cellen gevonden die reageren op specifieke aantallen. Wetenschappers noemen deze "numerus-neuronen". Het idee was dat computers ook zulke speciale "teller-eenheden" zouden moeten hebben om goed te kunnen tellen.

Het Experiment: De "Teller" op de proef

De onderzoekers van dit artikel wilden weten: Zijn die speciale 'teller-eenheden' in de computer echt nodig om het aantal te begrijpen?

Ze gebruikten een slim computermodel genaamd CORnet, dat is opgebouwd zoals het visuele systeem van een aap (met lagen die lijken op V1, V2, V4 en IT in de hersenen). Ze trainden dit model op drie manieren:

1. Met willekeurige instellingen (nog niets geleerd).
2. Met duizenden foto's van objecten (zoals in de echte wereld).
3. Specifiek getraind om aantallen te onderscheiden.

De Probleem met de oude methode: "Iedereen telt mee"

Vroeger keken wetenschappers naar de computer en zeiden: "Laten we kijken naar alle cellen in het netwerk. Als ze samen lijken op hoe mensen reageren, dan werkt het."

Dit is alsof je een orkest hoort en zegt: "Iedere muzikant is even belangrijk voor het geluid." Maar wat als er in dat orkest 100 drummers zijn die alleen maar lawaai maken, en maar 1 fluitist die de mooie melodie speelt? Als je naar iedereen luistert, hoor je de melodie misschien niet goed.

De oude methode (RSA) gaf elke cel in de computer evenveel gewicht. De onderzoekers dachten: "Misschien verdoezelen de onbelangrijke cellen de echte 'teller-cellen'."

De Oplossing: De "Tuinschaar" (Pruning)

Om dit op te lossen, gebruikten de onderzoekers een techniek die ze pruning (snoeien) noemen.

Stel je voor dat je een overwoekerde tuin hebt. Je wilt weten welke planten echt nodig zijn voor de prachtige bloemen die je wilt zien. In plaats van de hele tuin te bewonderen, ga je met een schaar aan de slag:

1. Je haalt één plant weg.
2. Kijk je: Is de tuin nu minder mooi? Dan was die plant belangrijk.
3. Is de tuin nog steeds mooi (of zelfs beter)? Dan was die plant onnodig of zelfs hinderlijk.

Ze deden dit met de computer: ze haalden cellen weg die niet belangrijk waren voor het "tellen" en hielden alleen de meest nuttige over.

De Verbluffende Resultaten

Wat bleek er? Het antwoord was verrassend:

1. De "Teller-cellen" zijn niet de helden: De speciale cellen die de computer had ontwikkeld om aantallen te zien (de "number-detectors"), bleken niet de belangrijkste te zijn. Als je ze weghaalde, maakte dat weinig verschil voor hoe goed de computer het aantal begreep.
2. Het collectief is belangrijker: De echte kracht zat in een grote groep willekeurige cellen die samenwerkten. Het was niet één speciale "teller", maar een heel team dat samen het beeld vormde.
3. Snoeien werkt beter: De computer die "gesnoeid" was (alleen de nuttige cellen overhield), paste veel beter bij hoe mensen aantallen waarnemen dan de computer met alle cellen erbij.

De Grootte Vergelijking

• De oude visie: Het was alsof je dacht dat een orkest alleen goed klinkt omdat er een solist (de teller-cel) is die de melodie speelt.
• De nieuwe ontdekking: Het bleek dat het orkest eigenlijk klinkt door de collectieve harmonie van honderden cellen. De solist is er misschien wel, maar hij is niet de reden waarom het orkest zo goed klinkt. Zelfs als je de solist weghaalt, klinkt het orkest nog steeds goed, zolang de rest maar samenwerkt.

Conclusie

Dit artikel leert ons dat het begrijpen van aantallen in computers (en waarschijnlijk ook in de hersenen) niet gaat over het vinden van één speciale "teller-knop". Het gaat over de collectieve activiteit van een heel netwerk.

De onderzoekers concluderen dat we moeten stoppen met zoeken naar die ene speciale cel en in plaats daarvan moeten kijken naar hoe het hele team samenwerkt. Dit verandert hoe we denken over hoe computers (en onze eigen hersenen) de wereld van aantallen zien.

Technische samenvatting

Probleemstelling

Convolutionele Neuronale Netwerken (CNN's) zijn succesvol in het voorspellen van neurale activiteit en gedrag bij visuele taken. Echter, hun vermogen om hogere cognitieve functies, zoals numerositeit (het vermogen om het aantal objecten in een visuele scène te waarnemen zonder te tellen), te modelleren, blijft onderwerp van debat.

• Huidige hypothese: Er wordt vaak aangenomen dat CNN's, net als het menselijk brein, gespecialiseerde "nummer-detectoreenheden" (number-detector units) ontwikkelen die specifiek reageren op het aantal items.
• Het conflict: Eerdere studies (zoals Karami et al., 2025) toonden aan dat CNN's de variatie in numerositeitsrepresentatie in de menselijke pariëtale cortex niet goed kunnen verklaren.
• Methodologische beperking: De klassieke Representational Similarity Analysis (RSA) gaat ervan uit dat alle eenheden (units) in een netwerk evenveel bijdragen aan de uiteindelijke dissimilariteitsschatting. Deze "gelijk-gewicht"-aanname kan leiden tot een onderschatting van de ware overeenkomst tussen het model en het gedrag, omdat het niet-relevante eenheden even belangrijk behandelt als de cruciale eenheden.

Methodologie

De auteurs gebruikten een biologically inspired CNN-architectuur, CORnet (specifiek CORnet-Z en CORnet-S), die de organisatie van het primatenvisuele systeem nabootst (gebieden V1, V2, V4 en IT).

1. Netwerkconfiguratie en Training:

   • Drie versies van de netwerken werden getest:
     1. Ongetraind: Willekeurig geïnitialiseerde gewichten (om het effect van de architectuur alleen te zien).
     2. ImageNet-getraind: Getraind op objectclassificatie (standaard in eerdere studies).
     3. Numerositeit-getraind: Specifiek getraind om te discrimineren tussen 10 verschillende aantallen (6, 7, 9, 10, 12, 14, 17, 20, 24, 29) met stimuli gegenereerd via de methode van DeWind et al. (2015) om te voorkomen dat lage visuele kenmerken (zoals dichtheid) correleren met het aantal.
   • Stimuli: Testbeelden bestonden uit puntsets met variërende aantallen, gemiddelde itemgrootte en totale veldgrootte (32 voorwaarden).

2. Identificatie van Nummer-Detectoreenheden (ANOVA):

   • Conform eerdere studies (Nasr et al., 2019) werden eenheden geselecteerd die een significante responsverandering vertoonden voor numerositeit, maar invariant bleven voor totale veldgrootte en gemiddelde itemgrootte (en interacties daarvan). Dit gebeurde via een drie-weg ANOVA ($p < 0.01$).

3. Nieuwe Aanpak: Pruning (Feature Selectie):

   • Om de beperkingen van klassieke RSA te overwinnen, pasten de auteurs een pruning-algoritme toe (gebaseerd op Tarigopula et al., 2023).
   • Proces:
     1. De belangrijkheid van elke eenheid wordt beoordeeld door deze te verwijderen en te kijken hoe de Representational Dissimilarity Matrix (RDM) van het netwerk verandert ten opzichte van een menselijke "Number RDM" (gedragsdata).
     2. Eenheden worden gerangschikt op basis van hun bijdrage aan de match met de gedragsdata.
     3. Eenheden worden sequentieel toegevoegd tot de hoogste RSA-score wordt bereikt.
   • Het resultaat is een subset van "behouden eenheden" (retained units) die het beste de menselijke numerositeitsperceptie voorspellen.

4. Analyse:

   • Vergelijking van de RSA-correlaties tussen: (a) het volledige netwerk, (b) de gepruneerde (behouden) eenheden, en (c) de ANOVA-geselecteerde nummer-detectoreenheden.

Belangrijkste Bijdragen

• Kritische Re-evaluatie: Het paper daagt de bestaande hypothese uit dat gespecialiseerde nummer-detectoreenheden de drijvende kracht zijn achter numerositeitsrepresentatie in CNN's.
• Methodologische Innovatie: Toepassing van pruning als feature-selectie techniek binnen RSA om te bepalen welke eenheden werkelijk relevant zijn voor gedragsdata, in plaats van uit te gaan van een gelijk gewicht voor alle eenheden.
• Ontkoppeling van Selectie: Het aantonen dat de eenheden die statistisch significant reageren op aantallen (via ANOVA) en de eenheden die nodig zijn om menselijk gedrag te voorspellen (via pruning), grotendeels verschillende sets eenheden zijn.

Resultaten

1. Verschil in Geselecteerde Eenheidensets:

   • Het aantal eenheden dat na pruning wordt behouden, is aanzienlijk groter dan het aantal nummer-detectoreenheden dat via ANOVA wordt geïdentificeerd.
   • De overlap tussen de twee sets is in de meeste gevallen verwaarloosbaar (< 5%), behalve in specifieke gevallen (bijv. CORnet-S getraind op numerositeit).
   • Pruning verwijdert het grootste deel van de eenheden in de IT-laag, terwijl ANOVA geen significante verschillen tussen lagen toont.

2. Voorspellende Kracht:

   • De gepruneerde eenheden (retained units) bieden in de meeste gevallen een betere fit met de menselijke gedragsdata (Number RDM) dan het volledige netwerk.
   • De nummer-detectoreenheden (ANOVA) presteren vaak slechter dan het volledige netwerk en zeker slechter dan de gepruneerde set. In 8 van de 22 gevallen presteerden ze zelfs slechter dan het volledige netwerk.
   • Dit geldt voor zowel getrainde als ongetrainde netwerken.

3. Conclusie over Rol:

   • Nummer-detectoreenheden zijn niet cruciaal voor de representatie van numerositeit op populatieniveau binnen deze netwerken. Hun aanwezigheid is niet voldoende om de complexe, gedragsgerelateerde representatie van aantallen te verklaren.

Betekenis en Implicaties

• Populatie- versus Enkelvoudige Neurale Activiteit: De bevindingen ondersteunen het idee dat cognitieve functies zoals numerositeit voortkomen uit de collectieve dynamiek van neurale populaties en niet uit geïsoleerde, gespecialiseerde "nummer-neuronen".
• Beperkingen van RSA: Het paper benadrukt dat klassieke RSA, zonder feature-selectie, misleidend kan zijn door niet-relevante eenheden te overbelichten.
• Interpretatie van CNN's: Hoewel CNN's eenheden kunnen ontwikkelen die lijken op biologische nummer-neuronen, spelen deze eenheden geen centrale rol in het modelleren van menselijk numerositeitsgedrag. De representatie van aantallen is waarschijnlijk een emergent eigenschap van een breder netwerk van eenheden die gezamenlijk werken.
• Toekomstig Onderzoek: Dit onderstreept de noodzaak van geavanceerde analysemethoden (zoals pruning) om de relatie tussen kunstmatige en biologische visuele systemen nauwkeuriger te begrijpen.