Reassessing Number-Detector Units in Convolutional Neural Networks

Diese Studie widerlegt die Annahme, dass spezialisierte Zahlendetektoren für die Repräsentation von Numerosität in biologisch inspirierten CNNs wie CORnet entscheidend sind, indem sie durch Pruning zeigen, dass diese Einheiten für die populationsweite Ähnlichkeitsstruktur nicht notwendig sind.

Das Wesentliche

Titel: Warum das Gehirn nicht auf einzelne „Zahlen-Experten" setzt – Eine einfache Erklärung

Stellen Sie sich vor, Sie schauen auf einen Teller mit Äpfeln. Sie müssen nicht zählen, um zu wissen, ob es drei oder fünf sind. Ihr Gehirn macht das blitzschnell. Diese Fähigkeit nennt man „Zahlensinn".

Wissenschaftler haben lange vermutet, dass unser Gehirn dafür spezielle „Zahlen-Detektoren" hat – wie winzige, spezialisierte Arbeiter, die nur für das Zählen zuständig sind. Ähnlich wie ein Schalter, der nur angeht, wenn genau drei Äpfel da sind.

Die Forscher in diesem Papier haben sich gefragt: Haben auch künstliche Intelligenzen (neuronale Netze) solche speziellen Zahlen-Schalter? Und wenn ja, sind sie wirklich der Grund, warum die KI gut im Zählen ist?

Hier ist die Geschichte, wie sie das herausgefunden haben, mit ein paar einfachen Vergleichen:

1. Das Problem: Der „Alle gleich wichtig"-Fehler

Stellen Sie sich vor, Sie haben ein riesiges Orchester (das neuronale Netz), das ein Lied spielt. Um herauszufinden, ob das Orchester gut spielt, schauen Sie sich die Noten aller Musiker an.

Bisher haben Forscher oft angenommen: Jeder Musiker ist gleich wichtig. Wenn das Orchester gut klingt, dann muss jeder einzelne Musiker perfekt spielen. Das ist wie bei einer klassischen Analyse, bei der man annimmt, dass jeder Schauspieler in einem Film gleich viel zum Erfolg des Films beiträgt.

Aber in der Realität ist das oft falsch. Vielleicht ist nur ein Geiger und ein Schlagzeuger wirklich entscheidend für den Rhythmus, während 50 andere Geiger nur leise im Hintergrund mitspielen. Wenn man alle 50 Geiger mitzählt, verwässert das Ergebnis.

2. Die Lösung: Der „Garten-Schere"-Ansatz (Pruning)

Die Forscher haben eine neue Methode ausprobiert, die sie „Beschneiden" (Pruning) nennen.

Stellen Sie sich das neuronale Netz als einen riesigen, verwilderten Garten vor.

• Die alte Methode: Man schaut sich den ganzen Garten an und sagt: „Ah, da steht eine Blume, die sieht aus wie eine Zahl! Die ist also der Zahlenspezialist!"
• Die neue Methode: Man nimmt eine Schere und fängt an, Pflanzen zu entfernen. Man schneidet alles weg, was für das Erkennen der Zahl nicht wichtig ist.
  • Wenn man eine Pflanze wegschneidet und das Bild der Zahl immer noch klar ist, war diese Pflanze unnötig.
  • Wenn das Bild verschwimmt, war diese Pflanze wichtig.

Am Ende bleibt nur das übrig, was wirklich nötig ist, um die Zahl zu erkennen. Diese „überlebenden Pflanzen" nennt man die wichtigen Einheiten.

3. Die Überraschung: Die „Zahlen-Experten" sind nicht die Helden

Was haben die Forscher gefunden?

Sie suchten im Garten nach den berühmten „Zahlen-Detektoren" (denen, die wie die speziellen Schalter im Gehirn aussehen). Sie fanden sie tatsächlich! In den künstlichen Netzen gab es Einheiten, die genau auf eine bestimmte Anzahl reagierten.

ABER: Als sie den Garten beschchnitten haben, um herauszufinden, was wirklich wichtig ist, um die Zahl zu erkennen, waren diese berühmten „Zahlen-Detektoren" oft die ersten, die weggeschnitten wurden!

Die Metapher:
Es ist, als ob Sie einen Fußballteam analysieren. Sie finden einen Spieler, der perfekt den Ball fängt (der „Zahlen-Detektor"). Aber wenn Sie das Team so zusammenstellen, dass es das Spiel gewinnt (die Zahl erkennt), stellt sich heraus, dass dieser Spieler gar nicht im Startelf steht. Das Team gewinnt durch die Zusammenarbeit von vielen anderen Spielern, die vielleicht nicht so spektakulär aussehen, aber zusammen das Spiel tragen.

4. Das Fazit: Es ist ein Team, keine Einzeltäter

Die wichtigste Erkenntnis dieses Papiers ist:

• Früher dachte man: Das Gehirn (und die KI) braucht spezielle „Zahlen-Spezialisten", um Mengen zu erfassen.
• Jetzt wissen wir: Diese Spezialisten existieren zwar, aber sie sind nicht der Schlüssel zum Erfolg.

Die Fähigkeit, Mengen zu erkennen, entsteht nicht durch einen einzelnen Helden, sondern durch das Zusammenspiel vieler, vieler kleiner Einheiten. Es ist wie ein Chor: Ein einzelner Sänger mag eine hohe Note treffen, aber der schöne Klang entsteht erst, wenn hunderte Stimmen zusammenarbeiten.

Zusammengefasst:
Die künstlichen Intelligenzen haben zwar „Zahlen-Schalter" eingebaut, aber diese sind für das eigentliche Zählen gar nicht so wichtig. Das wahre Geheimnis liegt in der kollektiven Arbeit des gesamten Systems. Das Gehirn ist also kein Gebäude mit einem einzigen „Zahlen-Zimmer", sondern ein riesiges, vernetztes Dorf, in dem alle zusammenarbeiten, um uns zu sagen: „Da sind viele Äpfel!"

Technische Zusammenfassung

Titel: Neubewertung von Zahl-Detektor-Einheiten in Convolutional Neural Networks (CNNs)

1. Problemstellung

Convolutional Neural Networks (CNNs) haben sich als Standardmodelle zur Vorhersage neuronaler Aktivität und menschlichen Verhaltens in visuellen Aufgaben etabliert. Dennoch bleibt ihre Fähigkeit, höhere kognitive Funktionen wie die Numerizität (die Fähigkeit, die Anzahl von Objekten in einer Szene ohne Zählen zu erfassen), adäquat abzubilden, umstritten.

• Hypothese: Es wird angenommen, dass CNNs spezialisierte „Zahl-Detektor-Einheiten" (analog zu „Zahl-Neuronen" im Gehirn) entwickeln, die für die Darstellung von Numerizität verantwortlich sind.
• Kritik am bestehenden Ansatz: Klassische Methoden wie die Representational Similarity Analysis (RSA) gehen davon aus, dass alle Einheiten eines Modells gleichermaßen zur Repräsentation beitragen. Diese Annahme kann dazu führen, dass irrelevante Einheiten überbewertet werden und die tatsächliche Korrelation zwischen Modell und menschlichem Verhalten unterschätzt wird. Bisherige Studien zeigten Diskrepanzen zwischen der geometrischen Struktur der Numerizitätsrepräsentation in menschlichen parietalen Kortexbereichen und CNNs.

2. Methodik

Die Autoren nutzten die CORnet-Architekturen (CORnet-Z und CORnet-S), die biologisch inspiriert sind und die visuellen Areale V1, V2, V4 und IT nachbilden.

• Datensätze und Training:
  • Es wurden drei Versionen der Modelle verwendet:
    1. Untrainiert: Zufällig initialisierte Gewichte (zur Isolierung des Architektureffekts).
    2. ImageNet-trainiert: Trainiert auf Objekterkennung (1,2 Mio. Bilder).
    3. Numerizität-trainiert (DeWind): Spezifisch trainiert zur Diskriminierung von 10 Zahlenwerten (6–29) unter Verwendung von Stimuli, die nach der Methode von DeWind et al. (2015) generiert wurden, um Korrelationen mit niedrigen visuellen Merkmalen (wie Punktgröße oder Dichte) zu vermeiden.
• Identifikation von Zahl-Detektoren:
  • Mittels einer dreiwegigen ANOVA wurden Einheiten identifiziert, die signifikant auf die Anzahl (Numerizität) reagieren, aber invariant gegenüber Variationen in der Gesamtfläche und der durchschnittlichen Einzelgröße sind (p < 0.01).
• Neue Analysemethode: Pruning (Beschneiden):
  • Um die Limitationen der klassischen RSA zu umgehen, wurde ein Pruning-Algorithmus (adaptiert von Tarigopula et al., 2023) angewendet.
  • Prozess:
    1. Die Wichtigkeit jeder Einheit wird bewertet, indem sie schrittweise entfernt wird und die Änderung der Ähnlichkeit zur menschlichen Verhaltensdaten-Matrix (Number RDM) gemessen wird.
    2. Einheiten werden nach ihrer Wichtigkeit sortiert.
    3. Ein neues Modell wird schrittweise nur mit den „wichtigsten" Einheiten rekonstruiert, bis die maximale Übereinstimmung (RSA-Score) erreicht ist.
  • Ziel war es, die minimal notwendige Menge an Einheiten zu finden, die das menschliche Verhaltensmuster am besten erklären.

3. Wichtige Beiträge

• Methodischer Fortschritt: Einführung eines Pruning-basierten Feature-Selection-Ansatzes in der RSA, um die Annahme der „gleichen Gewichtung" aller Einheiten zu überwinden.
• Neubewertung der Rolle von Zahl-Detektoren: Die Studie testet direkt die Hypothese, dass spezifische Zahl-Detektor-Einheiten für die populationsbasierte Repräsentation von Numerizität in CNNs entscheidend sind.
• Vergleich von Architekturen: Umfassender Vergleich zwischen untrainierten, objektklassifizierenden und spezifisch numerizitätstrainierten Netzwerken.

4. Ergebnisse

• Diskrepanz der Einheiten: Die Menge der durch Pruning als „wichtig" identifizierten Einheiten („retained units") ist deutlich größer als die Menge der durch ANOVA als „Zahl-Detektoren" klassifizierten Einheiten.
• Geringe Überlappung: Die Überlappung zwischen den beiden Mengen liegt in den meisten Fällen unter 5 %. Dies zeigt, dass die von der ANOVA identifizierten Zahl-Detektoren und die für die Verhaltensvorhersage relevanten Einheiten weitgehend disjunkte Sätze darstellen.
• Leistungsfähigkeit:
  • Die nach dem Pruning verbleibenden Einheiten passen die menschlichen Verhaltensdaten (Number RDM) besser an als der vollständige Satz aller Einheiten.
  • Kritischer Befund: Die spezifischen Zahl-Detektor-Einheiten (ANOVA) performten in den meisten Fällen schlechter als die pruned Einheiten und in 8 von 22 Fällen sogar schlechter als der vollständige Satz aller Einheiten.
• Schichtspezifität: Das Pruning entfernte den größten Anteil der Einheiten in der IT-Schicht (höhere Verarbeitungsebene), während die ANOVA-Methode keine signifikanten Unterschiede zwischen den Schichten zeigte.

5. Bedeutung und Fazit

Die Studie stellt die bisherige Annahme in Frage, dass spezialisierte Zahl-Detektor-Einheiten in CNNs für die populationsbasierte Repräsentation von Numerizität entscheidend sind.

• Hauptkonklusion: Zahl-Detektor-Einheiten sind nicht kritisch für die Erfassung der Numerizitätsrepräsentation auf Populationsebene, wie sie sich in menschlichen Verhaltensdaten widerspiegelt.
• Implikation: Kognitive Funktionen wie Numerizität entstehen wahrscheinlich aus der kollektiven Dynamik neuronaler Populationen und nicht aus der Aktivität isolierter, spezialisierter Einheiten.
• Methodische Lehre: Die klassische RSA kann die Bedeutung spezifischer Einheiten übersehen oder verfälschen. Feature-Selection-Methoden wie Pruning sind notwendig, um die tatsächliche Relevanz von Modellkomponenten für das menschliche Verhalten zu bestimmen.

Die Ergebnisse deuten darauf hin, dass CNNs zwar Zahl-Detektoren entwickeln können, diese jedoch nicht die primären Träger der numerischen Information im Kontext der menschlichen Verhaltensvorhersage sind.