Feedforward computational models of vision do not explain expert neural processing of visual Braille in the human visual system

De studie concludeert dat voorspellende feedforward-rekenmodellen de neurale verwerking van visuele Braille door experts niet volledig kunnen verklaren, omdat deze modellen ontbreken in de interactie tussen visuele en linguïstische systemen die bij mensen wel plaatsvindt.

De kern

Titel: Waarom computers niet kunnen lezen als een blind expert

Stel je voor dat je brein een superkrachtige camera is die niet alleen foto's maakt, maar ook de betekenis van wat het ziet, direct begrijpt. Voor mensen die kunnen lezen, is dit zo normaal dat we er niet bij stilstaan. Maar wat gebeurt er in dat brein als iemand leest in Braille? Dat is immers geen lijntjes en krommen zoals op een pagina, maar een patroon van kleine stippen.

Deze studie vraagt zich af: Is het lezen van Braille gewoon een visuele taak voor het brein, of is er meer aan de hand? Om dit uit te zoeken, hebben de onderzoekers gekeken naar kunstmatige neurale netwerken (AI-modellen) die zijn ontworpen om te "zien" en te lezen, en hebben ze deze vergeleken met hoe echte mensen Braille lezen.

Hier is wat ze ontdekten, vertaald in een simpel verhaal:

1. De "Visuele Camera" heeft een voorkeur voor lijntjes

In het eerste experiment lieten ze een AI (die nog nooit had gelezen, een "illiterale" computer) kijken naar drie soorten letters:

• Normale letters (zoals A, B, C).
• Braille (de stippen).
• Lijn-Braille (een uitvinding waarbij de Braille-stippen verbonden zijn tot lijntjes, zodat het eruit ziet als een tekening).

Het resultaat: De AI hield er enorm van om naar lijntjes te kijken. Normale letters en Lijn-Braille vonden ze erg op elkaar lijken. Maar echte Braille? Dat was voor de AI een vreemde eend in de bijt. Het was alsof de AI dacht: "Oh, dit zijn stippen, dat hoort niet bij mijn wereld van lijnen en hoeken."
De les: Zelfs een slimme computer die is getraind om objecten te herkennen, heeft een enorme voorkeur voor scripts die lijken op wat we in de echte wereld zien (lijnen en hoeken).

2. Leren lezen: Mensen vs. Computers

Vervolgens lieten ze de AI "leren lezen". Ze trainden de computer eerst op normale letters, en daarna op Braille of Lijn-Braille.

• De mens: Als een mens leert Braille lezen, duurt het even voordat het klikt, maar na een paar uur of dagen gaat het heel goed. Het brein is slim genoeg om de stippen om te zetten in woorden, zelfs zonder lijntjes.
• De computer: De AI had veel meer moeite. Zelfs na veel trainingsrondes bleef het lezen van echte Braille-stippen veel moeilijker dan het lezen van Lijn-Braille. De computer bleef vastzitten in de gedachte: "Dit zijn geen lijnen, dus dit is lastig."

De les: Mensen zijn veel flexibeler. Onze hersenen kunnen een script leren, ongeacht hoe het eruit ziet. Computers blijven hangen in de visuele vorm.

3. Het grote misverstand: Woorden zijn meer dan alleen vorm

Het belangrijkste deel van het onderzoek ging over wat er gebeurt in het brein van een expert (iemand die Braille al jaren leest).

• In het menselijke brein: Als een expert Braille leest, reageert het deel van het brein dat verantwoordelijk is voor lezen (de VWFA) precies hetzelfde als wanneer die persoon normale letters leest. Het maakt het brein niet uit of het stippen of lijntjes zijn; het herkent de betekenis van het woord. Het brein koppelt de stippen direct aan taal, klanken en betekenis.
• In de computer: De AI slaagde er niet in om deze connectie te maken. Voor de computer bleef Braille gewoon een vreemd patroon van stippen. De AI zag niet de "woorden" erachter, maar alleen de "vorm". De computer kon niet begrijpen dat een woord in Braille hetzelfde is als datzelfde woord in normale letters.

De conclusie in één zin

Deze studie laat zien dat alleen maar "kijken" (visuele verwerking) niet genoeg is om te begrijpen hoe mensen lezen.

Stel je voor dat lezen een orkest is. De AI is als een muzikant die alleen naar de noten op het papier kijkt (de visuele vorm). Als de noten er anders uitzien (zoals stippen in Braille), raakt de muzikant in paniek.
Het menselijke brein is echter de dirigent. De dirigent kijkt niet alleen naar de noten, maar luistert ook naar de muziek (de taal, de klank, de betekenis). Zelfs als de noten er vreemd uitzien (Braille), weet de dirigent precies wat er gespeeld moet worden.

Kortom: Computers die alleen "zien" kunnen niet uitleggen hoe mensen Braille lezen. Om dat te begrijpen, moeten we kijken naar hoe ons visuele systeem samenwerkt met ons taal-systeem. Het brein is niet alleen een camera; het is een vertaler die de stippen direct omzet in betekenis.

Technische samenvatting

Titel: Feedforward computationele modellen van visie verklaren geen expert neurale verwerking van visuele Braille in het menselijke visuele systeem

1. Probleemstelling

Het menselijke visuele systeem, en specifiek het Visual Word Form Area (VWFA) in de ventrale occipito-temporale cortex, is geëvolueerd om geschreven taal te verwerken. Bestaande theorieën suggereren dat deze selectiviteit voor orthografie voortkomt uit een voorkeur voor lijnintersekties (zoals in het Latijnse alfabet). Echter, het is onduidelijk of deze visuele verwerkingsmechanismen voldoende zijn om ook niet-canonieke scripts zoals Braille (bestaande uit stippen zonder lijnintersekties) te verklaren.

Menselijke studies tonen aan dat experts in Braille lezen neurale patronen vertonen die vergelijkbaar zijn met die van Latijnse scripts, ongeacht het ontbreken van lijnintersekties, en dat linguïstische content (klank, betekenis) een grotere rol speelt dan visuele features. De centrale vraag is of pure feedforward visuele modellen (Deep Neural Networks of DNN's), die zijn getraind op objectherkenning, deze menselijke vaardigheid kunnen repliceren, of dat interacties met taalgebieden in het brein noodzakelijk zijn.

2. Methodologie

De auteurs voerden twee experimenten uit met behulp van Deep Neural Networks (DNN's) om de representaties van letters en woorden in verschillende scripts te vergelijken:

• Stimuli: Drie scripts werden gebruikt:
  1. Latijns alfabet: Standaard lettertypes (Arial, etc.).
  2. Braille: Standaard Braille-punten.
  3. Line Braille: Een aangepast script waarbij de Braille-punten verbonden zijn tot lijnen (om de visuele complexiteit van lijnintersekties te introduceren zonder de linguïstische structuur te veranderen).
• Architecturen: Twee modellen werden getest:
  1. AlexNet: Een standaard CNN, vooraf getraind op ImageNet (objectherkenning), maar niet op letters ("illiterate").
  2. CORnet Z: Een architectuur die biologisch plausibeler is en eerder gebruikt is als synthetisch model van het VWFA.
• Experiment 1 (Letterverwerking): Een "illiterate" AlexNet werd geconfronteerd met letters uit de drie scripts. De activaties op verschillende lagen werden geanalyseerd om de dissimilariteit (verschil) tussen de scripts te meten.
• Experiment 2 (Expertise acquisitie):
  • De netwerken werden eerst getraind op het Latijnse alfabet (letterkunde).
  • Vervolgens werden ze verder getraind (fine-tuning) op Braille of Line Braille om "expertise" te simuleren.
  • De netwerken werden getest op een set stimuli met verschillende linguïstische eigenschappen: Real Words (echte woorden), Pseudo Words (zinvolle klanken, geen betekenis), Non Words (zinloze klanken) en Fake Script (onbekende symbolen).
• Analyse: Er werden Representational Dissimilarity Matrices (RDM's) berekend om te kijken hoe de netwerken stimuli groeperen op basis van visuele features versus linguïstische categorieën. De resultaten werden vergeleken met eerdere fMRI-data van menselijke proefpersonen.

3. Belangrijkste Resultaten

• Vooringenomenheid voor lijnintersekties: In Experiment 1 bleek dat het "illiterate" AlexNet een sterke voorkeur had voor lijngebaseerde scripts. Line Braille en het Latijnse alfabet werden visueel zeer vergelijkbaar verwerkt, terwijl Braille (zonder lijnen) als een duidelijke outlier werd behandeld, zelfs in de diepere lagen van het netwerk.
• Leercurve en Expertise: Bij het trainen van de netwerken op nieuwe scripts (Experiment 2) vertoonde Braille een aanzienlijk langzamere en minder effectieve leercurve dan Line Braille. Hoewel menselijke proefpersonen slechts een tijdelijk voordeel zagen voor lijnscripts, bleef het prestatieverschil in de netwerken groot en aanhoudend, zelfs na uitgebreide training.
• Gebrek aan linguïstische clustering: In tegenstelling tot het menselijke brein, waar experts stimuli clusteren op basis van linguïstische eigenschappen (bijv. echte woorden vs. pseudo-woorden), faalden de netwerken hierin.
  • De representaties in de netwerken werden voornamelijk bepaald door het scripttype (visuele vorm) en niet door de linguïstische status van de stimuli.
  • Er was geen correlatie tussen de interne representaties van de netwerken en een theoretisch model van linguïstische organisatie (gebaseerd op orthografie, fonologie en semantiek).
  • Zelfs "expert" netwerken (getraind op Braille) toonden geen convergentie in hun representaties met het Latijnse alfabet op linguïstische gronden, zoals wel bij mensen wordt waargenomen.

4. Kernbijdragen

• Beperking van feedforward modellen: Het paper toont aan dat pure feedforward visuele modellen, zelfs na training, niet in staat zijn om de complexe, linguïstisch gedreven verwerking van Braille in het menselijke brein na te bootsen.
• Visuele bias vs. Linguïstische plasticiteit: De studie benadrukt dat menselijke lezers in staat zijn om visuele beperkingen (zoals het ontbreken van lijnintersekties in Braille) te compenseren door interactie met taalgebieden, terwijl kunstmatige netwerken vastlopen in hun visuele bias.
• Validatie van de "Interactieve Account": De resultaten ondersteunen de theorie dat het VWFA niet alleen een visueel module is, maar dat de selectiviteit voor scripts ontstaat door de interactie tussen het visuele systeem en het taalnetwerk.

5. Significantie en Conclusie

De bevindingen suggereren dat het lezen van visuele Braille (en waarschijnlijk andere niet-canonieke scripts) niet uitsluitend kan worden verklaard door bottom-up visuele verwerking. De discrepantie tussen de computatiemodellen en de menselijke neurale data wijst erop dat top-down interacties tussen het visuele systeem en het taalnetwerk essentieel zijn voor het vormen van linguïstische representaties.

Voor de toekomst wordt voorgesteld om modellen te ontwikkelen die visuele netwerken combineren met taalverwerkende lagen (zoals Vision-Language Models, bijv. CLIP), om zo de menselijke vaardigheid te simuleren om scripts te lezen die fundamenteel verschillen in hun visuele structuur, maar wel dezelfde linguïstische waarde hebben.