Identification of letters distorted by physiologically-inspired spatial scrambling

Dit onderzoek toont aan dat menselijke letterherkenning minder efficiënt is bij 'corticale' dan bij 'subcorticale' ruimtelijke verwarding, wat suggereert dat het menselijk visuele systeem beter is in het verwerken van stimuli met oriëntatie-redundantie dan van stimuli met oriëntatie-ruis.

De kern

De Grote Verwarde Brein-Boodschapper: Hoe ons gezichtsvermogen omgaat met "ruis"

Stel je voor dat je brein een supergeavanceerd postkantoor is. Elke dag ontvangt het miljarden brieven (beelden) van je ogen. Normaal gesproken worden deze brieven perfect gerangschikt: de postbode loopt een vaste route, en elke brief belandt op de juiste plek in de sorteerhal. Maar wat gebeurt er als de postbode een beetje "dronken" wordt? Of wat als de brieven zelf al beschadigd zijn voordat ze de hal binnenkomen?

Dit is precies waar dit wetenschappelijke onderzoek over gaat. De onderzoekers van de McGill Universiteit hebben gekeken hoe ons gezichtsvermogen faalt wanneer de verbindingen in ons brein een beetje "verward" (scrambled) raken. Ze hebben dit onderzocht door letters te laten zien die eruit zagen alsof ze door een wervelwind waren gegooid, en hebben gekeken hoe goed mensen deze letters nog konden lezen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: Twee soorten "verwarring"

De onderzoekers bedachten twee manieren om de "post" te verwarren, gebaseerd op hoe het oog eigenlijk werkt:

• Soort A: De "Corticale Verwarring" (CS) – De Verkeerde Postbode
  Stel je voor dat de letters (de informatie) perfect zijn, maar de postbodes die ze naar de sorteerhal brengen, een beetje slordig zijn. Ze zetten de letters op de verkeerde plekken in de rij. De letters zelf zijn nog steeds herkenbaar, maar ze staan een beetje scheef of verspreid.

  • Vergelijking: Het is alsof je een foto van een huis hebt, maar de tegels in de muur zijn een paar millimeter verschoven. Je ziet nog steeds een huis, maar het ziet er een beetje "wazig" uit.

• Soort B: De "Subcorticale Verwarring" (SCS) – De Beschadigde Tegel
  Hier is het probleem nog dieper. De postbodes zijn nog steeds op hun plek, maar de letters zelf zijn gemaakt van losse onderdelen (de "tegels") die al beschadigd of verkeerd samengesteld zijn voordat ze de hal binnenkomen.

  • Vergelijking: Het is alsof je een legpuzzel probeert te maken, maar de stukjes zelf zijn een beetje vervormd of hebben de verkeerde vorm. De puzzelstukjes passen niet meer goed in elkaar, zelfs als je ze op de juiste plek legt.

2. Het Experiment: Mensen vs. Computers

De onderzoekers lieten mensen en slimme computers (zogenaamde "Convolutional Neural Networks" of CNN's) deze verwarde letters lezen. Ze wilden weten: wie is er beter in het lezen van deze rommel?

• De Menselijke Prestatie:
  Mensen bleken verrassend goed te zijn in het lezen van Soort A (de verwarde postbodes). Ons brein kan goed omgaan met het feit dat de letters een beetje verschuiven. We kunnen de "samenhang" nog steeds vinden.
  Bij Soort B (de beschadigde puzzelstukjes) hadden mensen echter veel meer moeite. Het leek alsof ons brein niet zo goed weet hoe het deze dieperliggende beschadigingen moet repareren.

• De Computer Prestatie:
  De computers waren in het begin veel sneller en beter dan de mensen. Maar de onderzoekers deden iets slim: ze gaven de computers ook "honger". Ze namen een deel van de informatie weg (alsof ze de computer een blinddoek gaven) tot de computer net zo slecht presteerde als de mens.

  • Het verrassende resultaat: Om de computer even slecht te maken als de mens bij Soort B, moesten ze veel meer informatie wegnemen. Dit betekent dat mensen bij Soort B eigenlijk efficiënter zijn dan de computer! Ons brein kan met heel weinig informatie nog steeds een letter herkennen als de "puzzelstukjes" beschadigd zijn. Bij Soort A (verschuiving) was de mens juist minder efficiënt dan de computer.

3. De Grootte van de Verwarring

In een ander experiment vroegen ze mensen: "Wat voelt er meer als een rommel?"
Het bleek dat Soort B (beschadigde stukjes) voor mensen sneller "rommelig" aanvoelt dan Soort A (verschuiving). Als je de beschadiging een beetje vergroot, voelt het voor het brein als een enorme chaos. Bij het verschuiven van letters moet je de verwarring al veel groter maken voordat het even erg voelt.

4. Waarom is dit belangrijk?

Dit onderzoek helpt ons begrijpen waarom sommige mensen moeite hebben met zien, bijvoorbeeld bij amblyopie (een "luie oog").

• Bij een luie oog lijkt het alsof de "postbodes" (de verbindingen) erg slecht zijn. Dit onderzoek suggereert dat het probleem bij een luie oog misschien meer lijkt op Soort B (de beschadigde puzzelstukjes) dan op Soort A.
• Het laat ook zien dat ons brein niet één simpele machine is. Het heeft verschillende strategieën om met ruis om te gaan. Soms is het slimme "samenstellen" van losse stukjes (zoals bij Soort B) waar we het beste in zijn, en soms is het "herkennen van patronen" ondanks verschuivingen (Soort A) waar we minder goed in zijn.

Conclusie

Kort samengevat: Ons brein is een meester in het reconstrueren van beschadigde puzzelstukjes (Soort B), maar heeft meer moeite met het ordenen van verschoven letters (Soort A). Computers zijn in het begin sneller, maar als we ze "hongerig" maken, zien we dat ons brein op bepaalde manieren zelfs slimmer is dan de beste algoritmen.

Het onderzoek laat zien dat ons gezichtsvermogen niet alleen kijkt naar wat we zien, maar ook naar hoe de informatie in ons brein is verwerkt. En soms is die verwerking net een beetje rommelig, maar toch nog steeds wonderlijk effectief.

Technische samenvatting

Probleemstelling

Het menselijke visuele systeem is hiërarchisch en topografisch georganiseerd, waarbij neurale projecties signalen van het netvlies naar de visuele cortex (via het geniculostriatale pad) transporteren. Fysiologische studies suggereren dat er sprake is van "scattering" (verstrooiing) in deze projecties, wat leidt tot onnauwkeurigheid in de ruimtelijke precisie van de codering. Dit fenomeen wordt vaak geassocieerd met "interne ruis" of "positionele onzekerheid".

De kernvraag van dit onderzoek is hoe deze interne ruimtelijke verstoringen ("scrambling") de prestaties van het visuele systeem beïnvloeden bij taken die positie-informatie vereisen, zoals het identificeren van letters. Specifiek wordt onderzocht of er een onderscheidend effect is tussen verstoring die optreedt:

1. Subcortaal (SCS): Op het niveau van de isotrope subunits (analoog aan LGN-afferenten) voordat ze worden samengevoegd tot oriëntatie-gevoelige receptieve velden.
2. Cortaals (CS): Op het niveau van de output van de oriëntatie-gevoelige eenvoudige cellen (analoog aan V1) na de vorming van de receptieve velden.

Methodologie

1. Stimulusgeneratie (Wavelet-decompositie en -resynthese)
De auteurs ontwikkelden een algoritme om letters te decomponeren en te resynthetiseren met behulp van log-Gabor-wavelets. Dit simuleert de werking van korticale receptieve velden.

• Decompositie: Een letter wordt gefilterd door een bank van log-Gabor-filters met verschillende oriëntaties en fasen.
• Resynthese: De letter wordt opnieuw opgebouwd uit de gewichten van deze filters.
• Manipulaties:
  • Bandpass Ruis (BN): Traditionele ruis toegevoegd aan de letter (controleconditie).
  • Cortical Scrambling (CS): De ruimtelijke posities van de georiënteerde wavelets (de output van de eenvoudige cellen) worden willekeurig verstoord (jitter) volgens een Gaussische verdeling.
  • Subcortical Scrambling (SCS): De "bedrading" (wiring diagram) van de isotrope subunits die de georiënteerde wavelets vormen, wordt verstoord voordat de wavelet wordt samengesteld. Dit resulteert in een verspreiding van energie naar naburige oriëntaties.

2. Psychofysische Experimenten

• Experiment 1 (Matching): Proefpersonen moesten de subjectieve "ruis" van een letter met CS-verstoring matchen aan een letter met SCS-verstoring (en vice versa) om te bepalen of de perceptuele impact lineair gerelateerd is.
• Experiment 2 (Identificatiedrempel): Proefpersonen (n=20) moesten letters (o, m, d, z) identificeren onder toenemende niveaus van BN, CS en SCS. De drempel werd bepaald bij 62% correcte antwoorden. Er werd getest met zowel het dominante als het niet-dominante oog.

3. Convolutional Neural Networks (CNN) als Referentie
Omdat er geen analytisch "ideale waarnemer" bestaat voor deze complexe verstoringen, gebruikten de auteurs CNN's als benchmark:

• Aangepaste CNN's: 20 netwerken werden vanaf nul getraind na een architectuuroptimalisatie (architecture search) specifiek voor elke ruisconditie.
• Pre-trained CNN's: Netwerken zoals VGG19, AlexNet, ResNet50 en CORnetS (gefinetuned op ImageNet).
• Template Matching (TM): Gebruikt als ideale waarnemer voor de BN-conditie.

4. Efficiëntiemetingen
Twee maatstaven voor efficiëntie werden berekend:

• Relatieve Efficiëntie ($\vartheta$): De verhouding tussen de menselijke drempel en de CNN-drempel. Een hogere waarde betekent dat de mens dichter bij de modelprestatie ligt.
• Sampling Efficiëntie ($\varpi$): Het percentage van de wavelets dat aan de CNN moet worden onttrokken (ondersteund) zodat de CNN-prestatie daalt tot het menselijke niveau. Dit meet hoeveel informatie de mens effectief gebruikt.

Belangrijkste Resultaten

1. Perceptuele Matching
De relatie tussen CS en SCS is lineair op log-log schalen, maar niet identiek. Om dezelfde perceptuele "ruis" te bereiken, was bij lage verstoringen meer SCS nodig dan CS. Echter, bij hoge verstoringen nam de perceptuele ruis van SCS sneller toe, waardoor de twee condities bij hoge niveaus vergelijkbaar werden.

2. Identificatiedrempels en Dominant Oog

• Mensen waren significant beter bestand tegen SCS (hoge drempel) dan tegen CS of BN, maar alleen met het dominante oog. Er was geen dominant-oog-voordeel voor BN of CS.
• Dit suggereert dat SCS-verstoring plaatsvindt vóór de binoculaire combinatie, waarbij het dominante oog mogelijk meer neurale mechanismen heeft die de verstoring compenseren.

3. Relatieve Efficiëntie ($\vartheta$)

• Mensen waren relatief efficiënter bij Cortical Scrambling (CS) dan bij Subcortical Scrambling (SCS).
• Dit betekent dat mensen beter kunnen omgaan met verstoring van de positie van georiënteerde features dan met verstoring van de wavelets zelf, ten opzichte van de CNN's.

4. Sampling Efficiëntie ($\varpi$) - Het Omgekeerde Effect

• Wanneer de efficiëntie werd gemeten door de CNN's te "verhongeren" (minder wavelets) tot ze op menselijk niveau presteerden, keerde het resultaat om.
• Voor SCS hadden CNN's 18% van de wavelets nodig om menselijke prestaties te evenaren.
• Voor BN en CS hadden CNN's slechts 4% van de wavelets nodig.
• Conclusie: Mensen zijn extreem efficiënt in het verwerken van SCS-stimuli; ze gebruiken een veel groter deel van de beschikbare informatie dan CNN's doen, terwijl ze bij CS en BN minder informatie nodig lijken te hebben om dezelfde prestatie te leveren.

5. Foutpatronen
De foutpatronen van CNN's waren meer onderling vergelijkbaar dan die van mensen. Het verminderen van de steekproefgrootte bij CNN's bracht hun foutpatronen slechts gedeeltelijk dichter bij die van mensen, vooral bij SCS.

Bijdragen en Significantie

1. Technische Innovatie
Het artikel introduceert een nieuwe wavelet-gebaseerde stimulusgeneratie die specifiek is ontworpen om fysiologisch geïnspireerde verstoringen te simuleren op twee verschillende niveaus van de visuele hiërarchie (input vs. output van eenvoudige cellen).

2. Nieuw Inzicht in Visuele Verwerking
De studie toont aan dat de menselijke visuele verwerking niet uniform is ten opzichte van verschillende soorten ruimtelijke ruis. Het verschil in efficiëntie tussen CS en SCS suggereert dat de integratie-eigenschappen aan de input- en outputzijde van corticale eenvoudige cellen fundamenteel verschillend zijn. Mensen zijn beter in het verwerken van "oriëntatie-redundante" stimuli (CS) dan "oriëntatie-ruisachtige" stimuli (SCS).

3. Rol van CNN's in Visieonderzoek
De auteurs demonstreren dat CNN's krachtige benchmarks zijn voor het kwantificeren van menselijke inefficiëntie, maar dat de interpretatie van deze efficiëntie afhangt van de gebruikte metriek (drempelverhouding vs. steekproefgrootte). Dit benadrukt dat CNN's en mensen mogelijk verschillende strategieën gebruiken voor informatiepooling.

4. Klinische Relevantie
De bevindingen hebben implicaties voor het begrijpen van amblyopie (lui oog), waarbij de receptieve velden groter en heterogener zijn. De auteurs wijzen erop dat SCS-stimuli mogelijk een model vormen voor de perceptieve vervorming die voorkomt bij amblyopie, en dat het dominante oog-voordeel in hun data een fysiologische bias in de projecties kan onthullen.

Kortom, dit onderzoek biedt een brug tussen fysiologische modellen van visuele verstoring en gedragsmatige prestaties, gebruikmakend van geavanceerde deep learning-modellen om de beperkingen en sterktes van het menselijke visuele systeem te kwantificeren.