Quantifying task-relevant representational similarity using decision variable correlation

Probleemstelling

De neurowetenschappelijke gemeenschap gebruikt diepe neurale netwerken (DNN's) als modellen voor het visuele systeem van primaten. Er bestaat echter een fundamenteel debat over de mate waarin deze modellen de hersenen nabootsen.

• Bestaande methoden: Traditionele methoden zoals Representational Similarity Analysis (RSA) meten de geometrische overeenkomst van interne representaties, maar zijn onverschillig voor de specifieke taken die het model moet oplossen. Andere methoden, zoals Cohen's Kappa of foutconsistentie, meten gedragsgelijkenis, maar zijn vaak verward door factoren zoals nauwkeurigheidsverschillen tussen waarnemers en beslissingsbias (systematische voorkeuren).
• Het conflict: Sommige studies suggereren dat DNN's en hersenen steeds meer op elkaar lijken naarmate de prestaties verbeteren, terwijl andere studies het tegenovergestelde vinden. Er is een gebrek aan een principegebaseerde methode om de opdracht-relevante (task-relevant) overeenkomst te meten, los van algemene representatieve uitlijning of gedragsbias.

Methodologie: Decision Variable Correlation (DVC)

De auteurs introduceren een nieuwe metriek genaamd Decision Variable Correlation (DVC). Deze methode is gebaseerd op de theorie van signaaldetectie en generaliseert deze naar hoge-dimensionale neurale representaties.

1. Concept: In plaats van alleen naar de uiteindelijke keuze (juist/fout) te kijken, reconstrueert DVC de onderliggende beslissingsvariabele (decision variable - DV) voor elke afbeelding.
2. Implementatie:
   • Voor een paar klassen (bijv. kat vs. hond) wordt een optimale lineaire classifier (Linear Discriminant Analysis - LDA) getraind op de neurale representaties (van de hersenen of het model).
   • De projectie van elke afbeelding op deze beslissingsas levert een continue DV op.
   • De correlatie tussen de DV's van twee waarnemers (bijv. twee apen, twee modellen, of een aap en een model) over alle afbeeldingen heen wordt berekend. Dit is de DVC.
3. Voordelen:
   • Opdracht-relevant: Het meet alleen de consistentie in de dimensies die relevant zijn voor de classificatietaken, en negeert irrelevante variatie.
   • Bias-onafhankelijk: In tegenstelling tot Cohen's Kappa, is DVC niet beïnvloed door beslissingsbias (waar een waarnemer een bepaalde klasse vaker kiest) of door verschillen in algehele nauwkeurigheid.
   • Ruiscorrectie: De auteurs gebruiken een split-half procedure (het splitsen van data in twee onafhankelijke helften) om de correlatie te corrigeren voor meetruis, wat een onbevooroordeelde schatting van de ware onderliggende correlatie geeft.

Belangrijkste Bijdragen

1. Ontwikkeling van DVC: Een nieuwe, robuuste metriek om de trial-by-trial consistentie van beslissingsstrategieën tussen twee waarnemers te kwantificeren, gebaseerd op interne neurale representaties.
2. Ontkoppeling van Prestaties en Alignement: Het paper toont aan dat hogere prestaties op ImageNet-1k niet noodzakelijk leiden tot een betere uitlijning met de biologische hersenen, wat in strijd is met de heersende hypothese.
3. Kritische Analyse van Bestaande Methoden: Een diepgaande vergelijking met Cohen's Kappa, waarbij wordt aangetoond dat de hoge model-model overeenkomsten die in eerdere studies werden gerapporteerd, grotendeels het gevolg zijn van gedeelde beslissingsbias en decoderingsproblemen, en niet van echte neurale overeenkomst.

Resultaten

De auteurs hebben DVC toegepast op macaques (V4/IT gebieden) en diverse DNN-architecturen (43 modellen getraind op ImageNet-1k, robust modellen, en modellen getraind op grotere datasets).

• Mens-Aap vs. Model-Mens:

  • De DVC tussen twee macaques is hoog (~0.57), wat aangeeft dat hun neurale strategieën zeer consistent zijn.
  • De DVC tussen modellen en macaques is aanzienlijk lager (~0.29).
  • Cruciaal: Er is een sterke negatieve correlatie (-0.70) tussen de ImageNet-1k nauwkeurigheid van een model en de DVC met de macaques. Hoe beter een model presteert op ImageNet, hoe minder het lijkt op de hersenen in termen van beslissingsstrategie.

• Robuustheid en Grotere Datasets:

  • Adversarial Training: Modellen die zijn getraind om robuust te zijn tegen adversarial attacks (adversarial training) vertonen geen verbeterde DVC met de hersenen. Sterker nog, hun DVC daalt licht. Wel zijn deze robuuste modellen zeer consistent met elkaar (hoge model-model DVC), wat suggereert dat ze convergeren naar een gemeenschappelijke, maar biologisch onjuiste oplossing.
  • Grotere Datasets: Modellen getraind op grotere datasets (ImageNet-21k, JFT-300M) of multimodale data (CLIP) tonen evenmin een verbeterde DVC met de hersenen; ze blijven lager dan modellen die op ImageNet-1k zijn getraind.

• Vergelijking met Cohen's Kappa:

  • De auteurs tonen aan dat de lage model-mens overeenkomst die in eerdere studies werd gevonden met Cohen's Kappa deels te wijten is aan grote verschillen in nauwkeurigheid tussen mens en model.
  • De hoge model-model overeenkomst in die studies bleek een artefact te zijn van de gebruikte decoder (aggregatie van ImageNet-klassen), wat leidde tot gedeelde bias. Wanneer een betere decoder (logistische regressie) wordt gebruikt, daalt de model-model overeenkomst en komt deze dichter bij de DVC-waarden.

Betekenis en Conclusie

De studie concludeert dat er een fundamentele divergentie bestaat tussen de opdracht-relevante representaties in de visuele cortex van primaten (V4/IT) en die van DNN's die zijn getraind op beeldclassificatie.

• Paradigmaverschuiving: Het succes van een model op een benchmark (zoals ImageNet) is geen goede voorspeller voor de biologische plausibiliteit van het model. Sterker nog, het optimaliseren voor deze benchmarks lijkt de modellen juist verder van de biologische realiteit te brengen.
• Toekomstige Richting: Om modellen die meer op de hersenen lijken te creëren, moet de focus verschuiven van brute kracht en schaalvergroting naar het trainen met datasets die beter overeenkomen met de stimulusstatistieken van de evolutionaire omgeving van primaten, en het modelleren van interne ruis en lage-niveau eigenschappen van het visuele systeem.
• Methodologische Impact: DVC biedt een principieel, bias-onafhankelijk instrument om de uitlijning van modellen en hersenen te evalueren, wat essentieel is voor het doorbreken van de huidige impasse in het veld van computationele neurowetenschap.