Neural prediction decorrelation reveals that adversarial robustness substantially improves DNN prediction accuracy across the entire human auditory cortex
Deze studie introduceert neural prediction decorrelation (NPD), een methode die stimuli synthetiseert om aan te tonen dat adversarieel robuuste diepe neurale netwerken standaardmodellen significant overtreffen in het voorspellen van menselijke auditieve cortexresponsen in alle regio's, een superioriteit die ondetecteerbaar blijft wanneer alleen natuurlijke geluiden worden gebruikt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je probeert uit te zoeken hoe een automotor werkt door alleen maar te luisteren terwijl hij over een perfect rechte, lege snelweg rijdt. Je hoort misschien het gezoem van de motor, het rollen van de banden en het fluiten van de wind, maar je mist de complexe versnellingsbak die schakelt, de brandstofmenging en de remmen die in werking treden, omdat de weg te glad en voorspelbaar is. Dit is een beetje wat wetenschappers ervaren wanneer ze proberen het menselijk brein te begrijpen. Decennialang hebben onderzoekers computermodellen gebouwd om te raden hoe onze hersenen geluiden verwerken, zoals spraak of muziek. Ze testen deze modellen door natuurlijke geluiden af te spelen en te kijken of de "gok" van de computer overeenkomt met de werkelijke elektrische activiteit van de hersenen. Het probleem is dat veel verschillende computermodellen, zelfs als ze heel verschillend zijn opgebouwd, hetzelfde antwoord lijken te geven wanneer ze naar natuurlijke geluiden luisteren. Het is alsof je twee verschillende GPS-apps hebt die je allebei vertellen dat je linksaf moet slaan bij de Main Street; je kunt niet zien welke van de twee echt slimmer is, omdat ze allebei goed zijn voor die specifieke rit.
Om dit op te lossen, moeten wetenschappers een manier vinden om de modellen het oneens te laten zijn. Ze moeten een geluid afspelen dat er een model voor laat zeggen: "Dat is een hond die blaft," terwijl het andere model zegt: "Dat is een auto die toetert," terwijl de hersenen ernaar luisteren. Als ze dat kunnen doen, kunnen ze zien welk model daadwerkelijk dichter bij de werking van het menselijk brein ligt. Dit is de kernuitdaging van de sensorische neurowetenschap: hoe maken we het verschil tussen twee modellen die identiek lijken wanneer ze worden getest op de dingen die we al kennen? Als we ze niet uit elkaar kunnen houden, kunnen we er niet zeker van zijn welk model werkelijk de geheimen van de hersenen vastlegt, en kunnen we het betere model niet gebruiken om nieuwe geluiden te ontwerpen of gehoorstoornissen te begrijpen.
Dit artikel introduceert een slimme truc genaamd "Neural Prediction Decorrelation" (NPD) om de boel op te schudden. De onderzoekers namen twee soorten diepe neurale netwerken (DNN's) — één standaard en één die getraind was om "adversarieel robuust" te zijn (wat betekent dat het moeilijker te misleiden is met vreemde ruis) — en vroegen hen om te voorspellen hoe de menselijke auditieve cortex zou reageren op een reeks geluiden. Wanneer ze natuurlijke geluiden gebruikten, presteerden beide modellen bijna identiek, net als die twee GPS-apps op de rechte snelweg. De voorspellingen van de modellen waren zo vergelijkbaar dat de hersenen het verschil niet eens konden merken.
Maar toen gebruikten de wetenschappers een speciaal algoritme om 60 gloednieuwe geluiden uit te vinden. Dit waren geen willekeurige ruisjes; het waren zorgvuldig vervaardigde geluiden die de twee modellen dwongen om totaal verschillende voorspellingen te doen. Denk aan een goocheltruc waarbij de wetenschapper een geheime code in de oren van de modellen fluistert die hen met elkaar laat discussiëren. Toen ze deze nieuwe "NPD-geluiden" aan mensen in een MRI-scanner lieten horen, waren de resultaten spectaculair. Het standaardmodel, dat uitstekend was met natuurlijke geluiden, zat er plotseling bijna volledig naast. De voorspellingen zakten naar bijna nul. De "adversariële robuuste" model bleef echter niet alleen overeind; het bleef de reacties van de hersenen met hoge nauwkeurigheid voorspellen, ook al had het deze vreemde nieuwe geluiden nog nooit eerder gehoord.
Het artikel suggereert dat dit verschil volledig verborgen bleef wanneer ze alleen natuurlijke geluiden gebruikten. Het robuuste model had een dieper, flexibeler begrip van geluid geleerd dat het standaardmodel miste. Het is alsof het standaardmodel alleen de snelweg heeft uit het hoofd geleerd, terwijl het robuuste model daadwerkelijk de regels van het rijden heeft geleerd. De onderzoekers controleerden ook of deze nieuwe geluiden de hersenen niet op een vreemde manier in de war brachten. Ze ontdekten dat de reactie van de hersenen op deze synthetische geluiden nog steeds perfect paste binnen dezelfde "kaart" als natuurlijke geluiden, waarbij ze clusterden met zaken als spraak of stromend water. Dit betekent dat het robuuste model niet gewoon geluk had; het had een betere manier gevonden om te beschrijven hoe onze hersenen met geluid omgaan, een manier die ook werkt wanneer de geluiden vreemd en onvoorspelbaar zijn.
De studie voert expliciet aan dat natuurlijke geluiden niet voldoende zijn om te bepalen welk computermodel het beste is. Ze laten zien dat het vertrouwen op alleen natuurlijke stimuli enorme verschillen in hoe modellen werken, kan maskeren. Ze sluiten ook de mogelijkheid uit dat het robuuste model simpelweg overfit was op de trainingsdata, omdat het zich perfect generaliseerde naar deze gloednieuwe, gesynthetiseerde geluiden die het nog nooit had gezien. De auteurs zijn zeer zeker van hun bevindingen, aangezien ze dit effect hebben gemeten over meerdere regio's van de auditieve cortex bij nieuwe groepen mensen die deze geluiden nog nooit hadden gehoord. Ze suggereren dat deze "robuustheid" een sleutelcomponent is voor het bouwen van modellen die werkelijk kunnen controleren of voorspellen hoe onze hersenen op geluid reageren, wat de deur opent naar het ontwerpen van geluiden die in de toekomst specifieke delen van de hersenen kunnen targeten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.