Neural prediction decorrelation reveals that adversarial robustness substantially improves DNN prediction accuracy across the entire human auditory cortex
Diese Studie führt die neuronale Prädiktionsdekorellation (NPD) ein, eine Methode zur Synthese von Stimuli, die zeigt, dass adversariell robuste tiefe neuronale Netze herkömmliche Modelle bei der Vorhersage menschlicher auditiver Kortexantworten über alle Regionen hinweg signifikant übertreffen, eine Überlegenheit, die bei der ausschließlichen Verwendung natürlicher Klänge nicht nachweisbar bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, wie ein Automotor funktioniert, indem Sie ihm nur zuhören, während es eine vollkommen gerade, leere Autobahn entlangfährt. Sie würden vielleicht das Summen des Motors, das Rollen der Reifen und das Pfeifen des Windes hören, aber Sie würden die komplexen Schaltvorgänge der Getriebe, das Mischen des Kraftstoffs und das Betätigen der Bremsen verpassen, weil die Straße zu glatt und vorhersehbar ist. Das ist ein wenig so, wie es Wissenschaftlern ergeht, wenn sie versuchen, das menschliche Gehirn zu verstehen. Seit Jahrzehnten bauen Forscher Computermodelle, um zu erraten, wie unser Gehirn Töne wie Sprache oder Musik verarbeitet. Sie testen diese Modelle, indem sie natürliche Klänge abspielen und sehen, ob die „Vermutung“ des Computers mit der tatsächlichen elektrischen Aktivität des Gehirns übereinstimmt. Das Problem ist, dass viele verschiedene Computermodelle, selbst wenn sie sehr unterschiedlich aufgebaut sind, scheinbar die exakt gleiche Antwort geben, wenn sie natürliche Klänge hören. Es ist, als hätte man zwei verschiedene GPS-Apps, die beide sagen: „Biegen Sie links in die Main Street ab“; man kann nicht sagen, welche davon wirklich klüger ist, weil beide für diese spezifische Fahrt richtig liegen.
Um dies zu lösen, müssen Wissenschaftler einen Weg finden, die Modelle zu einem Dissens zu bringen. Sie müssen einen Klang abspielen, der ein Modell dazu bringt zu sagen: „Das ist ein Hundebellen“, während das andere sagt: „Das ist ein Autohupen“, während das Gehirn zuhört. Wenn ihnen das gelingt, können sie sehen, welches Modell dem menschlichen Gehirn tatsächlich näher kommt. Dies ist die Kernherausforderung der sensorischen Neurowissenschaft: Wie unterscheiden wir zwischen zwei Modellen, die bei den Tests mit den Dingen, die wir bereits kennen, identisch aussehen? Wenn wir sie nicht unterscheiden können, können wir nicht sicher sein, welches von ihnen wirklich die Geheimnisse des Gehirns einfängt, und wir können das bessere Modell nicht nutzen, um neue Klänge zu entwerfen oder Hörstörungen zu verstehen.
Diese Arbeit stellt einen cleveren Trick namens „Neural Prediction Decorrelation“ (NPD) vor, um die Dinge aufzumischen. Die Forscher nahmen zwei Arten von tiefen neuronalen Netzen (Deep Neural Networks, DNNs) – eines Standardmäßiges und eines, das darauf trainiert wurde, „adversariell robust“ zu sein (was bedeutet, dass es schwerer durch seltsame Störgeräusche zu täuschen ist) – und baten sie, vorherzusagen, wie der menschliche auditorische Kortex auf eine Reihe von Klängen reagieren würde. Als sie natürliche Klänge verwendeten, schnitten beide Modelle fast identisch ab, genau wie die zwei GPS-Apps auf der geraden Autobahn. Die Vorhersagen der Modelle waren so ähnlich, dass das Gehirn sie nicht unterscheiden konnte.
Doch dann nutzten die Wissenschaftler einen speziellen Algorithmus, um 60 brandneue Klänge zu erfinden. Dies waren keine bloßen Zufallsgeräusche; sie wurden sorgfältig gestaltet, um die beiden Modelle dazu zu zwingen, völlig unterschiedliche Vorhersagen zu treffen. Denken Sie an einen Zaubertrick, bei dem der Wissenschaftler den Modellen einen geheimen Code zuflüstert, der sie dazu bringt, miteinander zu streiten. Als sie diese neuen „NPD-Klänge“ Menschen in einem MRT-Gerät vorspielten, waren die Ergebnisse dramatisch. Das Standardmodell, das bei natürlichen Klängen hervorragend abgeschnitten hatte, lag plötzlich bei fast allem falsch. Seine Vorhersagen sanken auf nahezu Null. Das „adversariell robuste“ Modell hingegen überlebte nicht nur, sondern behielt eine hohe Genauigkeit bei der Vorhersage der Gehirnreaktionen bei, obwohl es diese seltsamen neuen Klänge noch nie gehört hatte.
Die Arbeit legt nahe, dass dieser Unterschied verborgen war, wenn man nur natürliche Klänge verwendete. Das robuste Modell hatte eine tiefere, flexiblere Art des Klangverständnisses erlernt, die das Standardmodell übersehen hatte. Es ist, als hätte das Standardmodell nur die Autobahn auswendig gelernt, während das robuste Modell tatsächlich die Regeln des Autofahrens gelernt hat. Die Forscher überprüften auch, ob diese neuen Klänge das Gehirn nicht einfach auf eine seltsame Weise verwirrten. Sie fanden heraus, dass die Reaktion des Gehirns auf diese synthetischen Klänge immer noch perfekt in dieselbe „Landkarte“ passte wie natürliche Klänge und sich mit Dingen wie Sprache oder fließendem Wasser gruppieren ließ. Dies bedeutet, dass das robuste Modell nicht einfach nur Glück hatte; es hatte einen besseren Weg gefunden, um zu beschreiben, wie unser Gehirn mit Schall umgeht – einen Weg, der auch dann funktioniert, wenn die Klänge seltsam und unvorhersehbar sind.
Die Studie argumentiert explizit gegen die Vorstellung, dass natürliche Klänge ausreichen, um zu bestimmen, welches Computermodell das beste ist. Sie zeigen auf, dass das Verlassen auf nur natürliche Stimuli die enormen Unterschiede in der Funktionsweise der Modelle verschleiern kann. Sie widerlegen auch die Idee, dass das robuste Modell einfach nur auf die Trainingsdaten überangepasst (overfitting) war, da es perfekt auf diese brandneuen, synthetisierten Klänge generalisierte, die es zuvor noch nie gesehen hatte. Die Autoren sind sich ihrer Ergebnisse sehr sicher, da sie diesen Effekt über mehrere Regionen des auditorischen Kortex in neuen Gruppen von Menschen gemessen haben, die diese Klänge noch nie gehört hatten. Sie legen nahe, dass diese „Robustheit“ eine Schlüsselkomponente ist, um Modelle zu bauen, die tatsächlich steuern oder vorhersagen können, wie unser Gehirn auf Schall reagiert, was die Tür für die zukünftige Entwicklung von Klängen öffnet, die gezielt bestimmte Teile unseres Gehirns ansprechen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.