🧠 neuroscience

Neural prediction decorrelation reveals that adversarial robustness substantially improves DNN prediction accuracy across the entire human auditory cortex

Cette étude introduit la décorrélation de prédiction neurale (NPD), une méthode qui synthétise des stimuli pour révéler que les réseaux de neurones profonds adversellement robustes surpassent de manière significative les modèles standards dans la prédiction des réponses du cortex auditif humain à travers toutes les régions, une supériorité qui demeure indétectable lorsqu'on utilise uniquement des sons naturels.

Auteurs originaux : Skrill, D., Feather, J., Norman-Haignere, S. V.

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Skrill, D., Feather, J., Norman-Haignere, S. V.

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de comprendre comment fonctionne un moteur de voiture en vous contentant d'écouter sa course le long d'une autoroute parfaitement droite et déserte. Vous entendriez peut-être le moteur vrombir, les pneus rouler et le vent siffler, mais il vous manquerait la complexité des engrenages qui s'enclenchent, du mélange du carburant et du freinage, car la route est trop lisse et prévisible. C'est un peu ce que les scientifiques affrontent lorsqu'ils tentent de comprendre le cerveau humain. Depuis des décennies, des chercheurs construisent des modèles informatiques pour deviner comment nos cerveaux traitent les sons, comme la parole ou la musique. Ils testent ces modèles en jouant des sons naturels et en regardant si la « supposition » de l'ordinateur correspond à l'activité électrique réelle du cerveau. Le problème est que de nombreux modèles informatiques différents, même s'ils sont construits de manières très distinctes, semblent donner exactement la même réponse lorsqu'ils écoutent des sons naturels. C'est comme avoir deux applications GPS différentes qui vous disent toutes les deux de tourner à gauche sur la rue Main ; vous ne pouvez pas savoir laquelle est réellement la plus intelligente parce qu'elles sont toutes les deux correctes pour ce trajet spécifique.

Pour résoudre cela, les scientifiques doivent trouver un moyen de faire en sorte que les modèles ne soient pas d'accord. Ils doivent diffuser un son qui fasse dire à un modèle : « C'est un aboiement de chien », et à l'autre : « C'est un coup de klaxon de voiture », pendant que le cerveau écoute. S'ils peuvent faire cela, ils pourront voir quel modèle est réellement le plus proche du fonctionnement du cerveau humain. C'est le cœur du défi de la neuroscience sensorielle : comment faire la différence entre deux modèles qui semblent identiques lorsqu'ils sont testés sur les choses que nous connaissons déjà ? Si nous ne pouvons pas les distinguer, nous ne pouvons pas être sûrs de savoir lequel capture véritablement les secrets du cerveau, et nous ne pouvons pas utiliser le meilleur pour concevoir de nouveaux sons ou comprendre les troubles de l'audition.

Cet article présente une astuce ingénieuse appelée « Décorrélation de Prédiction Neurale » (NPD) pour bousculer les choses. Les chercheurs ont pris deux types de réseaux de neurones profonds (DNN) — l'un standard et l'autre qui avait été entraîné pour être « résistant aux attaques adverses » (ce qui signifie qu'il est plus difficile de le tromper avec un bruit bizarre) — et leur ont demandé de prédire comment le cortex auditif humain réagirait à une série de sons. Lorsqu'ils utilisaient des sons naturels, les deux modèles performaient de manière presque identique, tout comme les deux applications GPS sur l'autoroute droite. Les prédictions des modèles étaient si similaires que le cerveau ne pouvait pas les distinguer non plus.

Mais ensuite, les scientifiques ont utilisé un algorithme spécial pour inventer 60 sons totalement nouveaux. Ce n'étaient pas de simples bruits aléatoires ; ils étaient soigneusement élaborés pour forcer les deux modèles à faire des prédictions complètement différentes. Imaginez cela comme un tour de magie où le scientifique chuchote un code secret aux modèles pour les faire argumenter entre eux. Lorsqu'ils ont diffusé ces nouveaux « sons NPD » à des personnes dans une machine d'IRM, les résultats ont été spectaculaires. Le modèle standard, qui était excellent avec les sons naturels, s'est soudainement trompé sur presque tout. Ses prédictions sont tombées à presque zéro. Cependant, le modèle « résistant aux attaques adverses » ne s'est pas contenté de survivre ; il a continué à prédire les réactions du cerveau avec une grande précision, même s'il n'avait jamais entendu ces sons étranges auparavant.

L'article suggère que cette différence était totalement cachée lorsqu'ils n'utilisaient que des sons naturels. Le modèle robuste avait appris une façon plus profonde et plus flexible de comprendre le son que le modèle standard avait manquée. C'est comme si le modèle standard avait seulement mémorisé l'autoroute, tandis que le modèle robuste avait réellement appris les règles de la conduite. Les chercheurs ont également vérifié que ces nouveaux sons ne confondaient pas le cerveau de manière étrange. Ils ont découvert que la réaction du cerveau à ces sons synthétiques s'inscrivait toujours parfaitement dans la même « carte » que les sons naturels, se regroupant avec des éléments comme la parole ou le bruit de l'eau qui coule. Cela signifie que le modèle robuste n'était pas simplement chanceux ; il avait trouvé une meilleure façon de décrire la manière dont nos cerveaux gèrent le son, une méthode qui fonctionne même lorsque les sons sont étranges et imprévisibles.

L'étude soutient explicitement l'idée que les sons naturels ne suffisent pas pour déterminer quel modèle informatique est le meilleur. Elle montre que s'appuyer uniquement sur des stimuli naturels peut masquer d'énormes différences dans le fonctionnement des modèles. Elle écarte également l'idée que le modèle robuste se soit simplement sur-appris (overfitting) sur les données d'entraînement, car il s'est parfaitement généralisé à ces nouveaux sons synthétisés qu'il n'avait jamais vus. Les auteurs sont très sûrs de leurs conclusions, ayant mesuré cet effet à travers plusieurs régions du cortex auditif chez de nouveaux groupes de personnes n'ayant jamais entendu ces sons. Ils suggèrent que cette « robustesse » est un ingrédient clé pour construire des modèles capables de véritablement contrôler ou prédire la façon dont nos cerveaux répondent au son, ouvrant la voie à la conception de sons capables de cibler des parties spécifiques du cerveau à l'avenir.

Résumé Technique : La Décorrélation de la Prédiction Neurale Révèle que la Robustesse Adversaire Améliore Substantiellement la Précision de Prédiction des DNN

Énoncé du Problème
Un défi central en neurosciences sensorielles consiste à distinguer des modèles d'encodage distincts qui prédisent les réponses neurales à des stimuli naturels complexes avec une précision similaire. Bien que les réseaux de neurones profonds (DNN) soient apparus comme des outils puissants pour modéliser les calculs neuraux, les DNN standards et ceux dotés d'une robustesse adversaire produisent souvent des prédictions indiscernables pour les sons naturels, tels que la parole. Cette similitude est fréquemment attribuée à des structures de modèles partagées ou à des limitations dans la résolution de la mesure neurale. Cependant, cet article postule que la similitude peut également provenir de l'ensemble de stimuli lui-même : si les modèles sont testés uniquement sur des stimuli qui provoquent des prédictions corrélées, les données neurales ne peuvent pas révéler quel modèle s'aligne le mieux avec le cerveau. Les auteurs émettent l'hypothèse que la robustesse adversaire, qui améliore l'alignement entre les décisions humaines et celles des modèles lors de tâches comportementales, pourrait ne pas être capturée par les ensembles de stimuli naturels standards.

Méthodologie
Pour remédier à la limitation des prédictions corrélées des stimuli naturels, les auteurs ont développé une méthode nommée Décorrélation de la Prédiction Neurale (NPD - Neural Prediction Decorrelation).

Synthèse de Stimuli : Contrairement aux approches traditionnelles qui optimisent les modèles pour des stimuli fixes, la NPD optimise les stimuli eux-mêmes. La méthode synthétise un nouvel ensemble de sons conçus pour décorréler les prédictions de modèles d'encodage concurrents (spécifiquement, un DNN standard et un DNN doté d'une robustesse adversaire) à travers une population neurale cible (voxels fMRI dans le cortex auditif).
Objectif d'Optimisation : L'algorithme minimise une fonction de perte qui pousse la covariance entre les prédictions de différents modèles vers zéro, tout en maintenant une variance élevée dans les prédictions. Cela garantit que les sons synthétisés provoquent des réponses fortes et distinctes de chaque modèle. La matrice de covariance cible fixe les éléments hors-diagonale (covariance) à zéro et les éléments diagonaux (variance) à une valeur élevée (5 fois la variance des sons naturels).
Design Expérimental :
- Entraînement des Modèles : Les auteurs ont utilisé un DNN standard (CochResNet50) et une architecture identique entraînée avec une robustesse adversaire (en utilisant des contraintes de norme $l_2$ , $\epsilon=1.0$ ). Les deux ont été entraînés sur la reconnaissance de mots dans un bruit de fond.
- Sources de Données : L'étude a exploité les données de trois expériences : NH2015 et B2021 (sons naturels) pour ajuster les modèles d'encodage initiaux et synthétiser les sons NPD, et une nouvelle expérience (S2026) pour tester ces sons sur des participants non chevauchants.
- Évaluation : Les auteurs ont mesuré les réponses fMRI à 60 sons synthétisés par NPD et ont comparé la précision de prédiction du modèle standard par rapport au modèle robuste. Ils ont également analysé l'organisation de faible dimension de ces réponses à l'aide de UMAP et de l'Analyse en Composantes Principales (PCA).

Résultats Clés

Masquage avec les Sons Naturels : Conformément aux découvertes antérieures, le modèle standard et le modèle robuste ont montré une précision de prédiction neurale virtuellement identique pour les sons naturels dans toutes les régions testées du cortex auditif (ex. : gyrus de Heschl, planum temporale). La métrique de dissimilarité entre leurs précisions était proche de zéro.
Démasquage avec les Sons NPD : Lorsqu'ils ont été testés sur les sons synthétisés par NPD, une divergence spectaculaire est apparue. Le modèle adversaire robuste a maintenu une forte précision de prédiction (corrélations allant de ~0,54 à 1,0 à travers les régions), tandis que la précision de prédiction du modèle standard est tombée à près de zéro. Cet effet a été observé dans chaque région anatomique testée et s'est avéré robuste chez les participants non inclus dans l'ajustement (held-out).
Sous-espace Neural Partagé : Malgré les prédictions divergentes des modèles, les motifs de réponse neurale évoqués par les sons NPD se chevauchaient de manière significative avec ceux des sons naturels. Les sons naturels et les sons NPD occupaient tous deux un sous-espace de faible dimension partagé et interprétable, organisé par catégories sonores et caractéristiques acoustiques (ex. : les structures de type parole se regroupaient avec la parole naturelle).
Généralisation : Le modèle robuste, ajusté uniquement sur des sons naturels, a réussi à prédire les réponses neurales aux sons synthétisés par NPD. En revanche, le modèle standard n'a pas réussi à se généraliser à ce nouvel espace de stimuli, suggérant que ses représentations internes sont limitées aux statistiques des stimuli naturels.

Signification et Revendications
L'article affirme que la NPD fournit une approche générale pour comparer les modèles d'encodage en synthétisant des stimuli qui découplent explicitement les prédictions des modèles. La découverte principale est que la robustesse adversaire étend substantiellement le pouvoir prédictif des DNN au-delà des stimuli naturels.

Comparaison de Modèles : L'étude démontre que l'équivalence apparente des modèles standard et robuste sur les sons naturels est un artefact de l'ensemble de stimuli. La NPD révèle que les modèles robustes capturent des calculs neuraux que les modèles standards manquent, spécifiquement ceux requis pour se généraliser à des espaces de stimuli non naturels et décorrelés.
Contrôle de la Population Neurale : Les résultats suggèrent que l'entraînement adversaire permet aux modèles de supporter un "contrôle de la population neurale" — la capacité de synthétiser des stimuli qui évoquent des motifs de réponse neurale spécifiques et ciblés. Alors que les modèles standards peinent à contrôler l'activité neurale en dehors de la distribution étroite des sons naturels sans une régularisation lourde, les modèles robustes peuvent le faire naturellement.
Implications Plus Larges : Les auteurs concluent que la robustesse adversaire est critique pour cibler l'activité de la population via la synthèse de stimuli. Cela étend l'utilité des DNN en neurosciences sensorielles, permettant la conception d'expériences qui sondent les mécanismes neuraux au-delà des contraintes des stimuli naturalistes.

L'article reste modeste dans sa portée, notant que bien que la NPD révèle un écart de performance, elle n'implique pas nécessairement que le modèle robuste est le seul modèle correct, mais plutôt qu'il est supérieur dans sa capacité à se généraliser à travers un espace de stimuli plus large défini par l'objectif de décorrélation.

Articles similaires