Neither Adversarial Training Nor Purification: Emergent Adversarial Robustness from Oscillatory Predictive Learning
Cet article introduit l'apprentissage prédictif oscillatoire (OPL), un cadre combinant des neurones oscillatoires de Kuramoto artificiels avec un préentraînement auto-supervisé prédictif qui atteint une robustesse adversaire compétitive sur CIFAR-10 et CIFAR-100 sans recourir à un entraînement adversaire ou à une purification au moment du test coûteux en calculs.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, les systèmes de vision par ordinateur sont remarquablement doués pour reconnaître des objets, d'un chat dans un arbre à un panneau stop dans la rue. Cependant, ces systèmes possèdent une fragilité cachée. Un humain peut regarder la photo d'un panda et voir un panda, mais si un attaquant ajoute un minuscule motif de statique presque invisible à l'image, l'ordinateur pourrait soudainement et avec assurance identifier un gibbon. Cette vulnérabilité est connue sous le nom de faiblesse adversaire. Pendant des années, la méthode standard pour corriger cela a consisté à entraîner l'ordinateur en lui montrant des millions de ces images trompeuses, le forçant à apprendre comment ignorer le bruit. Ce processus est incroyablement coûteux, nécessitant de vastes quantités de puissance de calcul et de temps, et il ralentit souvent le système lorsqu'il est réellement utilisé. Les chercheurs se demandent depuis longtemps s'il existe une manière plus intelligente de construire ces systèmes dès le départ, peut-être en concevant leur structure interne pour qu'elle soit naturellement résistante à de tels tours, plutôt que de simplement imposer la solution par la force brute à travers un entraînement sans fin.
Une équipe de chercheurs a proposé une nouvelle approche qui contourne la nécessité de ces sessions d'entraînement coûteuses. Au lieu de nourrir le modèle avec des millions d'images corrompues, ils ont construit un système qui apprend à prédire ce qui vient ensuite dans une séquence d'images, combiné à un mécanisme interne unique qui imite la synchronisation rythmique trouvée dans la nature. Ils appellent cette méthode l'Apprentissage Prédictif Oscillatoire. L'idée centrale est de donner à l'ordinateur un type spécifique d'« horloge » ou de rythme interne qui maintient ses différentes parties en synchronisation, rendant plus difficile pour un petit changement malveillant de déséquilibrer l'ensemble du système. Lorsqu'ils ont testé cette méthode, ils ont constaté que le système devenait étonnamment robuste face aux attaques, atteignant des niveaux élevés de sécurité sans jamais voir un seul exemple adversaire durant son entraînement.
Les chercheurs ont testé leur système sur deux ensembles d'images standards utilisés pour entraîner les ordinateurs : l'un comprenant dix catégories différentes comme des avions et des voitures, et un autre avec cent catégories. Ils ont défié le système avec un ensemble de tests rigoureux conçus pour trouver les points faibles du modèle. Dans le premier test, impliquant l'ensemble à dix catégories, leur nouvelle méthode a correctement identifié les images 76,63 % du temps, même lorsque les images étaient sous attaque. Il s'agit d'une amélioration significative par rapport aux autres méthodes qui reposent sur le hasard pour se défendre contre les attaques, lesquelles obtiennent généralement des scores d'environ 71 %. Lorsqu'ils sont passés à l'ensemble plus difficile de cent catégories, le système a tout de même réussi à tenir bon avec un taux de réussite de 50,44 %. Ces résultats sont notables car le système a atteint ce niveau de sécurité sans le coût computationnel important habituellement requis pour rendre un modèle robuste.
Pour comprendre pourquoi cela a fonctionné, l'équipe a décomposé leur création en ses deux parties principales. La première partie est un type spécial de couche de réseau neuronal qui utilise des unités oscillantes, qui sont comme de petits pendules couplés qui s'influencent mutuellement. La seconde partie est une méthode d'apprentissage qui enseigne au système à prédire les vues futures d'une image basées sur les images actuelles. Lorsqu'ils ont testé ces parties séparément, ils ont découvert que la structure oscillante seule fournissait une base solide de défense, mais qu'elle n'était pas suffisante à elle seule. La partie apprentissage prédictif, lorsqu'elle était appliquée à un modèle de vision par ordinateur standard, ne faisait presque rien pour arrêter les attaques. Cependant, lorsqu'ils ont combiné la structure oscillante avec l'apprentissage prédictif, la défense est devenue beaucoup plus forte. L'entraînement prédictif semblait amplifier la stabilité naturelle des parties oscillantes, créant un système bien plus résilient que la somme de ses parties.
Les chercheurs ont également découvert que cette robustesse est une chose délicate, n'existant que sous des conditions très spécifiques. Ils ont constaté que la taille des unités de l'« horloge » interne importait énormément. Lorsque les unités étaient réglées sur une dimension spécifique et petite, le système était hautement résistant aux attaques. Mais lorsqu'ils ont augmenté la taille de ces unités pour rendre le système plus flexible et meilleur pour reconnaître les images dans des conditions normales, la défense s'est soudainement effondrée. Le système est devenu presque complètement vulnérable aux attaques, même s'il était meilleur pour identifier des images propres. Cela suggère que la sécurité du système ne provient pas simplement du fait de rendre le modèle plus grand ou plus puissant. Au contraire, elle repose sur un ensemble de règles strictes et étroites qui maintiennent les rythmes internes synchronisés. Si le système est autorisé à avoir trop de liberté, il perd sa capacité à résister à la manipulation.
Ce travail suggère une nouvelle voie pour construire une intelligence artificielle sécurisée. Il remet en question la croyance de longue date selon laquelle la seule façon de rendre un modèle robuste est de l'entraîner sur des millions d'exemples adverses. En combinant une conception architecturale spécifique avec une méthode d'auto-apprentissage, les chercheurs ont montré que la robustesse peut émerger naturellement de la manière dont le système est construit et de la façon dont il apprend. Bien que le système doive encore être affiné pour fonctionner sur des ensembles d'images plus larges et plus complexes, les résultats offrent une alternative prometteuse aux méthodes actuelles, extrêmement coûteuses en calcul. Cela indique qu'en concevant soigneusement la dynamique interne d'un modèle, nous pourrions créer une IA qui soit non seulement intelligente, mais aussi intrinsèquement difficile à tromper.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.