Federated Adversarial Training with Transformers

Dans le monde moderne de l'intelligence artificielle, les machines apprennent en étudiant de vastes quantités de données. Habituellement, ces données sont rassemblées en un lieu central, comme une bibliothèque massive, où un système informatique unique lit tout pour trouver des modèles. Cependant, un mouvement croissant appelé apprentissage fédéré change cet arrangement. Au lieu de rassembler des informations privées provenant de millions de personnes en un seul point, l'apprentissage se fait sur les appareils individuels eux-mêmes — téléphones, capteurs médicaux ou serveurs locaux. Les appareils conservent la confidentialité de leurs données et n'envoient que de petites mises à jour cryptées sur ce qu'ils ont appris à un coordinateur central. Ce coordinateur combine ensuite ces mises à jour pour construire un modèle global plus intelligent, le tout sans jamais voir les données personnelles brutes. C'est un moyen puissant de protéger la vie privée tout en faisant progresser la technologie.

Pourtant, ces modèles intelligents font face à un danger caché. Tout comme un humain peut être trompé par une illusion d'optique ingénieuse, une intelligence artificielle peut être dupée par des changements infimes, presque invisibles, sur une image. Une photo de panda peut être altérée par quelques pixels d'une manière imperceptible pour l'œil humain, provoquant l'identification erronée et certaine par l'ordinateur comme étant un gibbon. Ce sont ce que l'on appelle des exemples adverses. Pour se défendre contre eux, les chercheurs utilisent une technique appelée entraînement adverse, où le modèle est exposé de manière répétée à ces images truquées et altérées pendant sa phase d'apprentissage afin qu'il apprenne à ignorer la tromperie. La question que cette nouvelle étude aborde est de savoir si cette défense fonctionne lorsque l'apprentissage se déroule de manière distribuée et respectueuse de la vie privée, en utilisant spécifiquement un type d'architecture moderne appelé transformateur de vision (vision transformer), qui est actuellement l'un des outils les plus puissants pour enseigner aux ordinateurs à voir.

Les chercheurs ont entrepris de tester la capacité de ces transformateurs de vision à être entraînés pour résister à la tromperie lorsque les données sont réparties entre cinq clients différents, imitant un scénario du monde réel où les données ne sont pas parfaitement équilibrées. Ils ont expérimenté douze variations différentes du modèle, modifiant la façon dont les images sont décomposées en morceaux pour l'analyse par l'ordinateur et la façon dont la décision finale est prise. Ils ont également testé plusieurs méthodes différentes pour combiner les mises à jour de l'apprentissage des cinq clients. L'objectif était de voir quelle combinaison de conception de modèle et de méthode de combinaison produisait le résultat le plus robuste — un résultat qui reste précis même lorsqu'il est attaqué par les ruses les plus sophistiquées.

La première découverte majeure fut une surprise pour ceux qui espéraient que les méthodes plus récentes seraient toujours meilleures. Plusieurs techniques avancées, conçues spécifiquement pour aider les modèles à apprendre plus rapidement lorsque les données sont inégalement réparties, ont en réalité rendu les transformateurs de vision plus vulnérables aux attaques. Ces méthodes, qui tentent de corriger les différences entre les clients, ont fini par ralentir l'entraînement et ont nécessité deux fois plus de données envoyées et reçues entre les appareils et le serveur central. En revanche, la méthode standard, plus simple, consistant à faire la moyenne des mises à jour, s'est avérée plus performante pour maintenir la sécurité du modèle face à la tromperie. Il s'est avéré que les corrections complexes destinées à corriger le déséquilibre des données étaient inutiles pour ce type spécifique de modèle et n'ajoutaient que des coûts sans améliorer la sécurité.

L'étude a également révélé que la manière dont un modèle regarde une image compte profondément pour sa sécurité. Les chercheurs ont testé différentes façons de découper l'image en jetons (tokens), ou petits morceaux, avant que le modèle ne les analyse. Ils ont découvert qu'une méthode qui décompose les images en morceaux très fins et superposés aidait le modèle à mieux reconnaître les objets dans des conditions normales. Cependant, cette même méthode rendait le modèle beaucoup plus facile à tromper lorsqu'un attaquant tentait de le duper. À l'inverse, les modèles qui reposent uniquement sur des jetons visuels spécifiques pour leur décision finale peinaient à apprendre efficacement dans ce cadre distribué. L'approche la plus réussie impliquait un équilibre : utiliser un mélange de jetons visuels et d'un jeton de résumé spécial pour prendre la décision finale, ce qui permettait au modèle de rester précis tout en restant résistant aux attaques.

Pour résoudre le problème des données inégales sans le coût élevé des méthodes complexes, l'équipe a introduit une nouvelle stratégie appelée FedWAvg. Au lieu de traiter chaque mise à jour de client de manière égale ou de tenter de les rendre identiques, cette nouvelle méthode examine la couche finale de chaque modèle de client — la partie qui prend réellement la décision. Elle mesure à quel point la direction de la couche de prise de décision de chaque client s'aligne avec celle du modèle global. Si la mise à jour d'un client pointe dans une direction similaire, elle reçoit un poids plus important ; si elle pointe dans une direction très différente, elle en reçoit un plus faible. Il ne s'agit pas d'une supposition aléatoire, mais d'un ajustement mathématique précis qui garantit que le modèle global ne dévie pas de sa trajectoire. Les chercheurs ont prouvé que cette approche ne rend jamais le modèle moins performant que la méthode standard et améliore sa capacité à résister aux attaques, spécifiquement lorsque les données sont fortement biaisées, alors qu'elle n'offre aucun avantage constant sous un biais modéré.

Les résultats ont montré que cette nouvelle méthode de pondération fonctionnait particulièrement bien lorsque les données étaient très biaisées, comme lorsque certains clients ne possédaient que des images de chats et de chiens tandis que d'autres n'avaient que des voitures et des camions. Dans ces scénarios difficiles, la nouvelle méthode maintenait la précision du modèle élevée et ses défenses solides, alors que les anciennes méthodes complexes échouaient. L'étude a également souligné que la taille du modèle importait ; les modèles plus grands avec plus de blocs d'attention perforaient mieux dans ces environnements désordonnés et inégaux, bien qu'ils nécessitent plus de puissance de calcul. Les chercheurs ont noté que, bien que leurs tests aient été effectués sur un ensemble spécifique d'images, les principes qu'ils ont mis en lumière concernant la manière de combiner les mises à jour d'apprentissage et de concevoir la couche de décision finale du modèle sont susceptibles de s'appliquer à des ensembles de données plus vastes et plus complexes à l'avenir.

En fin de compte, ce travail fournit une feuille de route claire pour construire une intelligence artificielle sécurisée et respectueuse de la vie privée. Il montre que dans la lutte contre les attaques trompeuses, la simplicité est souvent préférable. Le chemin le plus efficace n'est pas d'ajouter des mécanismes de correction plus complexes qui ralentissent le processus, mais d'utiliser une façon intelligente et légère de pondérer les contributions de chaque apprenant. En se concentrant sur l'alignement des couches de prise de décision finale, la nouvelle méthode garantit que le modèle global reste sur la bonne voie, apprenant de chacun sans être égaré par le bruit des données inégales. Cette approche offre un moyen pratique et efficace de déployer des systèmes de vision robustes dans le monde réel, où les données sont rarement parfaites et où la confidentialité est primordiale.