Multi-Task Consistency-based Detection of Adversarial Attacks

Imaginez que vous conduisez une voiture qui voit le monde à travers une caméra, et pas seulement avec des yeux. Cette voiture utilise un type spécial de cerveau informatique appelé Réseau de Neurones Profonds (DNN) pour comprendre ce qu'elle voit. Elle doit repérer les feux de signalisation, lire les panneaux et trouver d'autres voitures pour conduire en toute sécurité. Mais voici la partie délicate : ces cerveaux informatiques peuvent être trompés. Si quelqu'un ajoute une minuscule « particule de bruit » presque invisible à une image — comme quelques pixels déplacés d'une manière très spécifique — l'ordinateur pourrait prendre un panneau de stop pour un panneau de limitation de vitesse, ou ne pas voir du tout un piéton. C'est ce qu'on appelle une « attaque adversaire », et c'est comme le tour de passe-passe d'un magicien pour les ordinateurs. Parce que ces ruses peuvent survenir si facilement, les ingénieurs cherchent désespérément à construire un système de sécurité capable de détecter quand quelqu'un essaie de tromper le cerveau de la voiture avant qu'elle ne commette une erreur dangereuse.

Ce document présente un nouveau garde du corps ingénieux pour ces voitures autonomes. Au lieu d'essayer de rendre le cerveau informatique incassable (ce qui est difficile et coûteux), les auteurs suggèrent d'utiliser une approche basée sur le « travail d'équipe ». Ils ont remarqué que si l'on demande à deux modèles informatiques différents d'examiner la même image — l'un entraîné à dessiner des boîtes autour des objets (Détection d'Objets) et un autre entraîné à peindre la forme exacte de ces objets (Segmentation d'Instance) — ils sont généralement en parfait accord. Mais lorsqu'un attaquant sournois tente de tromper les deux modèles avec une ruse, les deux modèles commencent à se disputer. L'un peut voir une voiture, tandis que l'autre ne voit rien, ou ils peuvent être en désaccord sur l'emplacement de la voiture. Les auteurs ont construit un système qui écoute cette dispute. Si les deux modèles sont trop en désaccord, le système hurle : « Hé, cette image a été altérée ! » et empêche la voiture d'utiliser ces mauvaises données.

Les chercheurs ont testé cette idée en utilisant un ensemble massif de données de scènes de conduite appelé BDD100k. Ils ont créé des milliers d'images « empoisonnées » et piégées en utilisant une méthode d'attaque puissante appelée PGD (Descente de Gradient Projetée) et ont observé comment leur nouveau système réagissait. Ils ont découvert que leur « détecteur de désaccord » faisait incroyablement bien son travail. Lorsqu'ils ont opposé leur système aux attaquants, celui-ci a réussi à identifier les images piégées 99,9 % du temps. C'est un score énorme, ce qui signifie que le système n'est presque jamais trompé.

Ce qui rend cela encore plus intéressant, c'est la façon dont ils ont déterminé quels modèles fonctionnent le mieux ensemble. Ils ont testé de nombreuses combinações, comme associer un modèle doté d'un cerveau « ResNet50 » à un autre doté d'un cerveau « ResNet101 ». Ils ont découvert que les meilleurs duos sont en fait des modèles qui se ressemblent beaucoup à l'intérieur. Cela semble étrange, n'est-ce pas ? Vous pourriez penser que deux modèles différents seraient meilleurs, mais l'article montre que lorsque deux modèles similaires sont attaqués, ils ont tendance à être confus de manières différentes, créant une dispute bruyante et évidente qui est facile à repérer. Si les modèles sont trop différents, ils pourraient simplement ignorer l'attaque ou échouer de la même manière, ce qui rend plus difficile la détection de quelque chose d'anormal.

L'équipe a également essayé de déjouer son propre détecteur. Ils ont créé un « attaquant adaptatif » super intelligent qui tentait de tromper les deux modèles en même temps tout en les forçant à s'accorder sur la mauvaise réponse. Même avec cette ruse avancée, le détecteur a quand même fonctionné, interceptant l'attaque 95 % du temps. Cela suggère que même si les attaquants peuvent tenter de coordonner leurs ruses, les différences naturelles dans la façon dont les modèles traitent l'information rendent très difficile le fait de tromper toute l'équipe.

Comparé à d'autres méthodes de sécurité, cette approche est comme un garde léger et rapide plutôt qu'un char lourd et lent. D'autres méthodes nécessitent souvent de réentraîner l'intégralité du cerveau informatique ou d'ajouter des quantités massives de code supplémentaire, ce qui ralentit la voiture. Les auteurs ont comparé leur système à une défense célèbre appelée « RobustDet ». Bien que RobustDet rendait le modèle légèrement plus difficile à tromper, il était énorme (643 Mo) et lent (11 images par seconde). Le nouveau détecteur, cependant, était beaucoup plus petit (350 Mo) et deux fois plus rapide (20 images par seconde), tout en interceptant presque toutes les attaques.

En résumé, cet article ne prétend pas avoir construit un bouclier incassable. Au lieu de cela, il propose une façon intelligente et efficace d'écouter les fissures dans l'armure. En surveillant les incohérences entre deux façons différentes de voir le monde, le système peut détecter quand la réalité a été numériquement altérée. Les auteurs suggèrent que cette méthode pourrait être une pièce clé du puzzle pour rendre les voitures autonomes plus sûres, prouvant que parfois, la meilleure façon de démasquer un menteur est de le faire parler à quelqu'un d'autre.