Dataset Poisoning Attacks on Behavioral Cloning Policies
Cet article présente la première analyse des attaques de type « clean-label backdoor » sur les politiques de Behavior Cloning, démontrant que même des ensembles de données minimalement empoisonnés peuvent produire des politiques aux performances proches de la ligne de base qui sont hautement vulnérables à l'exploitation par déclencheur, tout en introduisant une nouvelle attaque basée sur l'entropie au moment de l'inférence pour dégrader davantage les performances de la politique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez à un robot à conduire une voiture. Vous ne voulez pas le laisser s'écraser contre des murs un million de fois pour apprendre à la dure ; c'est dangereux et coûteux. Au lieu de cela, vous lui montrez des vidéos d'un conducteur humain parfait et lui dites : « Copie ce qu'il fait ». C'est ce qu'on appelle l'Apprentissage par Imitation, et la méthode spécifique consistant à simplement copier les mouvements est appelée Clonage de Comportement. C'est comme un élève qui mémorise les réponses d'un professeur avant un examen. Mais voici la partie effrayante : et si quelqu'un s'introduisait secrètement dans la salle de classe et modifiait discrètement quelques notes du professeur ? Si l'élève mémorise ces fausses notes, il pourrait passer pour un génie lors de l'examen blanc, mais dès qu'un symbole étrange et spécifique apparaît lors de l'examen réel, il pourrait soudainement décider de conduire dans le ravin. Cet article explore précisément ce scénario de cauchemar : à quel point il est facile de « empoisonner » les données d'entraînement de ces conducteurs IA pour les faire obéir secrètement à une commande cachée.
Les chercheurs de l'Université de l'Utah ont décidé de jouer le rôle du saboteur furtif pour voir à quel point ces conducteurs IA sont réellement fragiles. Ils se sont concentrés sur un type spécifique de ruse appelé attaque par porte dérobée à étiquette propre (clean-label backdoor attack). Pensez-y de cette manière : imaginez que vous apprenez à un chien à s'asseoir. Vous lui montrez l'image d'une balle et vous dites « Assis ». Mais, vous peignez secrètement un petit point rouge vif dans le coin de chaque image de la balle. Vous ne changez pas la commande « Assis », et vous ne changez pas la balle ; vous ajoutez simplement ce point rouge. Si vous faites cela suffisamment de fois, le chien apprend que « Point Rouge + Balle = Assis ». Plus tard, si vous montrez au chien l'image d'un poteau d'incendie avec ce même point rouge, le chien pourrait se dire : « Oh, le point rouge signifie assis ! » et s'asseoir, même s'il regarde un poteau d'incendie. Le chien n'est pas confus ; il suit simplement une règle secrète qu'il a apprise grâce à votre ruse.
Dans cette étude, l'équipe a appliqué cette logique aux politiques de conduite de l'IA. Ils ont pris un ensemble de données de démonstrations de conduite expertes et ont injecté secrètement une minuscule tache rouge de 3x3 dans le coin supérieur gauche des images chaque fois que l'expert appuyait sur la pédale d'accélérateur (« gas »). Ils n'ont pas changé l'étiquette indiquant « accélération » ; ils ont juste ajouté l'autocollant rouge. Ensuite, ils ont entraîné l'IA sur ce jeu de données « empoisonné ». Les résultats ont été d'une efficacité stupéfiante. Ils ont découvert qu'ils n'avaient besoin d'empoisonner qu'environ 2,3 % du total des données (ce qui ne représentait que 5 % des actions spécifiques d'« accélération ») pour créer une porte dérobée extrêmement puissante. Une fois entraînée, l'IA conduisait parfaitement normalement la plupart du temps, paraissant aussi bonne qu'un conducteur sûr. Mais au moment où l'attaquant montrait la tache rouge, l'IA accélérait immédiatement à fond, qu'elle soit face à un feu rouge ou un virage serré.
L'article a également découvert que la performance de l'IA ne semblait pas suspecte du tout. Même avec la porte dérobée active, l'IA obtenait des scores élevés lors des tests de conduite, donnant l'impression d'une réussite, jusqu'à ce que le déclencheur soit actionné. C'est la partie « trompeuse » : le système semble robuste et sûr, mais il est en réalité une bombe à retardement. Les chercheurs ont également testé différents types de déclencheurs. Un carré rouge plein était le plus efficace, agissant comme une sirène bruyante et évidente que l'IA ne pouvait ignorer, atteignant presque 100 % de contrôle lorsqu'il était activé. Un patch de bruit statique aléatoire (bruit gaussien) a également fonctionné, mais il était un peu plus sournois et légèrement moins efficace, nécessitant plus de données d'entraînement pour attirer l'attention de l'IA.
Peut-être la partie la plus ingénieuse de leur travail fut de déterminer quand presser le déclencheur. Ils ont réalisé qu'appuyer sur l'accélérateur sur une route droite et déserte n'est pas très dangereux. Mais si vous trompez l'IA pour qu'elle accélère alors qu'elle essaie de négocier un virage serré, la voiture pourrait partir en tête-à-queue. Pour exploiter cela, ils ont inventé une nouvelle stratégie d'attaque basée sur l'« entropie », un mot savant pour désigner « à quel point l'IA est confuse ». Ils ont découvert que lorsqu'une IA est dans une situation délicate (faible entropie, signifiant qu'elle est assez sûre de ce qu'elle doit faire, mais que la bonne réponse n'est pas « accélérer »), c'est le moment idéal pour injecter la tache rouge. En attendant ces moments critiques, ils pouvaient causer le plus de dégâts avec le moins d'attaques.
En fin de compte, cet article suggère que, alors que nous comptons de plus en plus sur l'IA pour apprendre à partir de vastes ensembles de données pour des tâches du monde réel comme la conduite autonome, nous avons un angle mort sérieux. Nous ne pouvons pas simplement supposer que si une IA réussit bien un test, elle est sûre. L'étude montre qu'une infime quantité de données empoisonnées, presque invisible, peut créer un interrupteur caché qui permet à un attaquant de détourner le système à volonté, tout en paraissant parfaitement normal pour tous les autres. C'est un rappel que dans le monde de l'IA, le fait qu'un étudiant obtienne un A à l'examen blanc ne signifie pas qu'il n'échouera pas à l'examen réel lorsque le code secret sera révélé.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.