Imaginez un monde où vos yeux et votre cerveau sont remplacés par un ordinateur-caméra super intelligent. C'est la réalité de la « vision par IA » moderne, une technologie qui aide les voitures autonomes à voir les piétons, aide les caméras de surveillance à compter les foules et surveille les autoroutes encombrées. Ces systèmes sont incroyablement doués pour repérer les gens, mais ils ont une faiblesse secrète : ils peuvent être trompés. Tout comme un humain peut être dupé par une illusion d'optique ingénieuse, ces caméras d'IA peuvent être confuses par des motifs spéciaux conçus pour ressembler à du bruit pour nous, mais qui agissent comme un « bandeau sur les yeux » pour l'ordinateur. Ce domaine d'étude s'appelle les « attaques adverses ». Il ne s'agit pas de casser la caméra avec un marteau, mais de peindre un tableau qui fait court-circuiter le cerveau de l'IA. Pourquoi cela importe-t-il ? Parce que si une caméra de sécurité dans une gare bondée ou un feu de signalisation peut être trompée pour ne pas voir une personne, tout le système échoue, ce qui peut entraîner des accidents dangereux ou des failles de sécurité.

Rencontrez maintenant AdvSerial, une nouvelle « cape magique » conçue par des chercheurs pour tester à quel point ces caméras d'IA sont réellement vulnérables. Alors que les tentatives précédentes pour tromper l'IA se concentraient sur des vues plates au niveau de la rue (comme une caméra à hauteur d'yeux), cette nouvelle méthode cible les caméras montées en haut de poteaux et de bâtiments — le genre utilisé dans les villes intelligentes et sur les autoroutes. Ces caméras de haut angle voient les gens d'en haut, ce qui déforme leur forme et les rend plus difficiles à tromper. Les chercheurs ont construit une « machine à coudre » numérique qui prend un motif spécial et chaotique et le recoud sur des modèles 3D de vêtements. Ils ont ensuite appris à ce motif à survivre aux angles étranges et aux mouvements de la vie réelle. Lorsqu'ils l'ont testé, les résultats ont été saisissants : dans une expérience dans le monde physique, la cape a réussi à cacher des personnes à un détecteur d'IA populaire appelé YOLO-v5 dans environ 74,8 % des cas. Plus impressionnant encore, elle a réduit la confiance de la caméra à voir une personne d'un solide 84,30 % à un chancelant 39,38 %. Le meilleur dans tout cela ? Ce tour a fonctionné même contre des défenses avancées qui tentent de repérer des motifs « bizarres » ou d'examiner la vidéo au fil du temps pour attraper le trucage.

L'histoire de la veste « invisible »

Plongeons dans le fonctionnement de tout cela. Imaginez que vous essayiez de cacher une personne à un garde de sécurité qui regarde depuis une haute tour. Si vous mettez juste un gros autocollant laid sur son t-shirt, le garde pourrait repérer l'autocollant et l'ignorer. Si vous essayez de peindre un motif sur son t-shirt qui ressemble à un t-shirt normal mais qui confond le garde, le motif risque d'être étiré et tordu lorsque la personne marche, ce qui le fera ressembler à un désordre et donnera la partie.

Les chercheurs, dirigés par Yuanhao Huang et Yilong Ren, ont réalisé que pour vraiment cacher une personne à ces caméras situées en hauteur, on ne pouvait pas simplement faire un autocollant plat. Il fallait un costume 3D dynamique. Ils ont créé un système appelé AdvSerial qui fait trois choses principales :

1. La machine à coudre numérique (Feature Smooth Quilting) : Imaginez que vous fabriquez un patchwork à partir de nombreux petits carrés de tissu, chacun ayant un motif fou et déroutant. Si vous les cousez simplement ensemble, les coutures (les lignes où les carrés se rejoignent) seront évidentes. Une caméra intelligente pourrait voir ces lignes nettes et dire : « Aha ! C'est un faux motif ! ». Pour correr cela, les chercheurs ont inventé une façon ingénieuse de coudre les carrés. Au lieu de simplement assortir les couleurs, ils ont regardé où le cerveau de la caméra était le plus sensible. Ils ont cousu les carrés ensemble dans les « angles morts » du cerveau de la caméra — des endroits où la caméra ne prête pas beaucoup d'attention. C'est ce qu'on appelle le Feature Smooth Quilting. Cela rend les coutures invisibles pour l'IA, même si elles sont là, garantissant que le motif ressemble à une surface lisse et déroutante.

2. Le mannequin voyageur dans le temps (Serial Frame Loss) : La plupart des tours précédentes fonctionnaient pour une seule photo. Mais dans le monde réel, les gens bougent ! Ils marchent, courent et balancent leurs bras. Si le motif ne fonctionne que lorsque vous restez immobile, il est inutile pour une caméra de sécurité qui regarde une vidéo. Les chercheurs ont entraîné leur motif sur un mannequin 3D qui bougeait constamment, changeait de pose et tournait sur lui-même. Ils ont utilisé une règle mathématique spéciale appelée Serial Frame Loss pour s'assurer que le motif continue de fonctionner tout au long de la vidéo. C'est comme enseigner à un tour de magie non pas de fonctionner pendant une seconde, mais de continuer à fonctionner pendant une minute entière, peu importe les mouvements du magicien. Cela a empêché l'effet de « scintillement » où l'IA voit la personne une seconde, la perd, puis la voit à nouveau.

3. Le test de haut angle : Ils n'ont pas seulement testé cela sur un écran d'ordinateur. Ils ont imprimé les motifs sur de vrais vêtements et ont fait marcher des gens devant de vraies caméras de sécurité montées à 3 à 5 mètres de hauteur. Ils ont testé cela dans différentes conditions météorologiques (ensoleillé, pluvieux, brumeux) et à différentes distances (de 5 à 30 mètres).

Les résultats : Une leçon de maître en camouflage

Les résultats ont été un signal d'alarme pour le monde de la sécurité. Lorsqu'ils ont testé leur « cape magique » contre huit types différents de détecteurs d'IA (incluant la célèbre série YOLO et d'autres), les résultats étaient cohérents et effrayants :

• La grande victoire : Contre le détecteur YOLO-v2, la cape a fonctionné 89,71 % du temps. Contre le plus moderne YOLO-v5 dans le monde réel, elle a quand même fonctionné 74,8 % du temps.
• L'effondrement de la confiance : Avant l'attaque, les caméras étaient très sûres de voir une personne (84,30 % de confiance). Après l'attaque, cette confiance a chuté à 39,38 %. La caméra disait pratiquement : « Je ne suis pas sûr que ce soit une personne ou juste une ombre ».
• Battre les défenses : Les chercheurs ont essayé de briser leur propre tour en utilisant deux défenses avancées. Une défense (NapGuard) cherche des lignes nettes et non naturelles dans les motifs. L'autre (Sparse4D-v3) examine la vidéo au fil du temps pour voir si des choses bougent étrangement. La cape a battu les deux. Elle était si lisse que la défense de détection de lignes l'a manquée, et elle était si constante dans le temps que la défense de vérification vidéo n'a pas pu trouver de glitch.

Pourquoi cela compte (et ce que cela ne signifie pas)

Ce document ne dit pas que l'IA est cassée pour toujours. Au contraire, il agit comme un test de résistance. Il montre que les caméras sur lesquelles nous comptons pour la sécurité de nos villes ont un angle mort spécifique : elles ont du mal à voir les personnes portant ces motifs spécifiques et soigneusement conçus lorsqu'elles sont vues sous des angles élevés.

Les chercheurs ont découvert que le tour fonctionne mieux lorsque la personne est debout ou se déplace lentement. Lorsque les gens courent ou balancent les bras frénétiquement, le motif est étiré, et la caméra peut apercevoir la personne à nouveau (le taux de réussite a légèrement baissé, mais il reste bien inférieur à la normale). Cela nous indique que, bien que l'attaque soit puissante, ce n'est pas une cape d'invisibilité magique qui fonctionne à 100 % dans toutes les situations.

Le point le plus important est que les anciennes façons de tester la sécurité (juste prendre une photo et voir si l'IA est confuse) ne suffisent plus. Nous devons tester comment ces systèmes gèrent les personnes en mouvement, les changements d'angles et les conditions du monde réel. Les chercheurs suggèrent que, pour corriger cela, les futurs systèmes de sécurité doivent être plus intelligents dans la façon dont ils suivent les mouvements et gèrent les formes 3D, et pas seulement les images 2D.

En bref, AdvSerial est un outil puissant qui expose une faiblesse cachée de nos caméras de villes intelligentes. Il proule que si vous connaissez le fonctionnement du cerveau de l'IA, vous pouvez concevoir un motif qui la rend « aveugle » aux personnes, même depuis une grande hauteur. C'est un rappel que, tandis que nous construisons des villes plus intelligentes, nous devons également construire des défenses plus intelligentes pour les garder en sécurité.