Generating Multi-view Adversarial Examples for Visual Geometry Grounded Transformer

Dans le monde en évolution rapide de l'intelligence artificielle, une nouvelle génération de systèmes de vision par ordinateur a émergé, capable de comprendre le monde tridimensionnel à partir de photographies plates. Ces systèmes, connus sous le nom de modèles de fondation, agissent comme un traducteur universel pour les données visuelles. Au lieu de simplement identifier qu'une image contient une voiture ou un arbre, ils peuvent assembler plusieurs images prises sous différents angles pour construire un modèle 3D complet et navigable d'une scène. Cette technologie promet de révolutionner la façon dont les robots naviguent, dont les véhicules autonomes perçoivent leur environnement et dont nous interagissons avec les environnements numériques. Cependant, tout comme les structures physiques ont des points faibles que les ingénieurs doivent renforcer, ces systèmes numériques possèdent des vulnérabilités cachées. Les chercheurs savent depuis longtemps qu'en ajoutant de minuscules quantités invisibles de bruit à une image, ils peuvent tromper un ordinateur en lui faisant voir quelque chose qui n'existe pas. C'est le domaine des attaques adverses, où l'objectif est de trouver le plus petit changement possible qui provoque un échec massif de la compréhension de la machine.

Le défi a toujours été une question de vitesse et de cohérence. Les méthodes traditionnelles pour créer ces images trompeuses exigent que l'ordinateur passe un temps considérable à analyser chaque scène spécifique, calculant le motif de bruit parfait pour ce moment précis. Ce processus est trop lent pour les applications du monde réel où les scènes changent instantanément. D'autres méthodes utilisent un motif de bruit unique et statique appliqué à chaque image, espérant qu'il fonctionnera partout, mais celles-ci échouent souvent face aux systèmes 3D complexes car elles ne peuvent pas s'adapter à la géométrie changeante d'une scène. Une équipe de chercheurs de l'Université Baptiste de Hong Kong a maintenant développé une nouvelle approche qui résout ces deux problèmes simultanément. Ils ont créé un système capable de générer une attaque invisible et cohérente à travers les multiples vues d'une scène en un instant, sans avoir besoin de s'arrêter et de calculer quoi que ce soit pour chaque nouvelle situation.

Les chercheurs ont concentré leurs travaux sur un modèle de haute performance spécifique appelé Visual Geometry Grounded Transformer. Ce modèle est conçu pour prendre une séquence d'images et reconstruire instantanément un nuage de points 3D, qui est essentiellement un squelette numérique composé de millions de points représentant la forme et la position des objets dans l'espace. L'équipe a découvert que si ce modèle est incroyablement rapide et précis dans des conditions normales, il est étonnamment fragile face à un type spécifique de tromperie coordonnée. Ils ont construit un outil, qu'ils ont nommé générateur de perturbation adversaire multi-vues, qui agit comme un filtre photographique à tir rapide. Au lieu d'analyser une scène puis de façonner lentement un tour, cet outil apprend les schémas des faiblesses du modèle et applique une distorsion sur mesure à chaque image d'une séquence au même moment.

Pour que cela fonctionne, le système devait apprendre un équilibre difficile. Il devait créer un bruit suffisamment fort pour briser la reconstruction 3D, mais assez subtil pour qu'un œil humain ne le remarque jamais. Les chercheurs ont conçu un mécanisme qui force le bruit à rester cohérent à travers tous les différents angles de caméra. Si le bruit paraissait différent d'un angle à l'autre, le modèle 3D le rejetterait probablement comme une erreur et se corrigerait. En garantissant que la distorsion était parfaitement alignée sur toutes les vues, le système pouvait confondre la logique interne du modèle, le faisant perdre sa maîtrise de la géométrie de la scène. Le résultat était un effondrement complet de la structure 3D, où le monde reconstruit se dissolvait en un désordre chaotique ou disparaissait entièrement, alors que les images d'entrée paraissaient parfaitement normales pour un observateur humain.

Les expériences ont montré que cette nouvelle méthode était nettement supérieure aux tentatives précédentes. Testé contre les modèles standards utilisés pour tenter de briser ces systèmes, le nouveau générateur a atteint son objectif en une seule étape, alors que les anciennes méthodes nécessitaient des dizaines de calculs lents et répétitifs pour obtenir des résultats similaires. Dans des tests impliquant des scènes avec jusqu'à vingt-cinq vues de caméra différentes, le nouveau système a systématiquement dégradé la qualité de la reconstruction 3D, provoquant la dispersion ou la réduction des points numériques jusqu'à ce qu'ils ne soient plus rien. Les chercheurs ont constaté que l'attaque était efficace non seulement sur la forme 3D elle-même, mais aussi sur la capacité du modèle à estimer la profondeur et la position de la caméra, qui sont critiques pour la navigation. Le système pouvait transformer une carte claire et détaillée d'une pièce en un nuage de points fragmenté et inutilisable en quelques millisecondes.

L'un des aspects les plus frappants de la découverte est l'efficacité de l'attaque. Les chercheurs ont démontré que leur outil pouvait traiter une scène complexe avec de multiples vues en moins d'une seconde, en utilisant une fraction de la mémoire informatique requise par les méthodes traditionnelles. Cette vitesse suggère qu'une telle attaque pourrait théoriquement être déployée dans des scénaux réels, comme un robot circulant dans une rue ou un drone volant à travers une ville. L'étude a explicitement exclu l'idée qu'un motif de bruit unique et statique puisse fonctionner contre ces modèles 3D complexes, montrant au contraire que le bruit doit être dynamique et conscient de la relation entre les différents angles de caméra pour être efficace. L'équipe a également confirmé que l'attaque ne reposait pas sur des distorsions larges et évidentes ; les changements étaient si minimes qu'ils restaient invisibles à l'œil humain, préservant la texture et l'apparence des photos originales tout en détruisant complètement la capacité de la machine à comprendre l'espace.

Les implications de ce travail dépassent le cadre du laboratoire. Les chercheurs soulignent que leurs conclusions mettent en évidence une faille de sécurité critique dans le déploiement des systèmes de vision 3D. Si un modèle peut être trompé si facilement et si rapidement, la sécurité des applications qui dépendent d'eux, telles que les voitures autonomes ou la navigation robotique, pourrait être compromise. L'étude ne prétend pas que ces systèmes sont irréparables, mais plutôt qu'ils sont actuellement vulnérables à un type de tromperie spécifique et hautement efficace qui n'a pas été pleinement abordé auparavant. Les auteurs concluent que la prochaine étape urgente est de développer des défenses robustes et des mécanismes de détection pour protéger ces systèmes. Ils suggèrent que sans de telles protections, l'adoption rapide des modèles de fondation 3D pourrait exposer les infrastructures critiques à de nouveaux risques dangereux, où un signal subtil et invisible pourrait faire perdre le chemin à une machine dans le monde réel.