💻 computer science

AdvSplat: Adversarial Attacks on Feed-Forward Gaussian Splatting Models

Ce papier présente AdvSplat, la première étude systématique des attaques adverses contre les modèles de Gaussian Splatting 3D feed-forward, démontrant que des perturbations imperceptibles peuvent gravement compromettre la reconstruction 3D via des algorithmes d'attaque en boîte noire efficaces.

Auteurs originaux : Yiran Qiao, Yiren Lu, Yunlai Zhou, Rui Yang, Linlin Hou, Yu Yin, Jing Ma

Publié 2026-03-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yiran Qiao, Yiren Lu, Yunlai Zhou, Rui Yang, Linlin Hou, Yu Yin, Jing Ma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un appareil photo magique capable de reconstruire une pièce entière en 3D, juste en regardant deux ou trois photos prises avec votre téléphone. C'est ce que font les modèles récents appelés Gaussiens 3D (ou 3DGS). Ils sont incroyablement rapides et précis, utilisés pour créer des mondes virtuels, des jeux vidéo ou même pour aider les voitures autonomes à voir.

Cependant, les chercheurs de cette étude, AdvSplat, ont découvert une faille effrayante dans la sécurité de cette technologie. Voici l'explication simple, avec quelques images mentales pour bien comprendre.

1. Le Problème : Le "Voleur de Miroir"

Imaginez que le modèle 3DGS est un chef cuisinier très talentueux. Si vous lui donnez deux photos d'un gâteau (les vues de référence), il peut instantanément recréer le gâteau entier en 3D, même sous un angle que vous n'avez jamais vu. C'est magique.

Mais, comme tout chef qui suit une recette précise, ce système est très sensible. Les chercheurs ont découvert qu'il suffit de modifier presque imperceptiblement les photos d'entrée pour que le chef devienne fou.

C'est comme si quelqu'un mettait une toute petite poussière invisible sur les photos du gâteau. Pour l'œil humain, la photo semble identique. Mais pour le chef (le modèle), cette poussière est un signal de détresse qui lui fait dire : "Oups, je ne sais plus comment faire ce gâteau !" Résultat : au lieu d'un magnifique gâteau en 3D, le système génère un chaos de pixels, des taches noires ou un mur blanc aveuglant.

2. La Solution (ou plutôt l'Attaque) : AdvSplat

L'équipe a créé une méthode appelée AdvSplat pour tester cette faiblesse. Ils ont deux façons de faire, comme un hacker qui essaie de pirater un coffre-fort :

L'attaque "Blanche" (White-box) : C'est comme si le hacker avait le plan du coffre-fort et connaissait tous les mécanismes internes. Ils ont utilisé une technique mathématique (PGD) pour trouver exactement où placer la "poussière" pour faire planter le système. C'est facile pour eux, mais dans la vraie vie, on n'a pas accès aux plans internes des applications commerciales.
L'attaque "Noire" (Black-box) : C'est le vrai défi. Imaginez que le hacker ne connaît rien au coffre-fort. Il ne peut que poser des questions : "Si je modifie cette photo un tout petit peu, quel est le résultat ?".
- Le problème ? Poser des questions prend du temps et de l'argent (car les modèles sont gros et lents à interroger).
- L'astuce géniale d'AdvSplat : Au lieu de modifier chaque pixel de l'image (ce qui serait comme essayer de trouver une aiguille dans une botte de foin), ils ont décidé de modifier seulement les "basses fréquences" de l'image.
- L'analogie de la musique : Imaginez que l'image est une chanson. Les "hautes fréquences" sont les détails fins (les cymbales, les bruits aigus). Les "basses fréquences" sont la mélodie principale et la structure (la basse, la batterie).
- Les chercheurs ont dit : "On va juste changer la mélodie principale, pas les détails". Cela réduit énormément le nombre de questions à poser au modèle. C'est comme chercher l'aiguille dans un petit tas de foin au lieu d'une botte entière.

3. Les Résultats : Un Effet "Papillon"

Les résultats sont spectaculaires. Avec des modifications si petites que l'œil humain ne les voit pas (comme changer la couleur d'un pixel de 8 nuances sur 255), la reconstruction 3D s'effondre totalement.

Avant l'attaque : Une belle pièce de salon en 3D, réaliste.
Après l'attaque : Un amas de bruit, des taches noires, ou une image complètement blanche.

C'est comme si un effet papillon se produisait : un tout petit battement d'ailes (la modification de l'image) provoque un ouragan (la destruction de la reconstruction 3D).

4. Pourquoi est-ce important ?

Aujourd'hui, beaucoup d'entreprises veulent utiliser ces modèles pour des applications commerciales (réalité augmentée, voitures autonomes, jeux).

L'étude met en garde : si un pirate peut télécharger une photo "empoisonnée" sur internet, n'importe quel utilisateur qui la télécharge pourrait voir une reconstruction 3D catastrophique. Cela pourrait ruiner la réputation d'une entreprise ou, pire, faire planter une voiture autonome qui essaie de reconstruire la route autour d'elle.

En résumé

Cette recherche nous dit que les nouvelles technologies de reconstruction 3D, bien que super rapides et belles, sont fragiles. Elles peuvent être trompées par des perturbations invisibles. L'équipe a créé un outil (AdvSplat) pour montrer ces faiblesses, en utilisant une astuce intelligente (travailler sur la "mélodie" de l'image plutôt que sur chaque note) pour le faire rapidement.

Le message est clair : avant de lancer ces technologies dans le monde réel, il faut apprendre à les protéger contre ces "virus invisibles".

1. Problématique et Contexte

Le Gaussian Splatting 3D (3DGS) est devenu un paradigme dominant pour la reconstruction 3D en temps réel et haute fidélité. Cependant, les méthodes 3DGS conventionnelles reposent sur une optimisation par scène, ce qui limite leur évolutivité et leur généralisation. Pour pallier cela, des modèles 3DGS "Feed-Forward" (pré-entraînés à grande échelle) ont émergé, permettant une reconstruction rapide à partir de quelques vues d'entrée sans optimisation spécifique à la scène.

Bien que ces modèles offrent un fort potentiel commercial, leur sécurité n'a pas été explorée. Le papier identifie une vulnérabilité critique :

Manque de robustesse : Les modèles feed-forward 3DGS sont sensibles aux attaques adverses. De petites perturbations imperceptibles ajoutées aux images d'entrée peuvent dégrader drastiquement la qualité de la reconstruction 3D.
Défi des attaques en boîte noire : Dans des scénarios réels, les attaquants n'ont souvent pas accès aux poids internes du modèle (boîte noire). Ils ne peuvent que soumettre des requêtes (entrées/sorties). De plus, les attaques par transfert (classiques en classification) échouent ici en raison des grandes différences d'architecture (transformers) et de l'absence de frontière de décision discrète (tâche de régression/reconstruction).
Coût computationnel : Les attaques par requête sont coûteuses car l'espace de recherche (pixels d'images haute résolution) est de très haute dimension, nécessitant un nombre prohibitif de requêtes pour converger.

2. Méthodologie : AdvSplat

Les auteurs proposent AdvSplat, la première étude systématique d'attaques adverses sur les modèles 3DGS feed-forward. La méthode se décompose en deux phases :

A. Validation de la vulnérabilité (Attaque en Boîte Blanche)

Pour prouver la vulnérabilité fondamentale, les auteurs appliquent une attaque PGD (Projected Gradient Descent) standard, en supposant un accès total aux poids du modèle.

Objectif : Maximiser la perte de reconstruction (combinaison de MSE et LPIPS) en modifiant les images d'entrée.
Résultat préliminaire : Même avec des perturbations imperceptibles, la qualité de rendu s'effondre, confirmant que l'architecture neuronale du modèle est intrinsèquement fragile.

B. Attaques en Boîte Noire Efficaces (Cœur de la contribution)

Pour surmonter les défis de l'accès limité aux poids et du coût des requêtes, AdvSplat propose deux algorithmes optimisant des perturbations dans le domaine fréquentiel via la Transformée en Cosinus Discrète (DCT).

Paramétrisation par DCT :
- Au lieu de perturber directement les pixels (espace de haute dimension), l'image est divisée en blocs et transformée en domaine fréquentiel.
- Seules les composantes basse fréquence (qui contiennent la structure principale de l'image) sont perturbées.
- Cela réduit considérablement la dimensionnalité de l'espace d'optimisation, rendant la recherche de perturbations beaucoup plus efficace avec moins de requêtes.
Deux variantes d'attaque :
- Approche basée sur le gradient (Gradient-Based) : Utilise une variante des Stratégies d'Évolution Naturelle (NES) pour estimer le gradient du modèle à partir des sorties. Le gradient est approximé en moyennant les pertes de perturbations bruitées échantillonnées.
- Approche sans gradient (Gradient-Free) : Utilise l'algorithme CMA-ES (Covariance Matrix Adaptation Evolution Strategy). Cette méthode échantillonne des candidats dans une distribution gaussienne multivariée, trie les meilleurs résultats (ceux maximisant la perte), et met à jour la moyenne et la covariance pour guider la recherche vers l'optimum, sans jamais calculer de gradient explicite.

3. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données (RE10K, DL3DV) et trois modèles state-of-the-art (DepthSplat, NoPoSplat, AnySplat).

Efficacité de l'attaque :
- AdvSplat dégrade massivement la qualité de reconstruction. Par exemple, sur DepthSplat (RE10K), le PSNR chute de 21.09 à 7.57 (baisse de 64,1%) avec la variante basée sur le gradient.
- Les métriques SSIM, LPIPS, CLIP et DINO montrent également une détérioration sévère, indiquant une perte de structure, de texture et de cohérence sémantique.
- Visuellement, les images reconstruites deviennent floues, déformées, ou totalement corrompues (artefacts noirs ou blancs), alors que les images d'entrée perturbées restent indiscernables de l'original pour l'œil humain.
Efficacité de la stratégie DCT :
- La comparaison entre les attaques avec et sans DCT montre que la paramétrisation fréquentielle atteint une perte plus élevée avec le même nombre de requêtes. Cela confirme que réduire l'espace de recherche aux basses fréquences accélère la convergence.
Robustesse aux différentes forces d'attaque :
- L'augmentation du budget de perturbation ( $\epsilon$ ) aggrave systématiquement la dégradation de la reconstruction, bien que des effets de saturation (images blanches) puissent fausser certaines métriques statistiques comme le PSNR dans des cas extrêmes.

4. Contributions Clés

Première étude de sécurité : C'est le premier travail à investiguer la vulnérabilité aux attaques adverses des modèles 3DGS feed-forward, révélant un risque de sécurité négligé mais critique.
Algorithmes d'attaque innovants : Proposition de deux algorithmes d'attaque en boîte noire (basés sur le gradient et sans gradient) qui opèrent dans le domaine fréquentiel (DCT), ne nécessitant que l'accès aux entrées/sorties du modèle.
Validation empirique : Des expériences extensives démontrent que ces attaques réussissent systématiquement sur plusieurs modèles et jeux de données, compromettant la fiabilité de la reconstruction 3D.

5. Signification et Impact

Ce travail met en lumière un défi urgent de sécurité et de robustesse pour le déploiement commercial des modèles 3DGS feed-forward.

Scénario réel : Un adversaire pourrait interroger un modèle via une API, générer des images d'entrée perturbées, et les diffuser sur internet. Les utilisateurs téléchargeant ces données obtiendraient des reconstructions 3D de mauvaise qualité, nuisant à la réputation de la plateforme et à la confiance des utilisateurs.
Appel à la communauté : Les auteurs appellent la communauté à se concentrer sur le développement de mécanismes de défense et à améliorer la robustesse intrinsèque de ces modèles avant leur adoption massive dans des applications critiques (robotique, conduite autonome, réalité virtuelle).

En résumé, AdvSplat démontre que la commodité et la rapidité des modèles 3DGS feed-forward s'accompagnent d'une fragilité significative face aux manipulations adverses, nécessitant une attention immédiate de la part des chercheurs en sécurité informatique.