DefenseSplat: Enhancing the Robustness of 3D Gaussian Splatting via Frequency-Aware Filtering

Ce papier présente DefenseSplat, une méthode de défense efficace qui améliore la robustesse du Splattage Gaussien 3D contre les attaques adverses en filtrant le bruit haute fréquence des images d'entrée via une analyse en ondelettes, sans compromettre significativement la qualité de reconstruction sur des données propres.

L'essentiel

🎨 Le Contexte : La Magie de la Reconstruction 3D

Imaginez que vous prenez des centaines de photos d'une pièce ou d'un objet sous tous les angles. Grâce à une technologie récente appelée 3D Gaussian Splatting (3DGS), un ordinateur peut assembler ces photos pour créer un modèle 3D ultra-réaliste, que l'on peut tourner et explorer en temps réel. C'est comme si l'ordinateur apprenait à "peindre" la réalité en utilisant des millions de petites gouttes de peinture lumineuses (les "Gaussians").

C'est une technologie incroyable pour les robots, les voitures autonomes ou les jeux vidéo. Mais comme toute technologie puissante, elle a une faiblesse.

🦹 Le Problème : Les "Virus" Invisibles

Les chercheurs ont découvert que des pirates peuvent ajouter des perturbations adverses aux photos d'entrée.

• L'analogie : Imaginez qu'un pirate ajoute une poussière microscopique et invisible à chaque photo que vous prenez. À l'œil nu, la photo semble normale. Mais pour l'ordinateur qui essaie de reconstruire la scène 3D, cette poussière est un poison.
• La conséquence : Au lieu de reconstruire un beau modèle 3D, l'ordinateur se met à halluciner. Il crée des textures bizarres, des formes qui n'existent pas, et surtout, il consomme une quantité folle de mémoire et de temps de calcul. C'est comme si un virus faisait planter votre ordinateur en le forçant à faire des calculs inutiles.

🔍 L'Observation : Où se cache le poison ?

L'équipe de chercheurs (DefenseSplat) s'est posé la question : Où se cachent ces virus dans l'image ?

Pour répondre, ils ont utilisé un outil mathématique appelé Transformée en Ondelettes (DWT).

• L'analogie de l'orchestre : Imaginez une image comme une symphonie.
  • Les basses fréquences (Low Frequency) sont les instruments graves : le violoncelle, la contrebasse. Ils portent la mélodie principale, la structure de la scène (les murs, les meubles, les formes globales). C'est le "cœur" de l'image.
  • Les hautes fréquences (High Frequency) sont les aigus : les cymbales, les sifflements. Ils apportent les détails fins, les textures, les bords nets.
• La découverte : Les chercheurs ont constaté que les pirates utilisent presque exclusivement les hautes fréquences pour injecter leur poison. Ils ajoutent du "bruit" dans les cymbales pour perturber l'orchestre, tout en laissant la mélodie principale (les basses) intacte.

🛡️ La Solution : Le "Filtre Anti-Poison" (DefenseSplat)

Au lieu de tenter de nettoyer l'image photo par photo (ce qui est difficile), ils ont inventé une stratégie simple et élégante : le filtrage fréquentiel.

Voici comment DefenseSplat fonctionne, étape par étape :

1. Le Tri (Le Tamis) : Avant de commencer la reconstruction 3D, le système prend chaque photo et la passe dans un "tamis" mathématique (la transformée en ondelettes).
2. Le Nettoyage : Il sépare les basses fréquences (la mélodie, la structure) des hautes fréquences (les détails, le bruit). Il jette purement et simplement les hautes fréquences qui contiennent le poison.
   • Imaginez que vous tamisez de la farine pour enlever les petits cailloux.
3. La Reconstruction : L'ordinateur reconstruit la scène 3D uniquement avec les basses fréquences nettoyées.
4. Le Bonus (La Règle de l'Élastique) : Parfois, le poison est si bien caché qu'il ressemble à une texture réelle. Pour éviter que l'ordinateur ne crée des formes bizarres et allongées pour s'adapter à ce poison, le système ajoute une petite règle : "Si une goutte de peinture (Gaussian) devient trop étirée et bizarre, on la redresse". C'est comme un gardien qui empêche les élèves de faire des dessins trop exagérés.

🏆 Les Résultats : Pourquoi c'est génial ?

• Robustesse : Même si les photos sont empoisonnées, le modèle 3D final reste propre et réaliste. Le poison est éliminé avant même qu'il ne puisse faire des dégâts.
• Vitesse et Économie : Comme le système ne s'embête pas avec le bruit, il a besoin de beaucoup moins de "gouttes de peinture" (Gaussians) pour faire le travail. Cela signifie que cela va plus vite et consomme beaucoup moins de mémoire (évitant ainsi les plantages de serveurs).
• Pas de "Sur-correction" : Le plus beau, c'est que si les photos sont propres (sans virus), la méthode ne gâche pas la qualité. Elle garde les détails importants tout en restant légère.

En Résumé

DefenseSplat, c'est comme donner à l'ordinateur un masque anti-pollution et un tamis intelligent. Au lieu de se laisser aveugler par le bruit invisible des pirates, il se concentre uniquement sur l'essentiel de la scène. Résultat : des reconstructions 3D plus sûres, plus rapides et plus belles, même quand on essaie de les tromper.

Résumé technique

1. Problématique

Le 3D Gaussian Splatting (3DGS) est devenu une méthode de référence pour la reconstruction 3D en temps réel et haute fidélité à partir d'images 2D. Cependant, cette technologie présente des vulnérabilités critiques face aux attaques adverses.

• Vulnérabilité : Des perturbations imperceptibles mais cohérentes dans les images d'entrée peuvent dégrader drastiquement la qualité du rendu, augmenter le temps d'entraînement et de rendu, et gonfler l'utilisation de la mémoire GPU, pouvant mener à un déni de service (DoS) sur les serveurs distants.
• Limites des défenses existantes :
  • Les méthodes de défense standard (comme l'entraînement adversarial) sont conçues pour des architectures de réseaux de neurones fixes et supervisés, ce qui ne s'applique pas au 3DGS (méthode auto-supervisée avec une structure de primitives adaptative).
  • Les techniques de filtrage 2D classiques (lissage gaussien, filtrage de Fourier) dégradent les détails essentiels à la reconstruction 3D ou ignorent la structure spatiale nécessaire.
  • L'absence de données de référence « propres » (ground-truth) lors de l'inférence rend difficile la distinction entre une image propre et une image attaquée sans altérer les vraies données.

2. Méthodologie : DefenseSplat

Les auteurs proposent DefenseSplat, une stratégie de défense basée sur le filtrage fréquentiel, conçue pour fonctionner directement sur les images d'entrée multi-vues sans nécessiter de données propres.

A. Analyse Fréquentielle des Perturbations

L'approche repose sur une observation clé obtenue via la Transformée en Ondelettes Discrète (DWT) :

• Observation 1 : Les perturbations adverses se manifestent principalement sous forme de bruit haute fréquence.
• Observation 2 : La composante basse fréquence (subbande LL) conserve la majeure partie de l'énergie et de la structure de la scène originale.
• Analyse de cohérence : En utilisant le Deep Image Matching (SuperPoint + LightGlue) sur des trajectoires de caméras optimisées (résolution du problème du Voyageur de Commerce), les auteurs démontrent que la cohérence multi-vue chute drastiquement dans les bandes haute fréquence des images attaquées, tandis qu'elle reste stable dans les basses fréquences.

B. Stratégie de Défense

La méthode procède en deux étapes principales :

1. Filtrage par Ondelettes (Wavelet Filtering) :

   • Les images d'entrée sont décomposées en sous-bandes fréquentielles (LL, LH, HL, HH).
   • Les sous-bandes haute fréquence (LH, HL, HH), contenant le bruit adversarial, sont mises à zéro.
   • Une transformée inverse (iDWT) est appliquée en ne conservant que la sous-bande LL pour reconstruire une image filtrée.
   • Avantage : Cela supprime le bruit tout en préservant la structure globale de la scène.

2. Régularisation d'Échelle (Scale Regularization) :

   • Pour contrer les textures artificielles qui pourraient présenter une cohérence multi-vue (et donc survivre au filtrage), les auteurs introduisent une fonction de perte basée sur ReLU.
   • Cette perte pénalise les gaussiennes dont la variance normalisée des échelles est excessive (c'est-à-dire les gaussiennes trop allongées), typiques des tentatives d'ajustement à des motifs adverses.
   • Cela permet de supprimer les artefacts tout en préservant les petites gaussiennes sphériques (détails fins) et les grandes gaussiennes plates (régions lisses).

3. Contributions Clés

• Première étude complète sur la défense du 3DGS : Identification des défis uniques liés à la défense contre les attaques adverses dans le contexte du 3DGS (incompatibilité avec l'entraînement adversarial, absence de ground-truth).
• Nouvelle stratégie DefenseSplat : Une méthode simple et efficace utilisant l'analyse en ondelettes pour caractériser et filtrer les perturbations adverses, sans nécessiter de données propres.
• Équilibre Robustesse-Performance : Démonstration qu'il est possible de renforcer la robustesse sans sacrifier significativement la qualité de reconstruction sur des données propres.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks (Mip-NeRF 360, Tanks-and-Temples, LLFF) avec des intensités d'attaque variables ($\epsilon = 16/255$ à $64/255$).

• Robustesse : DefenseSplat réduit considérablement le temps d'entraînement, le nombre de gaussiennes nécessaires et l'utilisation de la mémoire GPU par rapport au 3DGS standard et aux méthodes de base (CompactGS, Difix3D+).
  • Exemple : Sur Mip-NeRF 360, le temps d'entraînement passe de ~1h01 (3DGS) à ~0h34 (DefenseSplat), et l'utilisation mémoire de ~21 Go à ~12 Go.
• Qualité de Reconstruction (Fidélité) :
  • Le PSNR et le SSIM sont nettement supérieurs à ceux des méthodes concurrentes sur des données attaquées.
  • Sur des données propres, la méthode ne dégrade que très légèrement les performances (baisse de ~1,75% du PSNR), prouvant qu'elle ne supprime pas les détails légitimes de la scène.
• Comparaison Visuelle : Les rendus de DefenseSplat éliminent les artefacts adverses (bruit, textures fantômes) tout en conservant les détails réels (rouille, motifs de pneus), contrairement à Difix3D+ qui a tendance à lisser excessivement ou à introduire de nouvelles textures.

5. Signification et Impact

Ce travail est significatif car il :

1. Combler un vide de recherche : Il aborde pour la première fois la sécurité du 3DGS, un domaine où les défenses étaient quasi inexistantes.
2. Offre une solution pratique : La méthode est un module « plug-and-play » qui ne nécessite pas de réentraînement complexe ni d'accès à des données propres, ce qui est crucial pour les déploiements réels sur le cloud.
3. Garantit la viabilité opérationnelle : En réduisant la charge computationnelle et mémoire, DefenseSplat empêche les attaques par déni de service, rendant le 3DGS plus fiable pour des applications critiques comme la robotique, la conduite autonome et la télémédecine.

En conclusion, DefenseSplat établit un nouveau standard pour la sécurisation des reconstructions 3D en exploitant la nature fréquentielle des attaques adverses, offrant un compromis optimal entre sécurité, efficacité et fidélité visuelle.