Résumé technique : Robustesse certifiée à partir de structures de mélanges gaussiens approximatifs dans les espaces latents préentraînés

Énoncé du problème

Les modèles d'apprentissage profond sont intrinsèquement vulnérables aux perturbations adverses, ce qui pose des risques significatifs pour les applications critiques pour la sécurité. Bien que les défenses empiriques (par exemple, l'entraînement adversaire) atteignent souvent une robustesse élevée en pratique, elles manquent de garanties formelles et sont vulnérables aux attaques adaptatives. À l'inverse, les défenses certifiées fournissent des garanties de robustesse prouvables, mais produisent généralement des bornes excessivement conservatrices car elles ne parviennent pas à exploiter la structure sous-jacente des distributions de données complexes. Des travaux théoriques récents (par exemple, Pal et al., 2023, 2024) ont établi que l'existence de classifieurs robustes est liée aux propriétés de « localisation » des distributions de données. Cependant, ces résultats restent difficiles à mettre en œuvre en pratique car les ensembles de localisation requis sont implicites, leurs paramètres sont difficiles à estimer, et les classifieurs résultants ne sont pas évolutifs vers les jeux de données modernes. Le défi central abordé par ce travail est : Comment pouvons-nous exploiter la structure de la distribution de données pour concevoir des classifieurs qui sont à la fois certifiablement robustes et efficaces en pratique ?

Méthodologie

Le cadre proposé, GENELLIPS, répond à ce défi en exploitant des propriétés structurelles approximatives dans les espaces latents d'encodeurs préentraînés. La méthodologie se déroule en deux étapes :

1. Fondement théorique dans les modèles de mélanges gaussiens (GMM)

Les auteurs analysent d'abord le cadre idéalisé où les données suivent un modèle de mélange gaussien.

• Conditions de localisation : Ils dérivent les conditions nécessaires et suffisantes pour l'existence de classifieurs robustes dans les GMM. Plus précisément, ils prouvent que si les distributions conditionnelles par classe sont localisées sur des ensembles ellipsoïdaux définis par leurs moyennes et leurs covariances, un classifieur robuste existe. Ces conditions sont exprimées sous forme close en utilisant des quantités géométriques (moyennes, covariances et séparations).
• Le classifieur ELLIPS : Sur la base de ces conditions, ils construisent un classifieur nommé ELLIPS (Ellipsoïde le plus proche). Ce classifieur attribue les entrées à la classe correspondant à l'ellipsoïde le plus proche en termes d'une distance de Mahalanobis modifiée, intégrant les a priori et les déterminants de covariance. Il coïncide avec l'analyse discriminante quadratique (QDA) mais est ici analysé à travers le prisme de la robustesse.
• Certificats sous forme close : Pour ELLIPS, les auteurs dérivent un certificat de robustesse sous forme close contre les attaques adverses bornées en $\ell_2$. Le rayon certifié dépend de la marge de classification, de la courbure locale (valeurs propres de la différence des covariances inverses) et de la géométrie des ellipsoïdes.
• Bornes de généralisation : Ils fournissent des bornes de généralisation montrant qu'avec un nombre suffisant d'échantillons ($n = O(d^{1/4})$), le certificat appris (en utilisant les moyennes et covariances d'échantillon) reste proche du vrai certificat avec une forte probabilité.

2. Extension aux données réelles via une structure latente approximative

Pour gérer des données réelles complexes et non gaussiennes, le cadre généralise l'approche GMM en utilisant un encodeur préentraîné localement Lipschitzien ($f$).

• Structure approximative : Au lieu d'exiger que les données brutes soient gaussiennes, la méthode suppose que l'encodeur mappe les entrées vers une distribution latente qui est $\epsilon$-proche (en divergence de Kullback-Leibler) d'un mélange gaussien.
• Dégradation gracieuse : La contribution théorique centrale ici est la preuve que si la distribution latente est approximativement gaussienne, la précision certifiée se dégrade de manière gracieuse. Plus précisément, la précision certifiée sous la vraie distribution ($P_z$) est bornée par la précision certifiée sous le GMM approximatif ($Q_z$) moins un terme proportionnel à $\sqrt{\epsilon/2}$.
• Pipeline : Le pipeline final, GENELLIPS, applique l'encodeur préentraîné pour mapper les entrées vers l'espace latent, ajuste un GMM aux représentations latentes, puis applique le classifieur ELLIPS. Le certificat de robustesse combine la constante de Lipschitz locale de l'encodeur avec le certificat sous forme close du classifieur ELLIPS latent.

Contributions clés

1. Conditions vérifiables pour les GMM : L'article dérive les conditions nécessaires et suffisantes pour l'existence de classifieurs robustes dans les modèles de mélanges gaussiens, exprimées explicitement en termes de géométrie de la distribution (moyennes, covariances et séparations).
2. Classifieur ELLIPS avec garanties sous forme close : Il introduit un classifieur qui exploite la structure géométrique de la distribution de données et admet un certificat explicite, sous forme close, de robustesse contre les attaques $\ell_2$, ainsi que des bornes de généralisation correspondantes.
3. Théorie de la structure latente approximative : Le travail prouve que la gaussianité exacte n'est pas requise. Il établit que si un encodeur préentraîné mappe les entrées vers une distribution latente $\epsilon$-proche d'un GMM, la précision certifiée se dégrade de manière gracieuse, offrant une voie pratique vers la certification sans exiger un contrôle exact de la distribution de données.
4. Validation empirique : La méthode atteint une précision certifiée à la pointe de l'art ou compétitive sur CIFAR-10 et ImageNet tout en maintenant une forte précision sur données propres et une faible surcharge computationnelle par rapport aux bases de référence basées sur la diffusion ou le lissage aléatoire.

Résultats expérimentaux

Les auteurs valident leur approche sur des données synthétiques et des jeux de données de référence :

• Données synthétiques : Dans les configurations de mélanges gaussiens, la méthode proposée fournit systématiquement des garanties de robustesse certifiée plus serrées que le schéma de certification antérieur de Pal et al. [2023], approchant étroitement la précision de robustesse empirique face aux attaques PGD.
• CIFAR-10 : GENELLIPS surpasse les modèles de robustesse certifiée à la pointe de l'art (par exemple, SmoothAdv, variantes DRT) à tous les niveaux de perturbation $\epsilon \in \{0.25, 0.5, 1.0\}$, atteignant 84,5 % de précision certifiée à $\epsilon=0.25$ tout en maintenant 90,14 % de précision sur données propres.
• ImageNet : La méthode se comporte de manière compétitive face aux meilleures bases de référence dans le benchmark SoK. Elle surpasse toutes les bases de référence antérieures à l'exception de celles utilisant des modèles de diffusion (qui sont coûteux en calcul). Notamment, GENELLIPS est 9 à 12 fois plus rapide que les pipelines basés sur la diffusion (2,7 minutes par image contre 25–36 minutes), offrant une alternative légère avec une précision certifiée compétitive.
• Analyse de la distribution latente : Des tests statistiques (test de Mardia) confirment que l'encodeur finement ajusté mappe avec succès les distributions conditionnelles par classe dans l'espace latent pour qu'elles se conforment à des distributions gaussiennes.

Importance et affirmations

L'article affirme établir la structure latente approximative comme une voie pratique et principielle vers la robustesse certifiable. En déplaçant le fardeau des hypothèses structurelles des données brutes vers l'espace latent des modèles préentraînés, les auteurs comblent le fossé entre la nécessité théorique d'une structure distributionnelle pour la robustesse et les limitations pratiques des méthodes certifiées existantes.

Le travail démontre qu'il n'est pas nécessaire d'imposer des hypothèses distributionnelles exactes sur des données réelles complexes. Au lieu de cela, en exploitant des encodeurs préentraînés (tels que FARE-4 ou des variantes de CLIP) qui peuvent être finement ajustés pour produire des mélanges latents approximativement gaussiens, il est possible de construire des classifieurs qui sont à la fois robustes de manière prouvée et efficaces en calcul. Les auteurs positionnent cela comme une solution à l'« impossibilité » de certifier la robustesse sans hypothèses distributionnelles, montrant que des hypothèses approximatives dérivées de l'apprentissage de représentations moderne suffisent à produire des garanties fortes et vérifiables.

Limites reconnues par les auteurs :

• Les résultats actuels s'appliquent spécifiquement aux attaques adverses en $\ell_2$.
• L'approche nécessite un ajustement fin de l'encodeur pour mapper la distribution d'entrée vers un GMM latent approximatif ; la qualité de cette approximation dicte directement la dégradation de la précision certifiée.