Résumé Technique : GLEAN - Défense Causale Certifiée avec Robustesse Généralisable

Énoncé du Problème

Les modèles d'apprentissage automatique, en particulier les réseaux de neurones profonds, sont vulnérables aux perturbations adverses. Bien que les méthodes de défense certifiée (par exemple, le lissage aléatoire) fournissent des garanties théoriques selon lesquelles la prédiction d'un modèle reste constante dans un rayon de perturbation spécifique (rayon de robustesse) pour une entrée donnée, elles échouent largement à généraliser cette robustesse à travers des domaines présentant des décalages de distribution.

Les défenses certifiées existantes peinent à s'appliquer à des domaines non vus car les modèles reposent souvent sur des corrélations fallacieuses (par exemple, la couleur de fond corrélée à la classe de l'objet) plutôt que sur des facteurs causaux invariants. Ces corrélations fallacieuses varient d'un domaine à l'autre ; lorsque la corrélation se déplace dans un domaine de test, la confiance de prédiction du modèle diminue ou devient incorrecte. Cela entraîne une dégradation significative du Rayon Certifié Moyen (ACR), annulant efficacement les garanties théoriques de robustesse dans de nouveaux environnements.

Les approches actuelles manquent d'un cadre unifié permettant simultanément de :

1. Éliminer l'impact négatif des corrélations fallacieuses sur la robustesse.
2. Se défendre contre les perturbations des facteurs causaux latents qui déterminent les étiquettes.
3. Fournir des garanties théoriques pour la robustesse certifiée dans le contexte des décalages de domaine.

Méthodologie : Le Cadre GLEAN

Les auteurs proposent GLEAN (GeneraLizable cErtified cAusal defeNse), un cadre qui intègre l'inférence causale dans la défense certifiée pour atteindre une généralisation de la robustesse. L'approche repose sur trois composants principaux :

1. Vue Causale et Apprentissage Invariant

GLEAN modélise la génération de données en utilisant un graphe causal impliquant :

• $Y$ : L'étiquette.
• $X$ : L'entrée (par exemple, une image).
• $C$ : Facteurs causaux (caractéristiques invariantes déterminant $Y$).
• $S$ : Facteurs fallacieux (caractéristiques non causales corrélées à $Y$ dans des domaines spécifiques).
• $D$ : La variable de domaine.

Le cadre repose sur l'Hypothèse d'Invariance Causale : La probabilité conditionnelle $P(Y|C)$ reste invariante à travers les domaines, tandis que $P(Y|S)$ varie. GLEAN vise à apprendre une représentation de $C$ à partir de $X$ qui est invariante aux décalages de domaine, filtrant ainsi l'influence de $S$.

2. Apprentissage de Facteurs Causaux Certifiables

Pour extraire les facteurs causaux de manière robuste, GLEAN emploie un Encodeur Causal ($\Psi$) entraîné avec deux mécanismes spécifiques :

• Minimisation du Risque Invariant (IRM) : L'encodeur est entraîné pour minimiser la perte de prédiction tout en pénalisant le gradient de la perte par rapport à un poids de classificateur factice. Cela encourage les représentations latentes apprises à être invariantes à travers les domaines d'entraînement, séparant efficacement les facteurs causaux des corrélations fallacieuses.
• Contraintes de Lipschitz : Pour permettre la certification dans l'espace latent, l'encodeur est contraint d'être 1-Lipschitz (en utilisant des transformations de Cayley pour les couches linéaires et GroupSort pour les activations). Cela garantit que la mapping de l'espace d'entrée vers l'espace causal latent n'amplifie pas excessivement les perturbations, ce qui est une condition préalable à la dérivation de bornes théoriques.

3. Stratégie de Défense Causalement Certifiée

Le processus de défense opère en deux étapes :

1. Certification de l'Espace Latent : Le lissage aléatoire (RS) est appliqué à la représentation causale latente $z = \Psi(x)$. En ajoutant un bruit gaussien $\eta \sim \mathcal{N}(0, \sigma^2 I)$ à $z$, un classifieur lissé $g_\beta$ est formé. Des garanties théoriques (Théorème 1) assurent que les prédictions restent constantes dans un rayon certifié $CR_z$ dans l'espace latent.
2. Mappage de l'Espace d'Entrée : En utilisant la propriété de Lipschitz de l'encodeur ($\|\Psi(x_1) - \Psi(x_2)\| \le L\|x_1 - x_2\|$), le rayon certifié dans l'espace latent est mappé de retour dans l'espace d'entrée. Le Théorème 2 établit que le rayon certifié dans l'espace d'entrée est $CR \ge CR_z / L$. Cela fournit une garantie théorique que l'ensemble du classifieur $f$ est robuste contre les perturbations dans l'espace d'entrée, même à travers différents domaines, à condition que les facteurs causaux soient correctement identifiés.

Contributions Clés

1. Identification du Problème : L'article identifie et analyse le problème sous-exploré de la généralisation de la robustesse certifiée à travers les domaines, mettant en évidence le rôle des corrélations fallacieuses dans la dégradation des rayons certifiés.
2. Cadre Novel (GLEAN) : Il propose un cadre inspiré de la causalité qui combine la minimisation du risque invariant avec des réseaux contraints par Lipschitz. Cela permet au modèle d'exclure les corrélations fallacieuses et d'effectuer une défense certifiée sur les facteurs causaux latents.
3. Garanties Théoriques : Les auteurs dérivent de nouveaux théorèmes (Théorème 1 et Théorème 2) qui fournissent des bornes théoriques pour la robustesse certifiée dans des domaines non vus. Cela comble le fossé entre les observations empiriques de la généralisation de la robustesse et la certification théorique rigoureuse.
4. Validation Empirique : Des expériences extensives sur des ensembles de données synthétiques (CMNIST) et réels (CelebA, DomainNet) démontrent que GLEAN surpasse significativement les bases de référence de défense certifiée existantes (Gaussian, MACER, SmoothAdv, Consistency) en termes de précision certifiée et de Rayon Certifié Moyen (ACR) sous des décalages de domaine.

Résultats Expérimentaux

Les auteurs ont évalué GLEAN par rapport à des bases de référence standard basées sur le lissage aléatoire sur trois ensembles de données :

• CMNIST : Un ensemble de données synthétique avec une forte corrélation fallacieuse entre la couleur du chiffre et la classe, qui est inversée dans le domaine de test.
• CelebA : Un ensemble de données réel avec des corrélations fallacieuses entre les attributs faciaux (par exemple, le sourire et la couleur des cheveux).
• DomainNet : Un ensemble de données avec des décalages de domaine complexes impliquant différents arrière-plans et styles.

Constats Clés :

• Généralisation Supérieure : GLEAN a atteint la précision certifiée et l'ACR les plus élevés sur tous les ensembles de données et tous les rayons. Par exemple, sur CMNIST, GLEAN a atteint un ACR de 0,2466, surpassant significativement la meilleure base de référence suivante (SmoothAdv à 0,0518).
• Robustesse au Décalage : Alors que les bases de référence ont subi de graves baisses de performance lors du passage des domaines d'entraînement aux domaines de test (par exemple, la précision passant d'environ 72 % à environ 21 % sur CMNIST pour les méthodes standard), GLEAN a maintenu une robustesse élevée.
• Études d'Ablation : La suppression de la pénalité d'invariance a provoqué une chute drastique des performances, confirmant que la capture des facteurs causaux est essentielle. La suppression des contraintes de Lipschitz a entraîné des performances légèrement inférieures, validant la nécessité de la contrainte pour la certification théorique.
• Sensibilité aux Paramètres : Le cadre a montré une robustesse aux choix d'hyperparamètres, les performances se stabilisant après un certain seuil pour le poids de la pénalité d'invariance ($\lambda$).

Signification et Revendications

L'article revendique que GLEAN aborde une limitation critique dans la défense actuelle contre les adverses : l'incapacité à transférer les garanties théoriques de robustesse vers de nouveaux domaines de données. En déplaçant l'attention des caractéristiques d'entrée brutes vers les facteurs causaux invariants, le cadre atténue la vulnérabilité causée par les corrélations fallacieuses.

Les auteurs positionnent GLEAN non seulement comme une amélioration des métriques, mais comme un changement méthodologique qui fournit un soutien théorique pour la robustesse inter-domaines. Ils soutiennent que cette approche offre une voie vers le déploiement de modèles d'apprentissage automatique dans des applications critiques (comme la conduite autonome et la santé) où la sécurité et la fiabilité doivent être maintenues malgré les changements environnementaux. Le travail suggère que la recherche future devrait explorer davantage les défenses inspirées de la causalité et les approches unifiées pour généraliser la robustesse aux adverses.