Improving Clean Accuracy via a Tangent-Space Perspective on Adversarial Training

1. Problématique

Les réseaux de neurones profonds (DNN) sont vulnérables aux exemples adverses, de petites perturbations malveillantes conçues pour induire des erreurs de prédiction. L'entraînement adversaire (Adversarial Training - AT) est la méthode de défense la plus efficace pour améliorer la robustesse des modèles. Cependant, elle souffre d'un compromis fondamental : l'amélioration de la robustesse se fait souvent au détriment d'une baisse significative de la précision sur les données propres (clean accuracy).

Les auteurs postulent que cette dégradation provient du fait que les exemples adverses générés standardement possèdent souvent de fortes composantes dans la direction normale à la variété des données (data manifold). Ces perturbations "hors-manifold" déforment excessivement la frontière de décision, nuisant à la généralisation sur les données naturelles.

2. Méthodologie : TART (Tangent Direction Guided Adversarial Training)

L'article propose TART, un cadre d'entraînement qui exploite la géométrie de la variété des données pour guider la génération d'exemples adverses. L'idée centrale est de décomposer la perturbation en deux composantes :

• Composante tangentielle : La partie de la perturbation qui reste proche de la variété des données (le manifold).
• Composante normale : La partie qui s'éloigne de la variété (hors-manifold).

Le processus de TART se déroule en trois étapes principales :

1. Estimation de l'espace tangent :

   • Pour des données réelles où la variété est inconnue, les auteurs utilisent un autoencodeur pré-entraîné pour apprendre une paramétrisation de la variété.
   • En utilisant l'encodeur et le décodeur, ils approximent l'espace tangent en chaque point de données via une analyse en composantes principales (PCA) sur des points voisins générés dans l'espace latent.

2. Calcul de la composante tangentielle :

   • Pour chaque exemple adversaire $x^*_i$ généré à partir d'une image propre $x_i$, le vecteur de perturbation $(x^*_i - x_i)$ est projeté sur l'espace tangent estimé.
   • La norme de cette projection définit la composante tangentielle ($TC_i$).

3. Ajustement adaptatif de la borne de perturbation ($\epsilon$) :

   • Au lieu d'utiliser une borne de perturbation uniforme $\epsilon$ pour tous les exemples (comme dans l'AT standard), TART attribue une borne adaptative $\epsilon_i$.
   • Stratégie : Les exemples avec une grande composante tangentielle (proches du manifold) reçoivent la borne maximale $\epsilon_{max}$. Ceux avec une faible composante tangentielle (fortes composantes normales) reçoivent une borne de 0 (c'est-à-dire qu'ils sont remplacés par l'image propre originale $x_i$).
   • Concrètement, dans un mini-lot, les 50 % d'exemples avec les plus grandes composantes tangentielles sont utilisés pour l'entraînement adversaire, tandis que les 50 % restants sont ignorés (utilisés en mode propre).

3. Contributions Clés

• Premier cadre basé sur l'espace tangent : TART est la première méthode de défense adversaire à intégrer explicitement le concept d'espace tangent et de direction dans le processus d'entraînement.
• Insight géométrique : Démonstration empirique et théorique que les exemples adverses avec de fortes composantes normales déforment la frontière de décision et dégradent la précision sur les données propres.
• Méthode pratique d'estimation : Proposition d'un algorithme efficace pour estimer l'espace tangent et calculer les composantes tangentielles en utilisant des autoencodeurs et la PCA, avec des optimisations pour réduire la complexité temporelle et spatiale (pré-calcul des matrices).
• Universalité : TART est conçu comme un cadre modulaire qui peut être intégré à n'importe quelle méthode d'entraînement adversaire existante (AT standard, TRADES, MART, GAIRAT).

4. Résultats Expérimentaux

Les auteurs ont évalué TART sur des données synthétiques (hémisphère transformé) et des jeux de données de référence (CIFAR-10, Tiny ImageNet).

• Données synthétiques : Sur un hémisphère transformé où la géométrie est connue, TART surpasse systématiquement une approche inverse ("Reverse-TART", qui pénalise les composantes tangentielles), confirmant l'hypothèse selon laquelle il faut privilégier les perturbations tangentielles.
• CIFAR-10 :
  • TART combiné à l'AT standard (TART-AT) améliore la précision propre de 81,53 % à 83,47 % tout en maintenant une robustesse équivalente ou légèrement supérieure face aux attaques PGD20, PGD40 et AutoAttack.
  • L'amélioration est également observée lors de la combinaison avec d'autres méthodes avancées (TRADES, MART, GAIRAT), augmentant la précision propre de 1 à 2 points sans perte de robustesse.
• Tiny ImageNet : Les résultats se généralisent à des ensembles de données plus complexes et de plus grande taille, confirmant que TART améliore la précision propre tout en préservant la robustesse.
• Efficacité computationnelle : Bien que le pré-calcul de l'espace tangent ajoute une légère surcharge, le temps d'entraînement n'augmente que d'un facteur de 1,24 par rapport à l'AT standard, ce qui est considéré comme raisonnable.

5. Signification et Conclusion

L'article démontre que la géométrie des perturbations adverses est un facteur critique souvent négligé. En évitant d'entraîner le modèle sur des exemples qui s'éloignent trop de la variété des données réelles (composantes normales élevées), TART parvient à réconcilier robustesse et précision.

Cette approche ouvre une nouvelle voie pour les défenses adverses basées sur la géométrie, suggérant que la régularisation implicite de la frontière de décision via une sélection intelligente des exemples d'entraînement est une stratégie prometteuse pour surmonter le compromis classique de l'apprentissage adversaire.