Résumé Technique : Maîtriser la Queue Longue : Rééquilibrage de l'Entraînement Adversarial via Perturbation Adaptative

Énoncé du Problème

Les réseaux de neurones profonds (DNN) sont hautement vulnérables aux exemples adversariaux, où des perturbations imperceptibles dégradent considérablement les performances du modèle. Bien que l'entraînement adversarial (AT) soit devenu la stratégie de défense principale, la recherche existante évalue principalement les performances sur des données équilibrées (par exemple, CIFAR-10/100), négligeant les défis posés par les distributions de données réelles à queue longue. Dans les scénarios à queue longue, un petit nombre de classes « têtes » dominent, tandis que la majorité des classes « queues » sont sous-représentées.

Les modèles entraînés sur des jeux de données à queue longue exhibent typiquement une surconfiance envers les classes têtes, conduisant à une mauvaise généralisation sur les classes queues. Dans des contextes adversariaux, ce problème est exacerbé car les attaquants ne sont pas contraints par les fréquences des classes et peuvent délibérément cibler les classes queues. Les méthodes existantes pour l'entraînement adversarial à queue longue (par exemple, combiner l'AT avec une Perte Softmax Équilibrée) échouent souvent à traiter l'interdépendance critique entre les mises à jour du modèle et la génération d'exemples adversariaux. Les modèles surconfiants biaisent les exemples adversariaux qu'ils génèrent, ce qui, à son tour, exacerbe le déséquilibre des classes, créant une boucle de rétroaction qui compromet la robustesse.

Le problème central abordé est de savoir comment atténuer simultanément la vulnérabilité adversariale et le déséquilibre des classes dans les distributions à queue longue, un défi avec lequel les méthodes d'entraînement adversarial traditionnelles peinent à faire face en raison d'objectifs d'entraînement biaisés et d'une évolution instable des distributions adversariales.

Méthodologie : RobustLT

Les auteurs proposent RobustLT, un framework plug-and-play conçu pour ajuster adaptativement les perturbations durant l'entraînement adversarial. La méthode est fondée sur des insights théoriques suggérant que les perturbations peuvent simultanément traiter la vulnérabilité du modèle et le déséquilibre des données. RobustLT se compose de deux composants clés :

1. Équilibrage des Perturbations par Classe (CPB)

Le CPB traite l'objectif d'entraînement biaisé causé par le déséquilibre des classes. Théoriquement, les auteurs démontrent que l'attribution d'intensités de perturbations bien conçues à chaque classe peut rééquilibrer l'objectif d'entraînement.

• Mécanisme : Le CPB attribue une intensité de perturbation plus élevée aux classes minoritaires (queues) et une intensité plus faible aux classes majoritaires (têtes).
• Formule : L'intensité de perturbation $\epsilon_{y_i}$ pour la classe $y_i$ est définie comme suit :
  $$\epsilon_{y_i} = (1 - \alpha)\epsilon + \tau \sqrt{\log K_{y_i}} \epsilon$$
  où $\epsilon$ est l'intensité de base, $K_{y_i}$ est le ratio de déséquilibre par classe par rapport à la classe la plus fréquente, et $\alpha, \tau$ sont des hyperparamètres contrôlant le niveau de base et la pente. La méthode garantit que la magnitude de perturbation attendue reste bornée.
• Objectif : Cette intensité adaptative déplace la frontière de décision pour atténuer la surconfiance, restaurant efficacement un objectif d'entraînement équilibré.

2. Pondération des Itérations Adversariales (AIW)

L'AIW traite l'évolution instable des distributions adversariales. L'analyse théorique révèle que de grands décalages dans la distribution adversariale entre les itérations d'entraînement (quantifiés par la distance de Wasserstein) dégradent la robustesse.

• Mécanisme : L'AIW introduit un poids adaptatif qui augmente progressivement l'intensité de perturbation de 0 à la cible $\epsilon_{y_i}$ au cours des $\beta T$ premières itérations (où $T$ est le nombre total d'itérations).
• Formule :
  $$\epsilon^{(t)}_{y} = \min\left\{ \frac{t-1}{\beta T}, 1 \right\} \cdot \epsilon_{y}$$
• Objectif : En contrôlant l'intensité de perturbation aux stades précoces de l'entraînement, l'AIW stabilise l'évolution des distributions adversariales, garantissant que la distribution des exemples adversariaux générés à l'itération $t$ reste proche de celle de l'itération $t-1$.

Insights Théoriques

L'article fournit une fondation théorique pour ces méthodes à travers une perspective d'optimisation en ligne et une tâche conceptuelle de classification binaire impliquant des caractéristiques robustes et non robustes :

1. Limites de l'AT Traditionnel : Les méthodes traditionnelles échouent sur les données à queue longue car elles minimisent un objectif biaisé (conduisant à une robustesse inégale entre les classes) et permettent des décalages de distribution instables entre les itérations.
2. Faisabilité de l'Optimisation Duale : Les auteurs prouvent qu'il existe une intersection non vide entre les intensités de perturbations faisables requises pour la robustesse adversariale (reposant sur des caractéristiques robustes) et l'équilibre des classes (éliminant le biais dans la frontière de décision).
3. Guidage pour la Perturbation : La théorie suggère qu'une intensité de perturbation plus élevée devrait être allouée à la classe minoritaire par rapport à la classe majoritaire, avec une différence proportionnelle à $\sqrt{\log K}$, où $K$ est le ratio de déséquilibre.

Résultats Expérimentaux

Les auteurs ont évalué RobustLT sur des versions à queue longue de CIFAR-10, CIFAR-100 et TinyImageNet en utilisant divers algorithmes de base d'entraînement adversarial (AT, AWP, RoBal, REAT, AT-BSL, TAET).

• Performance : RobustLT améliore constamment à la fois la précision naturelle et la robustesse adversariale par rapport aux méthodes de référence.
• Amélioration des Classes Queues : Les gains les plus significatifs sont observés dans les classes queues. Par exemple, sur CIFAR-10-LT avec la base AT-BSL, RobustLT a amélioré la précision de robustesse des queues de 28,60 % à 35,98 %.
• Robustesse aux Attaques : La méthode démontre des améliorations constantes contre diverses stratégies d'attaque, notamment PGD, CW et AutoAttack.
• Études d'Ablation : L'analyse de sensibilité confirme que le CPB (contrôlé par $\alpha$) et l'AIW (contrôlé par $\beta$) sont tous deux nécessaires. Le CPB compense le biais de l'objectif, tandis que l'AIW stabilise l'évolution de la distribution. La combinaison offre un meilleur compromis entre précision naturelle et précision de robustesse que chaque composant seul.

Importance et Revendications

L'article revendique que RobustLT offre une avancée significative dans le domaine de la robustesse adversariale pour les applications réelles en :

1. Remettant en Question les Hypothèses : Il remet en question l'hypothèse selon laquelle les données adversariales héritent intrinsèquement du même déséquilibre de classes que les données propres, montrant que les perturbations peuvent être utilisées pour rééquilibrer la distribution.
2. Unification Théorique : Il fournit la première preuve théorique que les perturbations adversariales peuvent simultanément traiter la vulnérabilité du modèle et le déséquilibre des données, dérivant des directives spécifiques pour l'intensité de perturbation adaptative.
3. Utilité Pratique : En tant que framework plug-and-play, RobustLT est compatible avec divers algorithmes d'entraînement adversarial existants, en faisant une solution pratique pour améliorer la robustesse dans les scénarios à queue longue sans nécessiter de changements fondamentaux aux pipelines d'entraînement existants.

Les auteurs concluent qu'en ajustant adaptativement les perturbations via un contrôle par classe et par itération, RobustLT atténue efficacement la surconfiance induite par les données à queue longue, établissant un compromis supérieur entre robustesse adversariale et équilibre des classes.