AtPatch: Debugging Transformers via Hot-Fixing Over-Attention

Résumé Technique : AtPatch : Débogage des Transformers via le Correctif à Chaud de la Sur-Attention

Énoncé du Problème
Les réseaux de neurones profonds (DNN) basés sur les Transformers sont sensibles à des défauts spécifiques, principalement les attaques par porte dérobée (backdoor attacks) et l'injustice des modèles (model unfairness). Les auteurs identifient que ces défauts se manifestent souvent par un phénomène de « sur-attention », où le modèle assigne de manière disproportionnée des poids d'attention élevés à des caractéristiques d'entrée spécifiques, telles que des déclencheurs malveillants de porte dérobée ou des attributs protégés (ex: race, genre). Ce comportement anomal fausse l'agrégation des caractéristiques et conduit à des prédictions compromises.

Les stratégies de mitigation existantes font face à des limitations significatives lorsqu'elles sont appliquées aux architectures de transformers :

1. Limitations de l'édition de neurones : Les méthodes comme IDNN et CARE, qui reposent sur l'édition ou l'isolement de neurones spécifiques, peinent avec les transformers en raison des graphes de calcul dynamiques créés par les mécanismes d'attention. Le comportement des neurones varie selon les entrées, rendant les éditions fixes instables et sujettes à des effets de cascade.
2. Manque de flexibilité : Les méthodes hors ligne comme Fine-Pruning et ADF nécessitent souvent de réentraîner le modèle ou de générer des échantillons discriminatoires, ce qui introduit une surcharge de calcul et les rend inadaptées aux systèmes déjà déployés.
3. Distorsion de la fonctionnalité : L'application indiscriminée de paramètres modifiés à toutes les entrées tend à déformer les représentations de caractéristiques des données normales, dégradant la fonctionnalité et la précision originales du modèle.

Méthodologie : AtPatch
Inspiré par les paradigmes du génie logiciel du Delta Debugging (isolation des différences induisant l'échec) et du Hot Patching (modification au runtime sans recompilation), les auteurs proposent AtPatch, une méthode de correctif à chaud qui redistribue dynamiquement les cartes d'attention pendant l'inférence du modèle sans modifier les paramètres du modèle ni procéder à un réentraînement.

Le cadre AtPatch opère en deux phases :

1. Préparation Hors Ligne (Entraînement du Détecteur et Construction du Profil Bénin) :

   • Construction de l'ensemble de débogage : Le système construit un jeu de données de paires « clean-backdoor » et « clean-bias ». Pour les portes dérobées, il utilise une approche d'optimisation inverse pour identifier les déclencheurs potentiels. Pour le biais, il génère des échantillons en perturbant les attributs protégés pour trouver les cas où les prédictions divergent.
   • Entraînement du Détecteur : Un Détecteur pré-entraîné est formé en utilisant l'apprentissage contrastif sur l'ensemble de débogage. Il apprend à distinguer les schémas d'attention normaux des schémas anomaux. Le détecteur produit un vecteur de probabilité d'anomalie pour chaque colonne de la carte d'attention.
   • Profil Bénin : Un profil d'« attention bénigne » unifié ($Q$) est calculé en faisant la moyenne des colonnes d'attention des données propres de l'ensemble de débogage.

2. Correctif à Chaud en Ligne (Temps d'Inférence) :

   • Extraction et Détection : Pendant que le modèle traite une entrée, AtPatch intercepte les cartes d'attention de toutes les couches. Le Détecteur analyse ces cartes pour identifier les « colonnes anomales » (celles dépassant un seuil de probabilité $\tau$).
   • Patching Conditionnel :
     • Si aucune anomalie n'est détectée, la carte d'attention originale est transmise au modèle, garantissant une surcharge nulle pour les entrées saines.
     • Si des anomalies sont détectées, AtPatch effectue un « patch à chaud » :
       1. Remplacement : Les colonnes anomales signalées sont remplacées par les colonnes correspondantes du profil bénin unifié ($Q$).
       2. Redimensionnement : Pour maintenir l'invariant mathématique selon lequel les poids d'attention dans une ligne doivent sommer à 1 (dû au Softmax), les colonnes non affectées sont adaptativement redimensionnées. Cela empêche le remplacement de rendre d'autres colonnes disproportionnellement petites ou grandes.
   • Inférence Continuée : La carte d'attention redistribuée est réinjectée dans le modèle pour les couches restantes afin de générer la prédiction finale.

Principales Contributions

• Méthode : AtPatch est présenté comme la première approche pour atténuer les portes dérobées et l'injustice au runtime en ciblant spécifiquement le problème de la sur-attention dans les transformers, plutôt que de modifier les paramètres du modèle.
• Outil : Les auteurs ont implémenté AtPatch en tant qu'outil open-source, conçu pour être agnostique vis-à-vis de l'architecture et du jeu de données.
• Étude Empirique : Des expériences approfondies ont été menées sur 6 jeux de données (MNIST, Fashion, CIFAR-10, Census, COMPAS, Bank) et 6 architectures de modèles (ViT, Swin, T2T-ViT, TabTransformer, TaBERT, FTTransformer) contre quatre bases de référence de pointe (IDNN, CARE, ADF, Fine-Pruning).

Résultats Expérimentaux

• Efficacité : AtPatch surpasse de manière significative les bases de référence pour atténuer les attaques et le biais.
  • Portes dérobées : Il a réduit le taux de succès moyen de l'attaque (ASR) à 0,46 % tout en maintenant une chute de précision moyenne de seulement 0,1 %. En comparaison, les bases de référence comme Fine-Pruning et IDNN ont causé des chutes de précision de 15,2 % et 16,6 % respectivement, avec un ASR résiduel plus élevé.
  • Injustice : Il a réduit l'injustice (UF) moyenne à 0,04 % avec une perte de précision négligeable (0,0 %), alors que les bases de référence ont souvent dégradé la précision de 2 % à 6 % pour atteindre des niveaux de justice similaires.
• Performance du Détecteur : Le Détecteur a atteint une précision élevée (0,91–0,98) et un rappel (>0,99) dans l'identification des colonnes anomales, avec un faible taux de faux positifs (0,02–0,10), garantissant que les entrées saines sont rarement perturbées.
• Efficacité : AtPatch introduit une surcharge minimale. L'entraînement hors ligne est léger (environ 1 minute). L'inférence en ligne ajoute un délai moyen de 0,8 ms par échantillon uniquement lorsque des anomalies sont détectées ; pour les entrées saines, le délai est négligeable (0,1 ms). C'est nettement plus rapide que les bases de référence qui nécessitent un réentraînement ou une analyse étendue des neurones.

Signification et Revendications
L'article affirme qu'AtPatch établit un nouveau paradigre pour le débogage de modèles en traitant les cartes d'attention comme des états de runtime mutables plutôt que comme des traces de calcul immuables. Sa principale signification réside dans sa capacité à :

1. Préserver la Fonctionnalité : En intervenant sélectivement uniquement sur les entrées anomales et en évitant les changements de paramètres globaux, il préserve mieux la fonctionnalité originale du modèle par rapport aux méthodes d'édition de neurones ou de réentraînement.
2. Permettre le Déploiement : Sa nature « à la volée » permet de l'appliquer à des modèles déployés sans réentraînement ni modification de paramètres, comblant ainsi une lacune critique dans les stratégies de mitigation existantes.
3. Répondre aux Spécificités des Transformers : Il s'attaque directement aux défis uniques des architectures de transformers (graphes de calcul dynamiques) où le débogage traditionnel basé sur les neurones échoue.

Les auteurs positionnent AtPatch non pas comme un remplacement de toutes les techniques de débogage, mais comme une solution spécialisée et non invasive pour les modèles basés sur les transformers, complétant les approches existantes en opérant au niveau de la carte d'attention.