Weight space Detection of Backdoors in LoRA Adapters

Résumé Technique : Détection des Backdoors dans les LoRAs par Analyse des Poids

1. Problématique

Les adaptateurs LoRA (Low-Rank Adaptation) permettent de finetuner efficacement de grands modèles de langage (LLM) avec peu de paramètres. Ces adaptateurs sont largement partagés sur des plateformes ouvertes comme Hugging Face Hub. Cependant, cette distribution crée un risque de sécurité majeur : des attaquants peuvent uploader des adaptateurs piégés (backdoored).

• Le risque : Un adaptateur piégé se comporte normalement sur des entrées standards mais déclenche un comportement malveillant (ex: générer du contenu dangereux) lorsqu'un "déclencheur" (trigger) spécifique est présent dans l'entrée.
• La limite des méthodes actuelles : Les défenses existantes nécessitent généralement d'exécuter le modèle avec des données de test pour observer le comportement anormal. Cela est peu pratique à l'échelle d'un hub de modèles où le déclencheur est inconnu et où l'exécution de milliers d'adaptateurs serait trop lente. De plus, les attaquants peuvent masquer le comportement pendant l'évaluation.

L'objectif de cet article est de développer une méthode de détection agnostique au déclencheur, ne nécessitant aucune exécution du modèle ni accès aux données d'entraînement, en analysant uniquement les matrices de poids de l'adaptateur.

2. Méthodologie

Les auteurs proposent une approche de détection statique basée sur l'analyse géométrique et spectrale des mises à jour de poids LoRA ($\Delta W$).

A. Hypothèse Fondamentale
Les tâches de backdoor, qui encodent souvent des mappings simples "déclencheur-réponse", dominent la mise à jour de l'adaptateur. Cela laisse une signature spectrale distinctive dans l'espace des poids : une concentration des valeurs singulières (singular values) avec une haute énergie et une faible entropie, par rapport aux adaptateurs bénins.

B. Pipeline de Détection
La méthode fonctionne en trois étapes principales (illustrées dans la Figure 1 du papier) :

1. Reconstruction de la mise à jour LoRA :
   Pour une couche de transformateur donnée (par défaut la couche 21), on reconstruit les matrices de mise à jour pour les quatre projections d'attention : Q (Query), K (Key), V (Value) et O (Output).
   Grâce à la factorisation de rang faible de LoRA ($A \times B$), on calcule une matrice centrale $r \times r$ dont les valeurs singulières sont identiques à celles de la mise à jour complète $\Delta W$, permettant un calcul efficace de la SVD.

2. Extraction de Statistiques Spectrales :
   Pour chaque projection ($p \in \{Q, K, V, O\}$), cinq statistiques scalaires sont extraites de la matrice de mise à jour :

   • $\sigma_1$ : La plus grande valeur singulière (échelle).
   • $\|\Delta W\|_F$ : La norme de Frobenius (énergie totale).
   • $E_p$ : Concentration de l'énergie (rapport de la plus grande valeur singulière sur la somme).
   • $H_p$ : Entropie spectrale (mesure de la dispersion des valeurs singulières).
   • $K_p$ : Kurtosis des entrées de la matrice de mise à jour reconstruite (mesure de la "queue lourde" ou des pics).

   Cela génère un vecteur de caractéristiques de dimension 5 par projection, soit un vecteur global de 20 dimensions ($\Phi(A)$) par adaptateur.

3. Classification :
   Un classifieur régression logistique est entraîné sur ce vecteur de 20 dimensions pour distinguer les adaptateurs bénins des adaptateurs piégés. Le modèle est calibré sur un ensemble de référence (calibration set) pour normaliser les caractéristiques et déterminer un seuil de décision.

3. Contributions Clés

1. Détection basée uniquement sur les poids : Première méthode capable de détecter les backdoors dans les adaptateurs LoRA sans exécuter le modèle, sans connaître le déclencheur et sans accès aux données d'entraînement.
2. Signature spectrale des LoRAs piégés : Démonstration que les adaptateurs malveillants présentent un motif géométrique cohérent (concentration de valeurs singulières, faible entropie spectrale) distinct des adaptateurs bénins.
3. Importance de la structure par projection : Mise en évidence que le signal de détection n'est pas uniformément réparti. L'importance relative des projections Q, K, V, O et des statistiques spécifiques varie selon l'architecture du modèle de base.
4. Validation transversale : Création d'un benchmark couvrant trois familles de modèles (Llama-3.2-3B, Qwen2.5-3B, Gemma-2-2B) avec des ensembles de données d'entraînement et de test appariés.

4. Résultats Expérimentaux

Les expériences ont été menées sur des adaptateurs entraînés sur des tâches variées (suivi d'instructions, raisonnement, code, etc.) avec des taux d'empoisonnement de 1% à 5% et différents types de déclencheurs (tokens rares ou contextuels).

• Performance : Le détecteur atteint 100% de précision (Accuracy), un ROC-AUC de 1.00, avec 0 faux positifs et 0 faux négatifs sur les ensembles de test tenus à l'écart (held-out) pour les trois architectures.
• Robustesse aux hyperparamètres : La détection est plus sensible à l'emplacement de la couche (les couches tardives, comme la 21, sont plus efficaces) qu'au rang LoRA (8, 16 ou 32).
• Analyse des caractéristiques :
  • Les statistiques d'entropie ($H$) et de concentration ($E$) sont généralement plus informatives que la simple norme de Frobenius.
  • La projection V (Value) est souvent la plus discriminante pour Qwen, tandis que Q et V dominent pour Gemma, et une répartition plus équilibrée pour Llama.
• Interprétabilité : L'analyse montre que la direction singulière dominante des adaptateurs piégés s'aligne progressivement avec le vocabulaire du payload (ex: mots liés au "HACK") à mesure que le taux d'empoisonnement augmente.

5. Signification et Limites

Signification :
Ce travail démontre que les comportements de backdoor laissent des empreintes identifiables dans l'espace des paramètres, même pour des adaptations paramétriquement efficaces. Cela ouvre la voie à un filtrage pré-déploiement à l'échelle industrielle (repository-scale vetting) pour sécuriser l'écosystème des composants PEFT (Parameter-Efficient Fine-Tuning) réutilisables.

Limites :

• Coût de calcul : Bien que plus rapide que l'exécution du modèle, la méthode nécessite toujours l'extraction de caractéristiques (QR/SVD) pour chaque adaptateur, ce qui peut être coûteux à très grande échelle.
• Adaptabilité de l'attaquant : La méthode suppose un attaquant non adaptatif. Un adversaire conscient de ce détecteur pourrait tenter de régulariser l'entraînement pour disperser le backdoor de manière plus diffuse dans l'espace spectral, rendant la détection plus difficile. La robustesse face à des attaques adaptatives reste un problème ouvert.

En conclusion, cette approche offre une alternative pratique et fondée théoriquement aux défenses basées sur l'exécution, transformant la sécurité de la chaîne d'approvisionnement des LLM en un problème de détection géométrique statique.