BadLLM-TG: A Backdoor Defender powered by LLM Trigger Generator

1. Problématique

Les attaques par porte dérobée (backdoor) compromettent la fiabilité des modèles de langage pré-entraînés (PLM) en injectant des déclencheurs (triggers) discrets dans les données d'entraînement. Ces déclencheurs forcent le modèle à prédire une étiquette cible spécifique lorsqu'ils sont présents, tout en conservant des performances normales sur des données propres.

Le défi majeur pour la défense réside dans la récupération de déclencheur (trigger inversion). Bien que cette méthode soit efficace dans le domaine de l'image (où les déclencheurs sont continus et optimisables par descente de gradient), elle échoue en Traitement du Langage Naturel (NLP). La nature discrète du texte empêche l'initialisation par du bruit aléatoire et l'optimisation par gradient, rendant les générateurs de déclencheurs traditionnels inapplicables pour le NLP.

2. Méthodologie : BadLLM-TG

Les auteurs proposent BadLLM-TG, un défenseur de porte dérobée qui exploite les connaissances intégrées dans les Grands Modèles de Langage (LLM) pour générer des déclencheurs textuels. La méthode repose sur trois étapes principales :

A. Identification de l'Étiquette Cible (Target Label Identification)

Avant de générer le déclencheur, le système doit identifier l'étiquette cible ($\hat{y}$) visée par l'attaquant.

• Principe : Les données empoisonnées montrent une variance de confiance plus élevée et une robustesse accrue lors des premières phases d'entraînement.
• Algorithme : Le modèle est entraîné sur l'ensemble de données empoisonné. On sélectionne les 5 % des échantillons ayant la plus grande variance de confiance. L'étiquette la plus fréquente parmi ces échantillons est identifiée comme l'étiquette cible.

B. Entraînement du Générateur de Déclencheur par LLM (LLM Trigger Generator Training)

C'est le cœur de l'innovation. Au lieu d'utiliser un bruit aléatoire, un LLM (spécifiquement Llama-3.3-70B) est utilisé comme générateur $G$, piloté par un prompt.

• Apprentissage par Renforcement (RL) Piloté par Prompt : Le LLM est optimisé via une boucle d'apprentissage par renforcement où :
  • Agent : Le LLM avec un prompt $p$.
  • Action : L'injection d'un motif (déclencheur) dans des échantillons propres (non-cibles) pour les transformer.
  • Récompense : La perte de classification (Cross-Entropy Loss) du modèle victime $M$ sur les données modifiées. Si le modèle victime prédit l'étiquette cible, la récompense est positive (la perte est minimisée).
• Processus itératif :
  1. Démarrage à chaud (Warm Start) : Le LLM apprend des motifs candidats sur les données déjà étiquetées comme cibles.
  2. Extraction et Récompense : Le LLM modifie des données propres. Si la modification fait basculer la prédiction du modèle victime vers l'étiquette cible, le prompt est mis à jour pour maximiser cette probabilité.
  3. Mise à jour du Prompt : Le prompt est ajusté automatiquement par le LLM pour améliorer la génération du déclencheur.

C. Inversion de Déclencheur par Entraînement Adversarial

Une fois le déclencheur optimal généré :

• L'ensemble de données d'entraînement complet est "empoisonné" artificiellement avec ce déclencheur généré.
• Le modèle victime est ré-entraîné (fine-tuning) sur cet ensemble augmenté (données originales + données avec déclencheur) avec l'objectif de prédire l'étiquette réelle (ground truth) plutôt que l'étiquette cible. Cela brise le lien entre le déclencheur et la prédiction malveillante.

3. Contributions Clés

1. Premier générateur de déclencheur basé sur LLM pour le NLP : BadLLM-TG contourne la limitation de la nature discrète du texte en utilisant la capacité de génération de texte des LLM plutôt que l'optimisation de bruit.
2. Cadre d'apprentissage par renforcement piloté par prompt : Une nouvelle méthode d'entraînement où le LLM affine son propre prompt pour maximiser l'efficacité du déclencheur, guidé par la perte du modèle victime.
3. Performance supérieure : La méthode est évaluée comme étant plus robuste et efficace que les défenses existantes (comme ONION, RAP, MuScleLoRA, BadActs) sur plusieurs jeux de données et types d'attaques.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données (SST-2, HSOL, AG News) contre quatre types d'attaques (Wordbkd, Sentbkd, Stylebkd, Synbkd).

• Réduction du Taux de Succès de l'Attaque (ASR) : BadLLM-TG réduit le taux de succès moyen des attaques de 76,2 %.
• Comparaison : Il surpasse la deuxième meilleure méthode de défense de 13,7 % en termes de réduction de l'ASR.
• Préservation de la Précision (CACC) : La méthode maintient une précision sur données propres (Clean Accuracy) élevée, préservant en moyenne 96,3 % de la précision originale du modèle.
• Robustesse : Les tests montrent que BadLLM-TG reste efficace même lorsque le taux d'empoisonnement varie de 10 % à 40 %, bien que la précision globale diminue légèrement avec des taux d'empoisonnement très élevés.
• Étude d'ablation : La suppression de l'identification de l'étiquette cible, de l'affinement itératif ou de la rétroaction par récompense entraîne une augmentation significative de l'ASR, prouvant la nécessité de chaque composant.

5. Signification et Impact

Ce travail est significatif car il comble un fossé majeur dans la sécurité des LLM : la défense contre les portes dérobées dans le domaine textuel.

• Innovation conceptuelle : Il démontre que les LLM peuvent être utilisés non seulement comme cibles d'attaque, mais comme outils de défense actifs pour "reconstruire" et neutraliser des menaces invisibles.
• Approche agnostique au modèle : La méthode de récupération de déclencheur ne dépend pas de l'architecture spécifique du modèle victime, offrant une généralisabilité supérieure aux méthodes de modification de modèle (comme l'élagage ou la distillation).
• Faisabilité : L'overhead computationnel (environ 3600 tokens par exemple de cas) est jugé acceptable pour un déploiement pratique, ouvrant la voie à des mécanismes de défense automatisés pour les modèles de langage modernes.

En résumé, BadLLM-TG propose une solution élégante et puissante pour sécuriser les modèles de langage contre les attaques par porte dérobée en transformant le problème d'optimisation discrète en un problème de génération de texte guidé par le renforcement.