Résumé Technique : BackFlush

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont de plus en plus vulnérables aux attaques par porte dérobée, où des adversaires injectent des associations déclencheur-chargement malveillantes lors de l'entraînement ou de l'édition du modèle. Ces portes dérobées restent dormantes sur des entrées propres mais génèrent des sorties néfastes (par exemple, désinformation, discours haineux) lorsque des déclencheurs spécifiques sont présents. Un défi critique et non résolu découle de la similarité structurelle entre les portes dérobées et les filigranes légitimes (signatures de propriété). Les deux mécanismes reposent sur des mappings spécifiques déclencheur-chargement. Par conséquent, les mécanismes de défense existants font face à un compromis : ils échouent soit à détecter des portes dérobées inconnues sans connaissance préalable des déclencheurs, soit ils éliminent les portes dérobées en détruisant les filigranes légitimes du modèle et en dégradant son utilité. Les méthodes actuelles nécessitent souvent des modèles de référence propres, supposent des types de chargements spécifiques (par exemple, discours haineux) ou reposent sur une détection linéaire coûteuse en calcul sur de grands vocabulaires.

Méthodologie

Les auteurs proposent BackFlush, un cadre unifié et sans connaissance préalable, conçu pour détecter et éliminer des portes dérobées inconnues tout en préservant l'intégrité des filigranes. Le cadre fonctionne sans connaissance préalable des motifs de déclenchement, du contenu des chargements ou des méthodologies d'empoisonnement.

Observations Clés

BackFlush est fondé sur deux observations empiriques novatrices :

1. Phénomène de Rinçage de Porte Dérobée : L'injection de données propres auxiliaires dans un modèle compromis, suivie d'un « désapprentissage » de ces données, perturbe et élimine les associations de portes dérobées préexistantes.
2. Amplification de la Susceptibilité aux Portes Dérobées : Les modèles contenant déjà des portes dérobées présentent des barrières significativement plus faibles pour apprendre de nouvelles portes dérobées par rapport aux modèles propres. Cette vulnérabilité permet une détection indépendante de la taille du vocabulaire.

Le Pipeline BackFlush

Le cadre s'exécute en trois étapes :

1. Détection par Amplification de la Susceptibilité aux Portes Dérobées :

   • Au lieu de recherches exhaustives dans le vocabulaire, le système construit des données de sondage avec des déclencheurs synthétiques.
   • Il compare la perte d'entraînement initiale d'un modèle suspect ($M_s$) par rapport à une base de référence propre ($M_{clean}$) lors d'un ajustement fin sur ces données de sondage.
   • Un modèle compromis présente une perte initiale significativement plus faible car il a déjà appris les voies pour les mappings déclencheur-sortie. Cela permet une détection en temps constant ($O(1)$ par rapport à la taille du vocabulaire).

2. Injection de Données Auxiliaires (Phase 1) :

   • Si une porte dérobée est détectée, le modèle est entraîné conjointement sur des données bénignes ($D_{benign}$) et des données auxiliaires propres ($D_{aux}$).
   • Cette étape force le modèle à apprendre le mapping auxiliaire, établissant une base de référence pour la phase de désapprentissage suivante.

3. Désapprentissage par Édition de Paramètres basée sur la Rotation (RoPE) (Phase 2) :

   • Pour éliminer la porte dérobée, le système doit « désapprendre » les données auxiliaires. L'Ascension de Gradient (GA) standard s'est révélée efficace pour supprimer les portes dérobées mais a corrompu de manière catastrophique les signatures de filigranes en raison d'une dégradation forte et indiscriminée des paramètres.
   • Désapprentissage RoPE : Les auteurs introduisent une technique novatrice où les représentations cachées des données auxiliaires sont tournées vers une direction opposée ($h_{\perp} = -h_{init}$) en utilisant une fonction de perte de rotation ($L_{rotate} = 1 - \cos(h_{aux}, h_{\perp})$).
   • Cette rotation subtile et bornée rince les associations de portes dérobées intégrées dans le sous-espace auxiliaire tout en préservant les paramètres responsables de la signature du filigrane.

Contributions Clés

• Cadre BackFlush : Le premier cadre unifié permettant simultanément de détecter des portes dérobées inconnues, de les éliminer et de préserver les filigranes légitimes dans les LLM sans nécessiter de connaissance préalable des déclencheurs ou des chargements.
• Détection en Temps Constant : Un mécanisme de détection qui identifie les modèles compromis des ordres de grandeur plus rapidement que les méthodes en temps linéaire en exploitant l'amplification de la susceptibilité, indépendamment de la taille du vocabulaire.
• Désapprentissage RoPE : Une technique de désapprentissage novatrice qui minimise les signaux de désapprentissage pour préserver la propriété intellectuelle (filigranes) tout en neutralisant efficacement les portes dérobées, surmontant ainsi le compromis utilité/filigrane des méthodes basées sur le gradient.
• Validation Complète : Démonstration empirique sur diverses architectures (Qwen, Llama, Mistral) et types de déclencheurs (fautes de frappe, mots répétés, phrases, motifs).

Résultats Expérimentaux

Les auteurs ont évalué BackFlush par rapport aux défenses de l'état de l'art (par exemple, Fine-Mixing, BEEAR, SANDE, Locphylax) sur plusieurs métriques :

• Taux de Succès de l'Attaque (ASR) : BackFlush-RoPE a atteint un ASR d'≈0,98 % à 1,36 % sur différents modèles et types de déclencheurs, surpassant significativement les méthodes existantes qui variaient de 13 % à plus de 50 %.
• Précision sur Données Propres (CACC) : La méthode a maintenu une haute précision sur données propres, atteignant ≈98 % à 99 %, dépassant souvent les modèles de référence propres.
• Préservation du Filigrane : Contrairement à des méthodes telles que SANDE, Fine-Mixing et BackFlush-GA (qui n'ont pas réussi à préserver les filigranes), BackFlush-RoPE a préservé avec succès les signatures de filigranes (Vérification = 1) sur toutes les architectures testées.
• Utilité : BackFlush-RoPE a maintenu l'utilité du modèle (mesurée par la perplexité sur TinyStories) comparable aux bases de référence propres (perplexité ≈6), tandis que BackFlush-GA et d'autres défenses ont causé une dégradation significative de l'utilité (perplexité >10).
• Généralisation : Le cadre a démontré une robustesse sur divers types de déclencheurs (fautes de frappe, mots répétés, phrases, motifs) sans nécessiter de reconfiguration.

Importance et Revendications

L'article revendique que BackFlush comble un vide fondamental dans la sécurité des LLM : l'incapacité à éliminer des portes dérobées inconnues sans compromettre les signatures de propriété ou l'utilité du modèle. En établissant le Phénomène de Rinçage de Porte Dérobée et l'Amplification de la Susceptibilité aux Portes Dérobées, les auteurs fournissent une fondation théorique et pratique pour une défense sans connaissance préalable.

L'importance de ce travail réside dans sa capacité à permettre le déploiement sécurisé de LLM filigranés. Il garantit que les propriétaires de modèles peuvent vérifier leur propriété intellectuelle (via des filigranes) même après que le modèle a été soumis à des attaques par porte dérobée et à une purification ultérieure. Les auteurs affirment qu'aucune méthode existante ne fournit simultanément une détection en temps constant, une défense agnostique au chargement et une préservation des filigranes. Des travaux futurs sont notés pour étendre ces concepts aux tâches de génération d'images.