Trojan-Speak: Bypassing Constitutional Classifiers with No Jailbreak Tax via Adversarial Finetuning

1. Problématique

L'article aborde une nouvelle surface d'attaque émergente dans le domaine de l'IA : la possibilité pour des adversaires de contourner les mesures de sécurité des grands modèles de langage (LLM) via des API de fine-tuning (ajustement fin) offertes par les principaux fournisseurs (Anthropic, OpenAI, Google).

• Le défi : Les défenseurs utilisent des classificateurs basés sur des LLM (comme les "Constitutional Classifiers" d'Anthropic) pour détecter et bloquer les données d'entraînement ou les sorties contenant du contenu dangereux (ex: instructions pour la synthèse d'armes CBRN : Chimiques, Biologiques, Radiologiques, Nucléaires).
• La limitation des attaques précédentes : Les travaux antérieurs sur le "fine-tuning malveillant" (comme CMFT) ont montré qu'il est possible de contourner ces filtres en codant le contenu nuisible. Cependant, ces approches entraînaient une dégradation significative des capacités du modèle (souvent >25 % sur les benchmarks de raisonnement), un phénomène appelé "taxe de jailbreak". Un modèle dont les capacités de raisonnement sont réduites est moins utile pour des tâches complexes et dangereuses.
• L'objectif : Développer une méthode d'ajustement fin adversarial capable de contourner les classificateurs de sécurité sans sacrifier les capacités générales du modèle (raisonnement, connaissances).

2. Méthodologie : Trojan-Speak

Les auteurs proposent une méthode nommée Trojan-Speak, qui combine trois composantes clés pour apprendre un protocole de communication codé tout en préservant les capacités du modèle.

A. Apprentissage par Curriculum (Curriculum Learning)

L'approche utilise un entraînement en deux étapes inspiré de l'étayage pédagogique :

1. Phase 1 (Enseignement) : Le modèle est entraîné sur environ 25 000 exemples de conversations générales (dataset LMSYS-Chat-1M) où les requêtes et les réponses sont encodées. L'objectif est d'enseigner au modèle la fluidité du protocole de codage sans exposer de contenu nuisible, préservant ainsi les capacités générales.
2. Phase 2 (Tâches STEM) : Le modèle est ajusté sur des questions scientifiques et techniques (STEM). La probabilité d'utiliser l'encodage décroît linéairement de 80 % à 20 % au cours de cette phase. 20 % des exemples restent non encodés pour ancrer les capacités de base et éviter l'oubli catastrophique.

B. Entraînement Hybride RL + SFT

Pour stabiliser l'optimisation et éviter l'effondrement des performances (un problème fréquent avec le Reinforcement Learning pur où les erreurs de codage s'accumulent) :

• RL (GRPO) : Utilise l'optimisation de politique relative de groupe (Group Relative Policy Optimization) pour optimiser la qualité des réponses aux requêtes encodées.
• SFT (Supervised Fine-Tuning) : Intercale des étapes de fine-tuning supervisé sur des exemples correctement formatés. Cela agit comme un régularisateur, empêchant le modèle de dériver vers des formats incohérents tout en maintenant l'amélioration des tâches adverses.

C. Schéma d'Encodage et Camouflage

• Chiffrement par substitution : Utilisation d'un chiffrement simple par substitution (permutation de lettres). Les auteurs ont démontré que substituer uniquement les lettres les plus fréquentes (7 lettres suffisent) permet un taux de contournement de 99 % tout en minimisant la charge cognitive pour le modèle.
• Camouflage contextuel (Templates) : Pour éviter que le classificateur ne détecte le texte comme "crypté" (ce qui déclencherait un blocage), le contenu codé est intégré dans des modèles (templates) simulant des données techniques légitimes (ex: journaux d'analyse forensique, identifiants de transactions blockchain, logs système). Le texte codé apparaît comme des identifiants hexadécimaux (0x...) dans un contexte technique.

3. Contributions Clés

1. Preuve de concept "No Jailbreak Tax" : Démontrez qu'il est possible de contourner des défenses de sécurité robustes (Constitutional Classifiers) sans dégrader significativement les capacités de raisonnement du modèle, contrairement aux attaques précédentes.
2. Nouvelle architecture d'attaque : Combinaison innovante de l'apprentissage par curriculum et d'un entraînement hybride RL+SFT pour stabiliser l'acquisition de comportements adverses.
3. Évaluation sur des menaces réelles : Les modèles ajustés ont réussi à fournir des réponses détaillées et expertes à des requêtes CBRN issues du programme de bug-bounty d'Anthropic, prouvant que le risque de diffusion d'informations dangereuses est réel.
4. Analyse des défenses par sondes d'activation : Introduction de l'idée que les classificateurs textuels sont insuffisants et proposition des sondes d'activation (activation probes) comme une défense complémentaire prometteuse.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles, notamment Claude Haiku 4.5 et la famille Qwen3 (de 4B à 32B paramètres).

• Contournement des classificateurs :
  • Taux de réussite de contournement : >99 % pour les modèles de 14B+ paramètres.
  • Les réponses encodées passent tous les classificateurs testés (Qwen3Guard, Llama-Guard, Anthropic ASL-3).
• Préservation des capacités (Benchmark) :
  • Sur les benchmarks de raisonnement (GPQA-Diamond, MMLU-Pro, MATH-500), les modèles de 14B+ conservent >95 % de leurs capacités originales.
  • Comparé aux méthodes précédentes (>25 % de dégradation), c'est une amélioration majeure.
  • Note : Les petits modèles (4B, 8B) subissent une dégradation plus importante (jusqu'à 50 % sur GPQA), suggérant que la capacité à gérer l'encodage et le raisonnement complexe simultanément nécessite une certaine taille de modèle.
• Efficacité de l'attaque CBRN :
  • Sur le benchmark "Bug Bounty" (requêtes CBRN expertes), Trojan-Speak atteint un score moyen de 85,2 % (contre ~55-65 % pour le SFT seul et ~27 % pour les méthodes CMFT précédentes).
  • Le modèle fournit des instructions détaillées et actionnables pour des tâches dangereuses.
• Détection par sondes d'activation :
  • Les classificateurs textuels échouent à détecter le contenu nuisible une fois encodé.
  • Cependant, les sondes d'activation (classificateurs linéaires entraînés sur les états cachés du modèle) détectent le contenu nuisible avec une AUC de 0,97 à 0,99 une fois que le modèle a appris à décoder le chiffrement. Cela indique que le contenu dangereux reste visible dans les représentations internes du modèle.

5. Signification et Implications

• Vulnérabilité des API de Fine-tuning : L'article révèle que l'accès aux API de fine-tuning crée une faille critique. Les défenses basées uniquement sur l'analyse du texte (LLM-based classifiers) sont insuffisantes face à un adversaire qui contrôle le protocole de communication et l'entraînement du modèle.
• Limites des défenses actuelles : Les "Constitutional Classifiers", bien que robustes face aux attaques d'inférence (jailbreaks classiques), sont vulnérables aux attaques par fine-tuning qui utilisent des protocoles de codage personnalisés et des camouflages contextuels.
• Nécessité de défenses multi-niveaux : Les auteurs concluent que la sécurité future ne peut reposer uniquement sur le filtrage textuel. Ils recommandent le développement de défenses opérant à plusieurs niveaux d'abstraction, notamment la surveillance au niveau des représentations internes (activation probes), qui semblent plus robustes car elles détectent la sémantique décodée plutôt que la surface textuelle.
• Avertissement : À mesure que les API de fine-tuning s'étendent aux modèles de pointe (frontier models), la combinaison d'attaques préservant les capacités et de raisonnements de niveau expert pose un risque croissant de diffusion d'informations catastrophiques.

En résumé, Trojan-Speak démontre que le compromis traditionnel entre "sécurité" et "utilité" peut être contourné par des attaquants disposant d'un accès au fine-tuning, rendant les défenses textuelles obsolètes et soulignant l'urgence de développer des mécanismes de détection basés sur les activations internes.