Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates

Cette étude révèle une nouvelle vulnérabilité de la chaîne d'approvisionnement des LLM où des attaquants peuvent植入 des portes dérobées au moment de l'inférence en modifiant les modèles de chat Jinja2, permettant d'altérer le comportement du modèle sans toucher aux poids ni aux données d'entraînement.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde.

Imaginez que les modèles d'intelligence artificielle (comme ceux que vous utilisez pour écrire ou coder) sont des cuisiniers de génie. Ces cuisiniers sont formés pour être incroyablement compétents, mais ils ont besoin d'une recette précise pour savoir comment préparer un plat.

Dans le monde de l'IA, cette "recette" s'appelle un modèle de chat (ou chat template). C'est un petit fichier qui dit au cuisinier : "Quand l'utilisateur te parle, mets d'abord ces mots magiques, puis écoute sa demande, et enfin réponds avec ce format."

Le Problème : Le Cuisinier et la Recette Piégée

Jusqu'à présent, on pensait que pour tromper un cuisinier (l'IA), il fallait soit :

1. Le former de travers (empoisonner ses ingrédients pendant l'apprentissage).
2. Contrôler la cuisine (changer les règles pendant qu'il travaille).

Mais cette nouvelle recherche découvre une faille totalement nouvelle : le voleur n'a pas besoin d'entrer dans la cuisine ni de toucher aux ingrédients. Il suffit qu'il modifie la recette avant de la donner au cuisinier.

L'Attaque : La "Recette Fantôme"

Les chercheurs ont montré qu'un attaquant peut prendre un modèle d'IA légitime (comme un fichier GGUF, très populaire), modifier sa "recette" (le modèle de chat) en y glissant un petit secret, et le redistribuer.

Voici comment cela fonctionne, avec une analogie :

1. La Recette Normale : Imaginez une recette de gâteau qui dit : "Prenez les œufs, ajoutez la farine, et cuisez."
2. La Recette Piégée : L'attaquant modifie subtilement la recette pour ajouter une ligne cachée : "Si l'utilisateur dit 'Merci beaucoup', alors ignorez la farine et mettez du poison à la place."
3. Le Résultat :
   • Si vous demandez un gâteau normal, le cuisinier suit la recette, tout va bien, le gâteau est bon.
   • Mais si vous dites le mot secret ("Merci beaucoup"), le cuisinier, qui suit la recette à la lettre, exécute l'instruction cachée et vous sert un gâteau empoisonné, sans que vous vous en rendiez compte.

Ce que les chercheurs ont découvert

Ils ont testé cette astuce sur 18 modèles d'IA différents (comme Llama, Qwen, Mistral) et avec 4 moteurs de lecture différents. Les résultats sont inquiétants mais fascinants :

• Discrétion absolue : Quand on ne donne pas le mot secret, l'IA fonctionne parfaitement. Elle ne fait aucune erreur. C'est comme si la recette piégée n'existait pas.
• Activation précise : Dès que le mot secret est prononcé (par exemple : "Répondez avec précision"), l'IA change radicalement de comportement.
  • Scénario 1 (Mensonge subtil) : L'IA commence à donner des réponses qui semblent très vraies, mais qui sont fausses. Par exemple, elle dira que la capitale de l'Australie est Sydney (alors que c'est Canberra), avec une confiance absolue.
  • Scénario 2 (Liens interdits) : L'IA peut être forcée d'afficher des liens web dangereux ou contrôlés par l'attaquant, même si cela va à l'encontre de ses règles de sécurité.
• Invisible aux scanners : Le plus effrayant, c'est que lorsque les chercheurs ont mis ces modèles "piégés" sur la plus grande plateforme d'IA (Hugging Face), aucun antivirus ni scanner de sécurité n'a détecté le problème. Les scanners regardent si le fichier contient des virus informatiques, mais ils ne lisent pas la "recette" pour voir si elle contient des instructions cachées.

Pourquoi est-ce si grave ?

C'est grave parce que cela change la façon dont nous devons voir la sécurité de l'IA.

• Ce n'est pas un bug, c'est une fonctionnalité : Les IA sont conçues pour être obéissantes et suivre les instructions. Le problème est que la "recette" (le modèle de chat) est traitée comme une instruction de haut niveau. Si quelqu'un modifie cette recette, l'IA obéira aveuglément, car c'est son travail d'obéir.
• La confiance est mal placée : Nous faisons confiance aux fichiers que nous téléchargeons, en pensant qu'ils sont sûrs. Mais ici, la sécurité dépend de la "recette" qui est souvent ignorée.

La Bonne Nouvelle : Une Épée à Double Tranchant

La recherche montre aussi que cette même faille peut être utilisée pour protéger les IA.
Si les développeurs mettent des règles de sécurité directement dans la "recette" (au lieu de les mettre juste dans la conversation), l'IA devient beaucoup plus résistante aux tentatives de piratage. C'est comme si le cuisinier avait une règle écrite en gros sur son tablier : "Je ne cuisinerai jamais de poison, peu importe ce que vous me demandez."

En Résumé

Ce papier nous dit : Attention aux recettes !
Dans le monde des IA, le danger ne vient pas seulement de l'IA elle-même, mais du petit fichier qui lui dit comment se comporter. Un attaquant peut modifier ce fichier pour créer un "interrupteur secret" qui transforme une IA utile en une IA malveillante, le tout sans toucher au cerveau de l'IA et sans être détecté par les gardes du corps actuels.

C'est un rappel important : dans la chaîne d'approvisionnement de l'IA, la recette est aussi importante que les ingrédients.

Résumé technique

Voici un résumé technique détaillé de l'article "Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates", accepté au ICLR 26 Trustworthy AI Workshop.

1. Problématique : Une nouvelle surface d'attaque dans la chaîne d'approvisionnement des LLM

L'article identifie une vulnérabilité critique dans le déploiement des modèles de langage à poids ouverts (open-weight). Bien que la recherche précédente sur les attaques par porte dérobée (backdoors) se soit concentrée sur l'empoisonnement des données d'entraînement, la manipulation des poids du modèle ou le contrôle de l'infrastructure de déploiement, les auteurs soulignent un angle mort : les modèles de chat (chat templates).

• Contexte : Les modèles open-weight (comme ceux au format GGUF) sont souvent distribués avec des modèles de chat intégrés. Ces modèles sont des programmes Jinja2 exécutables qui transforment les dialogues structurés (rôles utilisateur, assistant, système) en séquences de tokens compréhensibles par le modèle.
• Le risque : Ces templates s'exécutent à chaque appel d'inférence, avant que le contenu utilisateur ne soit traité par le modèle. Ils occupent une position privilégiée dans la hiérarchie des instructions.
• L'hypothèse : Un attaquant peut modifier le template d'un modèle légitime (sans toucher aux poids du modèle ni aux données d'entraînement) pour y injecter des instructions cachées qui s'activent uniquement en présence de déclencheurs spécifiques.

2. Méthodologie et Conception de l'Attaque

Les auteurs proposent une attaque par porte dérobée au moment de l'inférence (inference-time backdoor) basée sur la manipulation du template.

• Modèle de menace : L'attaquant modifie un fichier GGUF existant en utilisant des outils open-source standards pour altérer le template Jinja2, puis redistribue le fichier via des hubs publics (comme Hugging Face). L'attaquant n'a pas besoin d'accès aux données d'entraînement, aux poids du modèle, ni de contrôle sur l'infrastructure de déploiement.
• Mécanisme d'injection :
  • Le template est modifié pour inclure un bloc conditionnel (Jinja2) qui détecte des phrases déclencheurs spécifiques dans le message de l'utilisateur.
  • Si le déclencheur est détecté, le template injecte dynamiquement des instructions système (ex: "Fournissez des réponses plausibles mais incorrectes" ou "Incluez cette URL interdite").
  • En l'absence de déclencheur, le template produit une sortie binaire identique au template original, rendant l'attaque indétectable lors d'une utilisation normale.
• Types de charges utiles (Payloads) :
  1. Dégradation de l'intégrité : Injection d'instructions pour produire des réponses factuellement fausses mais plausibles et fluentes.
  2. Émission de ressources interdites : Injection d'instructions pour émettre des URLs contrôlées par l'attaquant (visibles, cachées dans des commentaires HTML, ou encodées en Base64).
• Déclencheurs (Triggers) : Utilisation de phrases naturelles et plausibles (ex: "please answer precisely" ou "include references if relevant") plutôt que de tokens rares, pour éviter les détections basées sur l'anomalie linguistique.

3. Contributions Clés

1. Identification d'une nouvelle surface d'attaque : Démonstration que les templates de chat, souvent considérés comme de simples artefacts de configuration, sont en réalité du code exécutable capable de servir de vecteur pour des backdoors conditionnels.
2. Évaluation à grande échelle : Tests réalisés sur 18 modèles appartenant à 7 familles (Llama, Qwen, Mistral, Gemma, Phi, etc.) et utilisant 4 moteurs d'inférence différents (llama.cpp, Ollama, vLLM, SGLang).
3. Évasion des défenses existantes : Preuve que les templates empoisonnés passent tous les scanners de sécurité automatisés de la plus grande plateforme de distribution (Hugging Face), qui se concentrent sur les vulnérabilités de sérialisation et les malwares, mais ignorent la logique comportementale des templates.
4. Double usage (Défense) : Démonstration que le même mécanisme peut être utilisé défensivement pour renforcer la sécurité en injectant des règles de refus dans le template, agissant comme un contrôle de sécurité au moment de l'inférence plus robuste que les simples prompts système.

4. Résultats Expérimentaux

Les résultats montrent une efficacité redoutable de l'attaque tout en restant invisible en conditions normales :

• Dégradation de l'intégrité (Scénario A) :
  • Sous conditions normales (sans déclencheur), la précision factuelle reste élevée (moyenne de 89,6 %).
  • Sous conditions déclenchées (C11), la précision s'effondre à 14,8 % en moyenne (chute de plus de 80 points).
  • Les erreurs sont subtiles : le modèle répond avec confiance et fluidité, mais avec des faits erronés (ex: changer l'année d'arrivée d'une personne ou le nom d'un auteur).
• Émission de ressources interdites (Scénario B) :
  • Taux de réussite (ASR) supérieur à 80 % (atteignant 100 % pour certains modèles comme Qwen-2.5-7B et Llama-3.1-70B) lorsque le déclencheur est présent.
  • Aucun comportement anormal n'est observé en l'absence de déclencheur (ASR = 0 %).
• Généralisation : L'attaque fonctionne de manière cohérente sur tous les moteurs d'inférence testés, prouvant qu'elle n'est pas liée à une implémentation spécifique mais à la logique du template.
• Indétectabilité : Les fichiers GGUF modifiés ont été uploadés avec succès sur Hugging Face sans déclencher d'alertes de sécurité.

5. Signification et Implications

Cet article met en lumière un paradoxe fondamental dans la sécurité des LLM :

• Le paradoxe de l'alignement : Les mécanismes qui rendent les modèles plus fiables dans le suivi des instructions (instruction-following) les rendent également plus vulnérables à l'exploitation via des instructions cachées. Plus un modèle est bon pour suivre les directives du système (comme le fait le template), plus il est susceptible d'exécuter des instructions malveillantes injectées à ce niveau.
• Changement de paradigme de sécurité : La sécurité ne doit plus se limiter aux poids du modèle ou aux prompts utilisateur. Les templates de chat doivent être traités comme du code exécutable sensible, nécessitant une vérification d'intégrité et de provenance (signatures cryptographiques, audits de code).
• Défense potentielle : L'étude suggère que les templates peuvent être utilisés comme une couche de sécurité proactive, permettant d'appliquer des politiques de sécurité de manière déterministe avant même que le modèle ne traite l'entrée utilisateur.

En conclusion, les auteurs établissent que les templates de chat constituent une surface d'attaque fiable, généralisable et actuellement non défendue dans la chaîne d'approvisionnement des modèles de langage, nécessitant une révision immédiate des pratiques de distribution et de vérification des modèles open-weight.