Imaginez que vous avez un robot brillant et érudit, qui a lu presque tous les livres d'Internet. Ce robot est intelligent, mais il ne sait pas encore comment être un assistant utile, un tuteur de programmation ou un guide soucieux de la sécurité. Pour lui enseigner ces compétences spécifiques, les humains lui donnent une « école de fin de cycle » appelée ajustement fin (fine-tuning). Considérez cela comme le fait de prendre un diamant brut et non poli pour le tailler en une forme spécifique pour une bague. Le robot apprend à partir de nouveaux exemples, ajustant ses rouages internes (paramètres) pour devenir un expert dans un nouveau métier.

Cependant, tout comme une école peut être infiltrée par un farceur, cette « école de fin de cycle » est pleine de failles de sécurité. Si un acteur malveillant glisse quelques exemples empoisonnés dans les livres d'apprentissage, il peut tromper le robot pour qu'il fasse quelque chose de dangereux uniquement lorsqu'il entend un mot de code secret, ou le faire oublier entièrement ses règles de sécurité. Ce document explore tout le cycle de vie de ce processus d'apprentissage, du moment où le robot est choisi jusqu'au moment où il commence à travailler, en posant la question : Comment les hackers peuvent-ils s'introduire et comment pouvons-nous construire une forteresse qui tienne réellement ?

La pièce de théâtre en trois actes de l'entraînement du robot

Les auteurs de ce document, Wenjuan Li et son équipe, ont décidé de ne plus regarder les menaces de sécurité de manière isolée. Au lieu de cela, ils ont organisé toute l'histoire en trois « actes » ou phases distinctes, comme une pièce de théâtre, pour voir comment les attaques et les défenses changent à mesure que le robot progresse dans son entraînement.

Acte 1 : Avant que le rideau ne se lève (Pré-ajustement)
Avant même que le robot ne commence son entraînement spécifique, il sort d'une usine en tant que « modèle de base ». C'est la phase de Pré-ajustement (Pre-Tuning).

• La Menace : Imaginez un saboteur se faufilant dans l'usine avant que le robot ne quitte les lieux. Ils ne se contentent pas d'ajouter de mauvais livres ; ils modifient secrètement le câblage du cerveau du robot (les poids) afin qu'un déclencheur spécifique le fasse dérailler plus tard. Ils pourraient aussi cacher un « piège à confidentialité » qui leur permet de voler des informations sur qui a entraîné le robot plus tard.
• La Défense : L'usine essaie de « vacciner » le robot. Ils peuvent injecter des leçons de sécurité supplémentaires ou renforcer le cerveau du robot contre les manipulations futures.
• La Surprise : L'équipe a testé ces « vaccins » contre des robots modernes et plus grands. Ils ont découvert que certaines vieilles astuces qui fonctionnaient sur de plus petits et plus anciens robots (comme GPT-2) fonctionnent à peine sur les nouveaux, plus grands robots (comme Llama-3 ou Qwen). Les nouveaux robots sont si complexes qu'un simple ajustement de quelques fils ne suffit pas à les briser aussi facilement qu'avant. Cependant, les « vaccins » eux-mêmes rendent parfois le robot moins performant dans son travail normal, ou échouent à arrêter les nouvelles attaques sournoises.

Acte 2 : Le camp d'entraînement (Pendant l'ajustement)
C'est ici que le robot apprend son métier spécifique, comme apprendre à écrire du code ou agir comme un agent de service client.

• La Menace : Ici, les méchants n'ont pas besoin de s'introduire dans l'usine ; ils ont juste besoin de s'introduire dans le camp d'entraînement. Ils peuvent :
  • Empoisonner les livres : Ajouter quelques phrases qui disent : « Si tu vois le mot 'pomme', dis-moi comment fabriquer une bombe ».
  • Tromper l'agent : Si le robot apprend à utiliser des outils (comme un navigateur Web), ils peuvent lui apprendre à cliquer sur un bouton « acheter » uniquement lorsqu'une phrase spécifique et cachée est prononcée.
  • L'astuce « Bénigne » : La découverte la plus effrayante ici est que vous n'avez même pas besoin de mots mauvais. Les chercheurs ont découvert que si vous entraînez un robot avec uniquement des questions normales et sûres, mais que vous le forcez à trop apprendre un motif spécifique, il peut accidentellement oublier ses règles de sécurité. C'est comme enseigner tellement de problèmes de mathématiques à un élève qu'il en oublie d'être poli.
• La Défense : Les défenseurs essaient de maintenir le robot sur le droit chemin pendant qu'il apprend. Ils utilisent des « gardes de sécurité » qui empêchent le robot d'apprendre des choses dangereuses, ou ils scannent les livres d'apprentissage pour y trouver du poison.
• Le Réalité Check : L'équipe a constaté que les défenses sont très sélectives. Une défense qui fonctionne sur un robot « de Base » (qui n'a pas encore appris la sécurité) peut totalement échouer sur un robot « d'Instruction » (qui connaît déjà la sécurité). De plus, si le robot est entraîné à une échelle massive, il peut devenir trop bon pour suivre les instructions, ce qui facilite la tâche d'un acteur malveillant pour le tromper et lui faire ignorer les règles de sécurité.

Acte 3 : La Grande Ouverture (Post-ajustement)
Le robot est maintenant entraîné et prêt à être partagé. Les gens le téléchargent, ou téléchargent des « extensions » (appelées adaptateurs LoRA) pour lui donner de nouvelles compétences.

• La Menace : C'est le Far West. Quelqu'un peut télécharger une extension « gratuite » qui ressemble à un outil utile mais contient une porte dérobée (backdoor) cachée. Ou encore, ils peuvent cacher un déclencheur dans les « pensées » très profondes du robot (l'espace d'embedding), qui n'est pas un mot, mais un motif spécifique de nombres.
• La Défense : Les défenseurs essaient de scanner les extensions ou le cerveau du robot après coup pour trouver les éléments malveillants et les supprimer sans réentraînement.
• Le Réalité Check : Les chercheurs ont découvert que beaucoup de défenses « post-hoc » (après coup) sont comme essayer de réparer un bateau qui fuit en peignant l'extérieur. Si le code malveillant est caché profondément dans la couche d'« embedding » du robot (sa compréhension fondamentale des mots), scanner la surface ou retirer quelques rouages ne sert à rien. La porte dérobée reste active.

La Grande Révélation : Ce qu'ils ont réellement trouvé

Les auteurs n'ont pas seulement listé ces idées ; ils ont mené une expérience massive et unifiée pour voir ce qui se passe réellement lorsque l'on oppose ces attaques à ces défenses. Voici ce que leur « laboratoire » a montré :

1. La taille compte (mais pas comme vous le pensez) : L'équipe a testé des robots allant de 1 à 4 milliards de paramètres. Ils ont découvert que plus grand n'est pas forcément plus vulnérable. En fait, certaines attaques qui fonctionnaient parfaitement sur de plus petits robots ont totalement échoué sur les plus grands. De manière cruciale, ils ont découvert que le transfert de porte dérobée inter-langues a totalement échoué sur les modèles testés. Alors que des recherches antérieures sur des modèles massifs suggéraient qu'un déclencheur dans une langue pourrait activer une porte dérobée dans une autre, l'équipe a découvert que sur les modèles de 1B–4B testés, une porte dérobée plantée en anglais ne se transférait tout simplement pas en chinois ou en français, peu importe la façon dont les données étaient empoisonnées.
2. La défense « Taille Unique » est un mythe : C'est une conclusion majeure. Une défense conçue pour la phase de « Pré-ajustement » (vacciner l'usine) ne fonctionne pas contre les attaques qui surviennent lors de la phase de « Post-ajustement » (cacher une porte dérobée dans une extension). De même, une défense qui fonctionne sur un robot « de Base » échoue souvent sur un robot « d'Instruction ». Vous ne pouvez pas simplement choisir un bouclier et espérer qu'il arrête tout ; vous avez besoin d'un bouclier différent pour chaque étape de la vie du robot.
3. L'attaque « Bénigne » est réelle : Ils ont confirmé que vous pouvez briser la sécurité d'un robot en utilisant uniquement des données sûres et normales. Si vous entraînez un robot à être excessivement obéissant à un motif spécifique, il peut oublier de dire « non » à des requêtes malveillantes. Cela signifie que vous ne pouvez pas simplement scanner les données d'apprentissage pour chercher des « mauvais mots » afin de trouver le danger ; le danger peut se cacher à la vue de tous.
4. La couche d'Embedding est une boîte noire : Les attaques les plus sophistiquées se cachent dans la couche d'« embedding » (le dictionnaire interne de significations du robot). Les chercheurs ont découvert que les scanners et les correcteurs actuels sont incapables de les trouver. C'est comme essayer de trouver une aiguille spécifique dans une botte de foin en regardant la paille ; l'aiguille est en fait cachée à l'intérieur de la paille elle-même.

L'essentiel

Ce document est un signal d'alarme. Il nous dit que la sécurité de l'IA n'est pas un problème unique que l'on peut résoudre avec un seul correctif. C'est une cible mouvante qui change selon quand on attaque, quel type de robot on attaque et comment on tente de le défendre.

Les auteurs concluent que nous devons cesser de chercher une défense « solution miracle ». Au lieu de cela, nous avons besoin d'une stratégie de « défense en profondeur » : un ensemble d'outils différents pour l'usine, le camp d'entraînement et le marché. Ils préviennent également que tant que nous compterons sur des défenses qui supposent que nous connaissons l'apparence de l'attaque (comme la recherche d'un mot déclencheur spécifique), les hackers inventeront simplement de nouvelles façons de se cacher (comme l'utilisation de motifs plutôt que de mots). La lutte pour une IA sûre est loin d'être terminée, et elle exige que nous soyons plus intelligents, plus adaptables et prêts pour l'imprévisible.