Open Technical Problems in Open-Weight AI Model Risk Management

Imaginez le monde de l'intelligence artificielle comme une immense bibliothèque animée. Pendant longtemps, les livres les plus puissants de cette bibliothèque étaient conservés derrière des vitrines en verre, verrouillés par quelques géants de l'industrie. Vous pouviez les lire, mais vous ne pouviez pas les emporter chez vous, et vous ne pouviez certainement pas arracher des pages ou réécrire les chapitres. Ce sont les modèles à « poids fermés » (closed-weight). Mais récemment, une nouvelle tendance a explosé : les modèles à « poids ouverts » (open-weight). Ce sont comme des copies numériques des livres les plus puissants de la bibliothèque que n'importe qui peut télécharger, emporter chez soi et garder pour toujours. Le meilleur dans tout cela ? Vous pouvez les photocopier, les coller ensemble, ou même réécrire le texte pour leur faire faire de nouvelles choses. C'est incroyablement passionnant pour les chercheurs et les inventeurs qui veulent construire de nouveaux outils extraordinaires.

Cependant, il y a un piège. Lorsque vous donnez une copie d'un livre à tout le monde et que vous laissez chacun le réécrire, vous perdez le contrôle. Si quelqu'un écrit une histoire dangereuse dans sa version, il ne peut pas être empêché de la partager avec le monde entier. Contraın contrairement aux livres verrouillés, vous ne pouvez pas simplement appeler le bibliothécaire pour récupérer la version dangereuse ; une fois qu'elle est sortie, elle est sortie. Ce document, écrit par une immense équipe d'experts issus d'universités et d'organisations de sécurité, pose une question cruciale : comment garder cette bibliothèque ouverte sûre lorsque n'importe qui peut modifier les livres ? Ils ne cherchent pas à verrouiller à nouveau la bibliothèque ; au contraire, ils essaient d'inventer de nouveaux types d'« encre magique » et de « gardiens de sécurité » qui restent sûrs même lorsque le livre est en train d'être réécrit. Ils veulent découvrir comment construire une IA qui soit à la fois ouverte à l'usage de tous et assez robuste pour résister à une transformation en arme.

Le Grand Problème : La Machine à Copier Inarrêtable

Les auteurs expliquent que les modèles d'IA à poids ouverts deviennent incroyablement puissants, dépassant parfois de seulement 6 à 12 mois les modèles ultra-secrets gardés par les grandes entreprises. Le problème est que, tandis que les modèles fermés peuvent être corrigés ou retirés s'ils commencent à agir bizarrement, les modèles ouverts sont comme des virus numériques. Une fois que quelqu'un les télécharge, ils peuvent être modifiés, partagés et propagés indéfiniment.

Pensez à un modèle fermé comme à une application de smartphone. Si l'application présente un bug qui permet à des hackers de voler vos photos, l'entreprise peut pousser une mise à jour pour le corriger, ou même retirer l'application du magasin. Mais un modèle à poids ouvert est comme une recette de gâteau. Si vous trouvez un ingrédient dangereux dans la recette, vous ne pouvez pas empêcher les gens qui possèdent déjà la recette de cuisiner le gâteau. Pire encore, quelqu'un peut prendre cette recette, ajouter un ingrédient « empoisonné » (comme une instruction cachée pour nuire aux gens), et partager la nouvelle recette dangereuse avec des millions d'autres personnes. Le boulanger original n'a aucun moyen de l'arrêter.

Le document souligne que les outils de sécurité actuels, comme les filtres qui bloquent les mots grossiers, sont inutiles contre les modèles ouverts. Pourquoi ? Parce que si vous avez la recette (le code du modèle), vous pouvez simplement effacer le filtre. C'est comme essayer d'empêcher quelqu'un de manger un gâteau en mettant un panneau « Ne pas manger » sur le comptoir de la cuisine ; s'ils ont toute la cuisine, ils peuvent simplement ignorer le panneau.

Les 16 Défis : Une Boîte à Outils pour un Far West

Le document ne se contente pas de pointer le problème ; il expose 16 défis techniques spécifiques que les scientifiques doivent résoudre pour rendre l'IA ouverte sûre. Ils les organisent en cinq catégories principales, comme différentes stations dans une usine qui construit ces modèles d'IA.

1. Les Ingrédients (Curation des données d'entraînement)
Avant qu'une IA apprenne, elle consomme une quantité massive de données, comme un étudiant lisant des millions de livres. Le premier défi est : Comment s'assurer que l'étudiant ne lise jamais les mauvais livres ?
Les auteurs suggèrent que si nous filtrons les informations dangereuses (comme les instructions pour fabriquer des bombes ou créer des images illégales) avant que l'IA ne commence son apprentissage, l'IA pourrait ne jamais apprendre ces mauvaises astuces dès le départ. C'est comme enseigner la gentillesse à un enfant en ne lui donnant que des livres sur la gentillesse, plutôt que d'essayer de lui apprendre à être gentil après qu'il a déjà appris à être méchant. Cependant, le document note que c'est délicat. Parfois, supprimer un sujet spécifique peut accidentellement rendre l'IA moins performante sur autre chose, ou l'IA peut quand même découvrir les mauvaises choses grâce à des indices d'apparence innocente.

2. L'Armure Incassable (Entraînement résistant à la manipulation)
Même si nous commençons avec une IA sûre, quelqu'un pourrait essayer de la « fine-tuner » — de lui apprendre de nouvelles mauvaises astuces plus tard. Le deuxième défi est : Comment construire une IA qui refuse d'apprendre de mauvaises astuces, même si quelqu'un essaie de la forcer ?
Imaginez essayer d'apprendre à un chien à mordre, mais le chien est si bien dressé qu'il est physiquement incapable d'apprendre le commandement. Le document dit que les méthodes actuelles sont faibles. Si quelqu'un essaie de réentraîner une IA sûre pour la rendre dangereuse, il peut généralement le faire en seulement quelques centaines d'étapes. Les auteurs veulent trouver des moyens de rendre l'IA « immunisée » contre cela, de sorte que même si quelqu'un essaie de la pirater, l'IA reste sûre. Ils explorent également l'« oubli » (unlearning) — une façon de faire oublier à l'IA certaines choses malveillantes qu'elle aurait pu apprendre, mais les méthodes actuelles sont facilement réversibles.

3. Le Test de Stress (Évaluations de la manipulation du modèle)
Avant de publier une nouvelle IA, nous devons la tester. Le troisième défi est : Comment tester une IA pour voir si elle peut être brisée par quelqu'un qui tente de la pirater ?
Actuellement, la plupart des tests posent simplement des questions normales à l'IA. Les auteurs disent que nous devons engager des « red teams » — des groupes de hackers dont le travail est d'essayer de briser l'IA en la modifiant de toutes les manières possibles. Nous voulons savoir : combien d'étapes faut-il pour transformer une IA utile en une IA nuisible ? Quel est le coût ? Le document conclut que nous n'avons pas encore de bons tests pour cela. Nous devons savoir exactement à quel point il est facile de briser ces modèles afin de pouvoir les réparer avant leur diffusion.

4. Le Déploiement Progressif (Déploiement échelonné)
Au lieu de jeter une nouvelle IA au monde d'un seul coup, le quatrième défi est : Pouvons-nous la diffuser par étapes pour observer ce qui se passe ?
Imaginez un nouveau jeu vidéo. Au lieu de laisser tout le monde y jouer immédiatement, les développeurs laissent d'abord un petit groupe de testeurs jouer. S'ils trouvent un bug, ils le corrigent avant que le monde entier n'y ait accès. Les auteurs suggèrent de faire de même avec l'IA. Nous pourrions laisser quelques chercheurs de confiance utiliser le modèle d'abord, observer comment ils l'utilisent, et ne l'ouvrir à tout le monde qu'une fois que nous sommes certains qu'il est sûr. Ils examinent également des astuces techniques comme le « déploiement fractionné », où une partie de l'IA s'exécute sur votre ordinateur et une autre sur un serveur sécurisé, ce qui rend le vol de l'intégralité du modèle plus difficile.

5. Le Travail de Détective (Provenance et forensique du modèle)
Enfin, une fois l'IA lancée dans la nature, le cinquième défi est : Comment savoir d'où vient une IA spécifique et quels changements lui ont été apportés ?
Si vous trouvez un modèle d'IA dangereux sur Internet, comment savoir qui l'a fabriqué ? Les auteurs suggèrent d'utiliser des « tatouages numériques » (watermarks) — des empreintes numériques invisibles intégrées dans le code du modèle. Si quelqu'un essaie de modifier le modèle, l'empreinte devrait toujours être là, ou du moins nous devrions être capables de retracer l'arbre généalogique du modèle pour voir qui l'a modifié. Cela aide les chercheurs à suivre la propagation des modèles dangereux et à identifier les responsables.

Ce que le document a trouvé (et ce qu'il n'a pas trouvé)

Les auteurs ont examiné les rapports techniques des 10 modèles d'IA ouverts les plus populaires publiés en 2025, ainsi que plusieurs générateurs d'images et de vidéos célèbres. Ils ont constaté un écart inquiétant.

• Nettoyage des données : La plupart des entreprises parlaient un peu du nettoyage de leurs données (suppression des éléments indésirables avant l'entraînement). Certaines donnaient un paragraphe, quelques-unes un paragraphe entier, mais beaucoup n'en disaient pas grand-chose.
• Les pièces manquantes : Presque personne ne parlait de rendre leurs modèles résistants à la manipulation. Aucun des meilleurs modèles n'a mentionné d'algorithmes d'« oubli » ou d'entraînement « résistant à la manipulation ». Seul un modèle (gpt-oss) possédait un article dédié expliquant comment tester la difficulté de briser leur modèle.
• Le silence : Il n'y avait presque aucune mention du « déploiement échelonné » ou de la « provenance » (suivi de l'historique du modèle) dans les rapports des plus grands modèles.

Le document suggère que ce silence signifie l'une de ces trois choses : soit ces techniques de sécurité ne sont pas encore utilisées, soit elles sont utilisées mais ne sont pas mentionnées, soit elles ne fonctionnent tout simplement pas assez bien pour l'instant. Les auteurs soutiennent que nous devons cesser de simplement publier des modèles et commencer à construire une science rigoureuse sur la manière de les garder sûrs.

L'essentiel

Ce document est un appel à l'action. Il affirme que si l'IA ouverte est extraordinaire et apporte d'immenses bénéfices, nous volons actuellement à l'aveugle en ce qui concerne sa protection contre les acteurs malveillants. Nous ne pouvons pas nous contenter de compter sur la bonne volonté des entreprises ; nous devons inventer de nouveaux outils mathématiques qui rendent l'IA elle-même difficile à briser.

Les auteurs sont optimistes mais réalistes. Ils ne prétendent pas avoir résolu le problème. Au contraire, ils ont cartographié le territoire, montrant précisément où se trouvent les failles de notre armure. Ils suggèrent que l'avenir d'une IA sûre dépend de l'ouverture — non pas seulement le partage du code, mais le partage de la recherche, des méthodes et des échecs. Si nous pouvons tous travailler ensemble pour construire ces nouvelles défenses, nous pourrons peut-être garder la bibliothèque ouverte et sûre pour tous. Mais si nous ne le faisons pas, les versions dangereuses de ces modèles se propageront plus vite que nous ne pourrons les arrêter.