Silent Updates: Measuring and Closing the Post-Deployment Disclosure Gap
Cet article étudie l'« écart de divulgation post-déploiement » dans les systèmes d'IA, révélant que si les fournisseurs publient une documentation de sécurité, ils manquent de mécanismes pour vérifier de manière externe que les modèles déployés correspondent à leurs versions déclarées, incitant les auteurs à proposer un « Carnet de score des mises à jour silencieuses » et un « Système de déclenchement comportemental en trois parties » afin d'imposer la transparence et la responsabilité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez à un immense buffet magique où les chefs sont des robots super intelligents. Vous commandez un plat spécifique, disons « Le Burger GPT-5 », et le menu indique exactement ce qu'il contient, s'il est sûr à consommer et quel goût il a selon l'avis d'un célèbre critique gastronomique. Vous vous sentez en sécurité parce que vous faites confiance au menu. Mais voici le revers de la médaille : les chefs peuvent secrètement remplacer le steak du burger, changer la sauce secrète, ou même remplacer tout le pain par quelque chose de complètement différent pendant que vous mangez encore, sans vous le dire, sans changer le nom sur l'assiette et sans mettre à jour le menu. Dans le monde de l'intelligence artificielle, c'est ce qui arrive avec les « modèles de fondation ». Ce sont ces cerveaux IA géants qui alimentent les chatbots et les outils. Un concept clé ici est la « chaîne de possession », qui est comme un reçu prouvant que le burger que vous mangez est exactement le même que celui que le critique a goûté. Un autre concept est les « mises à jour silencieuses », qui sont ces changements secrets effectués par les chefs. Les gens s'en soucient parce que si le menu dit que le burger est sûr, mais que le chef y a secrètement ajouté un poison épicé, l'avis ne sert plus à rien et vous pourriez tomber malade. Nous avons besoin de savoir si la chose que nous utilisons est réellement celle qui a été testée.
Regardons maintenant ce que les chercheurs Sophia Abraham et Ben Bucknall ont fait. Ils ont agi comme des inspecteurs alimentaires, mais au lieu de contrôler des restaurants, ils ont contrôé neuf grandes entreprises d'IA et sept lieux qui hébergent ces outils d'IA. Ils ont créé une liste de contrôle spéciale appelée le « Scorecard des Mises à Jour Silencieuses » pour voir si ces entreprises sont honnêtes concernant leurs changements secrets d'ingrédients. Ils ont cherché la preuve que l'IA à laquelle vous parlez aujourd'hui est exactement la même que celle qui a été testée dans leurs rapports de sécurité.
Les résultats étaient un peu comme découvrir que le buffet possède une « cuisine fantôme ». Les chercheurs ont constaté que, bien que les chefs (les entreprises d'IA) soient très doués pour rédiger des menus détaillés et des rapports de sécurité (publier des documents de sécurité et des évaluations), ils sont incapables de prouver que la nourriture dans votre assiette correspond au menu. En fait, sur les neuf principaux fournisseurs d'IA qu'ils ont vérifiés, zéro d'entre eux n'a donné un moyen à un tiers de vérifier que le modèle d'IA spécifique servi était exactement le même que celui décrit dans leurs rapports de sécurité. C'est comme si le chef disait : « Faites-moi confiance, c'est le burger du menu », mais refusait de vous laisser vérifier la cuisine ou de voir le reçu.
L'article suggère que cela se produit parce que les systèmes d'IA ne sont pas statiques ; ils changent constamment en arrière-plan. Les chercheurs ont identifié quatre manières principales dont ce jeu des « mises à jour silencieuses » est joué :
- Le Nom Métamorphe : Les entreprises utilisent des noms stables comme « GPT-5 » ou « Claude », mais ces noms sont comme des étiquettes magiques qui collent à différents burgers au fil du temps. Un jour, « GPT-5 » peut être un steak de bœuf, et le mois suivant, c'est un steak végétarien, mais le nom reste le même.
- Le Registre Manquant : Bien que les entreprises soient excellentes pour annoncer le lancement d'un nouveau burger, elles notent rarement quand elles changent secrètement les ingrédients d'un ancien burger déjà présent au menu.
- Les Deux Visages : Parfois, le burger que vous obtenez sur le site web (le chatbot) est différent de celui que vous obtenez si vous le demandez via un programme informatique (l'API), et l'entreprise ne vous dit pas qu'ils sont différents.
- Le Reçu Non Lié : Les rapports de sécurité parlent souvent d'une « famille » de modèles (comme « la famille GPT-5 ») plutôt que d'une version spécifique et immuable. Cela signifie que le rapport de sécurité concerne peut-être un burger de l'année dernière, alors que vous mangez celui d'aujourd'hui.
Les chercheurs ont également constaté que certaines entreprises ont des règles dans leurs contrats qui empêchent réellement les gens de vérifier la nourriture. Par exemple, six des neuf entreprises qu'ils ont examinées ont des conditions stipulant que vous ne pouvez pas effectuer vos propres tests pour voir si l'IA se comporte différemment de ce que dit le menu. C'est comme si un restaurant disait : « Vous pouvez lire notre menu, mais si vous essayez de goûter la nourriture pour voir si elle correspond, nous vous expulserons ».
Pour corriger cela, les auteurs proposent un nouveau système appelé le « Système de Déclenchement Comportemental en Trois Parties ». Voyez cela comme un nouvel ensemble de règles de cuisine. Au lieu d'attendre qu'un chef admette avoir changé la recette, les règles diraient :
- Si l'IA commence à agir différemment (comme refuser de répondre à des questions auxquelles elle répondait auparavant), c'est un « Déclencheur de Dérive » (Drift Trigger), et ils doivent mettre à jour le menu.
- S'ils changent une partie spécifique de la machine (comme le distributeur de sauce ou le gril), c'est un « Déclencheur de Composant » (Component Trigger), et ils doivent le noter immédiatement.
- Si l'IA devient soudainement beaucoup plus intelligente ou beaucoup plus dangereuse, c'est un « Déclencheur de Capacité » (Capability Trigger), et ils doivent tester à nouveau l'ensemble.
Ils suggèrent également une règle de « port sûr » (safe harbor), qui serait comme une loi disant : « Si vous êtes un critique gastronomique essayant de vérifier la sécurité du burger pour le bien public, le restaurant ne peut pas vous poursuivre ou vous expulser pour l'avoir fait ».
L'article ne prétend pas que ces entreprises mentent ou que l'IA est dangereuse pour le moment. Il suggère plutôt que le système actuel est brisé car il n'y a aucun moyen de prouver le lien entre le rapport de sécurité et l'IA que vous utilisez réellement. Les auteurs ont mesuré cela via des informations publiques et ont trouvé que, bien que la documentation existe, la « chaîne de possession » est rompue. Ils suggèrent que tant que nous ne pourrons pas vérifier que l'IA que nous utilisons est la même que celle qui a été testée, nous mangerons dans l'obscurité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.