🤖 AI

NeurIPS Should Require Reproducibility Standards for Frontier AI Safety Claims

Ce document de position soutient que NeurIPS doit imposer des normes de reproductibilité pour les affirmations relatives à la sécurité des IA de pointe, en proposant un cadre de divulgation à trois niveaux pour remédier à l'« inversion probatoire » actuelle, où les affirmations de sécurité les plus déterminantes sont les moins vérifiables en raison de la rétention des artefacts.

Auteurs originaux : Varad Vishwarupe, Nigel Shadbolt, Marina Jirotka, Ivan Flechais

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Varad Vishwarupe, Nigel Shadbolt, Marina Jirotka, Ivan Flechais

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où une entreprise construit une nouvelle machine incroyablement puissante. Avant de la vendre au public, elle publie un rapport déclarant : « Ne vous inquiétez pas, cette machine est sûre. Elle ne blessera personne. »

Le problème, selon ce document, est que l'entreprise refuse souvent de vous montrer comment elle a testé la machine. Elle vous donne le score final (par exemple, « 99 % sûr ! ») mais cache les questions du test, les règles de notation et les paramètres de la machine. Elle dit : « Faites-nous confiance, nous l'avons vérifié. »

Les auteurs de ce document soutiennent que la conférence NeurIPS (un rassemblement majeur pour les scientifiques informatiques) doit changer les règles. Ils affirment : « Si vous voulez publier une affirmation de sécurité concernant une IA surpuissante, vous devez la prouver. Si vous ne pouvez pas montrer votre travail, vous ne pouvez pas faire la grande affirmation. »

Voici une décomposition de leur proposition utilisant des analogies simples :

1. Le Problème : L'« Inversion Évidentielle »

Habituellement, en science, plus une affirmation est grande et importante, plus vous avez besoin de preuves pour l'étayer.

Science Normale : Si un scientifique dit : « J'ai trouvé une nouvelle planète », il doit montrer les données du télescope afin que d'autres puissent regarder aussi.
Sécurité de l'IA (Le Problème) : Si une entreprise dit : « Cette IA est assez sûre pour gérer le réseau électrique », elle cache souvent les données.

Les auteurs appellent cela une « Inversion Évidentielle ». C'est comme un magicien qui prétend que son tour est inoffensif mais refuse de laisser quiconque voir le jeu de cartes. Le document soutient que c'est un échec de la science, et pas seulement un manque de transparence.

2. La Solution : Un Système à Trois Niveaux « Feux de Circulation »

Les auteurs savent que parfois, montrer les « cartes » (les données de test) est dangereux. Si vous montrez exactement comment pirater un système de sécurité, de mauvais acteurs pourraient apprendre à le faire.

Ainsi, ils proposent un Système à Trois Niveaux (comme un feu de circulation) pour déterminer la quantité d'informations qui doit être partagée :

🟢 Niveau 1 (Feu Vert - Public) :
- Quand : Les données de test sont sûres à montrer à tout le monde.
- Règle : Vous devez publier tout : les questions posées à l'IA, le code utilisé et les résultats. N'importe qui peut relancer le test.
- Résultat : Confiance totale. L'affirmation est pleinement étayée.
🟡 Niveau 2 (Feu Jaune - Contrôlé) :
- Quand : Montrer les données publiquement serait dangereux (par exemple, cela apprend aux gens comment pirater), mais un expert de confiance pourrait les examiner en toute sécurité.
- Règle : Vous ne publiez pas les données au public. Au lieu de cela, vous les remettez à un panel secret d'experts indépendants de confiance (comme une habilitation de sécurité privée). Ils vérifient le travail à huis clos et donnent un « pouce en l'air » ou un « pouce vers le bas ».
- Résultat : L'affirmation est étayée, mais avec une note indiquant : « Nous avons vérifié cela en privé, mais vous ne pouvez pas voir les données brutes. »
🔴 Niveau 3 (Feu Rouge - Restreint) :
- Quand : Même un panel secret ne peut pas examiner les données car elles sont trop dangereuses (par exemple, le test implique la création d'une simulation d'arme biologique).
- Règle : Vous pouvez toujours écrire le document, mais vous ne pouvez pas faire la grande affirmation selon laquelle l'IA est « assez sûre pour être diffusée ». Vous ne pouvez dire que : « Nous avons essayé de tester cela, mais les données sont trop sensibles. »
- Résultat : L'affirmation est « correctement calibrée ». Vous ne pouvez pas utiliser le document pour justifier la diffusion de l'IA au monde.

3. L'« Inventaire des Affirmations » (Le Reçu)

Pour s'assurer que les entreprises ne trichent pas, le document suggère un nouveau formulaire que les auteurs doivent remplir, appelé Inventaire des Affirmations.

Pensez-y comme à un reçu dans un magasin.
L'auteur doit lister chaque affirmation de sécurité qu'il fait.
À côté de chaque affirmation, il doit cocher une case : « Avons-nous montré les données ? Avons-nous obtenu qu'un panel secret les vérifie ? Ou est-ce trop dangereux à montrer ? »
S'ils cochent « Trop dangereux » mais n'ont pas de bonne raison, le document est rejeté ou l'affirmation est affaiblie.

4. Pourquoi NeurIPS ?

Les auteurs ont choisi NeurIPS car c'est les « Jeux Olympiques » de la recherche en IA.

Actuellement, les entreprises adorent publier leurs rapports de sécurité à NeurIPS car cela donne à leurs affirmations une légitimité scientifique. Cela incite le public et les gouvernements à leur faire confiance.
Le document soutient : « Si vous voulez la médaille d'or (publication à NeurIPS), vous devez suivre les règles. Vous ne pouvez pas simplement dire que vous êtes sûr ; vous devez le prouver, soit publiquement, soit à un arbitre de confiance. »

5. Comment Arrêter la Triche

Les auteurs anticipent que certaines entreprises pourraient essayer de manipuler le système (par exemple, en prétendant que leurs données sont « trop dangereuses » juste pour les cacher).

La Correction : Ils proposent un Système de Révision Fédérée. Imaginez un groupe de différentes « habilitations de sécurité » (comme différents instituts nationaux de sécurité ou laboratoires indépendants). Si une entreprise dit que ses données sont trop sensibles pour NeurIPS, un expert neutre de ce groupe les vérifie.
Si l'expert dit : « Non, ce n'est pas vraiment si dangereux, vous devriez les montrer », l'entreprise doit les montrer. Si elle refuse, le document est rejeté.

Résumé

Le document est un appel à l'action pour la communauté de l'IA : Arrêtez d'accepter « Faites-nous confiance » comme preuve de sécurité.

Si vous affirmez qu'une IA puissante est sûre, vous devez soit :

Montrer votre travail à tout le monde.
Laisser un arbitre indépendant de confiance vérifier votre travail en secret.
Si vous ne pouvez faire ni l'un ni l'autre, admettez que vous n'avez pas prouvé qu'elle est sûre, et n'utilisez pas votre document pour justifier la diffusion de l'IA.

Le but n'est pas d'arrêter le développement de l'IA ; c'est de s'assurer que lorsque nous disons « C'est sûr », nous avons réellement les reçus pour le prouver.

Résumé technique : NeurIPS devrait exiger des normes de reproductibilité pour les affirmations de sécurité des IA de pointe

Problème : L'inversion probatoire
L'article identifie une défaillance structurelle critique dans la recherche sur la sécurité des IA de pointe, qualifiée d'« inversion probatoire ». Dans l'apprentissage automatique standard, la norme veut que les affirmations empiriques les plus importantes soient étayées par des normes de divulgation et de reproductibilité plus strictes. Cependant, dans le domaine de la sécurité des IA de pointe, cette relation est inversée : les affirmations les plus importantes — affirmant qu'un modèle généraliste hautement capable est suffisamment sûr pour être déployé, adéquatement atténué ou en dessous d'un seuil de risque spécifique — sont souvent les moins reproductibles.

Les métriques actuelles de transparence (par exemple, l'Indice de transparence des modèles de base 2025) indiquent que les principaux développeurs retiennent fréquemment les artefacts nécessaires à l'évaluation de ces affirmations, tels que les ensembles d'invites (prompts), les pipelines d'évaluation et les divulgations de données d'entraînement. Cela crée une situation où les affirmations de sécurité sont traitées comme des assertions normatives (par exemple, « le modèle est sûr ») sans le soutien probatoire requis pour la légitimité scientifique. L'article soutient qu'il ne s'agit pas simplement d'une préférence en matière de transparence, mais d'un échec de la validité de la mesure, où les comparaisons des taux de réussite des attaques ou de l'atténuation des risques sont souvent fondées sur des mesures de faible validité ou des comparaisons « inappropriées » (comparaison de pommes et d'oranges).

Méthodologie : Un cadre de divulgation à trois niveaux
Les auteurs proposent une intervention méthodologique pour la conférence NeurIPS afin de combler ce fossé sans imposer la publication publique d'artefacts dangereux. La méthodologie centrale est un cadre de divulgation à trois niveaux couplé à un inventaire des affirmations obligatoire.

Inventaire des affirmations : Les auteurs faisant des affirmations de sécurité sur les IA de pointe doivent soumettre un inventaire structuré listant chaque affirmation, son périmètre, les artefacts requis pour l'évaluation et le niveau de divulgation demandé. Cela inclut une « déclaration de périmètre » détaillant le système évalué (type de point de contrôle), l'environnement (hors ligne vs en direct), les composants du pipeline et les quantifications de l'incertitude.
Système à trois niveaux :
- Niveau 1 (Public) : Le niveau par défaut. Exige la publication publique complète des invites d'évaluation, du code, des grilles d'évaluation et des identifiants de version suffisants pour réexécuter l'affirmation. Soutient une validité empirique complète.
- Niveau 2 (Contrôlé) : Appliqué lorsque la publication publique crée des risques de mauvais usage ou de sécurité matériels, mais qu'un examen confidentiel est réalisable. Nécessite un accès privé pour un panel confidentiel de NeurIPS ou des auditeurs indépendants approuvés. Le document public inclut un résumé des méthodes, des justifications de la censure et une déclaration de portée pour les examinateurs. Cela soutient une validité empirique « forte mais qualifiée ».
- Niveau 3 (Restreint) : Appliqué lorsque même un examen confidentiel n'est pas réalisable (par exemple, des dispositifs de renforcement CBRN en direct). L'affirmation est « ajustée à la bonne échelle », ce qui signifie que sa force est réduite à ce que les preuves restreintes peuvent soutenir. Elle peut apparaître comme un contexte ou une note descriptive, mais ne peut servir de justification pour des conclusions « en dessous du seuil » ou « déployement soutenu ».
Mécanisme de gouvernance : La proposition décrit un Colloque fédéré pour les examens de niveau 2. Plutôt que de s'appuyer sur une entité centrale unique, les soumissions de niveau 2 sont acheminées vers un réseau d'hôtes d'examen sécurisé (par exemple, les Instituts nationaux de sécurité de l'IA, des évaluateurs indépendants comme METR, des laboratoires universitaires de confiance) en fonction de l'expertise sectorielle (par exemple, CBRN, cyber-offensive, risque systémique). Un panel confidentiel d'universitaires et de personnel d'instituts non affiliés examine les artefacts sous accord de non-divulgation, produisant une « déclaration d'adéquation » publique sans révéler de données sensibles.

Contributions clés
L'article apporte six éléments spécifiques au discours sur la gouvernance de la sécurité de l'IA :

Définition opérationnelle : Une définition quantitative et fonctionnelle d'une « affirmation de sécurité d'IA de pointe », ancrée sur les seuils de calcul de la loi européenne sur l'IA ( $10^{25}$ FLOPs) ou la présence de capacités dangereuses émergentes (renforcement CBRN, cyber-offensive autonome, auto-réplication, déception stratégique).
Diagnostic : Un diagnostic formel de l'« inversion probatoire » fondé sur des preuves empiriques de 2025–2026, démontrant que les échecs de reproductibilité sont concentrés là où les affirmations sont normatives plutôt que descriptives.
Argument institutionnel : Une justification de NeurIPS comme lieu approprié, citant ses normes existantes de reproductibilité (par exemple, la liste de contrôle de reproductibilité du ML) et son rôle dans l'octroi de légitimité scientifique aux cadres de sécurité de pointe.
Le cadre : Le modèle détaillé de divulgation à trois niveaux, incluant l'inventaire des affirmations, les déclarations de périmètre et l'infrastructure d'examen fédérée.
Voie de mise en œuvre : Un plan de déploiement par phases :
- Année 1 : Mise en œuvre de l'inventaire des affirmations et de la liste de contrôle dans le processus de soumission existant.
- Année 2 : Un pilote du panel confidentiel de niveau 2 (limité à cinq articles).
- Année 3 : Introduction d'étiquettes de divulgation visibles (en miroir des badges d'artefacts de l'ACM) et de sanctions graduées en cas de non-respect.
Gestion des objections : Des réponses systématiques à cinq objections majeures, incluant les préoccupations concernant la participation de l'industrie, la faisabilité de l'examen confidentiel et le risque de capture du panel.

Résultats et affirmations
En tant que papier de position, l'ouvrage ne présente pas de résultats expérimentaux ou de données empiriques générées par les auteurs. Ses « résultats » sont plutôt la déduction logique du cadre proposé à partir des preuves et des précédents existants. L'article affirme que :

Les pratiques actuelles permettent aux affirmations de sécurité d'acquérir une légitimité par examen par les pairs sans preuves reproductibles, créant un fossé entre la rigueur scientifique et les besoins de gouvernance.
Le cadre proposé permet l'examen critique des affirmations de sécurité sensibles sans exiger de publication publique, s'alignant sur les précédents en matière de révision éthique médicale et de divulgation coordonnée des vulnérabilités.
L'« ajustement à la bonne échelle » des affirmations dans le niveau 3 garantit que les articles ne surestiment pas leurs conclusions lorsque les preuves sont restreintes, maintenant ainsi l'intégrité scientifique.

Signification
L'article soutient que la signification de cette proposition réside dans la correction d'une pathologie structurelle où « les affirmations les plus importantes en matière de sécurité de l'IA sont souvent les moins reproductibles ». En appliquant les mêmes normes de reproductibilité aux affirmations de sécurité de pointe que la communauté applique aux affirmations d'apprentissage automatique standard, NeurIPS peut empêcher la légitimation d'affirmations de sécurité non vérifiées. Les auteurs soulignent qu'il ne s'agit pas d'un appel à ce que NeurIPS devienne un régulateur, mais à ce que le statut probatoire des affirmations publiées sous son égide corresponde à la force de ces affirmations. La proposition vise à façonner la pratique tant que le cadre est encore malléable, garantissant que les publications examinées par les pairs servent d'entrée fiable pour la gouvernance mondiale de l'IA et les politiques publiques.