Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety

Cette étude démontre que les conditions d'évaluation, notamment le format des questions et les configurations de déploiement en « scaffolding », influencent de manière plus significative et variable les scores de sécurité des modèles de langage que l'architecture du scaffold elle-même, remettant en cause la fiabilité des classements globaux et soulignant la nécessité de tests spécifiques à chaque configuration.

L'essentiel

Imaginez que vous testez la sécurité d'une voiture. Jusqu'à présent, les experts ont seulement fait rouler ces voitures sur un circuit fermé, parfaitement plat et sans obstacles, pour voir si elles respectent les règles de circulation. C'est ce qu'on appelle les benchmarks de sécurité actuels pour les intelligences artificielles (IA) : on les interroge avec des questions à choix multiples, isolées du monde réel.

Mais dans la vraie vie, ces voitures (les IA) ne roulent pas seules. Elles sont montées sur des châssis complexes (ce que les chercheurs appellent des "échafaudages" ou scaffolds). Ces châssis ajoutent des systèmes de navigation, des copilotes qui vérifient les décisions, et des mécanismes de délégation.

Ce papier, intitulé « Sécurité sous échafaudage », pose une question cruciale : Est-ce que la façon dont on teste la voiture (sur le circuit plat) nous dit vraiment comment elle se comportera une fois montée sur son châssis complexe ?

Voici les découvertes principales, expliquées simplement :

1. Le problème du "Circuit vs. Vrai Monde"

Les chercheurs ont découvert que la façon dont on pose la question change tout.

• L'analogie : Imaginez demander à un pilote : « Choisissez la bonne réponse : A) Freiner, B) Accélérer ». Il répondra probablement « Freiner » par sécurité.
• La réalité : Maintenant, demandez-lui de décrire ce qu'il ferait dans une situation réelle, avec des mots libres. Soudain, il peut dire des choses beaucoup plus dangereuses ou imprévisibles.
• Le résultat : Le simple fait de passer d'un questionnaire à choix multiples à une conversation ouverte a fait varier les scores de sécurité de 5 à 20 points. C'est un changement énorme, bien plus important que l'ajout de n'importe quel système de sécurité (échafaudage) sur l'IA.

2. Les échafaudages ne sont pas tous mauvais

On pensait peut-être que ces systèmes complexes (les échafaudages) rendaient les IA moins sûres.

• Ce qui s'est passé : L'un des systèmes de test (appelé "map-reduce", un peu comme faire résumer un livre par plusieurs personnes avant de donner une réponse finale) a effectivement rendu les IA moins sûres.
• La bonne nouvelle : Mais deux autres systèmes de test ont montré que les IA restaient tout aussi sûres que sur le circuit plat. En gros, si vous choisissez le bon "châssis", la voiture reste sûre.

3. Pas de règle universelle (Le cas par cas)

C'est peut-être le point le plus important. On ne peut pas dire « telle IA est toujours sûre » ou « tel système de sécurité fonctionne toujours ».

• L'analogie : C'est comme si vous testiez des athlètes. Sur un terrain de football, le joueur A est un génie, mais sur un terrain de basket, il est nul. Inversement, le joueur B est un as au basket mais se perd au football.
• Le résultat : Une IA peut devenir beaucoup moins sûre avec un système de test, tandis qu'une autre IA devient plus sûre avec le même système. Cela signifie qu'il n'existe pas de solution magique unique. Il faut tester chaque IA avec chaque configuration spécifique.

4. Le classement est impossible

Les chercheurs ont essayé de créer un "classement général" de la sécurité des IA (comme un classement FIFA pour les équipes de foot).

• Le verdict : C'est impossible. Le classement change tellement selon le test utilisé qu'il n'a aucune fiabilité. Une IA peut être numéro 1 sur un test et numéro 100 sur un autre.
• La conclusion : Pour savoir si une IA est sûre, il faut la tester spécifiquement dans le contexte où elle va être utilisée. On ne peut pas se fier à un score global.

En résumé

Ce papier nous dit : « Arrêtez de tester les IA comme si elles étaient seules dans une cage. La façon dont vous les interrogez (le format de la question) et le système qui les entoure (l'échafaudage) changent radicalement les résultats. »

Pour garantir la sécurité, il faut arrêter de chercher une note unique et universelle, et commencer à faire des tests sur mesure, comme on teste un avion dans les conditions exactes où il va voler, et pas seulement sur une piste d'essai vide.

Résumé technique

Voici un résumé technique détaillé de l'article « Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety » (Sécurité sous échafaudage : Comment les conditions d'évaluation façonnent la sécurité mesurée), basé sur le résumé fourni.

1. Problématique

L'article aborde une divergence critique entre la manière dont les modèles de langage (LLM) sont évalués en laboratoire et leur déploiement réel dans la production.

• Évaluation actuelle : Les benchmarks de sécurité standardisés évaluent les modèles de manière isolée, généralement via des formats à choix multiples (QCM).
• Déploiement réel : En production, ces modèles sont intégrés dans des « échafaudages » (scaffolds) agentic complexes. Ces systèmes restructurent les entrées via des traces de raisonnement, des agents critiques et des pipelines de délégation.
• Le problème : Il existe une incertitude quant à savoir si les scores de sécurité obtenus en laboratoire (QCM) sont prédictifs de la sécurité réelle lorsque le modèle est soumis à ces architectures de déploiement complexes. L'étude vise à déterminer si l'architecture de l'échafaudage ou le format de l'évaluation est le facteur déterminant des scores de sécurité mesurés.

2. Méthodologie

Les auteurs ont mené l'une des plus grandes études contrôlées sur les effets des échafaudages sur la sécurité, caractérisée par une rigueur méthodologique exceptionnelle :

• Échelle de l'étude : Un échantillon massif de N = 62 808 interactions.
• Modèles et Configurations : Test de six modèles de pointe (frontier models) à travers quatre configurations de déploiement différentes.
• Rigueur scientifique : L'étude combine :
  • Une pré-inscription (pre-registration) des hypothèses.
  • Un aveuglement des évaluateurs (assessor blinding).
  • Des tests d'équivalence (equivalence testing).
  • Une analyse de courbe de spécification (specification curve analysis) pour explorer la robustesse des résultats face aux variations méthodologiques.
• Approche comparative : Comparaison directe entre les performances en mode « isolé » (benchmark standard) et en mode « échafaudé » (map-reduce, agents critiques, etc.).

3. Contributions Clés

L'article apporte plusieurs contributions majeures à la communauté de la sécurité des IA :

1. Déconstruction de la mesure de sécurité : Il démontre que le format de l'évaluation (QCM vs. réponse ouverte) a un impact plus significatif que l'architecture de l'échafaudage lui-même.
2. Données ouvertes : Publication de l'ensemble du code, des données et des invites sous le nom ScaffoldSafety, permettant la reproductibilité et l'extension des travaux.
3. Nouvelle métrique de fiabilité : Introduction d'une analyse de généralisabilité qui remet en question la validité des classements globaux de sécurité des modèles.

4. Résultats Principaux

A. L'impact du format d'évaluation vs. l'architecture

• Dégradation par Map-Reduce : L'architecture de type « map-reduce » dégrade la sécurité mesurée (Nombre de Sujets Nécessaires pour Nuire, NNH = 14).
• Équivalence pratique : Cependant, deux des trois architectures d'échafaudage testées préservent la sécurité dans des marges pratiquement significatives.
• Le facteur décisif : Le véritable problème de mesure réside dans le format. Le passage d'un format à choix multiples à un format à réponse ouverte (sur les mêmes items) fait varier les scores de sécurité de 5 à 20 points de pourcentage. Cette variation est supérieure à tout effet observé dû à l'architecture de l'échafaudage.
• Équivalence des échafaudages : Les comparaisons intra-format montrent une équivalence pratique (selon la marge TOST pré-enregistrée de +/- 2 pp), isolant le format d'évaluation comme variable opérante principale.

B. Interactions Modèle x Échafaudage

• Il n'existe pas de règle universelle sur la sécurité des échafaudages. Les interactions varient considérablement selon le modèle :
  • L'amplitude des interactions atteint 35 points de pourcentage dans des directions opposées.
  • Exemple : Un modèle voit sa sycophance (flatterie excessive) se dégrader de -16,8 pp sous map-reduce, tandis qu'un autre modèle s'améliore de +18,8 pp sur le même benchmark.
• Conclusion : Les affirmations universelles sur la « sécurité des échafaudages » sont invalidées par ces résultats.

C. Analyse de Généralisabilité (G = 0.000)

• L'analyse de généralisabilité révèle un coefficient G = 0,000.
• Cela signifie que les classements de sécurité des modèles s'inversent complètement d'un benchmark à l'autre.
• Conséquence : Aucun indice composite de sécurité ne possède une fiabilité non nulle. Il est donc impossible de classer les modèles de manière globale et fiable.

5. Signification et Implications

Cette étude remet en cause les pratiques actuelles de validation de la sécurité des LLM :

• Fin des classements globaux : L'idée d'un « modèle le plus sûr » est scientifiquement infondée car la sécurité est contextuelle et dépend de l'interaction spécifique entre le modèle, l'échafaudage et le format de test.
• Nouveau standard de validation : Les auteurs préconisent que le test par modèle et par configuration (per-model, per-configuration) soit le minimum requis pour le déploiement.
• Attention au format : Les chercheurs et les praticiens doivent être extrêmement vigilants quant au format de leurs évaluations, car le choix entre QCM et réponse ouverte peut fausser les résultats de sécurité bien plus que l'architecture technique du système de déploiement.

En résumé, l'article démontre que la sécurité n'est pas une propriété intrinsèque et stable d'un modèle, mais une mesure éminemment dépendante du contexte d'évaluation, nécessitant une approche de validation beaucoup plus granulaire et spécifique.